CN111611107A - 获取数据库日志的方法及装置 - Google Patents

获取数据库日志的方法及装置 Download PDF

Info

Publication number
CN111611107A
CN111611107A CN202010438259.XA CN202010438259A CN111611107A CN 111611107 A CN111611107 A CN 111611107A CN 202010438259 A CN202010438259 A CN 202010438259A CN 111611107 A CN111611107 A CN 111611107A
Authority
CN
China
Prior art keywords
redo log
current online
online redo
disk
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010438259.XA
Other languages
English (en)
Inventor
熊军
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunhe Enmo Beijing Information Technology Co ltd
Original Assignee
Yunhe Enmo Beijing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunhe Enmo Beijing Information Technology Co ltd filed Critical Yunhe Enmo Beijing Information Technology Co ltd
Priority to CN202010438259.XA priority Critical patent/CN111611107A/zh
Publication of CN111611107A publication Critical patent/CN111611107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1734Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases

Abstract

本申请公开了一种获取数据库日志的方法及装置。其中,该方法包括:接收任务调度指令,其中,任务调度指令用于获取当前在线重做日志的相关信息;响应于调度指令,从磁盘组或文件系统中获取当前在线重做日志的相关信息;将当前在线重做日志的增量数据发送至远端设备。本申请解决了现有技术中将在线重做日志发送至远端设备,存在的管理配置繁琐且对数据库写入性能有一定影响的技术问题。

Description

获取数据库日志的方法及装置
技术领域
本申请涉及数据库领域,具体而言,涉及一种获取数据库日志的方法及装置。
背景技术
Oracle数据库(Oracle Database),是甲骨文公司的一款关系数据库管理系统(Oracle RDBMS),或简称Oracle。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库解决方案。
目前,在数据库管理员(DataBase Administrator,简称DBA)的日常工作中,有需求是将数据库在线重做日志文件近实时增量复制到远程,以满足备份、数据分析及容灾等用途。目前的解决方案是设置生产数据库参数,通过参数控制将在线重做日志数据流发送至远端环境,存在着管理配置繁琐且对数据库写入性能有一定影响的问题。
针对上述问题,目前还未提出有效的解决方案。
发明内容
本申请实施例提供了一种获取数据库日志的方法及装置,以至少解决现有技术中将在线重做日志发送至远端设备,存在的管理配置繁琐且对数据库写入性能有一定影响的技术问题。
根据本申请实施例的一个方面,提供了一种获取数据库日志的方法,该方法包括:接收任务调度指令,其中,任务调度指令用于获取当前在线重做日志的相关信息;响应于调度指令,从磁盘组或文件系统中获取当前在线重做日志增量数据;将当前在线重做日志的增量数据发送至远端设备。
可选地,从磁盘组或文件系统中获取当前在线重做日志的相关信息之后,上述方法还包括:对当前在线重做日志的相关信息进行备份,其中,对当前在线重做日志的相关信息进行备份时,将备份数据存储至非磁盘介质中。
可选地,对当前在线重做日志数据进行备份,包括:接收第三方备份端发送的备份请求;响应于备份请求,将备份数据存储至与第三方备份端对应的非磁盘介质中。
可选地,非存储介质有多个;将备份数据存储至与第三方备份端对应的非磁盘介质中,包括:确定多个非磁盘介质的剩余存储空间;按照剩余存储空间的大小对多个非磁盘介质进行排序;将备份数据存储至前N个剩余存储空间对应的非磁盘介质中,其中,N为大于1的自然数。
可选地,将备份数据存储至非磁盘介质的过程中,方法还包括:对备份数据进行在线压缩。
可选地,当前在线重做日志的相关信息的存储格式包括:文件系统格式和自动存储管理ASM格式。
可选地,接收任务调度指令,包括:接收多个任务调度指令;从磁盘组或文件系统中获取当前在线重做日志的相关信息,包括:采用多个独立线程从磁盘组或文件系统中获取当前在线重做日志的相关信息,其中,每个线程对应一个任务调度指令。
可选地,从磁盘组或文件系统中获取当前在线重做日志的相关信息,包括:基于自动存储管理ASM器的dbms_diskgroup包从磁盘组或文件系统中获取当前在线重做日志的相关信息。
根据本申请实施例的另一方面,还提供了一种获取数据库日志的装置,该装置包括:接收模块,用于接收任务调度指令,其中,任务调度指令用于获取当前在线重做日志的相关信息;获取模块,用于响应于调度指令,从磁盘组或文件系统中获取当前在线重做日志的相关信息;发送模块,用于将当前在线重做日志的相关信息发送至远端设备。
根据本申请实施例的另一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行以上所述的获取数据库日志的方法。
在本申请实施例中,采用接收任务调度指令,其中,任务调度指令用于获取当前在线重做日志的相关信息;响应于调度指令,从磁盘组或文件系统中获取当前在线重做日志的相关信息;将当前在线重做日志的相关信息发送至远端设备的方式,通过响应于调度指令,从磁盘组或文件系统中获取当前在线重做日志的相关信息,并发送至远端设备,而不再通过设置数据库参数进行控制,达到了快速、实时地抓取当前在线重做日志,并简化当前在线重做日志实时发送至远端设备的过程的目的,从而实现了简化获取当前在线重做日志的过程,且保护数据库写入性能的技术效果,进而解决了现有技术中将在线重做日志发送至远端设备,存在的管理配置繁琐且对数据库写入性能有一定影响的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例的一种获取数据库日志的方法的流程示意图;
图2是本申请实施例的一种可选的获取当前在线重做日志的方案示意图;
图3是本申请实施例的一种可选的获取数据库日志的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例,提供了一种获取数据库日志的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
首先,为了便于理解,在对本申请的实施例阐述的过程中出现的部分分词或术语进行如下解释:
应用程序接口(Application Programming Interface,简称API):是一些预先定义的函数,或指软件系统不同组成部分衔接的约定。目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问原码,或理解内部工作机制的细节。
自动存储管理(Automatic Storage Management,简称ASM):是Oracle数据库10g中一个非常出色的新特性,它以平台无关的方式提供了文件系统、逻辑卷管理器等服务。ASM可以条带化和镜像磁盘,从而实现了在数据库被加载的情况下添加或移除磁盘以及自动平衡I/O以删除“热点”。它还支持直接和异步的I/O并使用Oracle9i中引入的Oracle数据管理器API(简化的I/O系统调用接口)。ASM不是一个通用的文件系统,并只能用于Oracle数据文件、重做日志以及控制文件。ASM中的文件既可以由数据库自动创建和命名,也可以由DBA手动创建和命名。由于系统操作无法访问ASM中存储的文件,因此对使用ASM文件的数据库执行备份和恢复操作的唯一途径就是通过回复管理器。
数据库管理系统(Data Base Management System,简称DBMS):是一种操纵和管理数据库的大型软件,是用于建立、使用和维护数据库,它对数据库进行统一的管理和控制,以保证数据库的安全性和完整性。它所提供的功能有以下几项:(1)数据定义功能;(2)数据管理功能;(3)对数据库进行保护;(4)数据库的建立和维护;(5)数据库的传输。
重做日志:重做日志是数据库的日记,记录着每一个对数据库的更改,可分为在线重做日志(online redo log)和归档重做日志(archive redo log)。重做日志中所记载的数据称为重做记录,它提供了数据库具备了恢复能力。
在线重做日志:是重做记录在磁盘上的临时保存点,是数据库正常打开不可缺少的文件之一。之所以是临时的,原因是后台进程LGWR会不断地覆盖在线重做日志,在线重做日志的作用是支持实例恢复和介质恢复。
Oracle数据库(Oracle Database,简称Oracle):又名Oracle RDBMS,其三大核心文件分别是数据文件(data file)、重做日志(redo log)和控制文件(control file)。数据文件保证了数据库的持久性,是保存修改结果的地方;重做日志保证了数据库的可恢复性,是保存修改操作(包括对数据文件、控制文件等各类文件的修改)的地方;控制文件的作用是确定数据文件和重做日志文件的路径、数据库字符集、数据库当前的状态、检查点信息、保存其他文件头部的部分信息及提供备份信息资料库等。
图1是根据本申请实施例的一种获取数据库日志的方法,如图1所示,该方法包括如下步骤:
步骤S102,接收任务调度指令,其中,任务调度指令用于获取当前在线重做日志的相关信息;
步骤S104,响应于调度指令,从磁盘组或文件系统中获取当前在线重做日志的相关信息;
步骤S106,将当前在线重做日志的增量数据发送至远端设备。
通过上述步骤,可以实现简化获取当前在线重做日志的过程,且保护数据库写入性能不受干扰的技术效果,无需对数据库进行任何参数的更改,简单灵活,进而解决了现有技术中将在线重做日志发送至远端设备,存在的管理配置繁琐且对数据库写入性能有一定影响的技术问题。
对于步骤102,重做日志是数据库的日记,记录着每一个对数据库的更改,可用于分析数据库历史redo写入量的变化趋势,记载的数据称为重做记录,它提供了数据库具备了恢复能力。重做日志可分为在线重做日志(online redo log)和归档重做日志(archiveredo log)。在线重做日志是重做记录在磁盘上的临时保存点,是数据库正常打开不可缺少的文件之一。当前在线重做日志的相关信息为在线重做日志的增量数据,之所以是临时的,原因是后台进程LGWR会不断地覆盖在线重做日志,在线重做日志的作用是支持实例恢复和介质恢复。
在本申请一些实施例中,在线重做日志的格式包括但不仅限于:文件系统格式和自动存储管理ASM格式。
对于步骤104,从磁盘组或文件系统中获取在线重做日志时,可以基于自动存储管理ASM器的dbms_diskgroup包从磁盘组或文件系统中获取当前在线重做日志的相关信息,其中,可以通过dbms_diskgroup确定asm file的属性,可以拷贝asm中的data file中的某个block到os,也可以从os拷贝到asm,也可以从asm中直接拷贝文件到os等功能。此获取方法在对数据库无侵入的情况下获取到了当前在线重做日志文件的数据,不影响现有数据库日志写进程的性能,安全可靠。
在本申请一些实施例中,从磁盘组或文件系统中获取当前在线重做日志的相关信息时,也可以采用多个独立线程从磁盘组或文件系统中获取当前在线重做日志的相关信息,其中,每个线程对应一个任务调动指令。任务调动指令可以为一个或多个,采用此方法从磁盘组或文件系统中获取当前在线重做日志时,可以根据任务调动指令的个数启动线程。
具体地,获取当前在线重做日志的过程中,可以先获取当前在线重做日志文件路径、文件存储格式;打开当前在线重做日志文件,读取数据块,获取数据块大小和数量,确定数据库版本信息;从当前数据块中读取在线重做日志的记录信息;判断该条当前在线重做日志记录信息是否完整,如果不完整则继续从下一个数据块中读取,直到拼装成完整的当前在线重做日志的记录信息为止。
对于步骤106,接收当前在线重做日志的远端设备包括但不仅限于:服务器。
在本申请一些实施例中,从磁盘组中获取当前在线重做日志数据之后,为了使原数据不受干扰,保证其完整性,在进行数据传输时,可以先对当前在线重做日志数据进行备份,在对当前线重做日志数据进行备份时,可以将备份数据存储至非磁盘介质中,例如,将备份数据存储至SBT库中,这样可以节省磁盘的存储空间。
需要说明的是,介质管理器(RMAN)支持两种备份通道,一种是磁盘,一种是SBT,其中,对于SBT来说,一般第三方备份软件使用该备份类型进行备份。
其中,对当前在线重做日志数据进行备份时,可以通过以下过程实现:接收第三方备份端发送的备份请求;响应于备份请求,将备份数据存储至与第三方备份端对应的非磁盘介质中,此方法可以近实时地将当前在线重做日志文件的数据统一集中备份,并且在存储的过程中,对备份数据进行在线压缩,可节省第三方备份端的存储空间。
具体地,非存储介质可以有多个;将备份数据存储至与第三方备份端对应的非磁盘介质中,可以通过以下过程实现:确定多个非磁盘介质的剩余存储空间;按照剩余存储空间的大小对多个非磁盘介质进行排序;将备份数据存储至前N个剩余存储空间对应的非磁盘介质中,其中,N为大于1的自然数。具体地,可以先按照多个非磁盘介质的剩余存储空间的大小对其进行排序,然后依据备份数据所占空间的大小,自动选择剩余空间与备份数据所占空间大小最接近的非磁盘介质;若备份数据所占空间大于任何一个非磁盘介质的剩余空间,那么需要多个非磁盘介质共同对备份数据进行存储,此处需要注意的是,在利用非磁盘介质进行存储时,占用的非磁盘介质的个数越少越好。例如:目前有5个磁盘介质,其剩余空间分别为10G、8G、6G、5G、3G,若备份数据的大小为2G,那么选择剩余空间为3G的非磁盘介质;若备份数据的大小为12G,那么应选择剩余空间为10G和3G的非磁盘介质分别进行存储。
图2是本申请实施例获取当前在线重做日志的方案示意图,下面结合图2对获取当前在线重做日志的过程进行详细的阐述:
任务调度模块20:任务调度系统负责全局任务调度,其可以运行在多种操作系统,如Linux、Windows及AIX等操作系统,并且在上述多种操作系统执行任务时,可以支持多种编制语言,如Python,GOlang,C等。
日志采集模块22:日志采集模块运行在源数据库所在的服务器端,它是常驻服务,主要作用是根据任务调度系统发送的指令,使用ASM自带的dbms_diskgroup包获取特定当前在线重做日志的增量数据,然后传输日志增量数据到存储模块。日志采集模块定期(根据负载1~10秒间隔)将当前在线重做日志的增量数据发送给日志接收模块。对应新产生的归档,使用RMAN SBT接口方式将数据统一集中备份。
日志接收模块24:其和任务调度模块20同时运行在一台服务器。它接收日志采集模块发送过来的数据,并将数据存放在数据存储模块里。
数据存储模块26:用于存储从源数据库端采集redo日志流,在存储过程中进行在线透明的数据压缩,以节省空间,降低存储成本。
元数据模块28:用于记录当前在线重做日志和归档日志的信息,提供相应API供数据输出模块使用,它使用关系型数据库记录信息。其中,API是一些预先定义的函数,或指软件系统不同组成部分衔接的约定。目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问原码,或理解内部工作机制的细节。
网页GUI展现模块30:用于通过API向数据输出模块发出请求,然后在WEB GUI展示所有硬件的配置数据。
图3是根据本申请实施例的一种获取数据库日志的装置,如图3所示,该装置包括:
接收模块30,用于接收任务调度指令,其中,任务调度指令用于获取当前在线重做日志的相关信息;
其中,重做日志是数据库的日记,记录着每一个对数据库的更改,记载的数据称为重做记录,它提供了数据库具备了恢复能力,其可分为当前在线重做日志(online redolog)和归档重做日志(archive redo log)。当前在线重做日志是重做记录在磁盘上的临时保存点,是数据库正常打开不可缺少的文件之一。之所以是临时的,原因是后台进程LGWR会不断地覆盖当前在线重做日志,当前在线重做日志的作用是支持实例恢复和介质恢复。
在本申请一些实施例中,当前在线重做日志的格式包括但不仅限于:文件系统格式和自动存储管理ASM格式。
获取模块32,用于响应于调度指令,从磁盘组或文件系统中获取当前在线重做日志的相关信息;
其中,响应于操作指令,从磁盘组或文件系统中获取当前在线重做日志的相关信息的方法有多种。
例如,可以基于自动存储管理ASM器的dbms_diskgroup包从磁盘组或文件系统中获取当前在线重做日志数据,其中,可以通过dbms_diskgroup确定asm file的属性,可以拷贝asm中的data file中的某个block到os,也可以从os拷贝到asm,也可以从asm中直接拷贝文件到os等功能。此获取方法在对数据库无侵入的情况下获取到了当前在线重做日志文件的相关信息,不影响现有数据库日志写进程的性能,安全可靠。
或者,也可以采用多个独立线程从磁盘组中获取当前在线重做日志的数据,其中,每个线程对应一个任务调动指令。任务调动指令可以为一个或多个,采用此方法从磁盘中获取当前在线重做日志时,可以根据任务调动指令的个数启动线程。
具体地,获取当前在线重做日志的过程中,可以先获取当前在线重做日志文件路径、文件存储格式;打开当前在线重做日志文件,读取数据块,获取数据块大小和数量,确定数据库版本信息;从当前数据块中读取当前在线重做日志的记录信息;判断该条当前在线重做日志记录信息是否完整,如果不完整则继续从下一个数据块转中读取,直到拼装成完整的当前在线重做日志的记录信息为止。
发送模块34,用于将当前在线重做日志的相关信息发送至远端设备。
其中,接收当前在线重做日志的远端设备包括但不仅限于:服务器。
在本申请一些实施例中,从磁盘组或文件系统中获取当前在线重做日志的相关信息之后,为了使原数据不受干扰,保证其完整性,在进行数据传输时,可以先对当前在线重做日志的相关信息进行备份,在对当前在线重做日志数据进行备份时,可以将备份数据存储至非磁盘介质中,这样可以节省磁盘的存储空间。
其中,对当前在线重做日志的相关信息进行备份时,可以通过以下过程实现:接收第三方备份端发送的备份请求;响应于备份请求,将备份数据存储至与第三方备份端对应的非磁盘介质中,并且在存储的过程中,对备份数据进行在线压缩,由此可节省第三方备份端的存储空间。
具体地,非存储介质可以有多个;将备份数据存储至与第三方备份端对应的非磁盘介质中,可以通过以下过程实现:确定多个非磁盘介质的剩余存储空间;按照剩余存储空间的大小对多个非磁盘介质进行排序;将备份数据存储至前N个剩余存储空间对应的非磁盘介质中,其中,N为大于1的自然数。具体地,可以先按照多个非磁盘介质的剩余存储空间的大小对其进行排序,然后依据备份数据所占空间的大小,自动选择剩余空间与备份数据所占空间大小最接近的非磁盘介质;若备份数据所占空间大于任何一个非磁盘介质的剩余空间,那么需要多个非磁盘介质共同对备份数据进行存储,此处需要注意的是,在利用非磁盘介质进行存储时,占用的非磁盘介质的个数越少越好。例如:目前有5个磁盘介质,其剩余空间分别为10G、8G、6G、5G、3G,若备份数据的大小为2G,那么选择剩余空间为3G的非磁盘介质;若备份数据的大小为12G,那么应选择剩余空间为10G和3G的非磁盘介质分别进行存储。
根据本申请实施例的另一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行以上任意一种虚拟数据库还原的方法。
具体地,上述非易失性存储介质用于存储执行以下功能的程序指令,实现以下功能:
接收任务调度指令,其中,任务调度指令用于获取当前在线重做日志的相关信息;响应于调度指令,从磁盘组或文件系统中获取当前在线重做日志增量数据;将当前在线重做日志的增量数据发送至远端设备。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种获取数据库日志的方法,其特征在于,包括:
接收任务调度指令,其中,所述任务调度指令用于获取当前在线重做日志的相关信息;
响应于所述调度指令,从磁盘组或文件系统中获取所述当前在线重做日志的相关信息;
将所述当前在线重做日志的增量数据发送至远端设备。
2.根据权利要求1所述的方法,其特征在于,从磁盘组或文件系统中获取所述当前在线重做日志的相关信息之后,所述方法还包括:
对所述当前在线重做日志的相关信息进行备份,其中,对所述当前在线重做日志的相关信息进行备份时,将备份数据存储至非磁盘介质中。
3.根据权利要求2所述的方法,其特征在于,对所述当前在线重做日志数据进行备份,包括:接收第三方备份端发送的备份请求;响应于所述备份请求,将所述备份数据存储至与所述第三方备份端对应的非磁盘介质中。
4.根据权利要求3所述的方法,其特征在于,所述非磁盘介质有多个;将所述备份数据存储至与所述第三方备份端对应的非磁盘介质中,包括:确定多个非磁盘介质的剩余存储空间;按照所述剩余存储空间的大小对所述多个非磁盘介质进行排序;将所述备份数据存储至前N个剩余存储空间对应的非磁盘介质中,其中,N为大于1的自然数。
5.根据权利要求2所述的方法,其特征在于,将备份数据存储至非磁盘介质的过程中,所述方法还包括:对所述备份数据进行在线压缩。
6.根据权利要求2所述的方法,其特征在于,所述当前在线重做日志的相关信息的存储格式包括:文件系统格式和自动存储管理ASM格式。
7.根据权利要求1所述的方法,其特征在于,
接收任务调度指令,包括:接收多个任务调度指令;
从所述磁盘组或所述文件系统中获取所述当前在线重做日志的相关信息,包括:采用多个独立线程从所述磁盘组或所述文件系统中获取所述当前在线重做日志的相关信息,其中,每个线程对应一个任务调度指令。
8.根据权利要求1至7中任意一项所述的方法,其特征在于,从磁盘组或文件系统中获取所述当前在线重做日志的相关信息,包括:
基于自动存储管理ASM器的dbms_diskgroup包从磁盘组或文件系统中获取所述当前在线重做日志的相关信息。
9.一种获取数据库日志的装置,其特征在于,所述装置包括:
接收模块,用于接收任务调度指令,其中,所述任务调度指令用于获取当前在线重做日志的相关信息;
获取模块,用于响应于所述调度指令,从磁盘组或文件系统中获取所述当前在线重做日志的相关信息;
发送模块,用于将所述当前在线重做日志的增量数据发送至远端设备。
10.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至8中任意一项所述的获取数据库日志的方法。
CN202010438259.XA 2020-05-21 2020-05-21 获取数据库日志的方法及装置 Pending CN111611107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010438259.XA CN111611107A (zh) 2020-05-21 2020-05-21 获取数据库日志的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010438259.XA CN111611107A (zh) 2020-05-21 2020-05-21 获取数据库日志的方法及装置

Publications (1)

Publication Number Publication Date
CN111611107A true CN111611107A (zh) 2020-09-01

Family

ID=72203674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010438259.XA Pending CN111611107A (zh) 2020-05-21 2020-05-21 获取数据库日志的方法及装置

Country Status (1)

Country Link
CN (1) CN111611107A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256485A (zh) * 2020-10-30 2021-01-22 网易(杭州)网络有限公司 数据备份方法、装置、介质和计算设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043686A (zh) * 2009-10-20 2011-05-04 华为技术有限公司 一种内存数据库的容灾方法、备用服务器及系统
CN103678718A (zh) * 2013-12-31 2014-03-26 金蝶软件(中国)有限公司 数据库同步方法及系统
US20140095452A1 (en) * 2012-09-28 2014-04-03 Oracle International Corporation In place point-in-time recovery of pluggable databases
CN105045680A (zh) * 2015-07-10 2015-11-11 上海爱数软件有限公司 一种达梦数据库备份数据的方法
CN107229537A (zh) * 2017-05-31 2017-10-03 广州鼎甲计算机科技有限公司 一种数据库实时备份方法
CN110555055A (zh) * 2019-07-19 2019-12-10 国网辽宁省电力有限公司大连供电公司 针对Oracle数据库重做日志文件的数据挖掘方法
US20200125449A1 (en) * 2018-10-18 2020-04-23 Oracle International Corporation Database backup from standby db

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043686A (zh) * 2009-10-20 2011-05-04 华为技术有限公司 一种内存数据库的容灾方法、备用服务器及系统
US20140095452A1 (en) * 2012-09-28 2014-04-03 Oracle International Corporation In place point-in-time recovery of pluggable databases
CN103678718A (zh) * 2013-12-31 2014-03-26 金蝶软件(中国)有限公司 数据库同步方法及系统
CN105045680A (zh) * 2015-07-10 2015-11-11 上海爱数软件有限公司 一种达梦数据库备份数据的方法
CN107229537A (zh) * 2017-05-31 2017-10-03 广州鼎甲计算机科技有限公司 一种数据库实时备份方法
US20200125449A1 (en) * 2018-10-18 2020-04-23 Oracle International Corporation Database backup from standby db
CN110555055A (zh) * 2019-07-19 2019-12-10 国网辽宁省电力有限公司大连供电公司 针对Oracle数据库重做日志文件的数据挖掘方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256485A (zh) * 2020-10-30 2021-01-22 网易(杭州)网络有限公司 数据备份方法、装置、介质和计算设备
CN112256485B (zh) * 2020-10-30 2023-08-04 网易(杭州)网络有限公司 数据备份方法、装置、介质和计算设备

Similar Documents

Publication Publication Date Title
US8214406B2 (en) Backup of incremental metadata in block based backup systems
US20070043973A1 (en) Isolating and storing configuration data for disaster recovery for operating systems providing physical storage recovery
US20060294421A1 (en) Isolating and storing configuration data for disaster recovery
CN105550073A (zh) 数据库备份方法及其系统
US20060294420A1 (en) Isolating and storing configuration data for disaster recovery
CN109582443A (zh) 基于分布式存储技术的虚拟机备份系统
CN110188000A (zh) 基于虚拟化以及iSCSI或FC的应用容灾方法及系统
CN109240886A (zh) 异常处理方法、装置、计算机设备以及存储介质
JP2003186564A (ja) ストレージリソース測定システム
US10289494B1 (en) Smart connector for network data management protocol (NDMP) backups
CN113886143B (zh) 虚拟机持续数据保护方法、装置及数据恢复方法、装置
US20040098394A1 (en) Localized intelligent data management for a storage system
US8843450B1 (en) Write capable exchange granular level recoveries
CN111930703A (zh) 日志文件自动抓取方法、装置和计算机设备
US20040230623A1 (en) Log grooming in a multi-log environment
US8271755B1 (en) Discovering data storage for backup
US20040078630A1 (en) System and method for protecting data
CN113448946B (zh) 数据迁移方法及装置、电子设备
CN111611107A (zh) 获取数据库日志的方法及装置
US6813632B2 (en) Distributed file system using scatter-gather
CN109753381A (zh) 一种基于对象存储的持续数据保护方法
US20030074376A1 (en) File manager for storing several versions of a file
CN110764949A (zh) 硬盘更换方法、硬盘更换装置、硬盘更换设备及存储介质
CN112925676B (zh) 一种基于wal实现分布式数据库集群任意时间点恢复的方法
CN105787135A (zh) 一种用于数据库日志备份的方法与设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200901

RJ01 Rejection of invention patent application after publication