CN109542682A - 一种数据备份方法、装置、设备和存储介质 - Google Patents

一种数据备份方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109542682A
CN109542682A CN201811365678.4A CN201811365678A CN109542682A CN 109542682 A CN109542682 A CN 109542682A CN 201811365678 A CN201811365678 A CN 201811365678A CN 109542682 A CN109542682 A CN 109542682A
Authority
CN
China
Prior art keywords
file
backup
database
data library
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811365678.4A
Other languages
English (en)
Other versions
CN109542682B (zh
Inventor
沈宁
王海龙
薛慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dameng Database Co Ltd
Original Assignee
Shanghai Dameng Database Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dameng Database Co Ltd filed Critical Shanghai Dameng Database Co Ltd
Priority to CN201811365678.4A priority Critical patent/CN109542682B/zh
Publication of CN109542682A publication Critical patent/CN109542682A/zh
Application granted granted Critical
Publication of CN109542682B publication Critical patent/CN109542682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1469Backup restoration techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1471Saving, restoring, recovering or retrying involving logging of persistent data for recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据备份方法、装置、设备和存储介质。其中,该方法包括:在备份数据库文件中查找目标检查点标识,并将所述目标检查点标识发送给数据库主机,所述备份数据库文件预先从数据库主机接收;从所述数据库主机接收所述目标检查点标识之后的事务日志;根据所述事务日志更新所述备份数据库文件,得到新备份数据库文件。本发明实施例提供的技术方案,在保证备份本机与数据库主机中的数据一致性的基础上,无需占用数据库主机的内存资源,减小了对数据库业务的执行效率的影响,并提高了数据备份的可靠性。

Description

一种数据备份方法、装置、设备和存储介质
技术领域
本发明实施例涉及数据库处理领域,尤其涉及一种数据备份方法、装置、设备和存储介质。
背景技术
在数据库技术高速发展的当下,对数据库主机中保存的各类数据信息的安全性要求也越来越高,为了防止数据库主机发生故障而造成数据丢失或损坏,会对数据信息进行数据备份。
数据库主机在采用联机备份时,数据库处于正常工作的情况下,会执行正常的数据库业务操作,此时现有的联机备份会将待备份数据首先写入到数据库主机本地的备份集中,在本地备份集写入完成后,再将该备份集拷贝到目标机器上,也就是用于存储备份数据库内容的目标备机上,此时该目标备机可以利用拷贝的备份集执行备份数据库的还原恢复操作,从而实现数据库的联机备份。
现有的联机备份从备份到还原需要至少三次输入/输出(input/output,I/O)操作,此时在数据库执行正常的数据库业务时,会占用数据库主机中的一部分内存资源,而影响数据库执行正常业务的效率。例如,当数据库数据量巨大的情况下,在进行联机备份时,会占用数据库主机中较大的内存资源,此时数据库在执行读写文件操作或其他业务操作时,可能会因资源占用而造成数据库业务被迫排队执行的情况,从而极大降低了数据库业务的执行效率。同时,联机备份时如果数据库主机本地的磁盘空间不足,则导致待备份数据无法写入到本地的备份集中,而使联机备份无法进行,增加了联机备份的失误率。
发明内容
本发明实施例提供了一种数据备份方法、装置、设备和存储介质,以解决现有技术中每次联机备份时都需要占用数据库主机的内存资源的问题,在保证联机备份正常运行的前提下,减小对数据库业务的执行效率的影响。
第一方面,本发明实施例提供了一种数据备份方法,该方法包括:
在备份数据库文件中查找目标检查点标识,并将所述目标检查点标识发送给数据库主机,所述备份数据库文件预先从数据库主机接收;
从所述数据库主机接收所述目标检查点标识之后的事务日志;
根据所述事务日志更新所述备份数据库文件,得到新备份数据库文件。
第二方面,本发明实施例提供了一种数据备份装置,该装置包括:
检查点查找模块,用于在备份数据库文件中查找目标检查点标识,并将所述目标检查点标识发送给数据库主机,所述备份数据库文件预先从数据库主机接收;
日志接收模块,用于从所述数据库主机接收所述目标检查点标识之后的事务日志;
数据备份模块,用于根据所述事务日志更新所述备份数据库文件,得到新备份数据库文件。
第三方面,本发明实施例提供了一种设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的数据备份方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的数据备份方法。
本发明实施例提供了一种数据备份方法、装置、设备和存储介质,通过在从数据库主机中预先接收的备份数据库文件中确定目标检查点标识,从而根据目标检查点标识之后的事务日志更新本地的备份数据库文件,在保证备份本机与数据库主机中的数据一致性的基础上,无需占用数据库主机的内存资源,减小了对数据库业务的执行效率的影响,并提高了数据备份的可靠性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1A为本发明实施例一提供的一种数据备份方法的流程图;
图1B为本发明实施例一提供的方法中联机日志文件与归档日志文件的关联关系示意图;
图1C为本发明实施例一提供的方法中更新备份数据库文件的方法流程图;
图2为本发明实施例二提供的一种数据备份方法的流程图;
图3A为本发明实施例三提供的数据备份方法适用的具体场景的场景框图;
图3B为本发明实施例三提供的数据备份方法的原理示意图;
图4为本发明实施例四提供的一种数据备份装置的结构示意图;
图5为本发明实施例五提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种数据备份方法的流程图,本实施例可适用于任一种可以实现数据库功能的备份计算机中。本实施例提供的一种数据备份方法可以由本发明实施例提供的数据备份装置来执行,该装置可以通过软件和/或硬件的方式来实现,并集成在执行本方法的设备中,在本实施例中执行本方法的设备可以是平板电脑、台式机和笔记本等任意一种可以具备数据库应用功能的智能终端。具体的,参考图1A,该方法可以包括如下步骤:
S110,在备份数据库文件中查找目标检查点标识,并将目标检查点标识发送给数据库主机。
其中,备份数据库文件预先从数据库主机接收。本实施例中的数据库主机为本次备份所参照的源数据库所在的数据库计算机。具体的,备份数据库文件是数据库系统运行过程中所产生的各类待备份文件的组合,通过对所产生的各类待备份文件的组合进行恢复能够得到与当前数据库系统功能相同的备份数据库系统。本实施例中备份数据库文件可以包括联机日志文件、控制文件、数据文件和配置文件。其中,联机日志文件主要针对数据库服务器在运行过程中联机生成的日志文件,记录对应的重做日志,表示对数据库执行各项更新修改的操作信息,可以包括用户对数据的修改和数据库管理员对数据库结构的修改,主要用于在数据库发生故障的时候,能够与数据库中的备份文件配合来恢复数据库;如图1B所示,数据库中可以循环利用联机日志文件,一般通过将至少两个联机日志文件组成一个联机重做日志组,在执行相应的数据库操作时,会生成与该操作对应的重做日志,数据库首先将该重做日志写入联机重做日志组中的第一个联机日志文件中,在第一个联机日志文件写满日志时,则停止写入;而转向第二个联机日志文件,第二个联机日志文件写满后继续转向第一个联机日志文件;当数据库处于归档模式时,在联机日志文件写入重做日志的同时,也将其写入到本地的归档日志文件中;当数据库处于非归档模式时,则不会对写入的重做日志同时生成到本地归档日志文件中;由于本实施例中主要针对数据库的备份操作,而联机日志文件空间在数据库中可能被重复利用,因此需要保证数据库主机处于归档模式,以在数据库出现故障时,可以通过在数据库主机的归档日志文件中查询对应的重做日志,与数据库中的备份文件配合来恢复数据库。具体的,本实施例中当需要备份的源数据库默认运行在非归档模式下时,可以通过调整对应的归档配置文件来设置源数据库运行于归档模式下,以使数据库将生成的重做日志写入到联机日志文件的同时,也写入到本地的归档日志文件中,本地归档日志文件递增生成,不会被重复利用。进一步的,控制文件中可以记录数据库中各数据文件和联机日志文件的信息,以及数据库的名字、数据文件的位置和数据控制信息等信息,比如数据库版本号等的文件,一般不可视。数据文件是指存放数据库中各类数据的文件。配置文件是指存储数据库对应配置信息的文件。
可选的,检查点是数据库中设定的一个数据库事件,出于数据库性能方面的考虑,在数据库引擎对内存(缓冲区缓存)中的数据库页进行修改后,不会将修改的数据库页写入磁盘;此时检查点可以作为一个数据更新的标志,在满足检查点生成时机时,将已经修改的数据页和事务日志从内存中刷新至磁盘进行存储,并生成检查点,同时将检查点信息记录到联机日志文件中。具体的,在数据库恢复期间,由于最新检查点之前的数据已经被写入到磁盘,此时数据文件与控制文件等数据库文件已经被更新,因此只有在最新检查点后所作的数据修改需要前滚,减少恢复数据库所需的时间。本实施例中可以将最新检查点设为最近一次将数据刷入磁盘时,联机日志文件中对应位置处重做日志的日志序列号,在该日志序列号之前的重做日志对应的修改操作均已经刷入数据文件中。具体的,目标检查点标识为最近一次执行数据刷入操作时联机日志文件中对应位置处的日志序列号。
可选的,本实施例中在执行数据备份方法之前,首先需要预先从数据库主机中接收本次备份所需要的备份数据库文件;具体的,可以通过用户在数据库主机中拷贝本次备份所需要的备份数据库文件,并将拷贝的备份数据库文件存储到备份计算机的对应位置处,从而使备份计算机预先从数据库主机中接收本次备份的备份数据库文件。同时,本实施例对于备份数据库文件中包括的联机日志文件、控制文件、数据文件和配置文件的拷贝顺序有一定的要求,由于联机日志文件、控制文件、数据文件和配置文件在数据库运行过程中的文件实时更新的频率不同,为了保证数据备份的准确性,可以将需要根据数据库运行过程中的修改操作信息每次进行更新的文件首先拷贝,而将较长时间内都无需进行更新的文件最后拷贝。因此在本实施例中,由于联机日志文件记录数据库最新的操作日志和数据库的当前状态,如检查点信息等,因此在拷贝其他文件之前,首先需要拷贝联机日志文件,便于记录在拷贝数据文件之前的数据库状态,如联机日志文件中记录的最近一次的检查点位置,也就是最近一次执行数据刷入操作对应的日志序列号;其次,由于控制文件中记录了数据库中所有数据文件以及联机日志文件的路径等信息,而且控制文件通常较小,因此联机日志文件拷贝之后,可以立即拷贝控制文件,一方面是因为控制文件数据量小拷贝快,另一方面是为尽量与联机日志文件中各个重做日志对应的操作信息保持一致;再次,在联机日志文件和控制文件拷贝完成之后,开始拷贝数据文件;最后,由于数据库中的配置文件基本不会变,记录都是些配置信息,用于协调数据库启动,因此在其他文件均拷贝完成后,最后拷贝配置文件;其中,配置文件可以是一个,也可以是多个,根据数据库不同而确定。
进一步的,在接收到从数据库主机中的源数据库中拷贝的备份数据库文件时,对备份数据库文件进行对应查找,从而在联机日志文件中查找出源数据库最近一次执行数据刷入磁盘时对应的日志序列号,也就是最新的检查点位置,作为本次备份对应的目标检查点标识,同时将该查找到的目标检查点标识发送给源数据库所在的数据库主机,以便后续在数据库主机中获取源数据库在数据拷贝期间新生成的重做日志,从而保证备份数据库与源数据库的一致性。
S120,从数据库主机接收目标检查点标识之后的事务日志。
可选的,在查找到联机日志文件中的目标检查点标识时,该目标检查点标识可以表示源数据库中已经将该目标检查点标识之前的重做日志对应的修改操作中的数据刷入磁盘,也就是可以确定本次备份时备份数据库进行恢复的起始位置。具体的,由于源数据库中已经将该目标检查点标识之前所生成的重做日志对应的修改数据刷入到磁盘中,也就是更新到数据文件中,因此在接收到从数据库主机拷贝的备份数据库文件时,该备份数据库文件与数据库主机中在该目标检查点标识之前所存储的源数据库的数据库文件已经保持一致,此时为了保证备份数据库与源数据库整体的一致性,还需要从数据库主机中继续接收在拷贝期间新生成的重做日志,也就是本实施例中在该目标检查点标识之后的事务日志,此时可以通过数据库主机根据接收到的该目标检查点标识将数据库主机本地的归档日志文件中该目标检查点标识之后新生成的重做日志,也就是本实施例中的事务日志发送给备份数据库所在的备份计算机,或者通过用户在数据库主机本地的归档日志文件中直接拷贝该目标检查点标识之后新生成的重做日志,并存储到执行数据备份方法的备份计算机中的对应位置处,从而使备份计算机能够从数据库主机中接收该目标检查点标识之后的事务日志,以便后续更新对应的备份数据库文件,保证备份数据库与源数据库的一致性。
S130,根据事务日志更新备份数据库文件,得到新备份数据库文件。
具体的,在从数据库主机接收到该目标检查点标识之后的事务日志时,可以根据该事务日志对应更新接收到的备份数据库文件,如执行该事务日志中对应的数据修改操作,相应修改备份数据库文件中包含的各项文件,也就是根据事务日志对该备份数据库文件进行恢复,从而得到新备份数据库文件;此时该新备份数据库文件与源数据库中的数据信息一致。
可选的,本实施例中从数据库主机接收目标检查点标识之后的事务日志,可以具体包括:从数据库主机接收包含目标检查点标识之后的事务日志的归档日志文件。
其中,事务日志包括操作信息。具体的,在接收数据库主机中在数据拷贝期间新生成的重做日志,也就是数据库主机上目标检查点之后的事务日志时,可以将源数据库所在的数据库主机上的包含目标检查点标识之后的事务日志的归档日志文件直接拷贝到备份计算机中,将其作为备份计算机上的归档日志文件,此时该事务日志则为备份计算机上的起始日志,以便后续更新对应的备份数据库文件。
如图1C所示,在本实施例中,根据事务日志更新备份数据库文件,得到新备份数据库文件,具体可以包括:
S131,将归档日志文件合并到备份数据库文件中。
具体的,在接收到源数据库在数据库主机上的包含目标检查点标识之后的事务日志的归档日志文件后,需要根据该归档日志文件完成后续的备份数据库文件的恢复操作,因此可以将该归档日志文件合并到备份数据库文件中,以便后续直接根据归档日志文件对应更新该备份数据库文件。
S132,根据操作信息更新数据文件,得到新备份数据库文件。
具体的,对备份数据库文件更新恢复时,可以直接根据本地的归档日志文件中包括的事务日志中的操作信息,确定备份计算机在从数据库主机接收备份数据库文件对应的拷贝期间,数据库主机中的源数据库对应执行的数据修改操作,并直接根据该操作信息更新备份数据库文件中的数据文件,从而得到新备份数据库文件,此时可以保证得到的备份数据库与源数据库中数据的一致性。
本实施例提供的技术方案,通过在从数据库主机中预先接收的备份数据库文件中确定目标检查点标识,从而根据数据库主机中源数据库的目标检查点标识之后的事务日志更新本地的备份数据库文件,在保证备份计算机与数据库主机中的数据一致性的基础上,无需占用数据库主机的内存资源,减小了对数据库业务的执行效率的影响,并提高了数据备份的可靠性。
实施例二
图2为本发明实施例二提供的一种数据备份方法的流程图。本实施例是在上述实施例的基础上进行优化。可选的,本实施例中主要对修改备份数据库文件以及查找备份数据库文件中的目标检查点标识的具体过程进行详细描述。可选的,参照图2,本实施例具体可以包括如下步骤:
S210,接收来自数据库主机的备份数据库文件。
具体的,本实施例中在需要对数据库主机中的数据信息进行备份时,首先需要获取数据库主机上的待备份数据,也就是本实施例中的备份数据库文件,在备份计算机中进行本次备份之前,预先从数据库主机中接收本次备份所需要的备份数据库文件。可选的,本实施例中可以通过用户在数据库主机中拷贝本次备份所需要的备份数据库文件,并将拷贝的备份数据库文件存储到备份计算机的对应位置处,从而使备份计算机预先从数据库主机中接收本次备份的备份数据库文件;此时可以按照预先设定的拷贝顺序将备份数据库文件中的联机日志文件、控制文件、数据文件和配置文件依次拷贝到备份计算机中,从而接收来自数据库主机的备份数据库文件。
S220,获取用户的日志位置修改指令。
其中,日志位置修改指令包括联机日志文件和数据文件在本地的存储位置信息。具体的,由于本次备份时预先接收的备份数据库文件是直接从数据库主机中拷贝过来的,因此此时在本地的对应位置上存储的备份数据库文件,其中包含的数据内容与在源数据库中的内容相比并未发生任何变化,而由于备份数据库文件中的控制文件和配置文件中会对应存储有联机日志文件和数据文件在数据库主机上的存储位置信息,直接将备份数据库文件从数据库主机拷贝到备份计算机后,该备份数据库文件中控制文件和配置文件中保存的联机日志文件和数据文件的存储位置信息仍然是在数据库主机上的存储位置;此时需要对备份计算机中接收的备份数据库文件中保存的联机日志文件和数据文件的存储位置信息进行修改,以避免后续备份恢复出错。
具体的,本实施例在接收到来自数据库主机的备份数据库文件,也就是用户将数据库主机上的备份数据库文件拷贝到备份计算机后,备份计算机还会接收到用户输入的针对该备份数据库文件进行内容修正的日志位置修改指令,并对该日志位置修改指令进行分析,得到用户确定的将备份数据库文件依次拷贝到备份计算机的对应位置后,联机日志文件和数据文件在备份计算机本地中的存储位置信息,以便后续对本地拷贝的备份数据库文件中控制文件和配置文件的内容进行修改。
S230,将联机日志文件和数据文件在本地的存储位置信息对应写入控制文件和配置文件,并根据日志位置修改指令将备份数据库文件存储到本地。
具体的,在获取到用户的日志位置修改指令时,可以确定出该日志位置修改指令中包括的联机日志文件和数据文件在备份计算机本地对应的存储位置信息;此时在拷贝的备份数据库文件中查找出控制文件和配置文件,并将联机日志文件和数据文件在备份计算机本地对应的存储位置信息对应写入到该控制文件和配置文件中,也就是将控制文件和配置文件中保存的联机日志文件和数据文件在数据库备机上的存储位置对应修改为其在备份计算机本地上的存储位置信息,并根据获取的日志位置修改指令将修改后的备份数据库文件存储到本地。
S240,根据控制文件或者配置文件中联机日志文件在本地的存储位置信息查找本地的联机日志文件。
可选的,在根据备份数据库文件对源数据库在备份计算机上进行备份恢复时,首先需要在备份数据库文件中查找目标检查点标识,而目标检查点标识为数据库主机最近一次执行数据刷入操作时联机日志文件中对应位置处的日志序列号,因此首先需要获取备份数据库文件中的联机日志文件;此时本实施例可以在备份数据库文件中的控制文件或者配置文件中,查找到已经根据用户的日志位置修改指令修正的联机日志文件地存储位置信息,也就是在控制文件或者配置文件中获取联机日志文件在备份计算机本地的存储位置信息,并根据该存储位置信息查找到在本地存储的联机日志文件。
S250,在联机日志文件中查找目标检查点标识,并将目标检查点标识发送给数据库主机。
具体的,查找到本地存储的联机日志文件后,对该联机日志文件进行分析,从而在联机日志文件中查找出源数据库最近一次执行数据刷入磁盘时对应的日志序列号,也就是最新的检查点位置,作为本次备份对应的目标检查点标识,同时将该查找到的目标检查点标识发送给源数据库所在的数据库主机,以便后续在数据库主机中获取源数据库在数据拷贝期间新生成的重做日志,从而保证备份数据库与源数据库的一致性。
S260,从数据库主机接收目标检查点标识之后的事务日志。
S270,根据事务日志更新备份数据库文件,得到新备份数据库文件。
本实施例提供的技术方案,通过在从数据库主机中预先接收的备份数据库文件中确定目标检查点标识,从而根据目标检查点标识之后的事务日志更新本地的备份数据库文件,在保证备份计算机与数据库主机中的数据一致性的基础上,无需占用数据库主机的内存资源,减小了对数据库业务的执行效率的影响,并提高了数据备份的可靠性。
实施例三
图3A为本发明实施例三提供的数据备份方法适用的具体场景的场景框图。具体的,本实施例中需要将数据库主机10中的源数据库备份到对应的备份计算机20中,此时用户将数据库主机10中源数据库的备份数据库文件依次拷贝到备份计算机20的对应位置上。本实施例中主要对备份计算机20在接收到从数据库主机10拷贝的备份数据库文件后,进行备份恢复的过程进行具体说明。
具体的,如图3B所示,备份计算机20接收从数据库主机10拷贝的备份数据库文件,并根据用户输入的日志位置修改指令,将备份数据库文件中控制文件和配置文件中的保存的联机日志文件和数据文件的存储位置修改为联机日志文件和数据文件在备份计算机20上的存储位置。进一步的,备份计算机20根据控制文件或者配置文件中联机日志文件在本地的存储位置信息查找本地存储的联机日志文件,并在该联机日志文件中查找出数据库主机10上的源数据库最近一次执行数据刷入磁盘时对应的日志序列号,也就是最新的检查点位置,作为本次备份的目标检查点标识;同时在数据库主机10中直接拷贝包含目标检查点标识之后新生成的事务日志的归档日志文件,作为备份计算机20本地的归档日志文件,从而根据该事务日志中的操作信息更新对应的数据文件,从而得到备份计算机20中的新备份数据库文件,完成源数据库在备份计算机20上的备份操作。
进一步的,备份计算机20在完成源数据库的备份后,在此基础上可以作为一个新的数据库系统执行对应数据库操作。
本实施例提供的技术方案,通过在从数据库主机中预先接收的备份数据库文件中确定目标检查点标识,从而根据目标检查点标识之后的事务日志更新本地的备份数据库文件,在保证备份计算机与数据库主机中的数据一致性的基础上,无需占用数据库主机的内存资源,减小了对数据库业务的执行效率的影响,并提高了数据备份的可靠性。
实施例四
图4为本发明实施例四提供的一种数据备份装置的结构示意图,如图4所示,该装置可以包括:
检查点查找模块410,用于在备份数据库文件中查找目标检查点标识,并将目标检查点标识发送给数据库主机,该备份数据库文件预先从数据库主机接收;
日志接收模块420,用于从数据库主机接收目标检查点标识之后的事务日志;
数据备份模块430,用于根据事务日志更新备份数据库文件,得到新备份数据库文件。
本实施例提供的技术方案,通过在从数据库主机中预先接收的备份数据库文件中确定目标检查点标识,从而根据目标检查点标识之后的事务日志更新本地的备份数据库文件,在保证备份计算机与数据库主机中的数据一致性的基础上,无需占用数据库主机的内存资源,减小了对数据库业务的执行效率的影响,并提高了数据备份的可靠性。
进一步的,上述备份数据库文件可以包括联机日志文件、控制文件、数据文件和配置文件。
进一步的,上述日志接收模块420,可以具体用于从数据库主机接收包含目标检查点标识之后的事务日志的归档日志文件,该事务日志包括操作信息。
进一步的,上述数据备份模块430,可以包括:文件合并单元,用于将归档日志文件合并到备份数据库文件中;数据更新单元,用于根据操作信息更新数据文件,得到新备份数据库文件。
进一步的,上述数据备份装置,还可以包括:文件修改模块,用于在备份数据库文件中查找目标检查点标识之前,接收来自数据库主机的备份数据库文件;获取用户的日志位置修改指令,该日志位置修改指令包括联机日志文件和数据文件在本地的存储位置信息;将联机日志文件和数据文件在本地的存储位置信息对应写入控制文件或者配置文件,并根据日志位置修改指令将备份数据库文件存储到本地。
进一步的,上述检查点查找模块410,可以具体用于:根据控制文件或者配置文件中联机日志文件在本地的存储位置信息查找本地的联机日志文件;在联机日志文件中查找目标检查点标识。
本实施例提供的数据备份装置可适用于上述任意实施例提供的数据备份方法,具备相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图。如图5所示,该设备包括处理器50、存储装置51、通信装置52、输入装置53和输出装置54;设备中处理器50的数量可以是一个或多个,图5中以一个处理器50为例;设备的处理器50、存储装置51、通信装置52、输入装置53和输出装置54可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储装置51作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的数据备份方法对应的模块(例如,用于数据备份装置中的检查点查找模块410、日志接收模块420和数据备份模块430)。处理器50通过运行存储在存储装置51中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的数据备份方法。
存储装置51可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储装置51可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置51可进一步包括相对于处理器50远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信装置52可用于实现设备间网络连接或者移动数据连接。
输入装置53可用于接收输入的数字或字符信息,以及产生与设备上的用户设置以及功能控制有关的键信号输入,例如获取用户的日志位置修改指令。
输出装置54可包括显示屏等显示设备。
本实施例提供的一种设备可用于执行上述任意实施例提供的数据备份方法,具备相应的功能和有益效果。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现上述任意实施例中的数据备份方法。该方法具体可以包括:
在备份数据库文件中查找目标检查点标识,并将目标检查点标识发送给数据库主机,该备份数据库文件预先从数据库主机接收;
从数据库主机接收目标检查点标识之后的事务日志;
根据事务日志更新备份数据库文件,得到新备份数据库文件。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据备份方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述数据备份装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据备份方法,其特征在于,包括:
在备份数据库文件中查找目标检查点标识,并将所述目标检查点标识发送给数据库主机,所述备份数据库文件预先从数据库主机接收;
从所述数据库主机接收所述目标检查点标识之后的事务日志;
根据所述事务日志更新所述备份数据库文件,得到新备份数据库文件。
2.根据权利要求1所述的方法,其特征在于,所述备份数据库文件包括联机日志文件、控制文件、数据文件和配置文件。
3.根据权利要求2所述的方法,其特征在于,从所述数据库主机接收所述目标检查点标识之后的事务日志,包括:
从所述数据库主机接收包含所述目标检查点标识之后的事务日志的归档日志文件,所述事务日志包括操作信息;
根据所述事务日志更新所述备份数据库文件,得到新备份数据库文件,包括:
将所述归档日志文件合并到所述备份数据库文件中;
根据所述操作信息更新所述数据文件,得到新备份数据库文件。
4.根据权利要求2所述的方法,其特征在于,在备份数据库文件中查找目标检查点标识之前,还包括:
接收来自所述数据库主机的备份数据库文件;
获取用户的日志位置修改指令,所述日志位置修改指令包括所述联机日志文件和所述数据文件在本地的存储位置信息;
将所述联机日志文件和所述数据文件在本地的存储位置信息对应写入所述控制文件和配置文件,并根据所述日志位置修改指令将所述备份数据库文件存储到本地。
5.根据权利要求4所述的方法,其特征在于,所述在备份数据库文件中查找目标检查点标识,包括:
根据所述控制文件或者配置文件中所述联机日志文件在本地的存储位置信息查找本地的所述联机日志文件;
在所述联机日志文件中查找所述目标检查点标识。
6.一种数据备份装置,其特征在于,包括:
检查点查找模块,用于在备份数据库文件中查找目标检查点标识,并将所述目标检查点标识发送给数据库主机,所述备份数据库文件预先从数据库主机接收;
日志接收模块,用于从所述数据库主机接收所述目标检查点标识之后的事务日志;
数据备份模块,用于根据所述事务日志更新所述备份数据库文件,得到新备份数据库文件。
7.根据权利要求6所述的装置,其特征在于,所述备份数据库文件包括联机日志文件、控制文件、数据文件和配置文件。
8.根据权利要求7所述的装置,其特征在于,所述日志接收模块具体用于:
从所述数据库主机接收包含所述目标检查点标识之后的事务日志的归档日志文件,所述事务日志包括操作信息;
所述数据备份模块包括:数据库文件更新单元,用于将所述归档日志文件合并到所述备份数据库文件中;数据更新单元,用于根据所述操作信息更新所述数据文件,得到新备份数据库文件。
9.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据备份方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的数据备份方法。
CN201811365678.4A 2018-11-16 2018-11-16 一种数据备份方法、装置、设备和存储介质 Active CN109542682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811365678.4A CN109542682B (zh) 2018-11-16 2018-11-16 一种数据备份方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811365678.4A CN109542682B (zh) 2018-11-16 2018-11-16 一种数据备份方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109542682A true CN109542682A (zh) 2019-03-29
CN109542682B CN109542682B (zh) 2021-03-30

Family

ID=65847724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811365678.4A Active CN109542682B (zh) 2018-11-16 2018-11-16 一种数据备份方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN109542682B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532123A (zh) * 2019-08-30 2019-12-03 北京小米移动软件有限公司 HBase系统的故障转移方法及装置
CN111639132A (zh) * 2020-05-29 2020-09-08 中国联合网络通信集团有限公司 日志同步方法及设备
CN111831475A (zh) * 2019-05-31 2020-10-27 北京嘀嘀无限科技发展有限公司 数据备份方法、装置、节点设备及可读存储介质
CN111858155A (zh) * 2020-06-12 2020-10-30 深圳市大族数控科技有限公司 数据备份方法、系统、设备和介质
CN112035222A (zh) * 2020-07-30 2020-12-04 武汉达梦数据库有限公司 一种基于日志解析同步的事务操作合并执行方法及装置
CN112035057A (zh) * 2020-07-24 2020-12-04 武汉达梦数据库有限公司 一种hive文件合并的方法和装置
CN112256485A (zh) * 2020-10-30 2021-01-22 网易(杭州)网络有限公司 数据备份方法、装置、介质和计算设备
CN117033083A (zh) * 2023-09-28 2023-11-10 武汉吧哒科技股份有限公司 数据备份方法、系统及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071842A1 (en) * 2006-09-20 2008-03-20 Hitachi, Ltd. Database management system to reduce capacity of storage volume
US20100049930A1 (en) * 2008-08-25 2010-02-25 Vmware, Inc. Managing Backups Using Virtual Machines
CN102081611A (zh) * 2009-11-26 2011-06-01 中兴通讯股份有限公司 一种主、备网管系统数据库同步的实现方法及装置
CN104536971A (zh) * 2014-12-02 2015-04-22 北京锐安科技有限公司 一种具备高可用性的数据库
CN104572357A (zh) * 2014-12-30 2015-04-29 清华大学 一种用于hdfs系统的备份和恢复方法
CN106354583A (zh) * 2016-08-30 2017-01-25 广州鼎甲计算机科技有限公司 一种MySQL数据库的热备份方法与系统
CN106407356A (zh) * 2016-09-07 2017-02-15 网易(杭州)网络有限公司 一种数据备份方法及装置
CN107025242A (zh) * 2016-02-02 2017-08-08 南京中兴新软件有限责任公司 数据库间数据的复制方法及装置
CN107066357A (zh) * 2017-05-31 2017-08-18 广州鼎甲计算机科技有限公司 一种数据库合成备份和挂载恢复方法
CN107209704A (zh) * 2014-12-19 2017-09-26 甲骨文国际公司 检测丢失的写入
US20170371751A1 (en) * 2016-06-16 2017-12-28 International Business Machines Corporation Relational database recovery
CN107870829A (zh) * 2016-09-24 2018-04-03 华为技术有限公司 一种分布式数据恢复方法、服务器、相关设备及系统
CN108416040A (zh) * 2018-03-14 2018-08-17 上海达梦数据库有限公司 一种数据库修复方法、装置、终端设备及存储介质
CN108664359A (zh) * 2018-05-23 2018-10-16 上海达梦数据库有限公司 一种数据库恢复方法、装置、设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071842A1 (en) * 2006-09-20 2008-03-20 Hitachi, Ltd. Database management system to reduce capacity of storage volume
US20100049930A1 (en) * 2008-08-25 2010-02-25 Vmware, Inc. Managing Backups Using Virtual Machines
CN102081611A (zh) * 2009-11-26 2011-06-01 中兴通讯股份有限公司 一种主、备网管系统数据库同步的实现方法及装置
CN104536971A (zh) * 2014-12-02 2015-04-22 北京锐安科技有限公司 一种具备高可用性的数据库
CN107209704A (zh) * 2014-12-19 2017-09-26 甲骨文国际公司 检测丢失的写入
CN104572357A (zh) * 2014-12-30 2015-04-29 清华大学 一种用于hdfs系统的备份和恢复方法
CN107025242A (zh) * 2016-02-02 2017-08-08 南京中兴新软件有限责任公司 数据库间数据的复制方法及装置
US20170371751A1 (en) * 2016-06-16 2017-12-28 International Business Machines Corporation Relational database recovery
CN106354583A (zh) * 2016-08-30 2017-01-25 广州鼎甲计算机科技有限公司 一种MySQL数据库的热备份方法与系统
CN106407356A (zh) * 2016-09-07 2017-02-15 网易(杭州)网络有限公司 一种数据备份方法及装置
CN107870829A (zh) * 2016-09-24 2018-04-03 华为技术有限公司 一种分布式数据恢复方法、服务器、相关设备及系统
CN107066357A (zh) * 2017-05-31 2017-08-18 广州鼎甲计算机科技有限公司 一种数据库合成备份和挂载恢复方法
CN108416040A (zh) * 2018-03-14 2018-08-17 上海达梦数据库有限公司 一种数据库修复方法、装置、终端设备及存储介质
CN108664359A (zh) * 2018-05-23 2018-10-16 上海达梦数据库有限公司 一种数据库恢复方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡进: ""达梦嵌入式数据库恢复机制研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831475A (zh) * 2019-05-31 2020-10-27 北京嘀嘀无限科技发展有限公司 数据备份方法、装置、节点设备及可读存储介质
CN110532123A (zh) * 2019-08-30 2019-12-03 北京小米移动软件有限公司 HBase系统的故障转移方法及装置
CN110532123B (zh) * 2019-08-30 2023-08-04 北京小米移动软件有限公司 HBase系统的故障转移方法及装置
CN111639132B (zh) * 2020-05-29 2023-06-06 中国联合网络通信集团有限公司 日志同步方法及设备
CN111639132A (zh) * 2020-05-29 2020-09-08 中国联合网络通信集团有限公司 日志同步方法及设备
CN111858155A (zh) * 2020-06-12 2020-10-30 深圳市大族数控科技有限公司 数据备份方法、系统、设备和介质
CN112035057B (zh) * 2020-07-24 2022-06-21 武汉达梦数据库股份有限公司 一种hive文件合并的方法和装置
CN112035057A (zh) * 2020-07-24 2020-12-04 武汉达梦数据库有限公司 一种hive文件合并的方法和装置
CN112035222B (zh) * 2020-07-30 2022-04-19 武汉达梦数据库股份有限公司 一种基于日志解析同步的事务操作合并执行方法及装置
CN112035222A (zh) * 2020-07-30 2020-12-04 武汉达梦数据库有限公司 一种基于日志解析同步的事务操作合并执行方法及装置
CN112256485A (zh) * 2020-10-30 2021-01-22 网易(杭州)网络有限公司 数据备份方法、装置、介质和计算设备
CN112256485B (zh) * 2020-10-30 2023-08-04 网易(杭州)网络有限公司 数据备份方法、装置、介质和计算设备
CN117033083A (zh) * 2023-09-28 2023-11-10 武汉吧哒科技股份有限公司 数据备份方法、系统及存储介质
CN117033083B (zh) * 2023-09-28 2024-01-19 武汉吧哒科技股份有限公司 数据备份方法、系统及存储介质

Also Published As

Publication number Publication date
CN109542682B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN109542682A (zh) 一种数据备份方法、装置、设备和存储介质
US5613113A (en) Consistent recreation of events from activity logs
US7774565B2 (en) Methods and apparatus for point in time data access and recovery
JP6553822B2 (ja) 分散システムにおける範囲の分割および移動
US7987158B2 (en) Method, system and article of manufacture for metadata replication and restoration
JP4859605B2 (ja) 情報処理システム
US8250033B1 (en) Replication of a data set using differential snapshots
US7107294B2 (en) Method and apparatus for interrupting updates to a database to provide read-only access
US7698319B2 (en) Database system management method, database system, database device, and backup program
US9396198B2 (en) Computer system, file management method and metadata server
US7640276B2 (en) Backup system, program and backup method
JPS62297950A (ja) デ−タ・システムのジャ−ナリング方法
JPS633341B2 (zh)
US20060200500A1 (en) Method of efficiently recovering database
CN105574187A (zh) 一种异构数据库复制事务一致性保障方法及系统
CN107665219B (zh) 一种日志管理方法及装置
CN105988895B (zh) 快照处理方法及装置
US20170371916A1 (en) Database management device, database management method, and storage medium
US6944635B2 (en) Method for file deletion and recovery against system failures in database management system
CN102667720A (zh) 没有排序依赖的一致性
JP2006018796A (ja) データ処理方法および装置並びにストレージ装置およびその処理プログラム
CN100594480C (zh) 复制设备、复制方法和块标识数据获取方法
CN111143323A (zh) Mpp数据库管理方法、装置及系统
JP2008033527A (ja) ストレージ装置、ディスク装置及びデータ復元方法
US8677088B1 (en) Systems and methods for recovering primary sites after failovers to remote secondary sites

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant