CN114461445A - 数据恢复方法及装置、电子设备、计算机可读存储介质 - Google Patents

数据恢复方法及装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN114461445A
CN114461445A CN202111581990.9A CN202111581990A CN114461445A CN 114461445 A CN114461445 A CN 114461445A CN 202111581990 A CN202111581990 A CN 202111581990A CN 114461445 A CN114461445 A CN 114461445A
Authority
CN
China
Prior art keywords
data
recovery
node
database
marked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111581990.9A
Other languages
English (en)
Inventor
郑惠祥
陈金曈
陈超
梁庆聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Cloud Technology Co Ltd
Original Assignee
Tianyi Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Cloud Technology Co Ltd filed Critical Tianyi Cloud Technology Co Ltd
Priority to CN202111581990.9A priority Critical patent/CN114461445A/zh
Publication of CN114461445A publication Critical patent/CN114461445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据恢复方法及装置、电子设备、计算机可读存储介质,该数据恢复方法包括:获取数据恢复节点和所述数据恢复节点后未被标记的操作语句;执行所述未被标记的操作语句,确定第一恢复数据;获取所述数据恢复节点前的历史恢复数据;利用所述第一恢复数据和所述历史恢复数据对数据库进行恢复。本发明在恢复数据时只需要执行一遍历史恢复数据的全量恢复,剩下按照顺序执行历史操作语句,数据恢复过程简单易用,并可以大大降低硬件消耗,提高了整体的恢复效率。

Description

数据恢复方法及装置、电子设备、计算机可读存储介质
技术领域
本发明涉及数据库备份恢复技术领域,具体涉及一种数据恢复方法及装置、电子设备、计算机可读存储介质。
背景技术
现如今是一个数据大爆炸的时代,数据是一种资产,它的重要性不言而喻,那么如何保护这部分资产也显得非常的重要。在现实生产环境中,最常用的保存数据资产的方法就是存储在数据库中,以防数据丢失或者磁盘损坏等各种不可预知的问题出现,做备份是一种常用手段,作为配对出现的恢复操作也一样显得格外必要。但是,市面上能找到数据库备份恢复的产品复杂难用,专业性强,且数据恢复效果一般。
发明内容
因此,本发明要解决的技术问题在于数据库备份恢复的产品复杂难用且数据恢复效果一般,从而提供一种数据恢复方法及装置、电子设备、计算机可读存储介质。
根据第一方面,本发明实施例公开了一种数据恢复方法,该方法包括:获取数据恢复节点和所述数据恢复节点后未被标记的操作语句;执行所述未被标记的操作语句,确定第一恢复数据;获取所述数据恢复节点前的历史恢复数据;利用所述第一恢复数据和所述历史恢复数据对数据库进行恢复。
可选地,所述获取所述数据恢复节点后未被标记的操作语句,包括:当需要数据恢复时,根据所述数据恢复节点,确定所述数据恢复节点后的操作语句;根据所述数据恢复节点后的操作语句,确定未被标记的操作语句。
可选地,所述根据所述数据恢复节点后的操作语句,确定未被标记的操作语句,包括:当所述操作语句为无效语句时,对所述操作语句进行标记;根据所述操作语句的标记状态,确定没有标记的操作语句为未被标记的操作语句。
可选地,所述利用所述第一恢复数据和所述历史恢复数据对数据库进行恢复,包括:利用所述第一恢复数据和所述历史恢复数据对所述数据库的原数据进行覆盖,确定新的数据库数据,实现对所述数据库的恢复。
可选地,所述数据恢复方法,还包括:获取数据备份节点;将所述数据备份节点前的数据存储至预设的信息树中。
可选的,所述将所述数据备份节点前的数据存储至预设的信息树中,包括:对所述数据备份节点前的数据进行解析,确定所述数据的数据操纵语言、数据定义语言和数据控制语言;将所述数据的数据操纵语言、数据定义语言和数据控制语言存储至预设的信息树中。
可选的,所述获取数据恢复节点和所述数据恢复节点后未被标记的操作语句,包括:从所述数据备份节点中选择数据恢复节点;从预设的信息树中提取所述数据恢复节点后未被标记的操作语句。
根据第二方面,本发明实施例还公开了一种数据恢复装置,该装置包括:第一获取模块,用于获取数据恢复节点和所述数据恢复节点后未被标记的操作语句;确定模块,用于执行所述未被标记的操作语句,确定第一恢复数据;第二获取模块,用于获取所述数据恢复节点前的历史恢复数据;恢复模块,用于利用所述第一恢复数据和所述历史恢复数据对数据库进行恢复。
根据第三方面,本发明实施例还公开了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式任一所述的数据恢复方法的步骤。
根据第四方面,本发明实施方式还公开了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的数据恢复方法的步骤。
本发明技术方案,具有如下优点:
本发明提供的数据恢复方法,通过获取数据恢复节点和数据恢复节点后未被标记的操作语句,进而执行未被标记的操作语句得到第一恢复数据,再获取数据恢复节点前的历史恢复数据,由第一恢复数据和历史恢复数据组成总的恢复数据对数据库进行恢复。本发明在恢复数据时只需要执行一遍历史恢复数据的全量恢复,剩下按照顺序执行历史操作语句,数据恢复过程简单易用,并可以大大降低硬件消耗,提高了整体的恢复效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中数据恢复方法的一个流程示意图;
图2为本发明实施例中基于备忘录模式的备份恢复操作装置的一个结构示意图;
图3为本发明实施例中数据恢复方法的一个具体流程图;
图4为本发明实施例中数据恢复程序的一个程序示意图;
图5为本发明实施例中数据恢复方法的另一个具体流程图;
图6为本发明实施例中数据恢复装置的一个结构示意图;
图7为本发明实施例中电子设备的一个具体示例图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通,可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,在本申请说明书和所附权利要求书中使用的术语“及/和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例公开了一种数据恢复方法,如图3所示,该方法包括如下步骤:
步骤101,获取数据恢复节点和所述数据恢复节点后未被标记的操作语句。
进一步的,对数据库进行数据恢复前,会对该数据库进行数据备份,通过创建备份任务,当创建成功后,数据备份程序会立即从日志文件中获取最新的gtid(全局事务标识符),进而在该gtid点做一次全局备份,将在该gtid点之前的数据库的所有数据进行备份,进而将对应的备份数据存储至基于备忘录模式预设的信息树中。其中,将对应的备份数据进行存储是通过将数据的数据操纵语言、数据定义语言和数据控制语言存储至预设的信息树中。在需要对数据库进行恢复时,可以从对应的数据备份节点gtid中选择数据恢复节点,同时可以在预设的信息树中,提取对应的数据库操作语句。
具体的,当需要进行数据恢复时,根据数据恢复节点,确定数据恢复节点后的操作语句,进而对数据恢复节点后的操作语句进行筛选标记,当操作语句为需要跳过的操作语句,即无效语句时,对该操作语句进行标记,待对所有操作语句进行筛选标记后,得到数据恢复节点后未被标记的操作语句。
步骤102,执行所述未被标记的操作语句,确定第一恢复数据。
具体的,通过执行所有在数据恢复节点后未被标记的操作语句,得到在数据恢复节点后的第一恢复数据。
例如,在数据库遇到异常时,向用户展示所有捕获的状态,使得用户直观查看备忘录历史,进而由用户标记无需执行的操作语句,通过启动数据恢复任务,将所有未被标记的操作语句按照顺序执行一遍,实现多次增量备份。本发明在恢复数据时由于只需要执行一遍全量恢复,剩下按照顺序执行历史操作语句,大大降低硬件消耗,提高了整体的恢复效率。
步骤103,获取所述数据恢复节点前的历史恢复数据。
步骤104,利用所述第一恢复数据和所述历史恢复数据对数据库进行恢复。
具体的,在确定了数据恢复节点之后,获取数据恢复节点前已经备份好的全部历史恢复数据,进而利用第一恢复数据和历史恢复数据对数据库的原数据进行覆盖,得到新的数据库数据,实现对所述数据库的恢复。
示例性的,作为本发明的一种可选实施方式,如图2所示,本发明还提供了一种基于备忘录模式的备份恢复操作装置,可以在不破坏数据库正常数据操作的前提下,捕获某一时刻的数据库状态,并在该数据库之外保存着这个状态,即为备忘录,接着在备份任务对应的显示装置展示所有捕获的状态,用户通过标记选择一次或多次状态作为排除对象,由该装置实现将数据库的状态依次恢复。该装置主要包括数据源管理模块、存储管理模块、备份任务管理模块以及恢复任务管理模块。其中,数据源管理模块用于管理需要做备份的数据源、存储管理模块用于管理备忘录存储的服务器及其目录、备份任务管理模块用于管理备份任务的启停及数据库备份状态的展示、恢复任务管理模块用于管理恢复任务的启停及数据库恢复状态的监控。
进一步的,如图3所示,在进行数据备份恢复时,用户可以在存储管理模块进行注册作为备忘录存储的服务器,在数据源管理模块注册需要做备份的数据源,选择备份文件存储的服务器及其目录。在确定备忘录存储的服务器并选择好需要备份文件存储的服务器和目录之后,用户开始创建备份任务,备份任务创建成功之后,数据备份程序会立即从二进制日志文件里读取最新的位点gtid,记作数据备份节点A,并将数据备份节点A前的全部数据进行一次全量备份,通过将数据备份节点A前数据的数据操纵语言dml、数据定义语言ddl以及数据控制语言dcl解析出来记录到基于备忘录模式预设的信息树中,实时在备份任务对应的显示装置以备忘录历史的形式展示出来。当数据库出现异常状态,需要把数据恢复的时候,如图4所示为程序使用界面的预览图,用户可以在程序使用界面直观的查看备忘录中备份的历史数据,找到需要跳过的无效的操作语句,依次点击标记按钮进行标记,待做完标记后,点击启动恢复按钮,就会基于全量备份把所有未被做记号的操作语句执行一遍,实现数据库的动态恢复。这样基于备忘录模式的数据备份恢复操作可以通过操作备忘录历史实现数据恢复,直观易用。数据库在进行数据恢复时,通过执行数据备份节点后的全部操作语句,数据备份恢复可靠性高,灵活性好,复原度可达100%,本发明在恢复数据时由于只需要执行一遍全量恢复,剩下按照顺序执行历史操作语句,大大降低硬件消耗,提高了整体的恢复效率。对于备忘录的创建和管理,如图5所示,由发起人创建一个备忘录,用以记录当前时刻发起人选定的服务器数据库的内部状态,并可使用备忘录恢复数据库的内部状态,备忘录用于负责存储发起人选定的服务器数据库的内部状态,并可防止除发起人以外的其他对象访问备忘录,管理者主要负责保存好备忘录的内容,但是管理者不能对备忘录的内容进行操作或检查。这样可以保证只有发起人才能进行数据备份和恢复,并由专门的管理者对被备忘录内容进行存储管理,保护数据更加的安全。
本发明实施例还公开了一种数据恢复装置,如图6所示,该装置包括:
第一获取模块61,用于获取数据恢复节点和所述数据恢复节点后未被标记的操作语句,详细内容参考步骤101所述;
确定模块62,用于执行所述未被标记的操作语句,确定第一恢复数据,详细内容参考步骤102所述;
第二获取模块63,用于获取所述数据恢复节点前的历史恢复数据,详细内容参考步骤103所述;
恢复模块64,用于利用所述第一恢复数据和所述历史恢复数据对数据库进行恢复,详细内容参考步骤104所述。
本发明实施例还提供了一种电子设备,如图7所示,该电子设备包括:处理器701和存储器702,其中处理器701和存储器702可以通过总线或者其他方式连接,图7中以通过总线连接为例;处理器701可以为中央处理器(Central Processing Unit,CPU)。处理器701还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器702作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的数据恢复方法对应的程序指令/模块。处理器701通过运行存储在存储器702中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的数据恢复方法。
存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器701所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至处理器701。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器702中,当被所述处理器701执行时,执行如图1-5所示实施例中的数据恢复方法。
上述数据恢复系统具体细节可以对应参阅图1-5所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(RandomAccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种数据恢复方法,其特征在于,包括:
获取数据恢复节点和所述数据恢复节点后未被标记的操作语句;
执行所述未被标记的操作语句,确定第一恢复数据;
获取所述数据恢复节点前的历史恢复数据;
利用所述第一恢复数据和所述历史恢复数据对数据库进行恢复。
2.根据权利要求1所述的方法,其特征在于,所述获取所述数据恢复节点后未被标记的操作语句,包括:
当需要数据恢复时,根据所述数据恢复节点,确定所述数据恢复节点后的操作语句;
根据所述数据恢复节点后的操作语句,确定未被标记的操作语句。
3.根据权利要求2所述的方法,其特征在于,所述根据所述数据恢复节点后的操作语句,确定未被标记的操作语句,包括:
当所述操作语句为无效语句时,对所述操作语句进行标记;
根据所述操作语句的标记状态,确定没有标记的操作语句为未被标记的操作语句。
4.根据权利要求1所述的方法,其特征在于,所述利用所述第一恢复数据和所述历史恢复数据对数据库进行恢复,包括:
利用所述第一恢复数据和所述历史恢复数据对所述数据库的原数据进行覆盖,确定新的数据库数据,实现对所述数据库的恢复。
5.根据权利要求1所述的方法,其特征在于,还包括:
获取数据备份节点;
将所述数据备份节点前的数据存储至预设的信息树中。
6.根据权利要求5所述的方法,其特征在于,所述将所述数据备份节点前的数据存储至预设的信息树中,包括:
对所述数据备份节点前的数据进行解析,确定所述数据的数据操纵语言、数据定义语言和数据控制语言;
将所述数据的数据操纵语言、数据定义语言和数据控制语言存储至预设的信息树中。
7.根据权利要求5所述的方法,其特征在于,所述获取数据恢复节点和所述数据恢复节点后未被标记的操作语句,包括:
从所述数据备份节点中选择数据恢复节点;
从预设的信息树中提取所述数据恢复节点后未被标记的操作语句。
8.一种数据恢复装置,其特征在于,包括:
第一获取模块,用于获取数据恢复节点和所述数据恢复节点后未被标记的操作语句;
确定模块,用于执行所述未被标记的操作语句,确定第一恢复数据;
第二获取模块,用于获取所述数据恢复节点前的历史恢复数据;
恢复模块,用于利用所述第一恢复数据和所述历史恢复数据对数据库进行恢复。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-7任一数据恢复方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一数据恢复方法的步骤。
CN202111581990.9A 2021-12-22 2021-12-22 数据恢复方法及装置、电子设备、计算机可读存储介质 Pending CN114461445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111581990.9A CN114461445A (zh) 2021-12-22 2021-12-22 数据恢复方法及装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111581990.9A CN114461445A (zh) 2021-12-22 2021-12-22 数据恢复方法及装置、电子设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114461445A true CN114461445A (zh) 2022-05-10

Family

ID=81405935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111581990.9A Pending CN114461445A (zh) 2021-12-22 2021-12-22 数据恢复方法及装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114461445A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116010430A (zh) * 2023-03-24 2023-04-25 杭州趣链科技有限公司 数据恢复方法、数据库系统、计算机设备和存储介质
CN116467037A (zh) * 2023-06-09 2023-07-21 成都融见软件科技有限公司 一种图形用户界面工作状态的恢复方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116010430A (zh) * 2023-03-24 2023-04-25 杭州趣链科技有限公司 数据恢复方法、数据库系统、计算机设备和存储介质
CN116467037A (zh) * 2023-06-09 2023-07-21 成都融见软件科技有限公司 一种图形用户界面工作状态的恢复方法
CN116467037B (zh) * 2023-06-09 2023-09-22 成都融见软件科技有限公司 一种图形用户界面工作状态的恢复方法

Similar Documents

Publication Publication Date Title
CN114461445A (zh) 数据恢复方法及装置、电子设备、计算机可读存储介质
WO2017076188A1 (zh) 一种用于处理服务调用信息的方法与设备
CN109542529B (zh) 基于函数名称的埋点方法、装置、计算机设备及存储介质
CN106569920B (zh) 数据库备份方法及装置
CN106843912B (zh) 页面信息获取方法及装置
CN112148700A (zh) 日志数据处理方法、装置、计算机设备和存储介质
CN109462507B (zh) 配置更新方法、装置、系统及电子设备
US10114731B2 (en) Including kernel object information in a user dump
CN115480987A (zh) 链路数据展示方法、装置和计算机设备
CN111737137A (zh) 接口测试数据生成方法、装置、主机及存储介质
CN112416957A (zh) 基于数据模型层的数据增量更新方法、装置及计算机设备
WO2019005294A1 (en) RECOVERING APPLICATION FOLLOWING AN ERROR
CN113672306B (zh) 服务器组件自检异常恢复方法、装置、系统及介质
CN113918437A (zh) 用户行为数据分析方法、装置、计算机设备和存储介质
CN110908840B (zh) 一种还原bak备份文件的方法、装置、设备及存储介质
CN112835779A (zh) 测试用例确定方法、装置、计算机设备
CN116680055A (zh) 一种异步任务处理方法、装置、计算机设备及存储介质
CN115827383A (zh) 数据异常监测方法和装置
CN115827379A (zh) 异常进程检测方法、装置、设备和介质
CN115269252A (zh) 应用程序故障处理方法、装置、设备及存储介质
CN111522570B (zh) 目标库更新方法、装置、电子设备及机器可读存储介质
CN112035721A (zh) 一种爬虫集群监控方法、装置、存储介质及计算机设备
CN111177241A (zh) 一种数据处理方法、装置、系统、电子设备及其存储介质
CN104657392B (zh) 一种实现检索异常还原的方法及装置
CN111240956A (zh) 内存泄漏监测方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination