CN110851323A - 数据备份方法、装置及电子设备 - Google Patents

数据备份方法、装置及电子设备 Download PDF

Info

Publication number
CN110851323A
CN110851323A CN201911015814.1A CN201911015814A CN110851323A CN 110851323 A CN110851323 A CN 110851323A CN 201911015814 A CN201911015814 A CN 201911015814A CN 110851323 A CN110851323 A CN 110851323A
Authority
CN
China
Prior art keywords
backup
information
data
metadata
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911015814.1A
Other languages
English (en)
Inventor
武林志
吴峰
郭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yidianshikong Network Co Ltd
Original Assignee
Shanghai Yidianshikong Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yidianshikong Network Co Ltd filed Critical Shanghai Yidianshikong Network Co Ltd
Priority to CN201911015814.1A priority Critical patent/CN110851323A/zh
Publication of CN110851323A publication Critical patent/CN110851323A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据备份监测方法、装置及电子设备，其中方法包括：获取备份数据的元数据；基于所述元数据识别所述备份数据的第一备份信息，所述第一备份信息包括备份时间信息和主库属性信息；基于数据库登记的业务信息，将所述第一备份信息备份至所述数据库的备份库内；基于所述备份库内的第一备份信息生成所述备份数据的监测信息。可以监测并记录到每个备份数据的备份时间段，备份主库属性，以方便做后续的增量备份及恢复操作；可以根据监测是否成功来判断业务数据库是否备份完整；可以根据监测备份的时间段的管理办法来排除业务质量是否受备份影响。

Description

数据备份方法、装置及电子设备
技术领域
本申请涉及数据备份技术领域，具体而言，涉及一种数据备份方法、装置及电子设备。
背景技术
业界普遍采用的是2种备份方案，逻辑备份和物理备份。其中逻辑备份的工具也比较多，通常采用了其中的一种逻辑备份工具mydumper备份。业界监测备份是否成功只看备份过程是否报错、备份完成后生成的文件是否有备份结束标志。然而，上述讲到的方法能保障监测数据备份成功，但是无法对备份的过程以及结果进行回溯、监测。
发明内容
本申请的主要目的在于提供一种数据备份方法以实现对备份的过程以及结果进行回溯、监测。
根据第一方面，本发明实施例提供了数据备份监测方法，包括：获取备份数据的元数据；基于所述元数据识别所述备份数据的第一备份信息，所述第一备份信息包括备份时间信息和主库属性信息；基于数据库登记的业务信息，将所述第一备份信息备份至所述数据库的备份库内；基于所述备份库内的第一备份信息生成所述备份数据的监测信息。
可选地，所述备份时间信息包括，备份起始时间和备份结束时间；所述主库属性信息包括：主库IP信息、主库binlog名称信息、主库binlog位置信息。
可选地，在所述获取所述备份数据的元数据之前包括：判断是存在所述备份数据；当存在所述备份数据时，在所述备份数据中解析与所述备份数据对应的元数据；判断所述元数据是否存在，当存在所述元数据时，进入所述获取备份数据的元数据的步骤。
可选地，当不存在所述备份数据或当不存在所述元数据时，生成第二备份信息，所述第二备份信息包括备份失败信息；基于所述数据库登记的业务信息，将所述第二备份信息备份至所述数据库的备份库内。
可选地，在所述获取备份数据的元数据和所述基于所述元数据识别所述备份数据的第一备份信息之间包括：判断所述元数据中是否存在结束备份标识；当存在所述结束备份标识时，进入步骤基于所述元数据识别所述备份数据的第一备份信息。
可选地，当不勋在所述结束备份标识时，生成第三备份信息，所述第三备份信息包括备份缺失信息；基于所述数据库登记的业务信息，将所述第三备份信息备份至所述数据库的备份库内。
可选地，所述基于所述备份库内的第一备份信息生成所述备份数据的监测信息包括：基于所述第一备份信息、第二备份信息和第三备份信息生成所述备份数据的监测信息。
根据第二方面，本发明实施例提供了一种数据备份监测装置，包括：获取单元，用于获取备份数据的元数据；识别单元，用于基于所述元数据识别所述备份数据的第一备份信息，所述第一备份信息包括备份时间信息和主库属性信息；备份单元，用于基于数据库登记的业务信息，将所述第一备份信息备份至所述数据库的备份库内；监测单元，用于基于所述备份库内的第一备份信息生成所述备份数据的监测信息。
根据第三方面，本发明实施例提供了一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如上述第一方面任意一项所述的数据备份监测方法。
根据第三方面，本发明实施例提供了一种非暂态存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如上述第一方面任一项所述的数据备份监测方法。
本发明具有如下有益效果：
获取备份数据的元数据；基于所述元数据识别所述备份数据的第一备份信息，所述第一备份信息包括备份时间信息和主库属性信息；基于数据库登记的业务信息，将所述第一备份信息备份至所述数据库的备份库内；基于所述备份库内的第一备份信息生成所述备份数据的监测信息。可以监测并记录到每个备份数据的备份时间段，备份主库属性，以方便做后续的增量备份及恢复操作；可以根据监测是否成功来判断业务数据库是否备份完整；可以根据监测备份的时间段的管理办法来排除业务质量是否受备份影响。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的备份数据监测方法流程示意图；
图2是根据本申请实施例的备份数据监测装置的示意图；
图3是根据本申请实施例的电子设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
正如背景技术所述，通常采用了其中的一种逻辑备份工具mydumper备份。业界监测备份是否成功只看备份过程是否报错、备份完成后生成的文件是否有备份结束标志。但通常备份不会结合业务和binlog日志时间点去监测备份成功的方式，导致后续无法对备份数据进行回溯和监测。具体的，如图1所示，该方法可以包括：
S10.获取备份数据的元数据。作为示例性的实施例，所称备份数据的元数据用于描述备份数据的属性的信息，用来指示存储位置、历史数据、资源查找、文件记录等。在本实施例中，元数据可以为一种电子式目录。作为示例性的实施例，在获取元数据之前，需要确认备份数据是否存在，具体的，判断是存在所述备份数据；当存在所述备份数据时，在所述备份数据中解析与所述备份数据对应的元数据。当不存在所述备份数据时，生成第二备份信息，所述第二备份信息包括备份失败信息。具体的，首先是获取备份数据是否存在，如果不存在，则直接将该备份业务或者备份实例的备份数据库写回数据库，数据库中记录的是该业务或实例备份失败的信息。备份数据存在的前提下，验证备份数据夹中是否存在元数据。具体的，可以对备份数据进行解析，监测是否存在对应的元数据，当元数据存在时，判断所述元数据中是否存在结束备份标识；当存在所述结束备份标识时，进入步骤S20。当不存在元数据时，生成第二备份信息，所述第二备份信息包括备份失败信息。即当不存在所述备份数据或当不存在所述元数据时，生成备份失败信息。并将所述备份失败信息备份至数据库的备份库内。
S20.基于所述元数据识别所述备份数据的第一备份信息，所述第一备份信息包括备份时间信息和主库属性信息。作为示例性的实施例，在确认元数据存在后，可以先判断所述元数据中是否存在结束备份标识，当存在所述结束备份标识时，表示已经完成备份，则解析元数据，得到备份起始时间和备份结束时间等备份时间信息以及库IP信息、主库binlog名称信息、主库binlog位置信息等主库属性信息并记录下来。当元数据不存在所述结束备份标识时，生成第三备份信息，所述第三备份信息包括备份缺失信息；基于所述数据库登记的业务信息，将所述第三备份信息备份至所述数据库的备份库内。
S30.基于数据库登记的业务信息，将所述第一备份信息备份至所述数据库的备份库内。在本实施例中，所称数据可登记的业务信息可以包括数据库的备份IP信息。可以根据数据库的备份IP信息将第一备份信息例如备份起始时间和备份结束时间等备份时间信息以及库IP信息、主库binlog名称信息、主库binlog位置信息等主库属性信息存储至备份库中，还可以将备份失败信息等第二备份信息和备份缺失信息等第三备份信息备份至所述数据库的备份库内。具体的，由于是由于存在有备份ip信息，然后去找备份数据，所以结合备份ip信息从数据库中查找到业务名称，负责人等信息，再计算备份文件大小，通过程序逻辑写入到数据库中的备份任务表。
S40.基于所述备份库内的第一备份信息生成所述备份数据的监测信息。基于所述第一备份信息、第二备份信息和第三备份信息生成所述备份数据的监测信息。例如，可以读取第一备份信息、第二备份信息和第三备份信息生成监测信息，该监测信息可以存储也可以生成报告推送至相应的人员进行监测。
作为示例性的实施例，本发明通过解析备份的元数据文件的内容，识别出主库属性，例如主库的binlog名称和位置，以及备份开始时间，结束时间，结合数据库登记的业务信息，将所有备份内容写入数据库中，然后以报告的方式推送，可以完整监测数据库备份的信息。其中表1示出了备份监测报告的可行的实施方式之一：
表1
下面将描述数据备份监测的完成过程：首先是某业务的获取备份数据是否存在，如果不存在，则直接将该业务或者实例数据库写回数据库，数据库中记录的是该业务数据库备份失败的信息。数据备份文件存在的前提下，验证备份文件夹中是否存在元数据文件，并解析元数据文件中的字符是否有结束备份标识,该字符代表已经完成备份。若验证结束备份标识不存在，则表示备份不成功，或者部分成功，将该备份缺失信息写入到数据库中。若验证结束备份标识存在，解析元数据文件，将开始时间、结束时间、主库IP、主库binlog名称、主库binlog位置记录下来。由于事先有备份ip信息，然后再去找备份数据，所以结合备份ip信息从数据库中查找到业务名称，负责人等信息，再计算备份文件大小，写入到数据库中的备份任务表。读取完整的数据信息后以报告形式进行推送。可以完整监测数据库备份的信息。
本实施了提供了一种数据备份装置，如图2所示，该装置可以包括：获取单元10，用于获取备份数据的元数据；识别单元20，用于基于所述元数据识别所述备份数据的第一备份信息，所述第一备份信息包括备份时间信息和主库属性信息；备份单元30，用于基于数据库登记的业务信息，将所述第一备份信息备份至所述数据库的备份库内；监测单元40，用于基于所述备份库内的第一备份信息生成所述备份数据的监测信息。
本发明实施例提供了一种电子设备，该电子设备可以为服务器，具体的可以参见图3，该电子设备可以包括处理器11和存储器12，其中处理器11和存储器12可以通过总线或者其他方式连接，图3中以通过总线连接为例。
处理器11可以为中央处理器(Central Processing Unit，CPU)。处理器11还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器12作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的容器镜像的管理、使用或构建方法所对应的程序指令/模块。处理器11通过运行存储在存储器12中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的数据备份监测方法。
存储器12可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器11所创建的数据等。此外，存储器12可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器12可选包括相对于处理器11远程设置的存储器，这些远程存储器可以通过网络连接至处理器11。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器12中，当被处理器11执行时，执行上述方法实施例中的数据备份监测方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据备份监测方法，其特征在于，包括
获取备份数据的元数据；
基于所述元数据识别所述备份数据的第一备份信息，所述第一备份信息包括备份时间信息和主库属性信息；
基于数据库登记的业务信息，将所述第一备份信息备份至所述数据库的备份库内；
基于所述备份库内的第一备份信息生成所述备份数据的监测信息。
2.如权利要求1所述的数据备份监测方法，其特征在于，
所述备份时间信息包括，备份起始时间和备份结束时间；
所述主库属性信息包括：主库IP信息、主库binlog名称信息、主库binlog位置信息。
3.如权利要求1或2所述的数据备份监测方法，其特征在于，在所述获取所述备份数据的元数据之前包括：
判断是存在所述备份数据；
当存在所述备份数据时，在所述备份数据中解析与所述备份数据对应的元数据；
判断所述元数据是否存在，
当存在所述元数据时，进入所述获取备份数据的元数据的步骤。
4.如权利要求3所述的数据备份方法，其特征在于，
当不存在所述备份数据或当不存在所述元数据时，生成第二备份信息，所述第二备份信息包括备份失败信息；
基于所述数据库登记的业务信息，将所述第二备份信息备份至所述数据库的备份库内。
5.如权利要求4所述的数据备份方法，其特征在于，在所述获取备份数据的元数据和所述基于所述元数据识别所述备份数据的第一备份信息之间包括：
判断所述元数据中是否存在结束备份标识；
当存在所述结束备份标识时，进入步骤基于所述元数据识别所述备份数据的第一备份信息。
6.如权利要求5所述的数据备份方法，其特征在于，
当不存在所述结束备份标识时，生成第三备份信息，所述第三备份信息包括备份缺失信息；
基于所述数据库登记的业务信息，将所述第三备份信息备份至所述数据库的备份库内。
7.如权利要求6所述的数据备份方法，其特征在于，
所述基于所述备份库内的第一备份信息生成所述备份数据的监测信息包括：
基于所述第一备份信息、第二备份信息和第三备份信息生成所述备份数据的监测信息。
8.一种数据备份装置，其特征在于，包括：
获取单元，用于获取备份数据的元数据；
识别单元，用于基于所述元数据识别所述备份数据的第一备份信息，所述第一备份信息包括备份时间信息和主库属性信息；
备份单元，用于基于数据库登记的业务信息，将所述第一备份信息备份至所述数据库的备份库内；
监测单元，用于基于所述备份库内的第一备份信息生成所述备份数据的监测信息。
9.一种电子设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-7任意一项所述的数据备份监测方法。
10.一种非暂态存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-7任一项所述的数据备份监测方法。
CN201911015814.1A 2019-10-23 2019-10-23 数据备份方法、装置及电子设备 Withdrawn CN110851323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911015814.1A CN110851323A (zh) 2019-10-23 2019-10-23 数据备份方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911015814.1A CN110851323A (zh) 2019-10-23 2019-10-23 数据备份方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN110851323A true CN110851323A (zh) 2020-02-28

Family

ID=69597977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911015814.1A Withdrawn CN110851323A (zh) 2019-10-23 2019-10-23 数据备份方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110851323A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831661A (zh) * 2020-07-20 2020-10-27 江苏云柜网络技术有限公司 一种基于快递业务逻辑的数据库归档方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831661A (zh) * 2020-07-20 2020-10-27 江苏云柜网络技术有限公司 一种基于快递业务逻辑的数据库归档方法

Similar Documents

Publication Publication Date Title
US10621211B2 (en) Language tag management on international data storage
CN107122296B (zh) 用于测试接口的数据断言的方法及设备
CN109360065B (zh) 一种脚本执行方法及装置
US7913233B2 (en) Performance analyzer
CN107092535B (zh) 用于测试接口的数据存储的方法及设备
CN108512726B (zh) 一种数据监控的方法及设备
CN111258850B (zh) 一种基于Linux系统的更新软件信息的方法及装置
CN113138757B (zh) 前端代码自动生成方法、装置、服务器、系统及介质
CN110063042A (zh) 一种数据库故障的响应方法及其终端
CN110134538B (zh) 快速定位问题日志的方法、装置、介质和电子设备
CN109284331B (zh) 基于业务数据资源的制证信息获取方法、终端设备及介质
CN112540808A (zh) 一种程序行为层级调用关系的记录方法及相关设备
CN110851323A (zh) 数据备份方法、装置及电子设备
CN113987393A (zh) 一种网页操作记录器、系统、装置及方法
CN111435327B (zh) 一种日志记录的处理方法、装置及系统
CN113934617A (zh) 一种数据处理方法、装置、设备和存储介质
CN109284833B (zh) 为机器学习模型获取特征数据的方法、设备和存储介质
CN111444101A (zh) 自动创建产品测试缺陷的方法及装置
CN111400128A (zh) 日志管理方法、装置、计算机设备及存储介质
CN107092671B (zh) 一种元信息管理的方法及设备
CN106708541A (zh) 版本升级处理方法及装置
CN112988776B (zh) 文本解析规则的更新方法、装置、设备及可读存储介质
CN111737223B (zh) 一种文件拷贝方法、装置、设备及存储介质
CN113157528A (zh) 一种基于大数据服务云的作业变动监控方法及装置
CN112363944A (zh) 一种用于多环境接口返回值对比的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200228