CN106708663A - 一种数据库自动备份方法及装置 - Google Patents

一种数据库自动备份方法及装置 Download PDF

Info

Publication number
CN106708663A
CN106708663A CN201611169584.0A CN201611169584A CN106708663A CN 106708663 A CN106708663 A CN 106708663A CN 201611169584 A CN201611169584 A CN 201611169584A CN 106708663 A CN106708663 A CN 106708663A
Authority
CN
China
Prior art keywords
database
data
backup
change
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611169584.0A
Other languages
English (en)
Inventor
高宁
杜彦魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201611169584.0A priority Critical patent/CN106708663A/zh
Publication of CN106708663A publication Critical patent/CN106708663A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore

Abstract

本发明涉及数据库备份技术领域，公开了一种数据库自动备份方法及装置，克服了现有技术中，数据库备份过程中定时备份对某时间段内数据增量大，导致备份不及时，丢失大量数据的问题。该发明包括监测数据库中数据的变化；判断数据变化量是否达到阈值；对达到阈值后的数据库进行备份。监测数据库中数据的变化之前，还对数据库进行完全备份。对达到阈值后的数据库进行备份后，还对备份数据进行验证。可以自动监测数据库中数据的变化；当数据变化量达到阈值时，不需要人为操作，能够及时自动对数据库进行增量备份，能克服传统定时固定周期备份时，数据库随时发生较大操作动作增量，意外停机造成数据丢失大量数据的风险。

Description

一种数据库自动备份方法及装置
技术领域
本发明涉及一种数据库备份技术领域，特别是涉及一种数据库自动备份方法及装置。
背景技术
随着社会信息化的日益发展，给办公自动化和电子商务带来了飞速发展，数据库技术已被越来越多地广泛应用。在日常数据传输应用中，数据库备份是必不可少的操作之一，企业对信息系统的依赖性越来越高，数据库作为信息系统的核心担当着保存数据的重要角色。
现有的备份方法各种各样。常见的备份在时间上主要是固定周期备份，但对于数据库随时发生的较大变动，不提供机动灵活的备份周期调节；另外，在数据库备份方式上，无论是全备份还是差异备份，都不能根据不同数据表的重要程度区分对待，在重要的数据表发生变动后及时备份，易造成数据损失。为了防止发生意外停机或数据丢失的情况，数据库的备份成为数据库管理中的重要课题。
传统的数据库备份方式一般都是定时的对数据库进行备份，但是数据库在每个时间段内的数据增量有多有少，并不是均匀增加。如果说某一时间段内数据增量特别大，但是还没到及时备份，就会有丢失大量数据的风险。或者说某段时间内数据没有变化，但由于设置的备份任务导致工作仍然继续进行，这样会浪费系统资源。
发明内容
针对上述技术问题，本发明提供了一种备份及时，备份效果好的数据库自动备份方法及装置。
为实现上述目的，本发明采用以下技术解决方案，
一种数据库自动备份方法包括以下步骤：
监测数据库中数据的变化；
判断数据变化量是否达到阈值；
对达到阈值后的数据库进行增量备份。
优选地，在监测数据库中数据的变化之前，还包括对数据库进行检测是否完全备份，如果是，则开始监测数据库中数据的变化，如果否，则对数据库进行完全备份。
优选地，对达到阈值后的数据库进行备份之后，还包括：对备份数据进行验证，验证成功，再次监测数据库中数据的变化；验证失败则重新进行增量备份。
上述数据变化量是通过分析数据库日志的变化获得。
上述分析数据库日志的变化，是指分析数据库日志，定位具体变化的数据，记录变化的数据所在的行数，并对行数的数量进行累积，得到数据变化量。
一种数据库自动备份装置包括：
监测模块，用于监测数据库中数据的变化；
判断模块，用于判断数据变化量是否达到阈值；
备份模块，用于对达到阈值后的数据库进行增量备份。
优选地，还包括：检测模块，在监测数据库中数据的变化之前，用于对数据库进行检测是否完全备份。
优选地，还包括：数据验证模块，用于对达到阈值后的数据库进行备份之后，对备份数据进行验证，验证成功，再次监测数据库中数据的变化；验证失败则重新进行增量备份。
与现有技术相比，本发明数据库自动备份方法及装置具有以下有益效果：
1、本发明采用定量的自动数据库备份方法，通过自动监测数据库中数据的变化，当数据变化量达到阈值时，不需要人为操作，可以及时自动对数据库进行增量备份，能够克服传统定时固定周期备份时，数据库随时发生的较大的操作动作增量，在意外停机但未及时备份，而造成数据丢失大量数据的风险。
2、本发明通过分析数据库日志的变化，定位具体变化的数据，记录变化的数据所在的行数，并对行数的数量进行累积，得到数据变化量，可以避免出现对同一条记录进行多次操作，而实际修改量不大，但是触发了阈值而进行了备份的情况，造成系统资源浪费。
附图说明
图1是本发明数据库自动备份方法的流程示意图之一；
图2是本发明数据库自动备份方法的流程示意图之二；
图3是本发明数据库自动备份装置的模块示意图之一；
图4是本发明数据库自动备份装置的模块示意图之二。
具体实施方式
下面对本发明中涉及到的一些技术词语进行解释：
完全备份：包括对整个数据库，部分事务日志，数据库结构和文件结构的备份，完全备份代表的是备份完成时刻的数据库，完全备份是备份的基础，它提供了任何其他备份的基准，其他备份只是在执行完全备份之后才能被执行的。
增量备份：是指在一次完全备份或上一次增量备份后，以后每次的备份只需备份与前一次相比增加或者被修改的文件。第一次增量备份的对象是进行全备后所产生的增加和修改的文件；第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件。
阈值又叫临界值，是指一个效应能够产生的最低值或最高值；本发明中是指数据变化量触发备份条件的峰值。
下面结合附图和具体实施方式对本发明数据库自动备份方法及装置作进一步说明：
实施例1
如图1所示，一种数据库自动备份方法包括以下步骤：
步骤S101：监测数据库中数据的变化；
步骤S102：判断数据变化量是否达到阈值；
步骤S103：对达到阈值后的数据库进行增量备份。
实施例2
如图2所示，一种数据库自动备份方法包括以下步骤：
步骤S101：对数据库进行检测是否完全备份，如果是，则开始步骤S102监测数据库中数据的变化，如果否，则对数据库进行完全备份；
步骤S102：监测数据库中数据的变化；
步骤S103：判断数据变化量是否达到阈值，若达到，则开始步骤S104，若未达到，返回步骤S102；
步骤S104：对达到阈值后的数据库进行增量备份；
步骤S105：对备份数据进行验证，验证成功，以本次备份后的数据作为下次备份的基准，返回步骤S102继续监测数据库中数据的变化；验证失败，则返回步骤S104，以上次备份后的数据作为基准，重新进行增量备份。
其中步骤S103中的数据变化量是通过分析数据库日志的变化获得。
上述分析数据库日志的变化，是指分析数据库日志，定位具体变化的数据，记录变化的数据所在的行数，并对行数的数量进行累积，得到数据变化量。
在步骤S101之前需要设定好阈值为1GB。当监测的数据变化量达到1GB时，开始增量备份。
实施例3
如图3所示，一种数据库自动备份装置包括：
监测模块201，用于监测数据库中数据的变化；
判断模块202，用于判断数据变化量是否达到阈值；
备份模块203，用于对达到阈值后的数据库进行增量备份。
实施例4
如图4所示，一种数据库自动备份装置包括：
检测模块204，在监测数据库中数据的变化之前，用于对数据库进行检测是否完全备份。如果是，则开始监测数据库中数据的变化，如果否，则对数据库进行完全备份。
监测模块201，用于监测数据库中数据的变化；
判断模块202，用于判断数据变化量是否达到阈值；
备份模块203，用于对达到阈值后的数据库进行增量备份。
数据验证模块205，用于对达到阈值后的数据库进行备份之后，对备份数据进行验证。根据监测模块所得变化数据，按备份时间点从生产库抽取变化数据，从备份库抽取变化数据信息，将两者并进行对比，如果数据完全一致，则返回备份成功信息，继续检测数据库中数据的变化，为下次备份做准备；如果比对失败，则返回备份失败信息，则重新进行增量备份。
在检测模块之前设定好阈值为1GB。当监测模块通过分析数据库日志的变化，定位具体变化的数据，记录变化的数据所在的行数，并对行数的数量进行累积，得到数据变化量达到1GB时，触发判断模块的判断条件，备份模块开始增量备份。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种数据库自动备份方法，其特征在于，包括：
监测数据库中数据的变化；
判断数据变化量是否达到阈值；
对达到阈值后的数据库进行增量备份。
2.根据权利要求1所述的数据库自动备份方法，其特征在于，在监测数据库中数据的变化之前，还包括对数据库进行检测是否完全备份，如果是，则开始监测数据库中数据的变化，如果否，则对数据库进行完全备份。
3.根据权利要求1所述的数据库自动备份方法，其特征在于，对达到阈值后的数据库进行备份之后，还包括：对备份数据进行验证，验证成功，再次监测数据库中数据的变化；验证失败则重新进行增量备份。
4.根据权利要求1所述的数据库自动备份方法，其特征在于，所述数据变化量是通过分析数据库日志的变化获得。
5.根据权利要求4所述的数据库自动备份方法，其特征在于，所述分析数据库日志的变化，是指分析数据库日志，定位具体变化的数据，记录变化的数据所在的行数，并对行数的数量进行累积，得到数据变化量。
6.一种数据库自动备份装置，其特征在于：包含
监测模块，用于监测数据库中数据的变化；
判断模块，用于判断数据变化量是否达到阈值；
备份模块，用于对达到阈值后的数据库进行增量备份。
7.根据权利要求6所述的数据库自动备份装置，其特征在于，还包括检测模块，在监测数据库中数据的变化之前，用于对数据库进行检测是否完全备份。
8.根据权利要求6所述的数据库自动备份装置，其特征在于，还包括：数据验证模块，用于对达到阈值后的数据库进行增量备份之后，对备份数据进行验证，验证成功，再次监测数据库中数据的变化；验证失败则重新进行增量备份。
CN201611169584.0A 2016-12-16 2016-12-16 一种数据库自动备份方法及装置 Pending CN106708663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611169584.0A CN106708663A (zh) 2016-12-16 2016-12-16 一种数据库自动备份方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611169584.0A CN106708663A (zh) 2016-12-16 2016-12-16 一种数据库自动备份方法及装置

Publications (1)

Publication Number Publication Date
CN106708663A true CN106708663A (zh) 2017-05-24

Family

ID=58938255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611169584.0A Pending CN106708663A (zh) 2016-12-16 2016-12-16 一种数据库自动备份方法及装置

Country Status (1)

Country Link
CN (1) CN106708663A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776117A (zh) * 2016-11-16 2017-05-31 努比亚技术有限公司 数据备份装置及方法
CN107562570A (zh) * 2017-07-31 2018-01-09 努比亚技术有限公司 数据恢复方法及移动终端
CN107977288A (zh) * 2017-12-15 2018-05-01 安徽长泰信息安全服务有限公司 一种便于恢复的高效率增量备份系统及方法
CN108520069A (zh) * 2018-04-13 2018-09-11 郑州云海信息技术有限公司 一种数据库高可用实现方法及数据库服务器
CN108664593A (zh) * 2018-05-08 2018-10-16 东软集团股份有限公司 数据一致性校验方法、装置、存储介质及电子设备
CN109271461A (zh) * 2018-09-30 2019-01-25 广州鼎甲计算机科技有限公司 SQL Server数据库的增量合成备份方法和装置
CN110046060A (zh) * 2018-12-04 2019-07-23 阿里巴巴集团控股有限公司 一种资产数据的备份方法、装置及业务服务器
CN110471846A (zh) * 2019-07-23 2019-11-19 平安科技（深圳）有限公司 基于自动化平台的测试数据处理方法、装置和计算机设备
CN111367994A (zh) * 2019-06-27 2020-07-03 北京关键科技股份有限公司 数据库增量数据同步备份方法及系统
CN112256487A (zh) * 2020-11-12 2021-01-22 北京联创信安科技股份有限公司 一种数据备份的方法、装置、设备及存储介质
CN114579369A (zh) * 2022-05-09 2022-06-03 武汉四通信息服务有限公司 数据的备份方法、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101901175A (zh) * 2010-02-11 2010-12-01 宇龙计算机通信科技(深圳)有限公司 一种数据备份的方法及电子终端
CN102073555A (zh) * 2009-11-24 2011-05-25 联想(北京)有限公司 一种备份方法、实现备份的装置及计算机
CN102270225A (zh) * 2011-06-28 2011-12-07 用友软件股份有限公司 数据变更日志监控方法和数据变更日志监控装置
US9740571B1 (en) * 2013-10-11 2017-08-22 EMC IP Holding Company LLC Intelligent continuous data protection snapshot based backups

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073555A (zh) * 2009-11-24 2011-05-25 联想(北京)有限公司 一种备份方法、实现备份的装置及计算机
CN101901175A (zh) * 2010-02-11 2010-12-01 宇龙计算机通信科技(深圳)有限公司 一种数据备份的方法及电子终端
CN102270225A (zh) * 2011-06-28 2011-12-07 用友软件股份有限公司 数据变更日志监控方法和数据变更日志监控装置
US9740571B1 (en) * 2013-10-11 2017-08-22 EMC IP Holding Company LLC Intelligent continuous data protection snapshot based backups

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘燕: "数据复制技术在灾备系统中的研究与应用", 《电子世界》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776117B (zh) * 2016-11-16 2021-06-15 努比亚技术有限公司 数据备份装置及方法
CN106776117A (zh) * 2016-11-16 2017-05-31 努比亚技术有限公司 数据备份装置及方法
CN107562570A (zh) * 2017-07-31 2018-01-09 努比亚技术有限公司 数据恢复方法及移动终端
CN107977288A (zh) * 2017-12-15 2018-05-01 安徽长泰信息安全服务有限公司 一种便于恢复的高效率增量备份系统及方法
CN108520069A (zh) * 2018-04-13 2018-09-11 郑州云海信息技术有限公司 一种数据库高可用实现方法及数据库服务器
CN108664593A (zh) * 2018-05-08 2018-10-16 东软集团股份有限公司 数据一致性校验方法、装置、存储介质及电子设备
CN109271461A (zh) * 2018-09-30 2019-01-25 广州鼎甲计算机科技有限公司 SQL Server数据库的增量合成备份方法和装置
CN110046060A (zh) * 2018-12-04 2019-07-23 阿里巴巴集团控股有限公司 一种资产数据的备份方法、装置及业务服务器
CN110046060B (zh) * 2018-12-04 2023-06-20 创新先进技术有限公司 一种资产数据的备份方法、装置及业务服务器
CN111367994A (zh) * 2019-06-27 2020-07-03 北京关键科技股份有限公司 数据库增量数据同步备份方法及系统
CN110471846A (zh) * 2019-07-23 2019-11-19 平安科技（深圳）有限公司 基于自动化平台的测试数据处理方法、装置和计算机设备
CN110471846B (zh) * 2019-07-23 2024-05-07 平安科技（深圳）有限公司 基于自动化平台的测试数据处理方法、装置和计算机设备
CN112256487A (zh) * 2020-11-12 2021-01-22 北京联创信安科技股份有限公司 一种数据备份的方法、装置、设备及存储介质
CN114579369A (zh) * 2022-05-09 2022-06-03 武汉四通信息服务有限公司 数据的备份方法、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN106708663A (zh) 一种数据库自动备份方法及装置
CN107766502B (zh) 一种Oracle RAC数据库容灾切换演练方法
US20070214457A1 (en) System and method for automated recovery of data in a batch processing system
CN109614283B (zh) 分布式数据库集群的监控系统
US20070214161A1 (en) System and method for resource lock acquisition and reclamation in a network file system environment
CN107688531A (zh) 数据库集成测试方法、装置、计算机设备及存储介质
CN103019921A (zh) 一种基于故障注入的操作系统容错性测试系统及其方法
DE10240883A1 (de) Verfahren zum Erfassen eines unbegrenzten Wachstums verketteter Listen in einer laufenden Anwendung
CN107168775B (zh) 一种悬挂事务自动处理的方法和装置
CN110309021A (zh) 一种Python语言数据库跨平台备份与恢复方法
CN106992886A (zh) 一种基于分布式存储的日志分析方法及装置
CN109901969B (zh) 一种集中监控管理平台的设计方法及装置
CN108304276B (zh) 一种日志处理方法、装置及电子设备
CN109165121A (zh) 恢复被误操作的数据的方法及系统
CN110011853B (zh) 一种面向多平台和集群的交叉故障排查方法及装置
CN104158843A (zh) 分布式文件存储系统的存储单元失效检测方法及装置
CN111090395B (zh) 一种用于会计行业的电子信息智能存储系统
CN110659156A (zh) 一种web服务器的数据处理方法、设备以及存储介质
CN106201834A (zh) 一种磁盘损坏的处理方法和装置
CN112905484B (zh) 一种自适应闭环性能测试方法、系统及介质
CN107590647A (zh) 船舶管理系统的伺服监管系统
CN101271419A (zh) 随机存储器失效的检测处理方法、装置和系统
CN114490256A (zh) 一种运维监控系统及方法
CN113987065A (zh) 数据库漂移方法、系统、电子设备和存储介质
Chen et al. Big data system testing method based on chaos engineering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170524