CN103853827A - 一种保证数据一致性的数据库备份方法 - Google Patents

一种保证数据一致性的数据库备份方法 Download PDF

Info

Publication number
CN103853827A
CN103853827A CN201410082017.6A CN201410082017A CN103853827A CN 103853827 A CN103853827 A CN 103853827A CN 201410082017 A CN201410082017 A CN 201410082017A CN 103853827 A CN103853827 A CN 103853827A
Authority
CN
China
Prior art keywords
backup
atomic operation
data
operation equipment
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410082017.6A
Other languages
English (en)
Inventor
穆裕
王旭
张道伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201410082017.6A priority Critical patent/CN103853827A/zh
Publication of CN103853827A publication Critical patent/CN103853827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种保证数据一致性的数据库备份方法，本方法通过四个组成的部分即备份代理端，原子操作设备，原子操作接口，备份服务器来解决数据库备份过程中数据备份和数据传输不同步的问题。本发明实现数据库备份和数据传输的原子化，大大减低数据库备份过程的管理成本，保持数据库的一致性。

Description

一种保证数据一致性的数据库备份方法
技术领域   
    本发明涉及数据库备份领域，具体地说是一种保证数据一致性的数据库备份方法。
背景技术
数据备份系统是将原始数据拷贝到一个专用介质媒体中进行存储，在遇到灾难事件或认为原因造成原始数据损坏或丢失的情况下，通过特定的数据恢复机制将备份的数据副本恢复到系统的过程，数据备份系统是促进我国信息化建设和谐、健康、有序发展的重要技术手段之一，在国防、军事、教育、金融、证券、网络、通信等核心数据领域中得到了广泛的应用。
但是在传统的数据库备份流程中存在着一个弊端，一般数据库备份的方式分为两部分，首先需要将数据库数据备份到本地存储介质上，然后再将数据发送到存储介质上。在整个数据备份系统中，将这两步合并为一个任务流程，只有两步全部成功的时候这个任务才算是成功的，但是如果数据传输部分失败了，则认为整个任务是失败的，这时就会出现不一致的情况，即：备份系统认为此次备份任务失败了，但是数据库本身此次备份是成功了的。为了解决这种不一致性，需要引入一种机制，来保证任务的原子性。一种方法是增加断点续传功能，另外可以利用原子操作设备在备份数据的同时进行发送，如果发送失败则停止正在进行的备份操作，整个任务也会停止，从而达到数据库备份数据的一致性。
由于传统的数据库备份方式分为两步，首先备份数据到磁盘介质上，然后将备份的数据传输到备份服务器上。这种方式有一种弊端，当数据传输过程中发生中断，则从任务的角度上来说本次任务失败，而从数据库的角度来说则本次的备份是成功的，这样会造成备份管理上的不一致性，如此次备份任务类型为增量备份，从任务角度来说本次备份失败了，但从数据库角度来说本次备份成功，当下次增量备份时，任务上是基于最后一次成功任务的增量，而数据库则会进行上次增量备份的增量，这样一来需要增加额外的管理成本进行判断。
发明内容
本发明提供一种保证数据一致性的数据库备份方法，利用原子操作设备在备份数据的同时进行发送，如果发送失败则停止正在进行的备份操作，整个任务也会停止，从而达到数据库备份数据的一致性。
一种保证数据一致性的数据库备份方法，本方法包括：备份代理端，原子操作设备，原子操作接口，备份服务器四部分组成；
备份代理端安装在需要进行备份操作的机器上，用于控制整个备份的流程并发起备份操作，它通过原子操作设备读取正在备份的数据并发送至备份服务器上进行存储。
原子操作设备由备份代理端创建设备，每个原子操作设备在一个数据库中都有一个全局唯一的名称，用以标识设备，在发出备份请求时，备份代理端会向数据库传递备份参数及备份设备参数包含设备名称、块大小、缓冲区大小等；
原子操作接口实现原子操作设备的接口，当原子操作设备接读取到写数据命令，然后将数据发送至备份服务端。
备份服务器接收存储备份数据，并返回存储完成的消息。
所述的方法，其所述备份代理端，是用于发起备份操作，用于创建原子操作设备，并且通过原子操作接口获取数据发送到备份服务器。
所述的方法，其所述原子操作设备，是一种模拟设备，用于模拟一种存储设备，提供共享缓冲区，用于交换备份数据。
所述的方法，其所述原子操作设备，当模拟设备读取到写数据的命令，然后将备份数据发送到备份服务器端。
所述的方法，其所述原子操作接口，其目的是实现原子操作设备的功能。
所述的方法，其所述备份服务器，接受备份代理端发送来的数据进行存储，并返回存储完成消息。
本发明与现有技术相比，所产生的有益效果是：
解决数据库备份过程中数据备份和数据传输不同步的问题。采用这种方法能够实现数据库备份和数据传输的原子化，大大减低数据库备份过程的管理成本，保持数据库的一致性。
附图说明
附图1是本发明的系统结构图；
附图2是本发明的模块关系图。
具体实施方式
一种保证数据一致性的数据库备份方法，本方法包括：备份代理端，原子操作设备，原子操作接口，备份服务器四部分组成；
备份代理端安装在需要进行备份操作的机器上，用于控制整个备份的流程并发起备份操作，它通过原子操作设备读取正在备份的数据并发送至备份服务器上进行存储。
原子操作设备由备份代理端创建设备，每个原子操作设备在一个数据库中都有一个全局唯一的名称，用以标识设备，在发出备份请求时，备份代理端会向数据库传递备份参数及备份设备参数包含设备名称、块大小、缓冲区大小等；
原子操作接口实现原子操作设备的接口，当原子操作设备接读取到写数据命令，然后将数据发送至备份服务端。
备份服务器接收存储备份数据，并返回存储完成的消息。
所述备份代理端，是用于发起备份操作，用于创建原子操作设备，并且通过原子操作接口获取数据发送到备份服务器。
所述原子操作设备，是一种模拟设备，用于模拟一种存储设备，提供共享缓冲区，用于交换备份数据。
所述原子操作设备，当模拟设备读取到写数据的命令，然后将备份数据发送到备份服务器端。
所述原子操作接口，其目的是实现原子操作设备的功能。
所述备份服务器，接受备份代理端发送来的数据进行存储，并返回存储完成消息。

Claims (6)

1.一种保证数据一致性的数据库备份方法，其特征在于本方法包括：备份代理端，原子操作设备，原子操作接口，备份服务器四部分组成；
备份代理端安装在需要进行备份操作的机器上，用于控制整个备份的流程并发起备份操作，它通过原子操作设备读取正在备份的数据并发送至备份服务器上进行存储；
原子操作设备由备份代理端创建设备，每个原子操作设备在一个数据库中都有一个全局唯一的名称，用以标识设备，在发出备份请求时，备份代理端会向数据库传递备份参数及备份设备参数包含设备名称、块大小、缓冲区大小等；
原子操作接口实现原子操作设备的接口，当原子操作设备接读取到写数据命令，然后将数据发送至备份服务端；
备份服务器接收存储备份数据，并返回存储完成的消息。
2.根据权利要求1所述的方法，其特征在于所备份代理端，是用于发起备份操作，用于创建原子操作设备，并且通过原子操作接口获取数据发送到备份服务器。
3.根据权利要求1所述的方法，其特征在于所述原子操作设备，是一种模拟设备，用于模拟一种存储设备，提供共享缓冲区，用于交换备份数据。
4.根据权利要求3所述的方法，其特征在于所述原子操作设备，当模拟设备读取到写数据的命令，然后将备份数据发送到备份服务器端。
5.根据权利要求1所述的方法，其特征在于所述原子操作接口，其目的是实现原子操作设备的功能。
6.根据权利要求1所述的方法，其特征在于所述备份服务器，接受备份代理端发送来的数据进行存储，并返回存储完成消息。
CN201410082017.6A 2014-03-07 2014-03-07 一种保证数据一致性的数据库备份方法 Pending CN103853827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410082017.6A CN103853827A (zh) 2014-03-07 2014-03-07 一种保证数据一致性的数据库备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410082017.6A CN103853827A (zh) 2014-03-07 2014-03-07 一种保证数据一致性的数据库备份方法

Publications (1)

Publication Number Publication Date
CN103853827A true CN103853827A (zh) 2014-06-11

Family

ID=50861482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410082017.6A Pending CN103853827A (zh) 2014-03-07 2014-03-07 一种保证数据一致性的数据库备份方法

Country Status (1)

Country Link
CN (1) CN103853827A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794143A (zh) * 2014-07-30 2015-07-22 北京中科同向信息技术有限公司 一种无代理的备份技术
CN105446830A (zh) * 2015-11-09 2016-03-30 上海爱数信息技术股份有限公司 一种基于ndmp磁盘到磁盘复制技术的数据备份方法
CN105468718A (zh) * 2015-11-18 2016-04-06 腾讯科技（深圳）有限公司 数据一致性处理方法、装置和系统
CN105589961A (zh) * 2015-12-21 2016-05-18 武汉达梦数据库有限公司 一种数据库实时同步系统数据一致性的检测方法及系统
CN108073635A (zh) * 2016-11-18 2018-05-25 中国电力科学研究院 一种电力信息系统数据场景加载的系统及其加载方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256524A (zh) * 2007-12-17 2008-09-03 浪潮电子信息产业股份有限公司 一种保持文件系统缓存一致性的方法
US20100011178A1 (en) * 2008-07-14 2010-01-14 Vizioncore, Inc. Systems and methods for performing backup operations of virtual machine files
CN102541694A (zh) * 2012-01-18 2012-07-04 浪潮(北京)电子信息产业有限公司 一种数据库备份的方法及装置
CN102955720A (zh) * 2011-08-25 2013-03-06 北京中科智网科技有限公司 一种提高ext文件系统稳定性的方法
CN103488546A (zh) * 2013-01-29 2014-01-01 中国人民解放军理工大学 一种支持多级别数据和数据库在线并发备份与恢复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256524A (zh) * 2007-12-17 2008-09-03 浪潮电子信息产业股份有限公司 一种保持文件系统缓存一致性的方法
US20100011178A1 (en) * 2008-07-14 2010-01-14 Vizioncore, Inc. Systems and methods for performing backup operations of virtual machine files
CN102955720A (zh) * 2011-08-25 2013-03-06 北京中科智网科技有限公司 一种提高ext文件系统稳定性的方法
CN102541694A (zh) * 2012-01-18 2012-07-04 浪潮(北京)电子信息产业有限公司 一种数据库备份的方法及装置
CN103488546A (zh) * 2013-01-29 2014-01-01 中国人民解放军理工大学 一种支持多级别数据和数据库在线并发备份与恢复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
代玥: "广域网络备份系统中数据备份代理的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794143A (zh) * 2014-07-30 2015-07-22 北京中科同向信息技术有限公司 一种无代理的备份技术
CN105446830A (zh) * 2015-11-09 2016-03-30 上海爱数信息技术股份有限公司 一种基于ndmp磁盘到磁盘复制技术的数据备份方法
CN105468718A (zh) * 2015-11-18 2016-04-06 腾讯科技（深圳）有限公司 数据一致性处理方法、装置和系统
CN105468718B (zh) * 2015-11-18 2020-09-08 腾讯科技（深圳）有限公司 数据一致性处理方法、装置和系统
CN105589961A (zh) * 2015-12-21 2016-05-18 武汉达梦数据库有限公司 一种数据库实时同步系统数据一致性的检测方法及系统
CN105589961B (zh) * 2015-12-21 2019-02-19 武汉达梦数据库有限公司 一种数据库实时同步系统数据一致性的检测方法及系统
CN108073635A (zh) * 2016-11-18 2018-05-25 中国电力科学研究院 一种电力信息系统数据场景加载的系统及其加载方法

Similar Documents

Publication Publication Date Title
US9367598B2 (en) Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation
US9575849B2 (en) Synchronized backup and recovery of database systems
US8468313B2 (en) Asynchronous replication with write concurrency grouping
CN110334075B (zh) 基于消息中间件的数据迁移方法及相关设备
US10831741B2 (en) Log-shipping data replication with early log record fetching
CN103853827A (zh) 一种保证数据一致性的数据库备份方法
US10599630B2 (en) Elimination of log file synchronization delay at transaction commit time
US9165012B2 (en) Periodic file system checkpoint manager
US8463746B2 (en) Method and system for replicating data
US9251230B2 (en) Exchanging locations of an out of synchronization indicator and a change recording indicator via pointers
US10146633B2 (en) Data recovery from multiple data backup technologies
US10365978B1 (en) Synchronization of snapshots in a distributed consistency group
CN105824846B (zh) 数据迁移方法及装置
US9063997B2 (en) Asynchronous pausing of the formation of consistency groups
US10114703B2 (en) Flash copy for disaster recovery (DR) testing
US9798761B2 (en) Apparatus and method for fsync system call processing using ordered mode journaling with file unit
CN104166605A (zh) 基于增量数据文件的数据备份方法及系统
US9823974B1 (en) Excluding files in a block based backup
CN105224422A (zh) 一种数据备份方法及设备
CN102024021A (zh) 一种逻辑文件系统元数据的日志方法
CN107402848A (zh) 一种快照数据一致性的实现方法
US20140122433A1 (en) Storage device and data backup method
US9619506B2 (en) Method and system to avoid deadlocks during a log recovery
US20140149697A1 (en) Memory Pre-Allocation For Cleanup and Rollback Operations
CN104090829A (zh) 一种实现逻辑卷元数据备份存储的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140611

WD01 Invention patent application deemed withdrawn after publication