CN113626475A - 一种基于缓存服务器的数据恢复方法和系统 - Google Patents

一种基于缓存服务器的数据恢复方法和系统 Download PDF

Info

Publication number
CN113626475A
CN113626475A CN202010378987.6A CN202010378987A CN113626475A CN 113626475 A CN113626475 A CN 113626475A CN 202010378987 A CN202010378987 A CN 202010378987A CN 113626475 A CN113626475 A CN 113626475A
Authority
CN
China
Prior art keywords
cache server
binlog
data recovery
database
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010378987.6A
Other languages
English (en)
Inventor
李卫国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Aolipu Automation and Control System Co Ltd
Original Assignee
Qingdao Aolipu Automation and Control System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Aolipu Automation and Control System Co Ltd filed Critical Qingdao Aolipu Automation and Control System Co Ltd
Priority to CN202010378987.6A priority Critical patent/CN113626475A/zh
Publication of CN113626475A publication Critical patent/CN113626475A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于缓存服务器的数据恢复方法和系统，所述方法包括以下步骤。建立缓存服务器，将主数据库及从数据库刷新的binlog日志存储到缓存服务器中。解析缓存服务器中存储的刷新的binlog日志，确定数据恢复时间点，及其对应的事件标志。根据所述事件标志执行binlog日志中相应部分，并复制到从数据库。将binlog日志中相应部分复制到从数据库后，淘汰缓存服务器中所述binlog日志。如此，在数据恢复时，减轻了主从数据库数据访问负担。

Description

一种基于缓存服务器的数据恢复方法和系统
技术领域
本发明属于数据处理技术领域，具体涉及一种基于缓存服务器的数据恢复方法和系统。
背景技术
随着电子信息技术的不断发展，在行业应用过程中产生的数据量也越来越大。用于管理和记录数据的数据库开始被广泛的使用。其中，Mysql数据库是一种较为常用的关系型开源数据库系统。
在平时的业务应用场景中，已经上线的产品数据库突然宕机或者误删除、误操作等，会导致严重的数据丢失，如果不能及时有效的恢复数据，将会对业务的正常运行造成非常严重的影响和损失。
现有的Mysql数据库的数据恢复机制是以备份数据为基础，通过解析主库日志(binlog)文件，并复制执行相应的主库文件增量来实现特定时间点或者指定时刻的数据恢复。但此种方式存在主库负荷量过大，导致运行效率低下的问题。
鉴于上述原因，本发明提供一种基于缓存服务器的数据恢复方法和系统。
发明内容
本发明提供一种基于缓存服务器的数据恢复方法，包括以下步骤。
步骤S1、建立缓存服务器，将主数据库及从数据库刷新的binlog日志存储到缓存服务器中。
步骤S2、解析缓存服务器中存储的刷新的binlog日志，确定数据恢复时间点，及其对应的事件标志。
步骤S3、根据所述事件标志执行binlog日志中相应部分，并复制到从数据库。
优选的，所述事件标志为全局事务编号。
优选的，步骤S3中，使用多线程复制的方式，执行所述基于全局事务编号的复制方法。
优选的，步骤S2还包括：确定数据恢复时间点与复制时间点的时间范围；扫描已有的缓存服务器日志文件，查找在所述时间范围内的日志文件。
优选的，步骤S3中，将binlog日志中相应部分复制到从数据库后，淘汰缓存服务器中所述binlog日志。
优选的，应用程序通过API接口从缓存服务器中读取数据。
优选的，缓存服务器中设有与所述主数据库和所述从数据库分别对应的区块，所述区块用于存储对应主数据库或从数据库的binlog日志。
本发明还提供一种基于缓存服务器的数据恢复系统，包括数据缓存模块、日志解析模块及数据备份模块，所述数据缓存模块连接所述日志解析模块，所述日志解析模块连接所述数据备份模块，其中，所述数据缓存模块，用于建立缓存服务器，将主数据库及从数据库刷新的binlog日志存储到缓存服务器中。所述日志解析模块，用于解析缓存服务器中存储的刷新的binlog日志，确定数据恢复时间点，及其对应的事件标志。所述数据备份模块，用于根据所述事件标志执行binlog日志中相应部分，并复制到从数据库。
优选的，所述数据缓存模块中设置有分区单元，所述分区单元用于将缓存服务器存储区域划分为与主数据库和从数据库分别对应的区块，所述区块用于存储对应主数据库或从数据库的binlog日志。
优选的，所述主数据库与所述从数据库分别将自己的binlog文件存储在所述共享存储服务器的相应分区中。
通过本发明提供的基于缓存服务器的数据恢复方法，建立缓存服务器，将主数据库及从数据库刷新的binlog日志存储到缓存服务器中。解析缓存服务器中存储的刷新的binlog日志，确定数据恢复时间点，及其对应的事件标志。根据所述事件标志执行binlog日志中相应部分，并复制到从数据库。将binlog日志中相应部分复制到从数据库后，淘汰缓存服务器中所述binlog日志。如此，在数据恢复时，减轻了主从数据库数据访问负担。
结合附图阅读本申请实施方式的详细描述后，本申请的其他特点和优点将变得更加清楚。
附图说明
图1为本发明较佳实施例提供的基于缓存服务器的数据恢复方法流程图；
图2为本发明较佳实施例提供的基于缓存服务器的数据恢复系统结构图。
具体实施方式
以下结合附图和实施例对本发明作进一步说明。
如图1所示，本发明较佳实施例提供的基于缓存服务器的数据恢复方法，包括步骤S1～S3。
步骤S1、建立缓存服务器，将主数据库及从数据库刷新的binlog日志存储到缓存服务器中。
本实施例中，应用程序通过API接口从缓存服务器中读取数据。缓存服务器中设有与所述主数据库和所述从数据库分别对应的区块，所述区块用于存储对应主数据库或从数据库的binlog日志。
具体地，缓存服务器的存储空间划分为多个分区，一个binlog文件占据一个分区。所述分区与主、从数据库一一对应，各分区之间互相建立互斥锁，当某一分区在正常工作时只能由相对应的数据库操作，其他数据库不能操作这一分区。
步骤S2、解析缓存服务器中存储的刷新的binlog日志，确定数据恢复时间点，及其对应的事件标志。
具体而言，所述事件标志为全局事务编号。确定数据恢复时间点与复制时间点的时间范围；扫描已有的缓存服务器日志文件，查找在所述时间范围内的日志文件。
步骤S3、根据所述事件标志执行binlog日志中相应部分，并复制到从数据库。
具体而言，使用多线程复制的方式，执行所述基于全局事务编号的复制方法。同时，为减轻缓存服务器容量负担，将binlog日志中相应部分复制到从数据库后，淘汰缓存服务器中所述binlog日志。
请参见图2，本发明还提供一种基于缓存服务器的数据恢复系统，包括数据缓存模块101、日志解析模块102及数据备份模块103，所述数据缓存模块101连接所述日志解析模块102，所述日志解析模块102连接所述数据备份模块103，其中，所述数据缓存模块101用于建立缓存服务器，将主数据库及从数据库刷新的binlog日志存储到缓存服务器中。所述日志解析模块102用于解析缓存服务器中存储的刷新的binlog日志，确定数据恢复时间点，及其对应的事件标志。所述数据备份模块103用于根据所述事件标志执行binlog日志中相应部分，并复制到从数据库。
本实施例中，所述数据缓存模块中设置有分区单元1011，所述分区单元1011用于将缓存服务器存储区域划分为与主数据库和从数据库分别对应的区块，所述区块用于存储对应主数据库或从数据库的binlog日志。具体地，所述主数据库与所述从数据库分别将自己的binlog文件存储在所述共享存储服务器的相应分区中。
通过本发明较佳实施例提供的基于缓存服务器的数据恢复方法，建立缓存服务器，将主数据库及从数据库刷新的binlog日志存储到缓存服务器中。解析缓存服务器中存储的刷新的binlog日志，确定数据恢复时间点，及其对应的事件标志。根据事件标志执行binlog日志中相应部分，并复制到从数据库。将binlog日志中相应部分复制到从数据库后，淘汰缓存服务器中binlog日志。
同时，本发明较佳实施例提供的基于缓存服务器的数据恢复系统，通过数据缓存模块、日志解析模块及数据备份模块，数据缓存模块连接日志解析模块，日志解析模块连接数据备份模块，其中，数据缓存模块，用于建立缓存服务器，将主数据库及从数据库刷新的binlog日志存储到缓存服务器中。日志解析模块，用于解析缓存服务器中存储的刷新的binlog日志，确定数据恢复时间点，及其对应的事件标志。数据备份模块，用于根据事件标志执行binlog日志中相应部分，并复制到从数据库。减轻了主从数据库数据访问负担，提高了系统运行效率。
以上所述仅是本发明的优选实施例，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于缓存服务器的数据恢复方法，其特征在于，包括：
步骤S1、建立缓存服务器，将主数据库及从数据库刷新的binlog日志存储到缓存服务器中；
步骤S2、解析缓存服务器中存储的刷新的binlog日志，确定数据恢复时间点，及其对应的事件标志；
步骤S3、根据所述事件标志执行binlog日志中相应部分，并复制到从数据库。
2.根据权利要求1所述的基于缓存服务器的数据恢复方法，其特征在于，所述事件标志为全局事务编号。
3.根据权利要求1或2所述的基于缓存服务器的数据恢复方法，其特征在于，步骤S3中，使用多线程复制的方式，执行所述基于全局事务编号的复制方法。
4.根据权利要求1所述的基于缓存服务器的数据恢复方法，其特征在于，步骤S2还包括：确定数据恢复时间点与复制时间点的时间范围；扫描已有的缓存服务器日志文件，查找在所述时间范围内的日志文件。
5.根据权利要求1所述的基于缓存服务器的数据恢复方法，其特征在于，步骤S3中，将binlog日志中相应部分复制到从数据库后，淘汰缓存服务器中所述binlog日志。
6.根据权利要求1所述的基于缓存服务器的数据恢复方法，其特征在于，应用程序通过API接口从缓存服务器中读取数据。
7.根据权利要求1所述的基于缓存服务器的数据恢复方法，其特征在于，缓存服务器中设有与所述主数据库和所述从数据库分别对应的区块，所述区块用于存储对应主数据库或从数据库的binlog日志。
8.使用权利要求1-7任一项所述方法的基于缓存服务器的数据恢复系统，其特征在于，包括数据缓存模块、日志解析模块及数据备份模块，所述数据缓存模块连接所述日志解析模块，所述日志解析模块连接所述数据备份模块，其中，
所述数据缓存模块，用于建立缓存服务器，将主数据库及从数据库刷新的binlog日志存储到缓存服务器中；
所述日志解析模块，用于解析缓存服务器中存储的刷新的binlog日志，确定数据恢复时间点，及其对应的事件标志；
所述数据备份模块，用于根据所述事件标志执行binlog日志中相应部分，并复制到从数据库。
9.根据权利要求8所述的基于缓存服务器的数据恢复系统，其特征在于，所述数据缓存模块中设置有分区单元，所述分区单元用于将缓存服务器存储区域划分为与主数据库和从数据库分别对应的区块，所述区块用于存储对应主数据库或从数据库的binlog日志。
10.根据权利要求9所述的基于缓存服务器的数据恢复系统，其特征在于，所述主数据库与所述从数据库分别将自己的binlog文件存储在所述共享存储服务器的相应分区中。
CN202010378987.6A 2020-05-07 2020-05-07 一种基于缓存服务器的数据恢复方法和系统 Pending CN113626475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010378987.6A CN113626475A (zh) 2020-05-07 2020-05-07 一种基于缓存服务器的数据恢复方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010378987.6A CN113626475A (zh) 2020-05-07 2020-05-07 一种基于缓存服务器的数据恢复方法和系统

Publications (1)

Publication Number Publication Date
CN113626475A true CN113626475A (zh) 2021-11-09

Family

ID=78376938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010378987.6A Pending CN113626475A (zh) 2020-05-07 2020-05-07 一种基于缓存服务器的数据恢复方法和系统

Country Status (1)

Country Link
CN (1) CN113626475A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101118509A (zh) * 2007-09-12 2008-02-06 华为技术有限公司 内存数据库远程容灾的方法、装置和系统
US8117165B1 (en) * 2008-04-30 2012-02-14 Netapp, Inc. Disk-to-disk backup of database archive logs
CN107038162A (zh) * 2016-02-03 2017-08-11 滴滴（中国）科技有限公司 基于数据库日志的实时数据查询方法和系统
CN107330035A (zh) * 2017-06-26 2017-11-07 努比亚技术有限公司 一种数据库中操作日志同步方法、移动终端以及计算机可读存储介质
CN110321386A (zh) * 2019-07-05 2019-10-11 中国工商银行股份有限公司 数据同步架构的设置、数据恢复方法及系统
CN110795287A (zh) * 2019-10-30 2020-02-14 深圳前海环融联易信息科技服务有限公司 数据恢复方法、系统、电子设备及计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101118509A (zh) * 2007-09-12 2008-02-06 华为技术有限公司 内存数据库远程容灾的方法、装置和系统
US8117165B1 (en) * 2008-04-30 2012-02-14 Netapp, Inc. Disk-to-disk backup of database archive logs
CN107038162A (zh) * 2016-02-03 2017-08-11 滴滴（中国）科技有限公司 基于数据库日志的实时数据查询方法和系统
CN107330035A (zh) * 2017-06-26 2017-11-07 努比亚技术有限公司 一种数据库中操作日志同步方法、移动终端以及计算机可读存储介质
CN110321386A (zh) * 2019-07-05 2019-10-11 中国工商银行股份有限公司 数据同步架构的设置、数据恢复方法及系统
CN110795287A (zh) * 2019-10-30 2020-02-14 深圳前海环融联易信息科技服务有限公司 数据恢复方法、系统、电子设备及计算机存储介质

Similar Documents

Publication Publication Date Title
US10180946B2 (en) Consistent execution of partial queries in hybrid DBMS
US8429134B2 (en) Distributed database recovery
US8626765B2 (en) Processing database operation requests
CN108733306B (zh) 一种文件合并方法及装置
EP2336901B1 (en) Online access to database snapshots
CN113111129A (zh) 数据同步方法、装置、设备及存储介质
CN110309122B (zh) 获取增量数据的方法、装置、服务器和存储介质
EP3089051B1 (en) Database rollback using wal
CN113901279B (zh) 一种图数据库的检索方法和装置
US6230243B1 (en) Method, system and program products for managing changed data of castout classes
CN107506466B (zh) 一种小文件存储方法及系统
CN114936188A (zh) 数据处理方法、装置、电子设备及存储介质
CN113867627B (zh) 一种存储系统性能优化方法及系统
CN107133334B (zh) 基于高带宽存储系统的数据同步方法
CN113253932A (zh) 一种分布式存储系统的读写控制方法和系统
CN114896250B (zh) 一种键值分离的键值存储引擎索引优化方法及装置
CN111930684A (zh) 基于hdfs的小文件处理方法、装置、设备及存储介质
CN114780489B (zh) 一种实现分布式块存储底层gc的方法及装置
CN113626475A (zh) 一种基于缓存服务器的数据恢复方法和系统
US7949632B2 (en) Database-rearranging program, database-rearranging method, and database-rearranging apparatus
CN115469810A (zh) 一种数据获取方法、装置、设备及存储介质
CN114443722A (zh) 缓存管理方法、装置、存储介质及电子设备
CN114647658A (zh) 一种数据检索方法、装置、设备及机器可读存储介质
CN114297196A (zh) 元数据存储方法、装置、电子设备及存储介质
CN117170942B (zh) 一种基于文件系统快照的数据库备份方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination