CN111061594A - 一种基于日志逻辑解析的关系型数据库数据复制方法 - Google Patents

一种基于日志逻辑解析的关系型数据库数据复制方法 Download PDF

Info

Publication number
CN111061594A
CN111061594A CN201911211529.7A CN201911211529A CN111061594A CN 111061594 A CN111061594 A CN 111061594A CN 201911211529 A CN201911211529 A CN 201911211529A CN 111061594 A CN111061594 A CN 111061594A
Authority
CN
China
Prior art keywords
data
database
disaster recovery
log
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911211529.7A
Other languages
English (en)
Inventor
李庆银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Langqing Information Technology Co Ltd
Original Assignee
Shanghai Langqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Langqing Information Technology Co Ltd filed Critical Shanghai Langqing Information Technology Co Ltd
Priority to CN201911211529.7A priority Critical patent/CN111061594A/zh
Publication of CN111061594A publication Critical patent/CN111061594A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于日志逻辑解析的关系型数据库数据复制方法，所述复制方法主要依托数据库实时捕获引擎ACA和数据组装实现，具体包括如下步骤：复制数据库全量文件，包括数据文件、控制文件和在此期间的数据库动态数据；采用增量复制的方法，实时捕获生产库redo日志文件的变化，传输线程将捕获到的增量数据传输到容灾服务器；容灾端接受线程将接受到的增量数据以logdata的形式写到磁盘；容灾端拼装线程将增量数据拼装成归档日志；容灾端恢复线程将归档日志注册到容灾库，从而将事务日志块反解成SQL语句集从而保证生产端和容灾端数据的一致性。

Description

一种基于日志逻辑解析的关系型数据库数据复制方法
技术领域
本发明涉及数据库技术领域，具体涉及一种基于日志逻辑解析的关系型数据库数据复制方法。
背景技术
随着信息科技的快速发展，在科学研究、互联网应用等诸多应用领域，由于数据的快速增长，以及越来越多复杂的数据分析算法被用于挖掘数据中蕴含的科研价值和商业价值，新兴的大数据平台应运而生，传统的关系型数据库在大数据分析性能上已落后于这些专门用于大数据分析的大数据平台。但是关系型数据库作为较早提出的数据存储系统，发展成熟、操作方便、而且易于维护，在数据的增长过程中形成了强大的生态系统，而大数据分析平台不仅要求用户掌握相关的平台使用技能，且不兼容以关系型数据库为存储模块的系统。但系统主要依赖DataGaurd、LogMinor、DBCC LOG等数据库自带的日志工具来实现数据复制，容易出现数据丢失、复制过程中出现卡顿等问题
发明内容
本发明的目的在于提供一种基于日志逻辑解析的关系型数据库数据复制方法，以解决上述背景技术中提出的问题。为实现上述目的，本发明提供如下技术方案：一种基于日志逻辑解析的关系型数据库数据复制方法，所述复制方法主要依托数据库实时捕获引擎ACA和数据组装实现，具备以下功能：追逐式全量复制功能，在第一次部署时，且在不停止生产业务的要求下，自动的将生产端业务系统的存量数据和活动数据全部复制到备用端的数据库；实时增量复制功能，实时的将业务数据复制到容灾端的备用系统；CDP数据容错功能，将数据库恢复到符合要求的某一历史状态。容灾端容错进程采用循环写机制一一保存生产端传输来的数据。当需要容错时，容错代理接收用户选定的恢复时间或事务条件，容错进程将符合条件的一段日志数据恢复到容错数据库；故障切换功能，当生产端发生故障时，可手动或自动切换至容灾端备用系统。可以提供监控、报警、切换、回切等功能，可提供完整的业务容灾解决方案；构建生产、查询相分离的业务应用功能，实现查询统计功能，分流生产数据库的性能压力；所述复制方法具体包括如下步骤：
步骤1、复制数据库全量文件，包括数据文件、控制文件和在此期间的数据库动态数据；
步骤2、采用增量复制的方法，实时捕获生产库redo日志文件的变化，传输线程将捕获到的增量数据传输到容灾服务器；
步骤3、容灾端接受线程将接受到的增量数据以logdata的形式写到磁盘；
步骤4、容灾端拼装线程将增量数据拼装成归档日志；
步骤5、容灾端恢复线程将归档日志注册到容灾库，从而将事务日志块反解成SQL语句集从而保证生产端和容灾端数据的一致性。
优选地，所述实时增量复制功能具体实现步骤包括：生产端的事务日志实时捕获模块实时监控生产Oracle数据库的redo事务日志文件或归档日志文件，捕获其变化数据；传输控制模块从变化数据缓存池中取出数据传输至容灾服务器；容灾服务器将变化数据保存至容灾端的缓冲池中；组装模块根据Oracle数据库的特性将变化数据拼装成可恢复事务；装载线程将组装好的事务恢复到容灾数据库。
优选地，所述实时增量复制功能实时前需要保障生产、容灾数据库之间的数据相同。
优选地，所述追逐式全量复制功能具体实现步骤包括：逐式复制原理∑＝∑存量+∑变化：复制存量数据与数据库对象到容灾数据库；复制在第一步复制期间变化的事务；将第二步的复制结果保存到容灾数据库。
优选地，所述复制方法还包括传输断点续传功能，所述传输断点续传功能通过镜像系统把变化数据保存在缓冲池中，Oracle镜像的传输控制模块记录当前传输成功的数据块RBA，当故障修复后自动传输下一条RBA。
优选地，所述复制方法还包括快速的容灾接管功能，所述快速的容灾接管功能使备用系统的数据库一直处于打开状态，实际上相当于对容灾系统进行不间断的测试，确保备用系统随时处于可用状态。
优选地，所述CDP数据容错功能工作方法为保存任一数据块级别的数据更改，或保存任一数据库事务，并提供记录着所有历史数据状态的动态恢复日志，用灵活的“任意时间点”或“任意事务”恢复方式取代了传统的指定数据库状态恢复到过去的某个时间点的“Point-in-time”恢复方式。
本发明的技术效果和优点：本发明的容灾系统直接处于在线运行状态，是直接可见的、可验证的，严格保证数据库级别的完整性和一致性。其他复制技术有可能导致事务不一致，导致备用系统不能启用，失去容灾意义；备用服务器和备用存储的性能可以配置得低一点，只需备用存储空间大一点就行。这样可以降低客户在硬件上的投入成本；追逐式复制技术把源数据库所有事务快速复制到目标服务器，且不停顿业务系统。非常适合7X24小时连续运行的业务系统，不影响正常运行；服务器的资源包括服务器的CPU，内存等。镜像系统采用实时增量复制技术大大减少了这些资源的开销，使得对业务系统性能影响很小；一对一就是一台主服务器上的数据镜像到另一台备用服务器上。多对一是多台主服务器上的数据镜像到一台备用服务器上。像医院有HIS、LIS等多套系统可以做多对一，以减少成本投入。
附图说明
图1为本发明的逻辑示意图；
图2为本发明的增量复制的流程图。
具体实施方式
为了使本发明的实现技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明，在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接或是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以两个元件内部的连通。
实施例
如图1和图2所示一种基于日志逻辑解析的关系型数据库数据复制方法，所述复制方法主要依托数据库实时捕获引擎ACA和数据组装实现，具备以下功能：追逐式全量复制功能，在第一次部署时，且在不停止生产业务的要求下，自动的将生产端业务系统的存量数据和活动数据全部复制到备用端的数据库；实时增量复制功能，实时的将业务数据复制到容灾端的备用系统；CDP数据容错功能，将数据库恢复到符合要求的某一历史状态。容灾端容错进程采用循环写机制一一保存生产端传输来的数据。当需要容错时，容错代理接收用户选定的恢复时间或事务条件，容错进程将符合条件的一段日志数据恢复到容错数据库；故障切换功能，当生产端发生故障时，可手动或自动切换至容灾端备用系统。可以提供监控、报警、切换、回切等功能，可提供完整的业务容灾解决方案；构建生产、查询相分离的业务应用功能，实现查询统计功能，分流生产数据库的性能压力；所述复制方法具体包括如下步骤：
步骤1、复制数据库全量文件，包括数据文件、控制文件和在此期间的数据库动态数据；
步骤2、采用增量复制的方法，实时捕获生产库redo日志文件的变化，传输线程将捕获到的增量数据传输到容灾服务器；
步骤3、容灾端接受线程将接受到的增量数据以logdata的形式写到磁盘；
步骤4、容灾端拼装线程将增量数据拼装成归档日志；
步骤5、容灾端恢复线程将归档日志注册到容灾库，从而将事务日志块反解成SQL语句集从而保证生产端和容灾端数据的一致性。
优选地，所述实时增量复制功能具体实现步骤包括：生产端的事务日志实时捕获模块实时监控生产Oracle数据库的redo事务日志文件或归档日志文件，捕获其变化数据；传输控制模块从变化数据缓存池中取出数据传输至容灾服务器；容灾服务器将变化数据保存至容灾端的缓冲池中；组装模块根据Oracle数据库的特性将变化数据拼装成可恢复事务；装载线程将组装好的事务恢复到容灾数据库。
优选地，所述实时增量复制功能实时前需要保障生产、容灾数据库之间的数据相同。
优选地，所述追逐式全量复制功能具体实现步骤包括：逐式复制原理∑＝∑存量+∑变化：复制存量数据与数据库对象到容灾数据库；复制在第一步复制期间变化的事务；将第二步的复制结果保存到容灾数据库。
优选地，所述复制方法还包括传输断点续传功能，所述传输断点续传功能通过镜像系统把变化数据保存在缓冲池中，Oracle镜像的传输控制模块记录当前传输成功的数据块RBA，当故障修复后自动传输下一条RBA。
优选地，所述复制方法还包括快速的容灾接管功能，所述快速的容灾接管功能使备用系统的数据库一直处于打开状态，实际上相当于对容灾系统进行不间断的测试，确保备用系统随时处于可用状态。
优选地，所述CDP数据容错功能工作方法为保存任一数据块级别的数据更改，或保存任一数据库事务，并提供记录着所有历史数据状态的动态恢复日志，用灵活的“任意时间点”或“任意事务”恢复方式取代了传统的指定数据库状态恢复到过去的某个时间点的“Point-in-time”恢复方式。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于日志逻辑解析的关系型数据库数据复制方法，其特征在于：所述复制方法主要依托数据库实时捕获引擎ACA和数据组装实现，具备以下功能：追逐式全量复制功能，在第一次部署时，且在不停止生产业务的要求下，自动的将生产端业务系统的存量数据和活动数据全部复制到备用端的数据库；实时增量复制功能，实时的将业务数据复制到容灾端的备用系统；CDP数据容错功能，将数据库恢复到符合要求的某一历史状态；
容灾端容错进程采用循环写机制一一保存生产端传输来的数据；当需要容错时，容错代理接收用户选定的恢复时间或事务条件，容错进程将符合条件的一段日志数据恢复到容错数据库；故障切换功能，当生产端发生故障时，可手动或自动切换至容灾端备用系统；可以提供监控、报警、切换、回切等功能，可提供完整的业务容灾解决方案；构建生产、查询相分离的业务应用功能，实现查询统计功能，分流生产数据库的性能压力；所述复制方法具体包括如下步骤：
步骤1、复制数据库全量文件，包括数据文件、控制文件和在此期间的数据库动态数据；
步骤2、采用增量复制的方法，实时捕获生产库redo日志文件的变化，传输线程将捕获到的增量数据传输到容灾服务器；
步骤3、容灾端接受线程将接受到的增量数据以logdata的形式写到磁盘；
步骤4、容灾端拼装线程将增量数据拼装成归档日志；
步骤5、容灾端恢复线程将归档日志注册到容灾库，从而将事务日志块反解成SQL语句集从而保证生产端和容灾端数据的一致性。
2.一种基于日志逻辑解析的关系型数据库数据复制方法，其特征在于：所述实时增量复制功能具体实现步骤包括：生产端的事务日志实时捕获模块实时监控生产Oracle数据库的redo事务日志文件或归档日志文件，捕获其变化数据；传输控制模块从变化数据缓存池中取出数据传输至容灾服务器；容灾服务器将变化数据保存至容灾端的缓冲池中；组装模块根据Oracle数据库的特性将变化数据拼装成可恢复事务；装载线程将组装好的事务恢复到容灾数据库。
3.一种基于日志逻辑解析的关系型数据库数据复制方法，其特征在于：所述实时增量复制功能实时前需要保障生产、容灾数据库之间的数据相同。
4.一种基于日志逻辑解析的关系型数据库数据复制方法，其特征在于：所述追逐式全量复制功能具体实现步骤包括：逐式复制原理∑= ∑存量+ ∑变化：复制存量数据与数据库对象到容灾数据库；复制在第一步复制期间变化的事务；将第二步的复制结果保存到容灾数据库。
5.一种基于日志逻辑解析的关系型数据库数据复制方法，其特征在于：所述复制方法还包括传输断点续传功能，所述传输断点续传功能通过镜像系统把变化数据保存在缓冲池中，Oracle镜像的传输控制模块记录当前传输成功的数据块RBA，当故障修复后自动传输下一条RBA。
6.一种基于日志逻辑解析的关系型数据库数据复制方法，其特征在于：所述复制方法还包括快速的容灾接管功能，所述快速的容灾接管功能使备用系统的数据库一直处于打开状态，实际上相当于对容灾系统进行不间断的测试，确保备用系统随时处于可用状态。
7.一种基于日志逻辑解析的关系型数据库数据复制方法，其特征在于：所述CDP数据容错功能工作方法为保存任一数据块级别的数据更改，或保存任一数据库事务，并提供记录着所有历史数据状态的动态恢复日志，用灵活的“任意时间点”或“任意事务”恢复方式取代了传统的指定数据库状态恢复到过去的某个时间点的“Point-in-time”恢复方式。
CN201911211529.7A 2019-12-02 2019-12-02 一种基于日志逻辑解析的关系型数据库数据复制方法 Pending CN111061594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911211529.7A CN111061594A (zh) 2019-12-02 2019-12-02 一种基于日志逻辑解析的关系型数据库数据复制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911211529.7A CN111061594A (zh) 2019-12-02 2019-12-02 一种基于日志逻辑解析的关系型数据库数据复制方法

Publications (1)

Publication Number Publication Date
CN111061594A true CN111061594A (zh) 2020-04-24

Family

ID=70299635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911211529.7A Pending CN111061594A (zh) 2019-12-02 2019-12-02 一种基于日志逻辑解析的关系型数据库数据复制方法

Country Status (1)

Country Link
CN (1) CN111061594A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515573A (zh) * 2021-05-08 2021-10-19 上海英方软件股份有限公司 一种oracle数据库一对多协商复制断点的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050020105A (ko) * 2003-08-21 2005-03-04 삼성에스디에스 주식회사 Dbms의 데이터베이스 자동 복구 시스템 및 그 방법
CN103226502A (zh) * 2013-05-21 2013-07-31 中国工商银行股份有限公司 一种数据灾备控制系统及数据恢复方法
CN105512284A (zh) * 2015-12-07 2016-04-20 上海爱数信息技术股份有限公司 基于事务形态数据和binlog文件的MySQL数据保护方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050020105A (ko) * 2003-08-21 2005-03-04 삼성에스디에스 주식회사 Dbms의 데이터베이스 자동 복구 시스템 및 그 방법
CN103226502A (zh) * 2013-05-21 2013-07-31 中国工商银行股份有限公司 一种数据灾备控制系统及数据恢复方法
CN105512284A (zh) * 2015-12-07 2016-04-20 上海爱数信息技术股份有限公司 基于事务形态数据和binlog文件的MySQL数据保护方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BFHF5753: "浪擎镜像系统SQLServer数据库实时备份技术", Retrieved from the Internet <URL:http://blog.chinaunix.net/uid-20715871-id-989097.html> *
丁蓓蓓: "浪擎DAYS灾备软件功能详细说明及应用", Retrieved from the Internet <URL:https://www.pcpop.com/article/890042.shtml> *
彭巍;邵佳炜;雷振江;吕旭明;聂庆节;刘赛;: "基于数据块的关系数据库日志挖掘技术", 计算机系统应用, no. 07, 15 July 2016 (2016-07-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515573A (zh) * 2021-05-08 2021-10-19 上海英方软件股份有限公司 一种oracle数据库一对多协商复制断点的方法及系统

Similar Documents

Publication Publication Date Title
US9396244B2 (en) Systems and methods for managing replicated database data
US8572046B2 (en) System and method for backing up a computer system
US7577867B2 (en) Cross tagging to data for consistent recovery
US6934877B2 (en) Data backup/recovery system
US6981114B1 (en) Snapshot reconstruction from an existing snapshot and one or more modification logs
US6539462B1 (en) Remote data copy using a prospective suspend command
US6658589B1 (en) System and method for backup a parallel server data storage system
US7096392B2 (en) Method and system for automated, no downtime, real-time, continuous data protection
US7627776B2 (en) Data backup method
US7484051B2 (en) Apparatus, system and method for reliably updating a data group in a read-before-write data replication environment using a comparison file
US8214685B2 (en) Recovering from a backup copy of data in a multi-site storage system
KR101352959B1 (ko) 메인메모리 데이터베이스 관리 시스템의 액티브 노드 및 스탠바이 노드의 데이터베이스 관리 장치 및 방법
US7809892B1 (en) Asynchronous data replication
CN105302667B (zh) 基于集群架构的高可靠性数据备份与恢复方法
CN107066357A (zh) 一种数据库合成备份和挂载恢复方法
CN101243446A (zh) 从数据库镜像进行在线页还原
CN102710752A (zh) 灾备存储系统
US6973486B2 (en) Alternate server system
CN103136070A (zh) 一种数据容灾处理的方法和装置
US20060018505A1 (en) Method, system and software for enhanced data protection using raw device backup of copy-on-write snapshots
EP1209569A1 (en) Data backup/recovery system
CN111061594A (zh) 一种基于日志逻辑解析的关系型数据库数据复制方法
CN101448028A (zh) 一种持续数据保护方法、装置和系统
EP1056011A2 (en) Method and system for recovering data
CN112764971A (zh) 一种基于光纤通道fc与磁带库的数据存储备份系统及备份方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination