CN106682141B - 一种基于业务操作日志的数据同步方法 - Google Patents

一种基于业务操作日志的数据同步方法 Download PDF

Info

Publication number
CN106682141B
CN106682141B CN201611184089.7A CN201611184089A CN106682141B CN 106682141 B CN106682141 B CN 106682141B CN 201611184089 A CN201611184089 A CN 201611184089A CN 106682141 B CN106682141 B CN 106682141B
Authority
CN
China
Prior art keywords
data
service
operation log
service operation
data synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611184089.7A
Other languages
English (en)
Other versions
CN106682141A (zh
Inventor
冯波
王蓉芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Institute Of Computer Technology (cetc No15 Research Institute)
Original Assignee
North China Institute Of Computer Technology (cetc No15 Research Institute)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Institute Of Computer Technology (cetc No15 Research Institute) filed Critical North China Institute Of Computer Technology (cetc No15 Research Institute)
Priority to CN201611184089.7A priority Critical patent/CN106682141B/zh
Publication of CN106682141A publication Critical patent/CN106682141A/zh
Application granted granted Critical
Publication of CN106682141B publication Critical patent/CN106682141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种基于业务操作日志的数据同步方法。使用本发明能够确保业务数据的原子性、数据的完整性，同时业务数据采用直接分发机制，而非逐级处理逐级上报，提高数据同步速度。本发明方法将业务操作日志作为数据同步的依据，最大限度的保障了业务数据的原子性，连贯性，数据的一致性，完整性，避免了使用数据源全部上报与数据源增量上报方式的明显弊端。在数据传输分发过程中，摒弃了分级部署系统必须逐级上报下发的方式，采用直接分发的机制，无需逐级进行文件解析及数据操作，提高了数据同步效率。在数据同步失败时，按照业务操作日志回滚，保障数据因数据同步失败引起的数据丢失错误，提高数据同步的准确性。

Description

一种基于业务操作日志的数据同步方法
技术领域
本发明涉及计算机信息技术领域，具体涉及一种基于业务操作日志的数据同步方法。
背景技术
在树形分级部署系统中，为分级应用管理模式，数据变更需及时上报下发，以保证各级数据同步一致；系统各级存在多个数据副本，必须采用数据同步技术捕获数据库中数据对象的改变，从而维护各级数据库的一致性并保障数据库的高效性和可靠性。
目前业界存在的数据同步方法主要有两类：
(1)数据源全部上报
当需要数据同步时，通过专用的通讯应用程序将某一时刻源数据库的表的内容全部复制逐级上报至上级单位，可以完整复制源数据库的变化至目标数据库，本方法基于表的复制，数据同步量大，对网络带宽要求较高，效率低。
(2)数据增量上报
当需要数据同步时，通过专用的通讯应用程序将变化的数据复制逐级上报至上级单位，从传输的数据量来看，仅将变化的数据上传，是一种增量上报，同步量小。但是由于业务处理的连续性，处理需要连续同步，因此本同步方法无法保障数据的完整性。
无论是采用数据源全部上报还是数据增量上报方法，针对分级部署系统，现使用的方式均为逐级同步，系统各级需要数据接收处理后再传递，对于实时性要求较高的系统来说，逐级上报的方式传递速度慢、周期长。面对大量增量数据及业务操作复杂化，现业界使用的数据同步模式存在明显不足之处。综上所述，急需要一种传输更加高效、确保传输数据更加完整的解决方案。
发明内容
有鉴于此，本发明提供了一种基于业务操作日志的数据同步方法，能够确保业务数据的原子性、数据的完整性，同时业务数据采用直接分发机制，而非逐级处理逐级上报，提高数据同步速度。
本发明的基于业务操作日志的数据同步方法，包括如下步骤：
步骤一，业务系统在对业务对象进行业务操作的同时记录本业务系统的业务操作日志，生成业务操作日志文件；
步骤二，业务系统将生成的业务操作日志文件按照部署单位层级关系进行传输，采用直接分发机制，业务操作日志文件直接被分发传递至与该业务操作相关的目的业务系统；
步骤三，目的业务系统收到业务操作日志文件后，提取并分析业务操作日志文件中记载的业务操作，根据业务操作分析结果改变目的业务系统数据，实现数据同步。
进一步地，如果数据同步失败，则首先进行数据回滚，即所有目的业务系统的数据还原至此次业务系统数据更改前，然后重新执行步骤二和步骤三，进行数据同步。
有益效果：
(1)本发明方法将业务操作日志作为数据同步的依据，最大限度的保障了业务数据的原子性，连贯性，数据的一致性，完整性，避免了使用数据源全部上报与数据源增量上报方式的明显弊端。
(2)本发明方法在数据传输分发过程中，摒弃了分级部署系统必须逐级上报下发的方式，采用直接分发的机制，无需逐级进行文件解析及数据操作，提高了数据同步效率。
(3)本发明方法在数据同步失败时，按照业务操作日志回滚，保障数据因数据同步失败引起的数据丢失错误，提高数据同步的准确性。
附图说明
图1为本发明方法流程图。
图2为数据传输流程对比。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于业务操作日志的数据同步方法，首先记录业务操作日志，生成业务操作日志文件，然后将业务操作日志文件同步上传至各目的业务系统，各目的业务系统根据接收到的业务操作日志文件，分析并提取业务操作串，根据提取业务操作串重写本业务系统的数据。
本发明流程图如图1所示，具体包括如下步骤：
步骤一、记录业务操作日志
各业务系统在指定监听端口获取数据同步映射消息，确认同步时间及上传路径。当一个业务系统进行业务操作时，该业务系统根据业务数据操作指令进行业务操作，维护本级数据，同时记录本系统的业务操作日志(业务操作日志记录了对业务对象的变更操作，用于跟踪追溯系统业务数据的变化过程)，保存日志为指定格式文件，生成业务操作日志文件。
步骤二、数据传输
如图2所示，同步时间到达时，通过专用应用程序，按照系统传递策略将业务操作日志文件按照部署单位层级关系进行传输，系统采用直接分发的机制，可将日志文件直接分发传递至相关目的业务系统，无需逐级进行文件解析及数据操作，提高传输效率，目的业务系统在指定时间读取同步文件。
步骤三、提取数据，各级根据业务操作日志重写数据
一个业务操作日志包括了一组数据变更向量，是数据状态的一个操作序列，记录了对数据库的原子操作，目的业务系统根据接收到的日志文件，分析并提取业务操作串，根据分析结果重写目的端数据。
步骤四、同步失败，数据回滚
一旦判定业务操作日志文件同步失败，重写数据暂停，系统提示同步失败，因业务操作可能涉及多个数据库表，为保证数据完整精确，系统进行数据回滚，恢复至上一次的正确状态，还原数据。待再一次同步时，按照业务操作日志重写目的端数据，避免为小部分数据同步失败而恢复整个数据库。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于业务操作日志的数据同步方法，其特征在于，包括如下步骤：
步骤一，业务系统在对业务对象进行业务操作的同时记录本业务系统的业务操作日志，生成业务操作日志文件；
步骤二，业务系统将生成的业务操作日志文件按照部署单位层级关系进行传输，采用直接分发机制，业务操作日志文件直接被分发传递至与该业务操作相关的目的业务系统，无需逐级进行文件解析及数据操作；
步骤三，目的业务系统收到业务操作日志文件后，提取并分析业务操作日志文件中记载的业务操作，根据业务操作分析结果改变目的业务系统数据，实现数据同步。
2.如权利要求1所述的基于业务操作日志的数据同步方法，其特征在于，如果数据同步失败，则首先进行数据回滚，即所有目的业务系统的数据还原至此次业务系统数据更改前，然后重新执行步骤二和步骤三，进行数据同步。
CN201611184089.7A 2016-12-20 2016-12-20 一种基于业务操作日志的数据同步方法 Active CN106682141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611184089.7A CN106682141B (zh) 2016-12-20 2016-12-20 一种基于业务操作日志的数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611184089.7A CN106682141B (zh) 2016-12-20 2016-12-20 一种基于业务操作日志的数据同步方法

Publications (2)

Publication Number Publication Date
CN106682141A CN106682141A (zh) 2017-05-17
CN106682141B true CN106682141B (zh) 2022-02-11

Family

ID=58870091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611184089.7A Active CN106682141B (zh) 2016-12-20 2016-12-20 一种基于业务操作日志的数据同步方法

Country Status (1)

Country Link
CN (1) CN106682141B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681558B (zh) * 2018-04-10 2021-08-06 创新先进技术有限公司 一种数据回滚方法、装置、及终端
CN108984337B (zh) * 2018-05-29 2021-04-16 杭州网易再顾科技有限公司 一种数据同步异常的修复方法、修复装置、介质和计算设备
CN114510495B (zh) * 2022-04-21 2022-07-08 北京安华金和科技有限公司 一种数据库业务数据一致性处理方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145945A (zh) * 2007-08-29 2008-03-19 中兴通讯股份有限公司 一种电信网络管理中消息总线系统及控制方法
KR20130043823A (ko) * 2011-10-21 2013-05-02 엔에이치엔비즈니스플랫폼 주식회사 로그에 기반하여 데이터 정합성을 유지하는 분산 저장 시스템 및 방법
CN103812929A (zh) * 2014-01-11 2014-05-21 浪潮电子信息产业股份有限公司 一种云数据中心管理平台双活方法
CN103812703A (zh) * 2014-02-20 2014-05-21 浪潮集团有限公司 一种基于云计算的异步保存日志方法
CN105183860A (zh) * 2015-09-10 2015-12-23 北京京东尚科信息技术有限公司 数据同步方法和系统
CN105490868A (zh) * 2015-11-17 2016-04-13 世纪龙信息网络有限责任公司 异地机房数据双向同步监控方法与系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8543760B2 (en) * 2010-12-13 2013-09-24 International Business Machines Corporation Saving log data using a disk system as primary cache and a tape library as secondary cache

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145945A (zh) * 2007-08-29 2008-03-19 中兴通讯股份有限公司 一种电信网络管理中消息总线系统及控制方法
KR20130043823A (ko) * 2011-10-21 2013-05-02 엔에이치엔비즈니스플랫폼 주식회사 로그에 기반하여 데이터 정합성을 유지하는 분산 저장 시스템 및 방법
CN103812929A (zh) * 2014-01-11 2014-05-21 浪潮电子信息产业股份有限公司 一种云数据中心管理平台双活方法
CN103812703A (zh) * 2014-02-20 2014-05-21 浪潮集团有限公司 一种基于云计算的异步保存日志方法
CN105183860A (zh) * 2015-09-10 2015-12-23 北京京东尚科信息技术有限公司 数据同步方法和系统
CN105490868A (zh) * 2015-11-17 2016-04-13 世纪龙信息网络有限责任公司 异地机房数据双向同步监控方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Data Synchronization Method Oriented to Custom Hierarchical Multi-node System;Zhang,Jing;《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND COMMUNICATION TECHNOLOGY CICT 2015》;20151231;第666-669页 *
山东省安全监督基础信息资源管理平台的设计与实现;戴鹏飞;《中国优秀硕士学位论文全文数据库(电子期刊)》;20120815(第08期);第I138-475页 *

Also Published As

Publication number Publication date
CN106682141A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN110209726B (zh) 分布式数据库集群系统、数据同步方法及存储介质
KR101904786B1 (ko) 소스 데이터베이스 관리시스템에서 변경되는 데이터를 실시간으로 목표 데이터베이스 관리시스템에 복제하는 장치 및 그 방법
CN107423303B (zh) 数据同步的方法和系统
CN102981931B (zh) 虚拟机备份方法及装置
CN101706795B (zh) 主备服务器上数据库数据同步方法
US10726042B2 (en) Replication control using eventually consistent meta-data
CN103548011A (zh) 分布式存储环境中的异步复制
CN106682141B (zh) 一种基于业务操作日志的数据同步方法
CN109799948B (zh) 一种数据存储方法及装置
CN105589961A (zh) 一种数据库实时同步系统数据一致性的检测方法及系统
CN105574109A (zh) 一种数据库同步方法、同步设备及系统
US10048978B2 (en) Apparatus and method for identifying a virtual machine having changeable settings
CN114048217A (zh) 增量数据的同步方法和装置、电子设备和存储介质
CN102279857B (zh) 一种实现数据复制的方法及系统
CN112559475A (zh) 数据实时捕获和传输方法及系统
CN103902405A (zh) 一种准连续性数据复制方法及装置
WO2017014814A1 (en) Replicating memory volumes
CN114077518B (zh) 数据快照方法、装置、设备及存储介质
CN109947730B (zh) 元数据恢复方法、装置、分布式文件系统及可读存储介质
TW201335779A (zh) 檔案同步系統及方法
CN106487852B (zh) 实现客户端文件同步的方法、装置、终端设备及系统
CN111226204B (zh) 无反作用地且完整性受保护地同步日志数据的方法和设备
CN107741984B (zh) 用于在线监测数据采集一致性的采集服务器、系统及方法
CN107168822B (zh) Oracle streams的异常修复系统及方法
CN116303789A (zh) 多分片多副本数据库并行同步方法、装置及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant