CN106682141A - 一种基于业务操作日志的数据同步方法 - Google Patents

一种基于业务操作日志的数据同步方法 Download PDF

Info

Publication number
CN106682141A
CN106682141A CN201611184089.7A CN201611184089A CN106682141A CN 106682141 A CN106682141 A CN 106682141A CN 201611184089 A CN201611184089 A CN 201611184089A CN 106682141 A CN106682141 A CN 106682141A
Authority
CN
China
Prior art keywords
data
business
business operation
data synchronization
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611184089.7A
Other languages
English (en)
Other versions
CN106682141B (zh
Inventor
冯波
王蓉芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 15 Research Institute
Original Assignee
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 15 Research Institute filed Critical CETC 15 Research Institute
Priority to CN201611184089.7A priority Critical patent/CN106682141B/zh
Publication of CN106682141A publication Critical patent/CN106682141A/zh
Application granted granted Critical
Publication of CN106682141B publication Critical patent/CN106682141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种基于业务操作日志的数据同步方法。使用本发明能够确保业务数据的原子性、数据的完整性，同时业务数据采用直接分发机制，而非逐级处理逐级上报，提高数据同步速度。本发明方法将业务操作日志作为数据同步的依据，最大限度的保障了业务数据的原子性，连贯性，数据的一致性，完整性，避免了使用数据源全部上报与数据源增量上报方式的明显弊端。在数据传输分发过程中，摒弃了分级部署系统必须逐级上报下发的方式，采用直接分发的机制，无需逐级进行文件解析及数据操作，提高了数据同步效率。在数据同步失败时，按照业务操作日志回滚，保障数据因数据同步失败引起的数据丢失错误，提高数据同步的准确性。

Description

一种基于业务操作日志的数据同步方法
技术领域
本发明涉及计算机信息技术领域，具体涉及一种基于业务操作日志的数据同步方法。
背景技术
在树形分级部署系统中，为分级应用管理模式，数据变更需及时上报下发，以保证各级数据同步一致；系统各级存在多个数据副本，必须采用数据同步技术捕获数据库中数据对象的改变，从而维护各级数据库的一致性并保障数据库的高效性和可靠性。
目前业界存在的数据同步方法主要有两类：
(1)数据源全部上报
当需要数据同步时，通过专用的通讯应用程序将某一时刻源数据库的表的内容全部复制逐级上报至上级单位，可以完整复制源数据库的变化至目标数据库，本方法基于表的复制，数据同步量大，对网络带宽要求较高，效率低。
(2)数据增量上报
当需要数据同步时，通过专用的通讯应用程序将变化的数据复制逐级上报至上级单位，从传输的数据量来看，仅将变化的数据上传，是一种增量上报，同步量小。但是由于业务处理的连续性，处理需要连续同步，因此本同步方法无法保障数据的完整性。
无论是采用数据源全部上报还是数据增量上报方法，针对分级部署系统，现使用的方式均为逐级同步，系统各级需要数据接收处理后再传递，对于实时性要求较高的系统来说，逐级上报的方式传递速度慢、周期长。面对大量增量数据及业务操作复杂化，现业界使用的数据同步模式存在明显不足之处。综上所述，急需要一种传输更加高效、确保传输数据更加完整的解决方案。
发明内容
有鉴于此，本发明提供了一种基于业务操作日志的数据同步方法，能够确保业务数据的原子性、数据的完整性，同时业务数据采用直接分发机制，而非逐级处理逐级上报，提高数据同步速度。
本发明的基于业务操作日志的数据同步方法，包括如下步骤：
步骤一，业务系统在对业务对象进行业务操作的同时记录本业务系统的业务操作日志，生成业务操作日志文件；
步骤二，业务系统将生成的业务操作日志文件按照部署单位层级关系进行传输，采用直接分发机制，业务操作日志文件直接被分发传递至与该业务操作相关的目的业务系统；
步骤三，目的业务系统收到业务操作日志文件后，提取并分析业务操作日志文件中记载的业务操作，根据业务操作分析结果改变目的业务系统数据，实现数据同步。
进一步地，如果数据同步失败，则首先进行数据回滚，即所有目的业务系统的数据还原至此次业务系统数据更改前，然后重新执行步骤二和步骤三，进行数据同步。
有益效果：
(1)本发明方法将业务操作日志作为数据同步的依据，最大限度的保障了业务数据的原子性，连贯性，数据的一致性，完整性，避免了使用数据源全部上报与数据源增量上报方式的明显弊端。
(2)本发明方法在数据传输分发过程中，摒弃了分级部署系统必须逐级上报下发的方式，采用直接分发的机制，无需逐级进行文件解析及数据操作，提高了数据同步效率。
(3)本发明方法在数据同步失败时，按照业务操作日志回滚，保障数据因数据同步失败引起的数据丢失错误，提高数据同步的准确性。
附图说明
图1为本发明方法流程图。
图2为数据传输流程对比。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于业务操作日志的数据同步方法，首先记录业务操作日志，生成业务操作日志文件，然后将业务操作日志文件同步上传至各目的业务系统，各目的业务系统根据接收到的业务操作日志文件，分析并提取业务操作串，根据提取业务操作串重写本业务系统的数据。
本发明流程图如图1所示，具体包括如下步骤：
步骤一、记录业务操作日志
各业务系统在指定监听端口获取数据同步映射消息，确认同步时间及上传路径。当一个业务系统进行业务操作时，该业务系统根据业务数据操作指令进行业务操作，维护本级数据，同时记录本系统的业务操作日志(业务操作日志记录了对业务对象的变更操作，用于跟踪追溯系统业务数据的变化过程)，保存日志为指定格式文件，生成业务操作日志文件。
步骤二、数据传输
如图2所示，同步时间到达时，通过专用应用程序，按照系统传递策略将业务操作日志文件按照部署单位层级关系进行传输，系统采用直接分发的机制，可将日志文件直接分发传递至相关目的业务系统，无需逐级进行文件解析及数据操作，提高传输效率，目的业务系统在指定时间读取同步文件。
步骤三、提取数据，各级根据业务操作日志重写数据
一个业务操作日志包括了一组数据变更向量，是数据状态的一个操作序列，记录了对数据库的原子操作，目的业务系统根据接收到的日志文件，分析并提取业务操作串，根据分析结果重写目的端数据。
步骤四、同步失败，数据回滚
一旦判定业务操作日志文件同步失败，重写数据暂停，系统提示同步失败，因业务操作可能涉及多个数据库表，为保证数据完整精确，系统进行数据回滚，恢复至上一次的正确状态，还原数据。待再一次同步时，按照业务操作日志重写目的端数据，避免为小部分数据同步失败而恢复整个数据库。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于业务操作日志的数据同步方法，其特征在于，包括如下步骤：
步骤一，业务系统在对业务对象进行业务操作的同时记录本业务系统的业务操作日志，生成业务操作日志文件；
步骤二，业务系统将生成的业务操作日志文件按照部署单位层级关系进行传输，采用直接分发机制，业务操作日志文件直接被分发传递至与该业务操作相关的目的业务系统；
步骤三，目的业务系统收到业务操作日志文件后，提取并分析业务操作日志文件中记载的业务操作，根据业务操作分析结果改变目的业务系统数据，实现数据同步。
2.如权利要求1所述的基于业务操作日志的数据同步方法，其特征在于，如果数据同步失败，则首先进行数据回滚，即所有目的业务系统的数据还原至此次业务系统数据更改前，然后重新执行步骤二和步骤三，进行数据同步。
CN201611184089.7A 2016-12-20 2016-12-20 一种基于业务操作日志的数据同步方法 Active CN106682141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611184089.7A CN106682141B (zh) 2016-12-20 2016-12-20 一种基于业务操作日志的数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611184089.7A CN106682141B (zh) 2016-12-20 2016-12-20 一种基于业务操作日志的数据同步方法

Publications (2)

Publication Number Publication Date
CN106682141A true CN106682141A (zh) 2017-05-17
CN106682141B CN106682141B (zh) 2022-02-11

Family

ID=58870091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611184089.7A Active CN106682141B (zh) 2016-12-20 2016-12-20 一种基于业务操作日志的数据同步方法

Country Status (1)

Country Link
CN (1) CN106682141B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681558A (zh) * 2018-04-10 2018-10-19 阿里巴巴集团控股有限公司 一种数据回滚方法、装置、及终端
CN108984337A (zh) * 2018-05-29 2018-12-11 杭州网易再顾科技有限公司 一种数据同步异常的修复方法、修复装置、介质和计算设备
CN114510495A (zh) * 2022-04-21 2022-05-17 北京安华金和科技有限公司 一种数据库业务数据一致性处理方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145945A (zh) * 2007-08-29 2008-03-19 中兴通讯股份有限公司 一种电信网络管理中消息总线系统及控制方法
KR20130043823A (ko) * 2011-10-21 2013-05-02 엔에이치엔비즈니스플랫폼 주식회사 로그에 기반하여 데이터 정합성을 유지하는 분산 저장 시스템 및 방법
CN103812703A (zh) * 2014-02-20 2014-05-21 浪潮集团有限公司 一种基于云计算的异步保存日志方法
CN103812929A (zh) * 2014-01-11 2014-05-21 浪潮电子信息产业股份有限公司 一种云数据中心管理平台双活方法
US20150127901A1 (en) * 2010-12-13 2015-05-07 International Business Machines Corporation Saving log data using a disk system as primary cache and a tape library as secondary cache
CN105183860A (zh) * 2015-09-10 2015-12-23 北京京东尚科信息技术有限公司 数据同步方法和系统
CN105490868A (zh) * 2015-11-17 2016-04-13 世纪龙信息网络有限责任公司 异地机房数据双向同步监控方法与系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145945A (zh) * 2007-08-29 2008-03-19 中兴通讯股份有限公司 一种电信网络管理中消息总线系统及控制方法
US20150127901A1 (en) * 2010-12-13 2015-05-07 International Business Machines Corporation Saving log data using a disk system as primary cache and a tape library as secondary cache
KR20130043823A (ko) * 2011-10-21 2013-05-02 엔에이치엔비즈니스플랫폼 주식회사 로그에 기반하여 데이터 정합성을 유지하는 분산 저장 시스템 및 방법
CN103812929A (zh) * 2014-01-11 2014-05-21 浪潮电子信息产业股份有限公司 一种云数据中心管理平台双活方法
CN103812703A (zh) * 2014-02-20 2014-05-21 浪潮集团有限公司 一种基于云计算的异步保存日志方法
CN105183860A (zh) * 2015-09-10 2015-12-23 北京京东尚科信息技术有限公司 数据同步方法和系统
CN105490868A (zh) * 2015-11-17 2016-04-13 世纪龙信息网络有限责任公司 异地机房数据双向同步监控方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG,JING: "A Data Synchronization Method Oriented to Custom Hierarchical Multi-node System", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND COMMUNICATION TECHNOLOGY CICT 2015》 *
戴鹏飞: "山东省安全监督基础信息资源管理平台的设计与实现", 《中国优秀硕士学位论文全文数据库(电子期刊)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681558A (zh) * 2018-04-10 2018-10-19 阿里巴巴集团控股有限公司 一种数据回滚方法、装置、及终端
CN108681558B (zh) * 2018-04-10 2021-08-06 创新先进技术有限公司 一种数据回滚方法、装置、及终端
CN108984337A (zh) * 2018-05-29 2018-12-11 杭州网易再顾科技有限公司 一种数据同步异常的修复方法、修复装置、介质和计算设备
CN108984337B (zh) * 2018-05-29 2021-04-16 杭州网易再顾科技有限公司 一种数据同步异常的修复方法、修复装置、介质和计算设备
CN114510495A (zh) * 2022-04-21 2022-05-17 北京安华金和科技有限公司 一种数据库业务数据一致性处理方法和系统
CN114510495B (zh) * 2022-04-21 2022-07-08 北京安华金和科技有限公司 一种数据库业务数据一致性处理方法和系统

Also Published As

Publication number Publication date
CN106682141B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
US10795911B2 (en) Apparatus and method for replicating changed-data in source database management system to target database management system in real time
CN110347746B (zh) 一种异构数据库同步数据一致性校验方法及装置
CN103699599B (zh) 一种基于Storm实时流计算框架的消息可靠处理保障方法
CN102317939B (zh) 用于复制的存储集群的异步分布式垃圾收集
CN107209704A (zh) 检测丢失的写入
CN102968486B (zh) 一种基于变化日志的高可靠文件同步方法
CN101187888A (zh) 一种异构环境中复制数据库数据的方法
CN104346454A (zh) 基于Oracle数据库的数据一致性校验方法
CN108810112B (zh) 一种市场监管区块链系统的节点同步方法及装置
TWI256556B (en) Distributed concurrent version management system and method
CN106599104A (zh) 一种基于redis集群的海量数据关联方法
CN101969386A (zh) 一种日志采集装置和日志采集方法
CN103795754A (zh) 多系统间的数据同步方法和系统
CN104252502A (zh) 一种数据库管理平台中数据迁移方法和装置
CN106682141A (zh) 一种基于业务操作日志的数据同步方法
CN107423452A (zh) 一种电网异构数据库同步复制迁移方法
CN108228726B (zh) 配电网红黑图的增量异动内容获取方法及存储介质
CN113051347B (zh) 异构数据库之间数据同步方法、系统、设备及存储介质
CN104536965A (zh) 一种大数据条件下的数据查询展示系统及方法
CN104616134A (zh) 一种报表分析报告推送方法及装置
CN110781197A (zh) 一种hive离线同步校验方法、装置及电子设备
CN104090948A (zh) 核电站海量数据处理方法、装置及系统
CN111427869A (zh) 一种基于区块链的日志系统
CN113177088B (zh) 一种材料辐照损伤多尺度模拟大数据管理系统
CN103176866A (zh) 一种应用于ntfs文件系统下的文件权限备份方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant