CN108399256A - 异构数据库内容同步方法、装置及中间件 - Google Patents

异构数据库内容同步方法、装置及中间件 Download PDF

Info

Publication number
CN108399256A
CN108399256A CN201810182600.2A CN201810182600A CN108399256A CN 108399256 A CN108399256 A CN 108399256A CN 201810182600 A CN201810182600 A CN 201810182600A CN 108399256 A CN108399256 A CN 108399256A
Authority
CN
China
Prior art keywords
database
data
transaction
content synchronization
source database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810182600.2A
Other languages
English (en)
Other versions
CN108399256B (zh
Inventor
刘会永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hui Meng Xinan Software Technology Co Ltd
Original Assignee
Beijing Hui Meng Xinan Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hui Meng Xinan Software Technology Co Ltd filed Critical Beijing Hui Meng Xinan Software Technology Co Ltd
Priority to CN201810182600.2A priority Critical patent/CN108399256B/zh
Publication of CN108399256A publication Critical patent/CN108399256A/zh
Application granted granted Critical
Publication of CN108399256B publication Critical patent/CN108399256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开一种异构数据库内容同步方法、装置及中间件,其中,方法包括:异构数据库内容同步中间件根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志;对所述增量日志进行分析,解析出所述增量日志中对所述源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储;将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中。本发明实施例能够在保证不影响数据库业务的情况下,快速高效地实现异构数据库内容同步。

Description

异构数据库内容同步方法、装置及中间件
技术领域
本发明实施例涉及计算机技术领域,具体涉及一种异构数据库内容同步方法、装置及中间件。
背景技术
目前,数据库产品较多,主流的数据产品有:oracle、MySQL、SQL Server等。由于不同业务采用的数据库产品不同,多个数据库之间需要进行数据内容同步,或者交互的情况下,需要解决异构数据库之间数据格式的不同,设计相应的异构数据库同步方法实现其内容同步。
现有的异构数据库内容同步方法,主要包括:基于触发器的方法和基于同步协议的方法。
其中,基于触发器的方法在异构数据库中设计触发器,触发器对异构数据库分别进行修改,提取出各自的日志文件,进而实现二者内容同步;该方法的不足之处在于:需要对数据库进行修改,影响数据库性能。基于同步协议的方法将异构数据库平台之间的网络协议进行修改,设计了标准的SyncML协议,采用XML(可扩展标记语言)格式传输协议数据;该方法的不足之处在于:数据类型考虑不全面,网络编解码导致数据缺失。
鉴于此,如何实现异构数据库的内容同步成为目前需要解决的技术问题。
发明内容
由于现有方法存在上述问题,本发明实施例提出一种异构数据库内容同步方法、装置及中间件。
第一方面,本发明实施例提出一种异构数据库内容同步方法,包括:
异构数据库内容同步中间件根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志;
对所述增量日志进行分析,解析出所述增量日志中对所述源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储;
将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中。
可选地,在异构数据库内容同步中间件根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志之前,所述方法还包括:
接收用户输入的源数据库的数据解析规则,对所述源数据库的数据解析规则进行存储。
可选地,所述异构数据库内容同步中间件根据预先写入的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志,包括:
异构数据库内容同步中间件根据预先写入的源数据库的数据解析规则,读取源数据库中的事务日志,通过在所述事务日志中查找上一次读取事务日志的时间点,提取出所述事务日志中的增量日志。
可选地,所述预设格式,包括:记录头、记录元数据、事务数据长度、事务元数据、事件类型、事件结构化查询语言SQL和数据校验码。
可选地,所述记录头,包括:统一事务记录的长度、类型和全局事务序列号。
可选地,所述记录元数据,包括:事务生成主机标识、事务文件信息和事务段信息。
第二方面,本发明实施例还提出一种异构数据库内容同步装置,应用于异构数据库内容同步中间件,包括:
读取模块,用于根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志;
分析模块,用于对所述增量日志进行分析,解析出所述增量日志中对所述源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储;
写入模块,用于将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中。
第三方面,本发明实施例还提出一种异构数据库内容同步中间件,包括:上述异构数据库内容同步装置。
第四方面,本发明实施例还提出一种电子设备,包括:处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序;
其中,所述处理器,存储器通过所述总线完成相互间的通信;
所述处理器执行所述计算机程序时实现上述方法。
第五方面,本发明实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述方法。
由上述技术方案可知,本发明实施例通过利用异构数据库内容同步中间件,根据预先存储的源数据库的数据解析规则读取源数据库中的事务日志,提取出增量日志,解析出增量日志中对源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储,将形成的全局事务统一变更记录以目标数据库的文件格式写入到目标数据库中,由此,能够在保证不影响数据库业务的情况下,快速高效地实现异构数据库内容同步。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种异构数据库内容同步方法的流程示意图;
图2为图1所示实施例所述方法实现的架构示意图;
图3为本发明一实施例提供的一种异构数据库内容同步装置的结构示意图;
图4为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
图1示出了本发明一实施例提供的一种异构数据库内容同步方法的流程示意图,如图1所示,本实施例的异构数据库内容同步方法,包括:
S1、异构数据库内容同步中间件根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志。
在具体应用中,异构数据库内容同步中间件可以根据预先写入的源数据库的数据解析规则,读取源数据库中的事务日志,通过在所述事务日志中查找上一次读取事务日志的时间点,提取出所述事务日志中的增量日志。
S2、对所述增量日志进行分析,解析出所述增量日志中对所述源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储。
可以理解的是,通过设计异构数据库事务日志的统一格式(即所述预设格式),通过该预设格式对解析出的数据形成全局事务统一变更记录进行存储,能够屏蔽异构数据库之间的差异。
S3、将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中。
可以理解的是,将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中后,可实现异构数据库内容同步。
可参考图2,图2为图1所示实施例所述方法实现的架构示意图,图2中的源数据库与目标数据库可通过本实施例提供的异构数据库内容同步中间件进行交互。
本实施例的异构数据库内容同步方法,通过利用异构数据库内容同步中间件,根据预先存储的源数据库的数据解析规则读取源数据库中的事务日志,提取出增量日志,解析出增量日志中对源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储,将形成的全局事务统一变更记录以目标数据库的文件格式写入到目标数据库中,由此,能够在保证不影响数据库业务的情况下,快速高效地实现异构数据库内容同步。
进一步地,在上述实施例的基础上,在上述步骤S1之前,本实施例所述方法还可以包括图中未示出的步骤S0:
S0、接收用户输入的源数据库的数据解析规则,对所述源数据库的数据解析规则进行存储。
可以理解的是,本实施例可以实现不同数据库事务日志格式的解析,分析出其有效的数据内容,对每一种数据库产品建立不同的数据解析规则,实现了对异构数据库事务日志的读写。由于源数据库事务日志结构公开方式不同,某些数据库事务日志格式是开放的,因此事务日志内容易于获取。对于事务日志格式不公开或者半公开的源数据库,本实施例可根据不同的源数据库分析出不同的数据解析规则,预先将数据解析规则写入到中间件中,以实现对源数据库事务日志内容的读取。
进一步地,所述预设格式可以参考下述表1,所述预设格式,可以包括:记录头、记录元数据、事务数据长度、事务元数据、事件类型、事件SQL(结构化查询语言)和数据校验码等;
其中,所述记录头,可以包括:统一事务记录的长度、类型和全局事务序列号等;所述记录元数据,可以包括:事务生成主机标识、事务文件信息和事务段信息等。
表1
可以理解的是,通过所述预设格式能够有效屏蔽了异构数据库(源数据库与目标数据库)之间的差异,实现了异构数据库内容在数据上的一致。
本实施例的异构数据库内容同步方法,能够在保证不影响数据库业务的情况下,快速高效地实现异构数据库内容同步。
图3示出了本发明一实施例提供的一种异构数据库内容同步装置的结构示意图,如图3所示,本实施例的异构数据库内容同步装置,应用于异构数据库内容同步中间件,包括:读取模块31、分析模块32和写入模块33;其中:
所述读取模块31,用于根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志;
所述分析模块32,用于对所述增量日志进行分析,解析出所述增量日志中对所述源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储;
所述写入模块33,用于将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中。
具体地,所述读取模块31根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志;所述分析模块32对所述增量日志进行分析,解析出所述增量日志中对所述源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储;所述写入模块33将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中。
在具体应用中,所述读取模块31可以根据预先写入的源数据库的数据解析规则,读取源数据库中的事务日志,通过在所述事务日志中查找上一次读取事务日志的时间点,提取出所述事务日志中的增量日志。
可以理解的是,通过设计异构数据库事务日志的统一格式(即所述预设格式),通过该预设格式对解析出的数据形成全局事务统一变更记录进行存储,能够屏蔽异构数据库之间的差异。
可以理解的是,将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中后,可实现异构数据库内容同步。
本实施例的异构数据库内容同步装置,应用于异构数据库内容同步中间件中,能够在保证不影响数据库业务的情况下,快速高效地实现异构数据库内容同步。
进一步地,在上述实施例的基础上,本实施例所述装置还可以包括图中未示出的:
存储模块,用于接收用户输入的源数据库的数据解析规则,对所述源数据库的数据解析规则进行存储。
可以理解的是,本实施例可以实现不同数据库事务日志格式的解析,分析出其有效的数据内容,对每一种数据库产品建立不同的数据解析规则,实现了对异构数据库事务日志的读写。由于源数据库事务日志结构公开方式不同,某些数据库事务日志格式是开放的,因此事务日志内容易于获取。对于事务日志格式不公开或者半公开的源数据库,本实施例可根据不同的源数据库分析出不同的数据解析规则,预先将数据解析规则写入到中间件中,以实现对源数据库事务日志内容的读取。
进一步地,所述预设格式可以参考上述表1,所述预设格式,可以包括:记录头、记录元数据、事务数据长度、事务元数据、事件类型、事件SQL和数据校验码等;
其中,所述记录头,可以包括:统一事务记录的长度、类型和全局事务序列号等;所述记录元数据,可以包括:事务生成主机标识、事务文件信息和事务段信息等。
可以理解的是,通过所述预设格式能够有效屏蔽了异构数据库(源数据库与目标数据库)之间的差异,实现了异构数据库内容在数据上的一致。
本实施例的异构数据库内容同步装置,应用于异构数据库内容同步中间件中,能够在保证不影响数据库业务的情况下,快速高效地实现异构数据库内容同步。
本实施例的异构数据库内容同步装置,可以用于执行前述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明实施例还提供了一种异构数据库内容同步中间件,包括:上述图3所示实施例所述的异构数据库内容同步装置。
本实施例的异构数据库内容同步中间件,能够在保证不影响数据库业务的情况下,快速高效地实现异构数据库内容同步。
图4示出了本发明实施例提供的一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器41、存储器42、总线43及存储在存储器42上并可在处理器41上运行的计算机程序;
其中,所述处理器41,存储器42通过所述总线43完成相互间的通信;
所述处理器41执行所述计算机程序时实现上述各方法实施例所提供的方法,例如包括:异构数据库内容同步中间件根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志;对所述增量日志进行分析,解析出所述增量日志中对所述源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储;将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中。
本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例所提供的方法,例如包括:异构数据库内容同步中间件根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志;对所述增量日志进行分析,解析出所述增量日志中对所述源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储;将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中。
本领域内的技术人员应明白,本申请的实施例可提供为方法、装置、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置/系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中,说明了大量具体细节。然而能够理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释呈反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面,也不局限于任何单一的实施例,也不局限于这些方面和/或实施例的任意组合和/或置换。而且,可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种异构数据库内容同步方法,其特征在于,包括:
异构数据库内容同步中间件根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志;
对所述增量日志进行分析,解析出所述增量日志中对所述源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储;
将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中。
2.根据权利要求1所述的方法,其特征在于,在异构数据库内容同步中间件根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志之前,所述方法还包括:
接收用户输入的源数据库的数据解析规则,对所述源数据库的数据解析规则进行存储。
3.根据权利要求1所述的方法,其特征在于,所述异构数据库内容同步中间件根据预先写入的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志,包括:
异构数据库内容同步中间件根据预先写入的源数据库的数据解析规则,读取源数据库中的事务日志,通过在所述事务日志中查找上一次读取事务日志的时间点,提取出所述事务日志中的增量日志。
4.根据权利要求1所述的方法,其特征在于,所述预设格式,包括:记录头、记录元数据、事务数据长度、事务元数据、事件类型、事件结构化查询语言SQL和数据校验码。
5.根据权利要求4所述的方法,其特征在于,所述记录头,包括:统一事务记录的长度、类型和全局事务序列号。
6.根据权利要求4所述的方法,其特征在于,所述记录元数据,包括:事务生成主机标识、事务文件信息和事务段信息。
7.一种异构数据库内容同步装置,应用于异构数据库内容同步中间件,其特征在于,包括:
读取模块,用于根据预先存储的源数据库的数据解析规则,读取源数据库中的事务日志,提取出所述事务日志中的增量日志;
分析模块,用于对所述增量日志进行分析,解析出所述增量日志中对所述源数据库进行更新的数据,按照预设格式将解析出的数据形成全局事务统一变更记录并进行存储;
写入模块,用于将形成的全局事务统一变更记录,以目标数据库的文件格式写入到目标数据库中。
8.一种异构数据库内容同步中间件,其特征在于,包括:如权利要求7所述的异构数据库内容同步装置。
9.一种电子设备,其特征在于,包括:处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序;
其中,所述处理器,存储器通过所述总线完成相互间的通信;
所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN201810182600.2A 2018-03-06 2018-03-06 异构数据库内容同步方法、装置及中间件 Active CN108399256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810182600.2A CN108399256B (zh) 2018-03-06 2018-03-06 异构数据库内容同步方法、装置及中间件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810182600.2A CN108399256B (zh) 2018-03-06 2018-03-06 异构数据库内容同步方法、装置及中间件

Publications (2)

Publication Number Publication Date
CN108399256A true CN108399256A (zh) 2018-08-14
CN108399256B CN108399256B (zh) 2020-08-04

Family

ID=63091950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810182600.2A Active CN108399256B (zh) 2018-03-06 2018-03-06 异构数据库内容同步方法、装置及中间件

Country Status (1)

Country Link
CN (1) CN108399256B (zh)

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284312A (zh) * 2018-08-27 2019-01-29 山东威尔数据股份有限公司 一种异构数据库变更实时通知方法
CN109597817A (zh) * 2018-11-14 2019-04-09 阿里巴巴集团控股有限公司 一种缓存数据处理方法、装置、设备及介质
CN109656935A (zh) * 2018-11-23 2019-04-19 阿里巴巴集团控股有限公司 用于数据库的数据回放的方法和系统
CN109656936A (zh) * 2018-11-30 2019-04-19 金蝶软件(中国)有限公司 数据同步方法、装置、计算机设备和存储介质
CN109933632A (zh) * 2019-04-04 2019-06-25 杭州数梦工场科技有限公司 一种数据库的数据迁移方法、装置及设备
CN109933594A (zh) * 2019-02-15 2019-06-25 北京大米科技有限公司 获取数据的方法、装置、电子设备及介质
CN110134737A (zh) * 2019-05-20 2019-08-16 中国铁道科学研究院集团有限公司 数据变化监听方法及装置、电子设备和计算机可读存储介质
CN110162571A (zh) * 2019-04-26 2019-08-23 厦门市美亚柏科信息股份有限公司 一种异构数据库之间数据同步的系统、方法、存储介质
CN110222119A (zh) * 2019-05-23 2019-09-10 武汉达梦数据库有限公司 一种异构数据库的数据转换同步方法、设备及存储介质
CN110297866A (zh) * 2019-05-20 2019-10-01 平安普惠企业管理有限公司 基于日志分析的数据同步方法及数据同步装置
CN110334141A (zh) * 2019-05-30 2019-10-15 平安科技(深圳)有限公司 数据转换的方法、装置、计算机设备和存储介质
CN110362625A (zh) * 2019-05-30 2019-10-22 杭州数梦工场科技有限公司 数据库读写分离方法、装置、电子设备及存储介质
CN110489432A (zh) * 2019-07-10 2019-11-22 厦门安盟网络股份有限公司 基于模型的数据库自动同步方法、介质、设备及装置
CN110543478A (zh) * 2019-07-17 2019-12-06 阿里巴巴集团控股有限公司 公共层宽表建设方法、装置及服务器
CN110674147A (zh) * 2019-08-28 2020-01-10 视联动力信息技术股份有限公司 数据处理方法、装置及计算机可读存储介质
CN110795478A (zh) * 2019-09-29 2020-02-14 北京淇瑀信息科技有限公司 一种应用于金融业务的数据仓库更新方法、装置和电子设备
CN110851495A (zh) * 2019-10-24 2020-02-28 长城计算机软件与系统有限公司 异构源数据处理方法、装置、存储介质和电子设备
CN110990365A (zh) * 2019-12-03 2020-04-10 北京奇艺世纪科技有限公司 一种数据同步方法、装置、服务器及存储介质
CN111209251A (zh) * 2019-12-27 2020-05-29 山大地纬软件股份有限公司 一种用于数据归档系统的数据增量同步系统及方法
CN111241044A (zh) * 2020-01-08 2020-06-05 中国联合网络通信集团有限公司 搭建异构数据库的方法、装置、设备及可读存储介质
CN111241116A (zh) * 2020-01-17 2020-06-05 广州欧赛斯信息科技有限公司 基于大数据的数据同步方法、装置及电子设备
CN111382201A (zh) * 2018-12-29 2020-07-07 广州市百果园信息技术有限公司 异构数据库同步方法、装置、计算机设备及存储介质
CN111581213A (zh) * 2020-05-06 2020-08-25 北京金堤科技有限公司 信息记录方法、装置、以及设备
CN111625605A (zh) * 2020-06-02 2020-09-04 北京金堤科技有限公司 信息同步方法和装置、以及存储介质和电子设备
CN111666331A (zh) * 2019-03-06 2020-09-15 华为技术有限公司 复制数据的方法、装置及系统
CN111680106A (zh) * 2020-06-17 2020-09-18 深圳前海微众银行股份有限公司 一种多应用系统数据同步的方法及装置
CN111737348A (zh) * 2020-06-15 2020-10-02 中国工商银行股份有限公司 基于数据库表的时效同步方法及装置
CN111813850A (zh) * 2019-04-11 2020-10-23 百度在线网络技术(北京)有限公司 一种异构数据的同步方法、装置、电子设备及存储介质
CN111831754A (zh) * 2020-07-20 2020-10-27 中国工商银行股份有限公司 数据库中数据的复制方法、装置、系统和介质
CN111984729A (zh) * 2020-08-14 2020-11-24 北京人大金仓信息技术股份有限公司 异构数据库数据同步方法、装置、介质和电子设备
CN112035471A (zh) * 2020-08-28 2020-12-04 中国平安人寿保险股份有限公司 一种事务处理方法及计算机设备
CN112231402A (zh) * 2020-10-14 2021-01-15 广东亿迅科技有限公司 一种异构数据实时同步方法、装置、设备和存储介质
CN112256651A (zh) * 2020-09-28 2021-01-22 苏州浪潮智能科技有限公司 一种多源异构日志采集的方法、装置
CN112286892A (zh) * 2020-07-01 2021-01-29 上海柯林布瑞信息技术有限公司 后关系型数据库的数据实时同步方法及装置、存储介质、终端
CN112434043A (zh) * 2020-12-02 2021-03-02 新华三大数据技术有限公司 一种数据同步方法、装置、电子设备及介质
CN112527807A (zh) * 2019-09-18 2021-03-19 银联数据服务有限公司 一种数据结构操作方法及装置
CN112783980A (zh) * 2021-02-01 2021-05-11 北京百度网讯科技有限公司 数据同步处理方法、装置、电子设备以及计算机可读介质
CN112905618A (zh) * 2021-04-06 2021-06-04 浙江网商银行股份有限公司 数据处理方法以及装置
CN112988702A (zh) * 2019-12-12 2021-06-18 天翼电子商务有限公司 异构数据源实时数据传输方法及系统、存储介质及终端
CN113239007A (zh) * 2021-05-14 2021-08-10 广州广电运通金融电子股份有限公司 多层次异构日志事务分析方法、系统、设备和存储介质
CN113326247A (zh) * 2021-04-28 2021-08-31 上海淇馥信息技术有限公司 云端数据的迁移方法、装置及电子设备
CN113515569A (zh) * 2020-04-09 2021-10-19 阿里巴巴集团控股有限公司 数据的同步方法、装置、系统
CN113626449A (zh) * 2021-07-02 2021-11-09 上海硬通网络科技有限公司 数据存储、数据查询方法及相关设备
CN113760923A (zh) * 2020-10-27 2021-12-07 北京京东振世信息技术有限公司 一种数据异构方法、装置、系统及存储介质
CN114254016A (zh) * 2021-12-17 2022-03-29 北京金堤科技有限公司 基于弹性搜索的数据同步方法、装置、设备及存储介质
CN114297295A (zh) * 2021-12-24 2022-04-08 北京京东拓先科技有限公司 数据同步方法及装置、电子设备和计算机可读存储介质
CN115374218A (zh) * 2022-08-26 2022-11-22 苏州浪潮智能科技有限公司 一种异构数据库的数据同步方法、装置、设备及介质
CN115658805A (zh) * 2022-09-15 2023-01-31 星环信息科技(上海)股份有限公司 一种事务一致性管理引擎及方法
CN116578655A (zh) * 2023-07-06 2023-08-11 舟谱数据技术南京有限公司 一种数据传输系统及其控制方法
CN117931953A (zh) * 2024-03-22 2024-04-26 北京谷器数据科技有限公司 一种异构数据库数据同步的方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752372A (zh) * 2012-06-18 2012-10-24 天津神舟通用数据技术有限公司 一种基于文件的数据库同步方法
CN104462517A (zh) * 2014-12-22 2015-03-25 北京奇虎科技有限公司 数据同步方法及装置
CN105005618A (zh) * 2015-07-21 2015-10-28 杭州合众数据技术有限公司 一种异构数据库之间的数据同步方法及系统
CN105183860A (zh) * 2015-09-10 2015-12-23 北京京东尚科信息技术有限公司 数据同步方法和系统
CN105488187A (zh) * 2015-12-02 2016-04-13 北京四达时代软件技术股份有限公司 多源异构数据增量抽取的方法及装置
CN106844682A (zh) * 2017-01-25 2017-06-13 北京百分点信息科技有限公司 数据交换方法、装置及系统
CN107330003A (zh) * 2017-06-12 2017-11-07 上海藤榕网络科技有限公司 数据同步方法、系统、存储器及数据同步设备
US20180032434A1 (en) * 2016-07-27 2018-02-01 Sap Se Master database synchronization for multiple applications

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752372A (zh) * 2012-06-18 2012-10-24 天津神舟通用数据技术有限公司 一种基于文件的数据库同步方法
CN104462517A (zh) * 2014-12-22 2015-03-25 北京奇虎科技有限公司 数据同步方法及装置
CN105005618A (zh) * 2015-07-21 2015-10-28 杭州合众数据技术有限公司 一种异构数据库之间的数据同步方法及系统
CN105183860A (zh) * 2015-09-10 2015-12-23 北京京东尚科信息技术有限公司 数据同步方法和系统
CN105488187A (zh) * 2015-12-02 2016-04-13 北京四达时代软件技术股份有限公司 多源异构数据增量抽取的方法及装置
US20180032434A1 (en) * 2016-07-27 2018-02-01 Sap Se Master database synchronization for multiple applications
CN106844682A (zh) * 2017-01-25 2017-06-13 北京百分点信息科技有限公司 数据交换方法、装置及系统
CN107330003A (zh) * 2017-06-12 2017-11-07 上海藤榕网络科技有限公司 数据同步方法、系统、存储器及数据同步设备

Cited By (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284312A (zh) * 2018-08-27 2019-01-29 山东威尔数据股份有限公司 一种异构数据库变更实时通知方法
CN109597817A (zh) * 2018-11-14 2019-04-09 阿里巴巴集团控股有限公司 一种缓存数据处理方法、装置、设备及介质
CN109656935A (zh) * 2018-11-23 2019-04-19 阿里巴巴集团控股有限公司 用于数据库的数据回放的方法和系统
CN109656935B (zh) * 2018-11-23 2023-12-01 创新先进技术有限公司 用于数据库的数据回放的方法和系统
CN109656936A (zh) * 2018-11-30 2019-04-19 金蝶软件(中国)有限公司 数据同步方法、装置、计算机设备和存储介质
CN111382201A (zh) * 2018-12-29 2020-07-07 广州市百果园信息技术有限公司 异构数据库同步方法、装置、计算机设备及存储介质
CN111382201B (zh) * 2018-12-29 2023-08-18 广州市百果园信息技术有限公司 异构数据库同步方法、装置、计算机设备及存储介质
CN109933594A (zh) * 2019-02-15 2019-06-25 北京大米科技有限公司 获取数据的方法、装置、电子设备及介质
CN111666331A (zh) * 2019-03-06 2020-09-15 华为技术有限公司 复制数据的方法、装置及系统
CN109933632A (zh) * 2019-04-04 2019-06-25 杭州数梦工场科技有限公司 一种数据库的数据迁移方法、装置及设备
CN111813850A (zh) * 2019-04-11 2020-10-23 百度在线网络技术(北京)有限公司 一种异构数据的同步方法、装置、电子设备及存储介质
CN110162571A (zh) * 2019-04-26 2019-08-23 厦门市美亚柏科信息股份有限公司 一种异构数据库之间数据同步的系统、方法、存储介质
CN110297866A (zh) * 2019-05-20 2019-10-01 平安普惠企业管理有限公司 基于日志分析的数据同步方法及数据同步装置
CN110134737A (zh) * 2019-05-20 2019-08-16 中国铁道科学研究院集团有限公司 数据变化监听方法及装置、电子设备和计算机可读存储介质
CN110134737B (zh) * 2019-05-20 2021-02-26 中国铁道科学研究院集团有限公司 数据变化监听方法及装置、电子设备和计算机可读存储介质
CN110222119A (zh) * 2019-05-23 2019-09-10 武汉达梦数据库有限公司 一种异构数据库的数据转换同步方法、设备及存储介质
CN110222119B (zh) * 2019-05-23 2021-08-31 武汉达梦数据库股份有限公司 一种异构数据库的数据转换同步方法、设备及存储介质
CN110362625A (zh) * 2019-05-30 2019-10-22 杭州数梦工场科技有限公司 数据库读写分离方法、装置、电子设备及存储介质
CN110334141B (zh) * 2019-05-30 2023-11-21 平安科技(深圳)有限公司 数据转换的方法、装置、计算机设备和存储介质
CN110334141A (zh) * 2019-05-30 2019-10-15 平安科技(深圳)有限公司 数据转换的方法、装置、计算机设备和存储介质
CN110489432A (zh) * 2019-07-10 2019-11-22 厦门安盟网络股份有限公司 基于模型的数据库自动同步方法、介质、设备及装置
CN110489432B (zh) * 2019-07-10 2023-06-20 厦门安盟网络股份有限公司 基于模型的数据库自动同步方法、介质、设备及装置
CN110543478B (zh) * 2019-07-17 2023-02-03 创新先进技术有限公司 公共层宽表建设方法、装置及服务器
CN110543478A (zh) * 2019-07-17 2019-12-06 阿里巴巴集团控股有限公司 公共层宽表建设方法、装置及服务器
CN110674147B (zh) * 2019-08-28 2023-02-28 视联动力信息技术股份有限公司 数据处理方法、装置及计算机可读存储介质
CN110674147A (zh) * 2019-08-28 2020-01-10 视联动力信息技术股份有限公司 数据处理方法、装置及计算机可读存储介质
CN112527807A (zh) * 2019-09-18 2021-03-19 银联数据服务有限公司 一种数据结构操作方法及装置
CN110795478A (zh) * 2019-09-29 2020-02-14 北京淇瑀信息科技有限公司 一种应用于金融业务的数据仓库更新方法、装置和电子设备
CN110851495A (zh) * 2019-10-24 2020-02-28 长城计算机软件与系统有限公司 异构源数据处理方法、装置、存储介质和电子设备
CN110990365A (zh) * 2019-12-03 2020-04-10 北京奇艺世纪科技有限公司 一种数据同步方法、装置、服务器及存储介质
CN112988702A (zh) * 2019-12-12 2021-06-18 天翼电子商务有限公司 异构数据源实时数据传输方法及系统、存储介质及终端
CN111209251A (zh) * 2019-12-27 2020-05-29 山大地纬软件股份有限公司 一种用于数据归档系统的数据增量同步系统及方法
CN111241044B (zh) * 2020-01-08 2023-09-19 中国联合网络通信集团有限公司 搭建异构数据库的方法、装置、设备及可读存储介质
CN111241044A (zh) * 2020-01-08 2020-06-05 中国联合网络通信集团有限公司 搭建异构数据库的方法、装置、设备及可读存储介质
CN111241116B (zh) * 2020-01-17 2023-04-11 广州欧赛斯信息科技有限公司 基于大数据的数据同步方法、装置及电子设备
CN111241116A (zh) * 2020-01-17 2020-06-05 广州欧赛斯信息科技有限公司 基于大数据的数据同步方法、装置及电子设备
CN113515569A (zh) * 2020-04-09 2021-10-19 阿里巴巴集团控股有限公司 数据的同步方法、装置、系统
CN113515569B (zh) * 2020-04-09 2023-12-26 阿里巴巴集团控股有限公司 数据的同步方法、装置、系统
CN111581213B (zh) * 2020-05-06 2024-02-13 北京金堤科技有限公司 信息记录方法、装置、以及设备
CN111581213A (zh) * 2020-05-06 2020-08-25 北京金堤科技有限公司 信息记录方法、装置、以及设备
CN111625605A (zh) * 2020-06-02 2020-09-04 北京金堤科技有限公司 信息同步方法和装置、以及存储介质和电子设备
CN111625605B (zh) * 2020-06-02 2024-05-10 北京金堤科技有限公司 信息同步方法和装置、以及存储介质和电子设备
CN111737348B (zh) * 2020-06-15 2023-10-10 中国工商银行股份有限公司 基于数据库表的时效同步方法及装置
CN111737348A (zh) * 2020-06-15 2020-10-02 中国工商银行股份有限公司 基于数据库表的时效同步方法及装置
CN111680106B (zh) * 2020-06-17 2024-04-09 深圳前海微众银行股份有限公司 一种多应用系统数据同步的方法及装置
CN111680106A (zh) * 2020-06-17 2020-09-18 深圳前海微众银行股份有限公司 一种多应用系统数据同步的方法及装置
CN112286892B (zh) * 2020-07-01 2024-04-05 上海柯林布瑞信息技术有限公司 后关系型数据库的数据实时同步方法及装置、存储介质、终端
CN112286892A (zh) * 2020-07-01 2021-01-29 上海柯林布瑞信息技术有限公司 后关系型数据库的数据实时同步方法及装置、存储介质、终端
CN111831754A (zh) * 2020-07-20 2020-10-27 中国工商银行股份有限公司 数据库中数据的复制方法、装置、系统和介质
CN111831754B (zh) * 2020-07-20 2024-02-27 中国工商银行股份有限公司 数据库中数据的复制方法、装置、系统和介质
CN111984729A (zh) * 2020-08-14 2020-11-24 北京人大金仓信息技术股份有限公司 异构数据库数据同步方法、装置、介质和电子设备
CN112035471A (zh) * 2020-08-28 2020-12-04 中国平安人寿保险股份有限公司 一种事务处理方法及计算机设备
CN112035471B (zh) * 2020-08-28 2024-05-17 中国平安人寿保险股份有限公司 一种事务处理方法及计算机设备
CN112256651B (zh) * 2020-09-28 2022-06-14 苏州浪潮智能科技有限公司 一种多源异构日志采集的方法、装置
CN112256651A (zh) * 2020-09-28 2021-01-22 苏州浪潮智能科技有限公司 一种多源异构日志采集的方法、装置
CN112231402A (zh) * 2020-10-14 2021-01-15 广东亿迅科技有限公司 一种异构数据实时同步方法、装置、设备和存储介质
CN113760923B (zh) * 2020-10-27 2023-09-05 北京京东振世信息技术有限公司 一种数据异构方法、装置、系统及存储介质
CN113760923A (zh) * 2020-10-27 2021-12-07 北京京东振世信息技术有限公司 一种数据异构方法、装置、系统及存储介质
CN112434043A (zh) * 2020-12-02 2021-03-02 新华三大数据技术有限公司 一种数据同步方法、装置、电子设备及介质
CN112434043B (zh) * 2020-12-02 2022-12-20 新华三大数据技术有限公司 一种数据同步方法、装置、电子设备及介质
CN112783980A (zh) * 2021-02-01 2021-05-11 北京百度网讯科技有限公司 数据同步处理方法、装置、电子设备以及计算机可读介质
CN112783980B (zh) * 2021-02-01 2024-05-10 北京百度网讯科技有限公司 数据同步处理方法、装置、电子设备以及计算机可读介质
CN112905618A (zh) * 2021-04-06 2021-06-04 浙江网商银行股份有限公司 数据处理方法以及装置
CN113326247A (zh) * 2021-04-28 2021-08-31 上海淇馥信息技术有限公司 云端数据的迁移方法、装置及电子设备
CN113239007B (zh) * 2021-05-14 2023-09-29 广州广电运通金融电子股份有限公司 多层次异构日志事务分析方法、系统、设备和存储介质
CN113239007A (zh) * 2021-05-14 2021-08-10 广州广电运通金融电子股份有限公司 多层次异构日志事务分析方法、系统、设备和存储介质
CN113626449A (zh) * 2021-07-02 2021-11-09 上海硬通网络科技有限公司 数据存储、数据查询方法及相关设备
CN114254016A (zh) * 2021-12-17 2022-03-29 北京金堤科技有限公司 基于弹性搜索的数据同步方法、装置、设备及存储介质
CN114297295A (zh) * 2021-12-24 2022-04-08 北京京东拓先科技有限公司 数据同步方法及装置、电子设备和计算机可读存储介质
CN115374218B (zh) * 2022-08-26 2024-01-26 苏州浪潮智能科技有限公司 一种异构数据库的数据同步方法、装置、设备及介质
CN115374218A (zh) * 2022-08-26 2022-11-22 苏州浪潮智能科技有限公司 一种异构数据库的数据同步方法、装置、设备及介质
CN115658805B (zh) * 2022-09-15 2023-10-17 星环信息科技(上海)股份有限公司 一种事务一致性管理引擎及方法
CN115658805A (zh) * 2022-09-15 2023-01-31 星环信息科技(上海)股份有限公司 一种事务一致性管理引擎及方法
CN116578655A (zh) * 2023-07-06 2023-08-11 舟谱数据技术南京有限公司 一种数据传输系统及其控制方法
CN116578655B (zh) * 2023-07-06 2023-09-15 舟谱数据技术南京有限公司 一种数据传输系统及其控制方法
CN117931953A (zh) * 2024-03-22 2024-04-26 北京谷器数据科技有限公司 一种异构数据库数据同步的方法及系统
CN117931953B (zh) * 2024-03-22 2024-06-04 北京谷器数据科技有限公司 一种异构数据库数据同步的方法及系统

Also Published As

Publication number Publication date
CN108399256B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN108399256A (zh) 异构数据库内容同步方法、装置及中间件
CN110647579A (zh) 数据同步方法及装置、计算机设备与可读介质
CN105446966B (zh) 生成关系数据转换为rdf格式数据的映射规则的方法和装置
CN105608088B (zh) 一种基于配置文件的数据库自动创建与数据动态记录方法
CN110032575A (zh) 数据查询方法、装置、设备和存储介质
CN105335412B (zh) 用于数据转换、数据迁移的方法和装置
CN109145205A (zh) 一种基于区块链的跨链数据操作方法和装置
US11314717B1 (en) Scalable architecture for propagating updates to replicated data
CN109167811A (zh) 一种基于区块链的跨链数据访问方法和装置
CN109408551A (zh) 数据查询方法及系统、共识方法及系统、设备和存储介质
CN107273556A (zh) 区块链数据索引方法和设备
US20150006432A1 (en) Ontology-driven construction of semantic business intelligence models
CN109359026A (zh) 日志上报方法、装置、电子设备及计算机可读存储介质
CN106100919B (zh) 一种fc总线测试系统及fc总线测试方法
CN109977274A (zh) 一种数据查询和验证方法、系统、设备及存储介质
CN109885617A (zh) 分布式异构数据库系统的数据同步方法及装置
CN104462231B (zh) 网页渲染的方法、装置及系统
CN109582473A (zh) 基于区块链的跨链数据访问方法和装置
CN105787058A (zh) 一种用户标签系统及基于用户标签系统的数据推送系统
CN105808653A (zh) 一种基于用户标签系统的数据处理方法及装置
CN105279285A (zh) 一种关系型数据库与非关系型数据库的同步系统及方法
CN110209585A (zh) 一种软件测试用例智能训练方法,终端及存储介质
CN109299096A (zh) 一种流水数据的处理方法、装置及设备
CN105573732A (zh) 一种基于分布式系统的业务对象的处理方法和装置
CN114168149A (zh) 一种数据转换方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant