CN111209251A - 一种用于数据归档系统的数据增量同步系统及方法 - Google Patents

一种用于数据归档系统的数据增量同步系统及方法 Download PDF

Info

Publication number
CN111209251A
CN111209251A CN201911377246.XA CN201911377246A CN111209251A CN 111209251 A CN111209251 A CN 111209251A CN 201911377246 A CN201911377246 A CN 201911377246A CN 111209251 A CN111209251 A CN 111209251A
Authority
CN
China
Prior art keywords
transaction
data
message
archiving system
execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911377246.XA
Other languages
English (en)
Inventor
郑永清
赵永光
朱晓洪
张世栋
钱进
徐喆
刘萌
巫双果
王可可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dareway Software Co ltd
Original Assignee
Dareway Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dareway Software Co ltd filed Critical Dareway Software Co ltd
Priority to CN201911377246.XA priority Critical patent/CN111209251A/zh
Publication of CN111209251A publication Critical patent/CN111209251A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Abstract

本发明公开了一种用于数据归档系统的数据增量同步系统及方法，包括：日志捕捉模块，被配置为从数据归档系统的运行库中抽取记录数据变更的二进制日志，对所述二进制日志进行解析，将解析的内容格式化后传送到消息存储模块；事务分析模块，被配置为提取所述数据变更消息并解析成数据库事务，如果所述数据库事务是归档系统的归档事务，则过滤掉；否则，分析事务执行顺序，判断出事务执行的正确顺序；事务执行模块，被配置为根据事务分析的结果，在目标数据库中执行事务，并对执行情况进行记录。本发明能够自动辨别并过滤归档系统事务中的归档事务，仅选择普通事务进行同步。

Description

一种用于数据归档系统的数据增量同步系统及方法
技术领域
本发明涉及数据同步技术领域，尤其涉及一种用于数据归档系统的数据增量同步系统及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
数据归档系统是将数据按照运行数据与历史数据进行分库存储的数据存储系统，系统将运行数据存放在运行库中，将历史数据存放在历史库中，系统为控制运行库数据量会将到达归档时限的运行数据归档到历史库中，这个操作被称为归档操作。归档操作会在一个数据库事务中将部分数据从运行库中删除，插入到历史库中，同时还会在运行库中插入归档记录。因此在运行库中同时存在业务数据和归档记录数据，传统的数据同步方法无法做到鉴别普通业务事务和归档事务，无法做到只同步普通业务事务。
发明内容
为了解决上述问题，本发明提出了一种用于数据归档系统的数据增量同步系统及方法，能够同步归档系统中的业务数据变更，同时过滤归档系统中发生的归档事务。
在一些实施方式中，采用如下技术方案：
一种用于数据归档系统的数据增量同步系统，包括：
日志捕捉模块，被配置为从数据归档系统的运行库中抽取记录数据变更的二进制日志，对所述二进制日志进行解析，将解析的内容格式化后传送到消息存储模块；
消息存储模块，被配置为接收所述数据并存储在消息队列中，每一个消息队列对应一个数据归档系统中的数据变更消息；
事务分析模块，被配置为提取所述数据变更消息并解析成数据库事务，如果所述数据库事务是归档系统的归档事务，则过滤掉；否则，分析事务执行顺序，判断出事务执行的正确顺序；
事务执行模块，被配置为根据事务分析的结果，在目标数据库中执行事务，并对执行情况进行记录。
在另一些实施方式中，采用如下技术方案：
一种用于数据归档系统的数据增量同步方法，包括：
从数据归档系统的运行库中抽取记录数据变更的二进制日志，对所述二进制日志进行解析，将解析的内容格式化后存储在消息队列中，每一个消息队列对应一个数据归档系统中的数据变更消息；
将所述数据变更消息解析成数据库事务，如果所述数据库事务是归档系统的归档事务，则过滤掉；否则，分析事务执行顺序，判断出事务执行的正确顺序；
根据事务分析的结果，在目标数据库中执行事务，并对执行情况进行记录。
在另一些实施方式中，采用如下技术方案：
一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的用于数据归档系统的数据增量同步方法。
在另一些实施方式中，采用如下技术方案：
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的用于数据归档系统的数据增量同步方法。
与现有技术相比，本发明的有益效果是：
本发明能够自动辨别并过滤归档系统事务中的归档事务，仅选择普通事务进行同步；为数据归档系统提供了数据增量同步的机制，能够整合数据归档系统中的数据，减少数据丢失发生的可能性，提高了数据的安全性。
从数据归档系统中同步出的数据可以用于数据分析、机器学习等场景，可以在不加重数据归档系统运行负担的前提下，开展数据的高效利用工作，有益于数据价值的发掘。
附图说明
图1为本发明实施例一中用于数据归档系统的数据增量同步系统结构示意图；
图2为本发明实施例二中日志捕捉模块实现过程流程图；
图3为本发明实施例二中事务分析模块实现过程流程图；
图4为本发明实施例二中事务执行模块实现过程流程图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
归档事务中的数据变更实际发生在运行库或者历史库上，这些变更会被传统的数据同步方法同步，但从整个数据归档系统的角度讲，整体的数据内容并未发生变化，因此不应该进行数据同步。
基于此，在一个或多个实施例中，公开了一种用于数据归档系统的数据增量同步系统，能够增量地同步数据归档系统中的数据变更，同时，能够自动辨别并过滤归档系统事务中的归档事务，仅选择普通事务进行同步。
参照图1，本实施方式公开的用于数据归档系统的数据增量同步系统包括：日志捕捉模块11、消息存储模块12、事务分析模块13、事务执行模块组成14。其中：
(1)日志捕捉模块11，从数据归档系统运行库111中抽取二进制日志112，解析出事务编号113、事务类型114、数据变更内容115，事务结束标志116，格式化为JSON格式到消息存储模块中。
运行库111是归档系统中存储运行数据的数据库，归档系统中新数据的加入，数据的更新都发生在运行库中，归档系统的归档事务也一定包含从运行库中删除数据的子事务。因此归档系统中的数据变更都可以在运行库上捕获。
二进制日志112是数据库产生的一种记录数据变更的日志文件，可以用于数据复制和数据即时恢复，对于那些不改变数据内容的数据库操作则不会写入二进制日志。
事务编号113，采用全局事务ID(Global Transaction ID,简称GTID)，一个GTID可以在一个数据库系统中唯一标示一个事务。
事务类型114，包括数据操作事务和数据库结构定义事务。数据操作事务只包含数据操纵语言DML(Data Manipulation Language)，数据库结构定义事务只包含数据库模式定义语言DDL(Data Definition Language)。
数据变更内容115包含发生在数据操作事务中的一个或多个数据行变更，行变更分为三种，分别是更新(UPDATE)、插入(INSERT)、删除(DELETE)。
事务结束标志116是指在二进制日志112中存在的标示一个事务结束的标志。日志捕捉模块11在解析出一个事务的结束标志后，就将该事务对应的消息发送到消息存储模块12中。
(2)消息存储模块12，使用消息中间件121，将消息存储在消息队列中，一个消息队列对应一个数据归档系统中的数据变更消息。
消息中间件121可以将收到的消息维护在特定的消息队列中，事务分析模块13可以通过TCP协议访问消息中间件，从指定消息队列中消费消息。消息中间件可以将消息持久化在存储器上，在消息被消费之前保证消息不丢失。
(3)事务分析模块13，从消息存储模块获取消息，将消息解析成数据库事务。首先辨别并过滤数据归档系统的归档事务131，然后分析事务执行顺序132，判断出事务执行的正确顺序。
归档事务131是数据归档系统中最重要的事务，它将数据从运行库移入历史库，一个归档事务包含从运行库删除事务的子事务，向历史库插入数据的子事务，以及在运行库的归档记录表中插入归档事务标志的子事务。通过归档事务标志可以辨别一个事务是否是归档事务。
事务执行顺序132是根据事务间对相同数据进行行的操作情况和事务消息从消息中间件中获取的顺序判定事务执行顺序。
(4)事务执行模块14，
根据事务分析的结果，地在目标数据库141中执行事务，并将执行情况记录到事务执行情况记录表142中。
目标数据库141是存储从数据归档系统中同步的数据的数据库，它存放的数据是数据归档系统中运行库和全部历史库中数据的总和。任何发生在数据归档系统中的数据更改，都可以在目标数据库上重做。
事务执行情况记录表142，是记录事务执行结果，事务包含的行变更，以及事务对应消息在消息中间件的消息队列中的起止位置的一张表。事务执行模块14可以根据该表判定事务的执行情况，在故障恢复时根据该表决定是否重新执行一个事务。
实施例二
在一个或多个实施方式中，公开了一种用于数据归档系统的数据增量同步方法，包括：
从数据归档系统的运行库中抽取记录数据变更的二进制日志，对所述二进制日志进行解析，将解析的内容格式化后存储在消息队列中，每一个消息队列对应一个数据归档系统中的数据变更消息；
将所述数据变更消息解析成数据库事务，如果所述数据库事务是归档系统的归档事务，则过滤掉；否则，分析事务执行顺序，判断出事务执行的正确顺序；
根据事务分析的结果，在目标数据库中执行事务，并对执行情况进行记录。
具体地，本实施例方法主要包括下面四个流程：日志捕捉过程、消息存储过程、事务分析过程、事务执行过程。
其中，参照图2，日志捕捉过程包括以下步骤：
步骤201，捕捉数据归档系统中运行库的二进制日志；
步骤202，从二进制日志中解析出事务编号、事务类型、数据变更内容，事务结束标志；在二进制日志文件中，同一个事务的所有相关内容一定是紧邻的，提交时间早的事务产生的日志记录一定位于提交晚的事务的日志记录之前；
步骤203，将解析好的事务格式化成JSON格式；
步骤204，将JSON格式的消息发送给消息存储模块。
消息存储流程包括以下步骤：
步骤301，将接收到的消息存储在消息队列中，对外提供消息队列服务，允许使用TCP协议的连接获取队内消息。同时将消息持久化到存储器中。
参照图3，事务分析流程包括以下步骤：
步骤401，使用TCP协议的连接从消息存储模块中获取JSON格式的消息。
步骤402，将JSON格式的消息结构化为事务对象，并将事务对象放入事务流中。事务流是一个内存中事务对象的队列，该结构能够提供线程安全的入队和出队操作，事务流中的事务对象能够并发地被访问与操作。
步骤403，查询事务执行情况记录表，确定事务是否需要执行。
步骤4041，检查事务对象是否是数据归档系统的归档事务，如果是则过滤。如果一个事务中包含对归档记录表的操作，就判定该事务是归档事务。
步骤4042，当事务分析模块中出现已被执行的事务时，需标记该事务，不再进行后续处理
步骤4051，判定事务间关系，确定执行顺序。将可以开始执行的事务标记为等待执行。
步骤4052，数据归档系统中归档事务不进行同步。
参照图4，事务执行流程包括以下步骤：
步骤501，按照正确的执行顺序在目标数据库执行需要执行的事务。
步骤5021，事务执行成功时将执行结果记录到事务执行情况记录表中。
步骤5022，如果事务执行失败，则暂停整个事务执行模块，防止错误的事务执行顺序破坏目标数据库的数据正确性。
本实施例方法能够自动辨别并过滤归档系统事务中的归档事务，仅选择普通事务进行同步。
实施例三
在一个或多个实施方式中，公开了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行实施例二中所述的用于数据归档系统的数据增量同步方法。
在另一些实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例二中所述的用于数据归档系统的数据增量同步方法。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种用于数据归档系统的数据增量同步系统，其特征在于，包括：
日志捕捉模块，被配置为从数据归档系统的运行库中抽取记录数据变更的二进制日志，对所述二进制日志进行解析，将解析的内容格式化后传送到消息存储模块；
消息存储模块，被配置为接收所述数据并存储在消息队列中，每一个消息队列对应一个数据归档系统中的数据变更消息；
事务分析模块，被配置为提取所述数据变更消息并解析成数据库事务，如果所述数据库事务是归档系统的归档事务，则过滤掉；否则，分析事务执行顺序，判断出事务执行的正确顺序；
事务执行模块，被配置为根据事务分析的结果，在目标数据库中执行事务，并对执行情况进行记录。
2.如权利要求1所述的一种用于数据归档系统的数据增量同步系统，其特征在于，日志捕捉模块对所述二进制日志进行解析，得到事务编号、事务类型、数据变更内容以及事务结束标志。
3.如权利要求1所述的一种用于数据归档系统的数据增量同步系统，其特征在于，所述归档事务包括：从运行库删除事务的子事务，向历史库插入数据的子事务，以及在运行库的归档记录表中插入归档事务标志的子事务；通过所述归档事务标志判断是否是归档事务。
4.如权利要求1所述的一种用于数据归档系统的数据增量同步系统，其特征在于，所述目标数据库是存储从数据归档系统中同步的数据的数据库，所述目标数据库中的数据是数据归档系统中运行库和全部历史库中数据的总和。
5.一种用于数据归档系统的数据增量同步方法，其特征在于，包括：
从数据归档系统的运行库中抽取记录数据变更的二进制日志，对所述二进制日志进行解析，将解析的内容格式化后存储在消息队列中，每一个消息队列对应一个数据归档系统中的数据变更消息；
将所述数据变更消息解析成数据库事务，如果所述数据库事务是归档系统的归档事务，则过滤掉；否则，分析事务执行顺序，判断出事务执行的正确顺序；
根据事务分析的结果，在目标数据库中执行事务，并对执行情况进行记录。
6.如权利要求5所述的一种用于数据归档系统的数据增量同步方法，其特征在于，分析事务执行顺序，判断出事务执行的正确顺序，具体为：
根据事务间对相同数据进行行的操作情况和事务消息从消息中间件中获取的顺序判定事务执行顺序。
7.如权利要求5所述的一种用于数据归档系统的数据增量同步方法，其特征在于，根据事务分析的结果，在目标数据库中执行事务，并将执行情况记录到事务执行情况记录表中；所述事务执行情况记录表中记录了事务执行结果、事务包含的行变更以及事务对应消息在消息中间件的消息队列中的起止位置。
8.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求5-7任一项所述的用于数据归档系统的数据增量同步方法。
9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求5-7任一项所述的用于数据归档系统的数据增量同步方法。
CN201911377246.XA 2019-12-27 2019-12-27 一种用于数据归档系统的数据增量同步系统及方法 Pending CN111209251A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911377246.XA CN111209251A (zh) 2019-12-27 2019-12-27 一种用于数据归档系统的数据增量同步系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911377246.XA CN111209251A (zh) 2019-12-27 2019-12-27 一种用于数据归档系统的数据增量同步系统及方法

Publications (1)

Publication Number Publication Date
CN111209251A true CN111209251A (zh) 2020-05-29

Family

ID=70784235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911377246.XA Pending CN111209251A (zh) 2019-12-27 2019-12-27 一种用于数据归档系统的数据增量同步系统及方法

Country Status (1)

Country Link
CN (1) CN111209251A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858557A (zh) * 2020-07-23 2020-10-30 浪潮云信息技术股份公司 政务服务事项数据管理方法、装置及可读介质
CN112395296A (zh) * 2020-12-03 2021-02-23 平安消费金融有限公司 一种大数据归档方法、装置、设备及存储介质
CN113095874A (zh) * 2021-03-31 2021-07-09 北京沃东天骏信息技术有限公司 一种物料增量处理方法、装置、设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763088A (zh) * 2009-12-28 2012-10-31 株式会社诶司帝 系统事件日志系统
CN103593257A (zh) * 2012-08-15 2014-02-19 阿里巴巴集团控股有限公司 一种数据备份方法及装置
CN107016075A (zh) * 2017-03-27 2017-08-04 聚好看科技股份有限公司 集群数据同步方法及装置
CN108228592A (zh) * 2016-12-13 2018-06-29 北京京东尚科信息技术有限公司 基于二进制日志的数据归档方法及数据归档装置
CN108228755A (zh) * 2017-12-21 2018-06-29 江苏瑞中数据股份有限公司 基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法
CN108399256A (zh) * 2018-03-06 2018-08-14 北京慧萌信安软件技术有限公司 异构数据库内容同步方法、装置及中间件
CN109388523A (zh) * 2018-09-26 2019-02-26 四川巧夺天工信息安全智能设备有限公司 一种基于二进制日志文件恢复MySQL数据库的方法
CN109933630A (zh) * 2019-03-19 2019-06-25 武汉达梦数据库有限公司 数据库数据实时同步方法及设备
CN109947726A (zh) * 2017-07-27 2019-06-28 蓝盾信息安全技术有限公司 基于事务日志分析的单导系统中db2数据库同步技术

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763088A (zh) * 2009-12-28 2012-10-31 株式会社诶司帝 系统事件日志系统
CN103593257A (zh) * 2012-08-15 2014-02-19 阿里巴巴集团控股有限公司 一种数据备份方法及装置
CN108228592A (zh) * 2016-12-13 2018-06-29 北京京东尚科信息技术有限公司 基于二进制日志的数据归档方法及数据归档装置
CN107016075A (zh) * 2017-03-27 2017-08-04 聚好看科技股份有限公司 集群数据同步方法及装置
CN109947726A (zh) * 2017-07-27 2019-06-28 蓝盾信息安全技术有限公司 基于事务日志分析的单导系统中db2数据库同步技术
CN108228755A (zh) * 2017-12-21 2018-06-29 江苏瑞中数据股份有限公司 基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法
CN108399256A (zh) * 2018-03-06 2018-08-14 北京慧萌信安软件技术有限公司 异构数据库内容同步方法、装置及中间件
CN109388523A (zh) * 2018-09-26 2019-02-26 四川巧夺天工信息安全智能设备有限公司 一种基于二进制日志文件恢复MySQL数据库的方法
CN109933630A (zh) * 2019-03-19 2019-06-25 武汉达梦数据库有限公司 数据库数据实时同步方法及设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858557A (zh) * 2020-07-23 2020-10-30 浪潮云信息技术股份公司 政务服务事项数据管理方法、装置及可读介质
CN111858557B (zh) * 2020-07-23 2023-12-22 浪潮云信息技术股份公司 政务服务事项数据管理方法、装置及可读介质
CN112395296A (zh) * 2020-12-03 2021-02-23 平安消费金融有限公司 一种大数据归档方法、装置、设备及存储介质
CN112395296B (zh) * 2020-12-03 2024-04-09 平安消费金融有限公司 一种大数据归档方法、装置、设备及存储介质
CN113095874A (zh) * 2021-03-31 2021-07-09 北京沃东天骏信息技术有限公司 一种物料增量处理方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN111209251A (zh) 一种用于数据归档系统的数据增量同步系统及方法
CN108399256B (zh) 异构数据库内容同步方法、装置及中间件
CN104809202B (zh) 一种数据库同步的方法和装置
CN104809201B (zh) 一种数据库同步的方法和装置
CN104809200B (zh) 一种数据库同步的方法和装置
US7580979B2 (en) Message ordering in a messaging system
EP3089051B1 (en) Database rollback using wal
CN108564463B (zh) 一种银行异常交易冲正方法及系统
CN111046100B (zh) 一种关系型数据库到非关系型数据库的同步方法和系统
CN108319543A (zh) 一种计算机日志数据的异步处理方法及其介质、系统
CN110650164B (zh) 文件的上传方法、装置、终端以及计算机存储介质
CN113590556A (zh) 一种基于数据库的日志处理方法、装置及设备
WO2015062113A1 (zh) 一种事务处理方法与装置
WO2023109286A1 (zh) 数据同步方法和装置
US7958083B2 (en) Interacting methods of data summarization
US8600990B2 (en) Interacting methods of data extraction
JP6583975B1 (ja) データ処理装置、データ処理方法及びプログラム
CN114138894A (zh) 一种分布式事务数据同步方法、装置、设备及可读存储介质
CN114138833A (zh) 用于关系型数据库与缓存数据库数据同步的方法及系统
CN112800060A (zh) 数据处理方法、装置、计算机可读存储介质及电子设备
CN109542917B (zh) 数据读取方法及计算机可读介质
CN115687377A (zh) 基于Flink实现的端到端一致性数据实时处理方法及介质
CN109902070A (zh) 一种面向WiFi日志数据的解析存储搜索方法
US8775528B2 (en) Computer readable recording medium storing linking keyword automatically extracting program, linking keyword automatically extracting method and apparatus
CN102868760B (zh) 支持多协议多类型的实时数据同步的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination