CN110175213A - 一种基于SCN方式的Oracle数据库同步系统及方法 - Google Patents
一种基于SCN方式的Oracle数据库同步系统及方法 Download PDFInfo
- Publication number
- CN110175213A CN110175213A CN201910444957.8A CN201910444957A CN110175213A CN 110175213 A CN110175213 A CN 110175213A CN 201910444957 A CN201910444957 A CN 201910444957A CN 110175213 A CN110175213 A CN 110175213A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- oracle database
- scn
- cmsp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000001360 synchronised effect Effects 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明特别涉及一种基于SCN方式的Oracle数据库同步系统及方法。该基于SCN方式的Oracle数据库同步系统，包括抽取模块，转换模块和入库模块，所述抽取模块设置于采集前置机中，用于抽取源Oracle数据库的原始数据；所述转换模块和入库模块设置于同步服务器中，转换模块用于将收到的原始数据转换成标准格式，所述入库模块用于将标准格式数据写入目标Oracle数据库。该基于SCN方式的Oracle数据库同步系统及方法，不仅可以实现表结构的数据同步，还支持在目的端自动建表，支持全量数据同步，支持实时的增量数据同步，同时借助于CMSP分布式消息服务进行消息的高效传输，大大的提高了数据的传输效率，在对数据同步要求较高的业务场景里面有广泛的应用前景。
Description
技术领域
本发明涉及数据库数据同步与备份技术领域，特别涉及一种基于SCN方式的Oracle 数据库同步系统及方法。
背景技术
随着信息时代的飞速发展，大数据、人工智能的兴起，数据作为一种资源，越来越被一些企业、单位重视，数据产出的经济和社会价值也越来越明显。当今社会，企业数据越来越庞大、复杂，呈现数据量巨大、数据种类繁多包括结构化数据和非结构化数据、数据存放单一等特点，这势必给数据带来安全和不可靠的隐患，因此数据的同步和备份显得越来越重要。
现在常用的Oracle增量数据同步方法有以下几种：
一、触发器方式
触发器方式是较为普遍存在的一种同步方式，该方式根据抽取的要求在源表建立插入、更新、删除三种触发器，每当源表发生变化时，就会由相应的触发器将变化数据写入到增量日志表。
然而，本方式对更新、删除操作时，需要支持原表中存在主键字段，否则无法实现对应记录的更新、删除操作；而且需要业务表建立触发器，对业务存在一定的影响。
二、时间戳方式
时间戳方式是指增量抽取时，抽取进程通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。
有的数据库(例如Sql Server)的时间戳支持自动更新，即表的其它字段的数据发生改变时，时间戳字段的值会被自动更新为记录改变的时刻。在这种情下，进行ETL实施时就只需要在源表加上时间戳字段就可以了。
对于不支持时间戳自动更新的数据库，这就要求业务系统在更新业务数据时，通过编程的方式手工更新时间戳字段。使用时间戳方式可以正常捕获源表的插入和更新操作，但由于业务表需要存在标识新旧数据的时间戳字段，该方式对于删除操作则无能为力，需要结合其它机制才能完成。
三、全表删除插入方式
全表删除插入方式是指每次抽取前先删除目标表数据，抽取时全新加载数据。该方式实际上将增量抽取等同于全量抽取。对于数据量不大，全量抽取的时间代价小于执行增量抽取的算法和条件代价时，可以采用该方式。但是，该方式高网络负载、性能代价高、无法反映数据的历史状态，因而难以成为主流方式。
基于上述情况，本发明提出了一种基于SCN方式的Oracle数据库同步系统及方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于SCN方式的Oracle数据库同步系统及方法。
本发明是通过如下技术方案实现的：
一种基于SCN方式的Oracle数据库同步系统及方法，其特征在于，包括抽取模块，转换模块和入库模块，所述抽取模块设置于采集前置机中，用于抽取源Oracle数据库的原始数据；所述转换模块和入库模块设置于同步服务器中，转换模块用于将收到的原始数据转换成标准格式，所述入库模块用于将标准格式数据写入目标Oracle数据库。
所述采集前置机和同步服务器中还设有CMSP分布式消息服务模块，所述抽取模块，转换模块和入库模块均连接到CMSP分布式消息服务模块；所述CMSP分布式消息服务模块用于传输同步数据。
本发明基于SCN方式的Oracle数据库同步系统的同步方法，基于CMSP分布式消息服务和SCN值，实现Oracle数据库中表结构数据，全量数据以及增量数据的快速采集同步与备份。
本发明基于SCN方式的Oracle数据库同步系统的同步方法，根据SCN值的变化从源Oracle数据库中提取数据库表的增量变化数据，进而实现Oracle数据库的增量数据提取以及同步。
当基于SCN方式做增量抽取时记录一个起始SCN值，当查询增量结束时记录一个结束SCN值；当下次查询增量时，用上一次结束SCN值做为起始SCN值继续进行查找增量数据，从而保证增量数据的持续同步。
本发明基于SCN方式的Oracle数据库同步系统的同步方法，包括以下步骤：
(1)抽取模块抽取源Oracle数据库的原始数据；
(2)CMSP分布式消息服务模块将抽取的原始数据实时加密后压缩发送到同步服务器；
(3)转换模块读取同步服务器中CMSP分布式消息服务模块接收到的原始数据，并将原始数据转换成标准格式后返回CMSP分布式消息服务模块；
(4)入库模块将CMSP分布式消息服务模块中的标准格式数据写入目标Oracle数据库。
所述步骤(1)中，抽取原始数据之前，首先依次安装和配置抽取模块，转换模块，入库模块和CMSP分布式消息服务模块；配置完成后启动CMSP分布式消息服务模块，并创建Topic信息；最后依次启动入库模块，转换模块和抽取模块。
配置信息包括抽取模块配置文件，需要采集的源Oracle数据库信息，需要采集的采集的源Oracle数据库表信息和发送的CMSP信息。
本发明的有益效果是：该基于SCN方式的Oracle数据库同步系统及方法，不仅可以实现表结构的数据同步，还支持在目的端自动建表，支持全量数据同步，支持实时的增量数据同步，同时借助于CMSP分布式消息服务进行消息的高效传输，大大的提高了数据的传输效率，在对数据同步要求较高的业务场景里面有广泛的应用前景。
附图说明
附图1为本发明基于SCN方式的Oracle数据库同步系统及方法示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该基于SCN方式的Oracle数据库同步系统，包括抽取模块，转换模块和入库模块，所述抽取模块设置于采集前置机中，用于抽取源Oracle数据库的原始数据；所述转换模块和入库模块设置于同步服务器中，转换模块用于将收到的原始数据转换成标准格式，所述入库模块用于将标准格式数据写入目标Oracle数据库。
所述采集前置机和同步服务器中还设有CMSP分布式消息服务模块，所述抽取模块，转换模块和入库模块均连接到CMSP分布式消息服务模块；所述CMSP分布式消息服务模块用于传输同步数据。
CMSP(Cloud Message Service Platform，云消息服务平台)是云和大数据时代的一种高性能消息中间件，以云服务和集群方式对外提供高性能和高可靠的消息队列服务，支撑大数据采集、传输、汇聚、交换，大数据实时处理和微服务处理架构。
CMSP分布式消息服务模块是一种高效、可靠、安全、便捷、可弹性扩展的分布式消息服务系统。它的目标是高可靠地在一个云消息服务引擎上可以支持成千上万的应用不间断并发访问，在廉价PC服务器集群上支持每秒上亿条的消息存取服务，支持随业务量需要动态增加或减少计算资源节点，同时要确保基于云消息服务平台的应用开发和管理简单易使用。
该基于SCN方式的Oracle数据库同步系统的同步方法，基于CMSP分布式消息服务和SCN值，实现Oracle数据库中表结构数据，全量数据以及增量数据的快速采集同步与备份。
该基于SCN方式的Oracle数据库同步系统的同步方法，根据SCN值的变化从源Oracle数据库中提取数据库表的增量变化数据，进而实现Oracle数据库的增量数据提取以及同步。
当基于SCN方式做增量抽取时记录一个起始SCN值，当查询增量结束时记录一个结束SCN值；当下次查询增量时，用上一次结束SCN值做为起始SCN值继续进行查找增量数据，从而保证增量数据的持续同步。
SCN(System Change Number)，也就是通常所说的系统改变号，是Oracle数据库中非常重要的一个数据结构。SCN用以标识数据库在某个确切时刻提交的版本。在事务提交时，它被赋予一个唯一的标识事务的SCN。可以认为SCN是在某个时间点定义数据库已提交版本的时间戳标记。Oracle为每个已提交的事务分配一个唯一的SCN。SCN的值是对数据库进行更改的逻辑时间点。Oracle使用此编号记录对数据库所做的更改。在数据库中，SCN也可以说是无处不在，数据文件头，控制文件，数据块头，日志文件等等都标记着SCN。也正是这样，数据库的一致性维护和SCN密切相关。不管是数据的备份，恢复都是离不开SCN的。
该基于SCN方式的Oracle数据库同步系统的同步方法，包括以下步骤：
(1)抽取模块抽取源Oracle数据库的原始数据；
(2)CMSP分布式消息服务模块将抽取的原始数据实时加密后压缩发送到同步服务器；
(3)转换模块读取同步服务器中CMSP分布式消息服务模块接收到的原始数据，并将原始数据转换成标准格式后返回CMSP分布式消息服务模块；
(4)入库模块将CMSP分布式消息服务模块中的标准格式数据写入目标Oracle数据库。
所述步骤(1)中，抽取原始数据之前，首先依次安装和配置抽取模块，转换模块，入库模块和CMSP分布式消息服务模块；配置完成后启动CMSP分布式消息服务模块，并创建Topic信息；最后依次启动入库模块，转换模块和抽取模块。
配置信息包括抽取模块配置文件，需要采集的源Oracle数据库信息，需要采集的采集的源Oracle数据库表信息和发送的CMSP信息。
Claims (8)
1.一种基于SCN方式的Oracle数据库同步系统及方法，其特征在于：包括抽取模块，转换模块和入库模块，所述抽取模块设置于采集前置机中，用于抽取源Oracle数据库的原始数据；所述转换模块和入库模块设置于同步服务器中，转换模块用于将收到的原始数据转换成标准格式，所述入库模块用于将标准格式数据写入目标Oracle数据库。
2.根据权利要求1所述的基于SCN方式的Oracle数据库同步系统及方法，其特征在于：所述采集前置机和同步服务器中还设有CMSP分布式消息服务模块，所述抽取模块，转换模块和入库模块均连接到CMSP分布式消息服务模块；所述CMSP分布式消息服务模块用于传输同步数据。
3.根据权利要求1和2所述的基于SCN方式的Oracle数据库同步系统的同步方法，其特征在于：基于CMSP分布式消息服务和SCN值，实现Oracle数据库中表结构数据，全量数据以及增量数据的快速采集同步与备份。
4.根据权利要求3所述的基于SCN方式的Oracle数据库同步系统的同步方法，其特征在于：根据SCN值的变化从源Oracle数据库中提取数据库表的增量变化数据，进而实现Oracle数据库的增量数据提取以及同步。
5.根据权利要求4所述的基于SCN方式的Oracle数据库同步系统的同步方法，其特征在于：当基于SCN方式做增量抽取时记录一个起始SCN值，当查询增量结束时记录一个结束SCN值；当下次查询增量时，用上一次结束SCN值做为起始SCN值继续进行查找增量数据，从而保证增量数据的持续同步。
6.根据权利要求5所述的基于SCN方式的Oracle数据库同步系统的同步方法，其特征在于，包括以下步骤：
(1)抽取模块抽取源Oracle数据库的原始数据；
(2)CMSP分布式消息服务模块将抽取的原始数据实时加密后压缩发送到同步服务器；
(3)转换模块读取同步服务器中CMSP分布式消息服务模块接收到的原始数据，并将原始数据转换成标准格式后返回CMSP分布式消息服务模块；
(4)入库模块将CMSP分布式消息服务模块中的标准格式数据写入目标Oracle数据库。
7.根据权利要求6所述的基于SCN方式的Oracle数据库同步系统的同步方法，其特征在于：所述步骤(1)中，抽取原始数据之前，首先依次安装和配置抽取模块，转换模块，入库模块和CMSP分布式消息服务模块；配置完成后启动CMSP分布式消息服务模块，并创建Topic信息；最后依次启动入库模块，转换模块和抽取模块。
8.根据权利要求7所述的基于SCN方式的Oracle数据库同步系统的同步方法，其特征在于：配置信息包括抽取模块配置文件，需要采集的源Oracle数据库信息，需要采集的采集的源Oracle数据库表信息和发送的CMSP信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910444957.8A CN110175213A (zh) | 2019-05-27 | 2019-05-27 | 一种基于SCN方式的Oracle数据库同步系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910444957.8A CN110175213A (zh) | 2019-05-27 | 2019-05-27 | 一种基于SCN方式的Oracle数据库同步系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110175213A true CN110175213A (zh) | 2019-08-27 |
Family
ID=67695789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910444957.8A Pending CN110175213A (zh) | 2019-05-27 | 2019-05-27 | 一种基于SCN方式的Oracle数据库同步系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110175213A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110401851A (zh) * | 2019-08-28 | 2019-11-01 | 浪潮软件集团有限公司 | 一种基于cmsp的视频转码方法 |
| CN110493244A (zh) * | 2019-08-28 | 2019-11-22 | 浪潮软件集团有限公司 | 一种基于cmsp的视频采集方法 |
| CN110502490A (zh) * | 2019-08-30 | 2019-11-26 | 浪潮软件集团有限公司 | 一种MongoDB数据库数据同步系统及实现方法 |
| CN110602226A (zh) * | 2019-09-19 | 2019-12-20 | 浪潮软件集团有限公司 | 一种基于cmsp的消息转发及缓存的方法 |
| CN110659263A (zh) * | 2019-09-24 | 2020-01-07 | 浪潮软件集团有限公司 | 一种异构数据库数据交换方法 |
| CN110674221A (zh) * | 2019-09-27 | 2020-01-10 | 浪潮软件股份有限公司 | 一种空间数据同步方法、终端及计算机可读存储介质 |
| CN111198914A (zh) * | 2019-12-12 | 2020-05-26 | 山西云时代技术有限公司 | 基于oracle数据库归档日志的整库实时数据采集方法 |
| CN111221667A (zh) * | 2020-01-09 | 2020-06-02 | 浪潮软件股份有限公司 | 一种基于cmsp的数据分布式预处理方法 |
| CN111355785A (zh) * | 2020-02-20 | 2020-06-30 | 浪潮软件集团有限公司 | 一种基于cmsp的ftp安全传输系统及方法 |
| CN112269820A (zh) * | 2020-10-30 | 2021-01-26 | 浪潮云信息技术股份公司 | 一种基于cmsp实现数据批次同步的方法及平台 |
| CN112527879A (zh) * | 2020-12-15 | 2021-03-19 | 中国人寿保险股份有限公司 | 基于Kafka的实时数据抽取方法及相关设备 |
| CN112597242A (zh) * | 2020-12-16 | 2021-04-02 | 四川新网银行股份有限公司 | 一种基于涉及批量任务的应用系统数据切片的抽取方法 |
| CN112612852A (zh) * | 2020-12-29 | 2021-04-06 | 中国农业银行股份有限公司 | 数据同步方法及装置、电子设备、存储介质 |
| CN112632191A (zh) * | 2020-12-29 | 2021-04-09 | 中国农业银行股份有限公司 | 一种数据处理方法及系统 |
| CN112732488A (zh) * | 2021-01-11 | 2021-04-30 | 浪潮云信息技术股份公司 | 一种采用cmsp同步数据实现虚机内数据库备份的方法 |
| CN113505173A (zh) * | 2021-07-08 | 2021-10-15 | 上海卓钢链科技有限公司 | 一种数据采集同步系统与同步方法 |
| CN118051563A (zh) * | 2024-04-15 | 2024-05-17 | 天津南大通用数据技术股份有限公司 | 一种基于分布式数据库同构集群的容灾方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325072A (zh) * | 2018-07-12 | 2019-02-12 | 浪潮软件集团有限公司 | 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置 |
| CN109739931A (zh) * | 2018-12-21 | 2019-05-10 | 浪潮软件股份有限公司 | 一种基于CMSP的MySQLBinlog日志解析的增量同步方法 |
-
2019
- 2019-05-27 CN CN201910444957.8A patent/CN110175213A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325072A (zh) * | 2018-07-12 | 2019-02-12 | 浪潮软件集团有限公司 | 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置 |
| CN109739931A (zh) * | 2018-12-21 | 2019-05-10 | 浪潮软件股份有限公司 | 一种基于CMSP的MySQLBinlog日志解析的增量同步方法 |
Non-Patent Citations (1)
| Title |
|---|
| 戴浩等: "ETL中的数据增量抽取机制研究", 《计算机工程与设计》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110493244A (zh) * | 2019-08-28 | 2019-11-22 | 浪潮软件集团有限公司 | 一种基于cmsp的视频采集方法 |
| CN110401851A (zh) * | 2019-08-28 | 2019-11-01 | 浪潮软件集团有限公司 | 一种基于cmsp的视频转码方法 |
| CN110502490A (zh) * | 2019-08-30 | 2019-11-26 | 浪潮软件集团有限公司 | 一种MongoDB数据库数据同步系统及实现方法 |
| CN110602226A (zh) * | 2019-09-19 | 2019-12-20 | 浪潮软件集团有限公司 | 一种基于cmsp的消息转发及缓存的方法 |
| CN110659263B (zh) * | 2019-09-24 | 2023-06-20 | 浪潮软件集团有限公司 | 一种异构数据库数据交换方法 |
| CN110659263A (zh) * | 2019-09-24 | 2020-01-07 | 浪潮软件集团有限公司 | 一种异构数据库数据交换方法 |
| CN110674221A (zh) * | 2019-09-27 | 2020-01-10 | 浪潮软件股份有限公司 | 一种空间数据同步方法、终端及计算机可读存储介质 |
| CN110674221B (zh) * | 2019-09-27 | 2023-08-08 | 浪潮软件股份有限公司 | 一种空间数据同步方法、终端及计算机可读存储介质 |
| CN111198914A (zh) * | 2019-12-12 | 2020-05-26 | 山西云时代技术有限公司 | 基于oracle数据库归档日志的整库实时数据采集方法 |
| CN111221667B (zh) * | 2020-01-09 | 2024-03-22 | 浪潮软件股份有限公司 | 一种基于cmsp的数据分布式预处理方法 |
| CN111221667A (zh) * | 2020-01-09 | 2020-06-02 | 浪潮软件股份有限公司 | 一种基于cmsp的数据分布式预处理方法 |
| CN111355785A (zh) * | 2020-02-20 | 2020-06-30 | 浪潮软件集团有限公司 | 一种基于cmsp的ftp安全传输系统及方法 |
| CN112269820A (zh) * | 2020-10-30 | 2021-01-26 | 浪潮云信息技术股份公司 | 一种基于cmsp实现数据批次同步的方法及平台 |
| CN112527879A (zh) * | 2020-12-15 | 2021-03-19 | 中国人寿保险股份有限公司 | 基于Kafka的实时数据抽取方法及相关设备 |
| CN112527879B (zh) * | 2020-12-15 | 2024-04-16 | 中国人寿保险股份有限公司 | 基于Kafka的实时数据抽取方法及相关设备 |
| CN112597242B (zh) * | 2020-12-16 | 2023-06-06 | 四川新网银行股份有限公司 | 一种基于涉及批量任务的应用系统数据切片的抽取方法 |
| CN112597242A (zh) * | 2020-12-16 | 2021-04-02 | 四川新网银行股份有限公司 | 一种基于涉及批量任务的应用系统数据切片的抽取方法 |
| CN112632191A (zh) * | 2020-12-29 | 2021-04-09 | 中国农业银行股份有限公司 | 一种数据处理方法及系统 |
| CN112612852A (zh) * | 2020-12-29 | 2021-04-06 | 中国农业银行股份有限公司 | 数据同步方法及装置、电子设备、存储介质 |
| CN112632191B (zh) * | 2020-12-29 | 2024-06-11 | 中国农业银行股份有限公司 | 一种数据处理方法及系统 |
| CN112612852B (zh) * | 2020-12-29 | 2024-06-11 | 中国农业银行股份有限公司 | 数据同步方法及装置、电子设备、存储介质 |
| CN112732488B (zh) * | 2021-01-11 | 2023-02-28 | 浪潮云信息技术股份公司 | 一种采用cmsp同步数据实现虚机内数据库备份的方法 |
| CN112732488A (zh) * | 2021-01-11 | 2021-04-30 | 浪潮云信息技术股份公司 | 一种采用cmsp同步数据实现虚机内数据库备份的方法 |
| CN113505173A (zh) * | 2021-07-08 | 2021-10-15 | 上海卓钢链科技有限公司 | 一种数据采集同步系统与同步方法 |
| CN113505173B (zh) * | 2021-07-08 | 2024-03-19 | 上海卓钢链科技有限公司 | 一种数据采集同步系统与同步方法 |
| CN118051563A (zh) * | 2024-04-15 | 2024-05-17 | 天津南大通用数据技术股份有限公司 | 一种基于分布式数据库同构集群的容灾方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110175213A (zh) | 一种基于SCN方式的Oracle数据库同步系统及方法 | |
| WO2020147392A1 (zh) | 数据库之间的数据同步方法和系统 | |
| CN108647237A (zh) | 异构关系型数据库间的数据同步方法 | |
| CN112685433B (zh) | 元数据更新方法、装置、电子设备及计算机可读存储介质 | |
| CN102033912A (zh) | 一种分布式数据库访问方法及系统 | |
| CN104050276B (zh) | 一种分布式数据库的缓存处理方法及系统 | |
| CN110222237A (zh) | 数据库表和xml报文的转换方法及其系统 | |
| WO2021036684A1 (zh) | 分布式数据同步方法、装置、设备及可读存储介质 | |
| CN106202365B (zh) | 数据库更新同步的方法、系统及数据库集群 | |
| CN108491332A (zh) | 一种基于Redis的实时缓存更新方法和系统 | |
| CN104679841A (zh) | 一种消费端数据流复制方法及系统 | |
| CN111327446B (zh) | 配置数据处理方法、软件定义网络设备、系统及存储介质 | |
| CN111858760B (zh) | 一种异构数据库的数据处理方法及装置 | |
| US20120278429A1 (en) | Cluster system, synchronization controlling method, server, and synchronization controlling program | |
| CN101807210A (zh) | 一种数据库间数据同步的方法、系统及设备 | |
| CN110895547B (zh) | 基于db2联邦特性的多源异构数据库数据同步系统及方法 | |
| CN108228755A (zh) | 基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法 | |
| CN109189658B (zh) | 一种日志存储方法、控制节点及计算机可读存储介质 | |
| CN110502490A (zh) | 一种MongoDB数据库数据同步系统及实现方法 | |
| CN110222121A (zh) | 一种基于CDC方式的SQL Server数据库增量同步实现方法及系统 | |
| CN116975159B (zh) | 一种增量数据同步的处理方法 | |
| CN113934797A (zh) | 一种银行业超大数据同步方法和系统 | |
| CN112130894B (zh) | 一种应用特性开关的灰度发布管理系统、方法和设备 | |
| CN113505175B (zh) | 一种基于消息队列实现MySQL增量数据同步的方法 | |
| CN113810231B (zh) | 一种日志解析方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190827 |
|
| RJ01 | Rejection of invention patent application after publication |