CN104346454B - 基于Oracle数据库的数据一致性校验方法 - Google Patents
基于Oracle数据库的数据一致性校验方法 Download PDFInfo
- Publication number
- CN104346454B CN104346454B CN201410598198.8A CN201410598198A CN104346454B CN 104346454 B CN104346454 B CN 104346454B CN 201410598198 A CN201410598198 A CN 201410598198A CN 104346454 B CN104346454 B CN 104346454B
- Authority
- CN
- China
- Prior art keywords
- database
- source
- oracle
- scn
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于Oracle数据库的数据一致性校验方法，包括如下步骤：a)暂停Oracle数据库复制进程，使得Oracle数据库提交所有事务；b)获取源端数据库的时间戳信息SCN；c)查询目标端数据库并获取当前时间戳信息SCN后，重启暂停的Oracle数据库复制进程，恢复Oracle数据库同步；d)在源端数据库与目标端数据库的时间戳信息SCN相一致的情况下，再对对应表做数据一致性校验。本发明提供的基于Oracle数据库的数据一致性校验方法，在获取匹配的时间戳信息之后再进行数据一致性校验，从而能够顺利处理变更频繁的记录，不依赖任何业务逻辑与主键，且校验效率速度快，配置简单易用。
Description
技术领域
本发明涉及一种数据库的数据校验方法，尤其涉及一种基于Oracle数据库的数据一致性校验方法。
背景技术
Oracle GoldenGate软件是一种基于log(日志)的结构化数据复制软件，它通过解析源数据库在线log或归档log获得数据的增、删、改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库同步、双活。Oracle GoldenGate软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒级的实时复制。
Oracle GoldenGate是一种基于软件的数据复制方式，它从数据库的log解析数据的变化，将数据变化转化为自己的格式，直接通过TCP/IP网络传输，无需依赖于数据库自身的传递方式，而且可以通过高达9:1的压缩率对数据进行压缩，可以大大降低带宽需求。在目标端，Oracle GoldenGate可以通过交易重组，分批加载等技术手段大大加快数据投递的速度和效率，降低目标系统的资源占用，可以在亚秒级实现大量数据的复制，并且目标端数据库是活动的。从而可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时，OracleGoldenGate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构。
Oracle GoldenGate技术解决了目前业界难以解决的在不同系统之间进行海量数据实时同步问题，并可以根据业务需求进行部分关键数据同步，操作灵活、方便，实现了对实时信息的实时访问，使得企业可以提高可用性、可靠性和跨企业系统的关键数据性能。采用GoldenGate的数据复制技术，可以实现数据实时备份，确保核心数据的安全，同时避免引入过多种类的软硬件产品，降低了运营维护的复杂度和投入，有利于灾备系统的恢复和切换。该技术可以广泛用于对数据库系统实时性要求高，需要建立容灾系统的大中型企业。
随着近几年来业务系统的不断高速发展，当前的数据库系统，随着客户的增加，业务的增长以及时间的累积，系统单位时间在线交易数以及每笔交易的复杂度均有大规模的提升，这样也导致了数据库系统上的数据变更更为频繁，数据变动量的增加，也必然导致生产系统向容灾系统同步数据以及切换容灾系统的压力变大。
然而Oracle GoldenGate毕竟是一种逻辑的数据同步手段，其搭建以及运维均涉及复杂的步骤，因此，准确而有效的数据一致性校验是必须的；其中针对系统迁移以及割接的项目，在割接前的数据一致性验证是很多客户，特别是新接触OracleGoldenGate软件的客户所要求的。
由于Oracle GoldenGate采用的是异步的同步方式，存在时间延迟(默认情况下约10秒左右)，时间延迟内，两边的数据可能发生了多次的DML操作，如何在存在时间差的情况下准确校验数据一致性成为业界的难题。
目前情况下，业界针对Oracle GoldenGate的数据一致性验证方案一般有下述三种方式：
1、基于业务逻辑的数据一致性校验方法
这种方法需要业务系统的运维或者开发人员配置，根据业务逻辑，查询一到多个表生成静态的结果集，然后再比较静态结果集的数据一致性。
比较静态结果集的数据一致性则有如下方法：1)简单地通过聚合函数、记录数等确认；2)通过minus运算确认；3)通过表记录哈希值总和以及记录数确认；4)通过GoldenGate Veridata进行校验。
上述处理方法分两步，静态结果集的生成以及静态结果集的对比。静态结果集校验一般来说不会存在瓶颈，上文说的minus、哈希等方式均能准确地验证。
静态结果集生成则成为主要的瓶颈，此方式要求应用人员配合，这是校验的主要瓶颈项，主要体现在以下方面：1)仅能针对业务逻辑进行校验，所对比的静态结果没问题，不代表同步没有问题；2)通常情况仅部分核心表能根据业务逻辑梳理出静态结果集，其余表无法通过这种方式进行校验；3)需要应用人员进行配合，实际操作中容易出现责任不清晰等管理问题。
2、忽略时间延迟直接进行数据一致性校验方法
这种方法简单地确认Oracle GoldenGate运行状态正常以及不存在大的时间延迟后，直接进行数据一致性校验。由于这种方式比较粗略，因此一般仅通过下述方法校验：1)通过minus对比，然后分析差异记录；2)简单地通过聚合函数、记录数等确认。
上述处理方法同样分两步，即Oracle GoldenGate运行状态的检查确认以及数据一致性的校验。Oracle GoldenGate运行状态的检查后，可基本上确认同步延迟是否在可接受范围内(默认情况下10秒)，此后即可直接发起校验。
如果后续校验采用count(*)以及聚合函数进行校验的话，存在如下瓶颈：1)仅能给出一个大致的校验结果，很可能由于同步时间延迟而造成结果不一致，但结果不一致并不等于数据的不一致；2)如果串行地对比多个表，则很容易由于查询语句运行时间不同而导致后续语句发起时间点的不一致，导致结果差异更大，而影响对结果准确性的判断。
如果后续采用校验采用minus方式，则瓶颈为如下：1)很容易出现由于时间延迟而导致的差异，差异记录需要进一步判断，以确定同步是否存在异常；2)需要进行两次minus操作校验，性能消耗较大，通常仅能用于校验数据量较小的表；3)要求创建数据库dblink，部分生产环境管理规范不允许。
3、基于Oracle GoldenGate Veridata的数据一致性校验方法
Oracle GoldenGate是Oracle官方的数据一致性校验工具，这种工具自动对初次校验记录不一致的表进行二次校验。直接利用Oracle GoldenGate Veridata进行校验则是Oracle官方的一种方法，这种方式的瓶颈在于：1)成本更高，需要另外购买OracleGoldenGate Veridata软件，有可能需要购买新的机器，并搭建数据库；2)对于初次对比后发现的不一致记录(通常是由于时间延迟而产生的)，采用再次校验单条记录一致性的方法进行，如果单条记录在校验期间多次变更，则仅能识别为变化中的数据；3)校验的精度较细，但为此付出的为较大资源消耗以及时间；4)无主键或者唯一键的表校验效率低下，且消耗大量的临时表空间或者文件系统目录。
由上可见，现有Oracle数据库的几种处理方式均无法彻底地解决数据一致性的问题。因此，有必要继续对基于Oracle数据库的数据一致性校验方法进行改进。
发明内容
本发明所要解决的技术问题是提供一种基于Oracle数据库的数据一致性校验方法，能够顺利处理变更频繁的记录，不依赖任何业务逻辑与主键，且校验效率速度快，配置简单易用。
本发明为解决上述技术问题而采用的技术方案是提供一种基于Oracle数据库的数据一致性校验方法，包括如下步骤：a)暂停Oracle数据库复制进程，使得Oracle数据库提交所有事务；b)获取源端数据库的时间戳信息SCN；c)查询目标端数据库并获取当前时间戳信息SCN后，重启暂停的Oracle数据库复制进程，恢复Oracle数据库同步；d)在源端数据库与目标端数据库的时间戳信息SCN相一致的情况下，再对对应表做数据一致性校验。
上述的基于Oracle数据库的数据一致性校验方法，其中，所述步骤a)检查到复制进程的队列文件序号seqno和复制位置rba值相一致，并确认复制进程处于停止状态后再获取源端数据库的时间戳信息SCN。
上述的基于Oracle数据库的数据一致性校验方法，其中，所述步骤b)中源端数据库的时间戳信息SCN获取过程如下：根据复制进程的队列文件信息以及rba值，通过logdump工具获取。
上述的基于Oracle数据库的数据一致性校验方法，其中，所述步骤b)中源端数据库的时间戳信息SCN获取过程如下：
在源端数据库创建校验指令表记录源端数据库的时间戳信息SCN；在目标端数据库创建相应的校验指令表获取来自源端数据库的时间戳信息SCN。
上述的基于Oracle数据库的数据一致性校验方法，其中，所述源端数据库的校验指令表的操作过程如下：每次操作仅仅允许插入一条记录，并在插入后马上进行提交操作；所述源端数据库的校验指令表配置在抽取进程的末尾，以异构同步的方式仅供经过验证的脚本调用运行，并通过GoldenGate的GETENV函数获取主机名、数据库名和时间戳信息SCN。
上述的基于Oracle数据库的数据一致性校验方法，其中，所述目标端数据库的校验指令表仅仅允许查询和清理操作；所述目标端数据库的校验指令表配置在复制进程的末尾，通过WHERE关键字过滤触发单个或者多个复制进程停止；或者通过EVENTACTIONS功能，触发复制进程做检查点，并停止复制进程。
上述的基于Oracle数据库的数据一致性校验方法，其中，所述目标端数据库的校验指令表包括如下字段：源端主机名、源端数据库名、源端抽取进程名、源端提交时间戳、目标端复制进程名和目标端提交前时间戳；所述源端主机名、源端数据库名、源端抽取进程名和源端提交时间戳由源端抽取进程自动填充；所述目标端复制进程名和目标端提交前时间戳由复制进程自动填充。
上述的基于Oracle数据库的数据一致性校验方法，其中，所述c)步骤通过调用SQL语句获取目标端数据库的当前时间戳信息SCN。
上述的基于Oracle数据库的数据一致性校验方法，其中，所述步骤d)中通过minus运算确认、表记录哈希值总和以及记录数确认或者GoldenGate Veridata进行对应表数据一致性校验。
上述的基于Oracle数据库的数据一致性校验方法，其中，如果源端数据库与目标端数据库的时间戳信息SCN不一致，选择时间戳信息在前的SCN号进行数据库还原。
本发明对比现有技术有如下的有益效果：本发明提供的基于Oracle数据库的数据一致性校验方法，通过先获取用于标识数据库某个确切提交版本的时间戳信息SCN，在获取匹配的时间戳信息之后再进行数据一致性校验，从而能够顺利处理变更频繁的记录，不依赖任何业务逻辑与主键，且校验效率速度快，配置简单易用。
附图说明
图1为本发明基于Oracle数据库的数据一致性校验流程示意图；
图2为本发明Oracle数据库源端目标端配置检查指令表及操作策略流程示意图；
图3为本发明采用检查指令表获取时间戳信息进行数据一致性校验流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
图1为本发明基于Oracle数据库的数据一致性校验流程示意图。
请参见图1，本发明提供的基于Oracle数据库的数据一致性校验方法包括如下步骤：
步骤S1：暂停Oracle数据库复制进程，使得Oracle数据库提交所有事务；比如检查到复制进程的seqno和rba值相一致即可确认复制进程处于停止状态。
步骤S2：获取源端数据库的时间戳信息SCN；针对不同的数据库平台，时间戳信息将有所不同。对于本发明涉及的oracle database，可供校验使用的时间戳信息为SCN。所谓的SCN全称为System Change Number，是oracle database的一个内部时间戳，用于标识数据库某个确切提交的版本。在事务提交或者回滚时，它被赋予一个唯一的标识事务的SCN，用来保证数据的一致性。作为数据库内部的逻辑时钟，数据库事务依SCN而排序，SCN在数据库中是唯一的，并随时间而增加，除非重建数据库，SCN的值永远不会被重置为0。
oracle database的闪回版本查询功能(Flashback Version Query)可以支持基于SCN的查询，根据某个具体的SCN号，还原某个时间点数据库表的版本，查询语句例子如下：
SQL>select count(*)from CRABBIT.ORDERS as of scn 47572949274。
Oracle GoldenGate在复制数据库事务时是严格依照源端数据库的顺序进行的。因此，基于Oracle GoldenGate自身的原理，理论上是可以找出无数个对应的时间戳信息，根据这种对应的时间戳信息，即可判断某个特定的表在某个特定的时间戳信息数据是否一致。
步骤S3：查询目标端数据库并获取当前时间戳信息SCN后，重启暂停的Oracle数据库复制进程，恢复Oracle数据库同步。
步骤S4：在源端数据库与目标端数据库的时间戳信息SCN相一致的情况下，再对对应表做数据一致性校验。在获取匹配的时间戳信息之后，校验数据一致性的方法与校验静态数据的方法是一致的：
1)通过minus运算确认；
2)通过表记录哈希值总和以及记录数确认；
3)通过GoldenGate Veridata进行校验。
上述三种方法或者现有的其它方法均可以实现具体的数据一致性校验，在此不再一一赘述。如果源端数据库与目标端数据库的时间戳信息SCN不一致，选择时间戳信息在前的SCN号进行数据库还原。
基于性能以及效率的考虑，Oracle GoldenGate的目标端往往会配置GROUPTRANSOPS等参数进行优化，此参数会在目标端合并多个小事务并一次性提交，这是一种非常规的配置方法，因此选取配对时间戳信息时，必须考虑这个点。
Oracle GoldenGate停止的时候必然会进行事务提交，而且停止重启的代价非常低，因此停止Oracle GoldenGate进程并重启的巡检是一个比较好的机会获取时间戳信息。当Oracle GoldenGate进程停止后，此复制进程对应的表均处于静止状态，此时获取对应的数据库SCN即可。而在复制进程停止的状态下，也可以根据复制进程的队列文件信息以及rba号，通过logdump工具获取源端具体的SCN信息，但此步骤较麻烦，本发明则做了一个优化，直接通过Oracle GoldenGate侧的特殊配置，将SCN写到特殊的数据库表中，免却使用logdump工具的麻烦。
本发明源端目标端配置检查指令表及操作策略部署流程如图2所示，包括如下步骤：
1、在源端数据库创建GoldenGate校验指令表；2、在目标端数据库创建GoldenGate校验指令表；3、在源端数据库做GoldenGate校验指令表的特殊配置；4、在目标端数据库做GoldenGate校验指令表的特殊配置。
在源端数据库创建GoldenGate校验指令表要求如下：
此表为GoldenGate的校验以及检查专用，不允许其余应用占用；
操作此表必须经过已验证的脚本运行，不允许其余未经验证的手工操作(操作规范为，仅做insert操作，仅插入一条记录，插入后马上commit)
字段要求如下：
| 字段名 | 字段类型 | 字段说明 |
| CMD | varchar2(10) | 记录操作指令，为进程名或者“Stop”、“CHECK” |
| OPER_DATE | date | 记录插入的时间点，默认值为sysdate |
在源端数据库创建GoldenGate校验指令表要求如下：
1、此表为GoldenGate的校验以及检查专用，不允许其余应用占用
2、不允许清理、查询以外的操作
3、字段要求如下：
| 字段名 | 字段类型 | 字段说明 |
| CMD | varchar2(10) | 与源端一致 |
| OPER_DATE | date | 与源端一致 |
| EXT_HOSTNAME | varchar2(10) | 存储源端主机名，抽取进程自动填充 |
| EXT_DBNAME | varchar2(10) | 存储源端数据库名，抽取进程自动填充 |
| EXT_PRONAME | varchar2(10) | 存储源端抽取进程名，抽取进程自动填充 |
| EXT_TIMESTAMP | date | 存储源端提交时间戳，抽取进程自动填充 |
| EXT_SCN | number | 存储源端提交SCN，抽取进程自动填充 |
| REP_NAME | varchar2(10) | 存储目标端复制进程名，复制进程自动填充 |
| REP_SCN | number | 存储复制端提交前时间戳，复制进程自动填充 |
| REP_DATE | date | 存储复制端提交前SCN，复制进程自动填充 |
需要特别说明的是，REP_SCN以及REP_DATE为提交前的信息，并不严格与EXT_TIMESTAMP以及EXT_SCN相对应，复制进程将例外选择对应的SCN信息。
在源端数据库做GoldenGate校验指令表的特殊配置要求如下：
1、此策略加到抽取进程配置末尾位置，避免影响其余策略；
2、此策略忽略INSERT以外的各种操作，如TRUNCATE、DELETE、UPDATE；
3、此策略以异构同步的方式进行，通过GoldenGate的GETENV函数获取主机名、数据库名、日期格式存储的时间戳、数字类型存储的SCN等信息。
在目标端数据库做GoldenGate校验指令表的特殊配置要求如下：
1、此策略加到复制进程配置末尾位置，避免影响其余策略；
2、此策略自动填充复制进程名、复制进程；
3、通过WHERE关键字过滤，触发单个或者多个复制进程停止，或者仅作检查点；
4、通过SQLEXEC功能，调用数据库SQL语句，获取当前SCN以及sysdate；
5、通过EVENTACTIONS功能，触发进程做检查点，并停止复制进程。
图3为本发明采用检查指令表获取时间戳信息进行数据一致性校验流程示意图。
请继续参见图3，本发明采用检查指令表获取时间戳信息进行数据一致性校验步骤如下：
1、源端对GoldenGate校验指令表进行插入，触发CHECK操作；
2、目标端对GoldenGate校验指令表进行检查，确认各个复制进程均处于正常状态；
3、源端对GoldenGate校验指令表进行插入，触发停止个别或者全部复制进程；
4、目标端对GoldenGate校验指令表进行检查，确认对应复制进程已停止，并获取对应的源端SCN号；
5、目标端检查OGG进程状态，确认状态均为STOPPED且，相应的seqno和rba值一致；
6、查询目标数据库，获取当前SCN号；
7、恢复GoldenGate同步；
8、利用源端的SCN号以及目标端的SCN号，对对应表做数据一致性校验。
综上所述，本发明提供的基于Oracle数据库的数据一致性校验方法，采用自定义的Oracle GoldenGate指令表进行快速地停止GoldenGate进程并获取对应的SCN号，然后基于时间戳信息校验Oracle GoldenGate同步的源端以及目标端数据一致性，具体优点如下：
1)能顺利处理变更频繁的记录：传统的Oracle GoldenGate Veridata工具对比方法无法处理校验时间内多次变更数据的一致性，此方法没有这个问题；
2)不依赖于任何业务逻辑：与对比静态结果集的方式对比，此方法不需要应用方面配合；
3)不依赖主键：传统的Oracle GoldenGate Veridata工具对比方法需要指定逻辑主键，对于无主键或者唯一键的表，需要指定所有大对象以外的字段为逻辑主键，并根据逻辑主键逐条记录进行对比，效率较低；
4)不需要因排序而占用大量临时表空间或者文件系统目录：传统的OracleGoldenGate Veridata工具对比方法需要进行排序，除非使用哈希值校验的；
5)校验效率速度快：与传统的Oracle GoldenGate Veridata相比，校验消耗时间缩短5倍以上；
6)配置简单易用：批量生成后即可多次使用，绝大部分步骤均能精简为单条命令。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。
Claims (5)
1.一种基于Oracle数据库的数据一致性校验方法，其特征在于，包括如下步骤：
a)暂停Oracle数据库复制进程，使得Oracle数据库提交所有事务；
b)获取源端数据库的时间戳信息SCN；
c)查询目标端数据库并获取当前时间戳信息SCN后，重启暂停的Oracle数据库复制进程，恢复Oracle数据库同步；
d)在源端数据库与目标端数据库的时间戳信息SCN相一致的情况下，再对对应表做数据一致性校验；
所述步骤a)检查到复制进程的队列文件序号seqno和复制位置rba值相一致，并确认复制进程处于停止状态后再获取源端数据库的时间戳信息SCN；
所述步骤b)中源端数据库的时间戳信息SCN获取过程如下：
在源端数据库创建校验指令表记录源端数据库的时间戳信息SCN；在目标端数据库创建相应的校验指令表获取来自源端数据库的时间戳信息SCN；
所述源端数据库的校验指令表的操作过程如下：每次操作仅仅允许插入一条记录，并在插入后马上进行提交操作；所述源端数据库的校验指令表配置在抽取进程的末尾，以异构同步的方式仅供经过验证的脚本调用运行，并通过GoldenGate的GETENV函数获取主机名、数据库名和时间戳信息SCN；
所述目标端数据库的校验指令表仅仅允许查询和清理操作；所述目标端数据库的校验指令表配置在复制进程的末尾，通过WHERE关键字过滤触发单个或者多个复制进程停止；或者通过EVENTACTIONS功能，触发复制进程做检查点，并停止复制进程。
2.如权利要求1所述的基于Oracle数据库的数据一致性校验方法，其特征在于，所述目标端数据库的校验指令表包括如下字段：源端主机名、源端数据库名、源端抽取进程名、源端提交时间戳、目标端复制进程名和目标端提交前时间戳；所述源端主机名、源端数据库名、源端抽取进程名和源端提交时间戳由源端抽取进程自动填充；所述目标端复制进程名和目标端提交前时间戳由复制进程自动填充。
3.如权利要求1所述的基于Oracle数据库的数据一致性校验方法，其特征在于，所述c)步骤通过调用SQL语句获取目标端数据库的当前时间戳信息SCN。
4.如权利要求1所述的基于Oracle数据库的数据一致性校验方法，其特征在于，所述步骤d)中通过minus运算确认、表记录哈希值总和以及记录数确认或者GoldenGate Veridata进行对应表数据一致性校验。
5.如权利要求1～4任一项所述的基于Oracle数据库的数据一致性校验方法，其特征在于，如果源端数据库与目标端数据库的时间戳信息SCN不一致，选择时间戳信息在前的SCN号进行数据库还原。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410598198.8A CN104346454B (zh) | 2014-10-30 | 2014-10-30 | 基于Oracle数据库的数据一致性校验方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410598198.8A CN104346454B (zh) | 2014-10-30 | 2014-10-30 | 基于Oracle数据库的数据一致性校验方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104346454A CN104346454A (zh) | 2015-02-11 |
| CN104346454B true CN104346454B (zh) | 2017-12-05 |
Family
ID=52502045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410598198.8A Active CN104346454B (zh) | 2014-10-30 | 2014-10-30 | 基于Oracle数据库的数据一致性校验方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104346454B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105068886B (zh) * | 2015-07-30 | 2018-03-30 | 上海新炬网络信息技术股份有限公司 | 基于GoldenGate的灾备智能切控制方法 |
| CN105159793B (zh) * | 2015-08-18 | 2018-02-27 | 上海新炬网络信息技术股份有限公司 | 基于GoldenGate的数据复制备份方法 |
| CN105589961B (zh) * | 2015-12-21 | 2019-02-19 | 武汉达梦数据库有限公司 | 一种数据库实时同步系统数据一致性的检测方法及系统 |
| CN106649577B (zh) * | 2016-11-17 | 2020-02-07 | 杭州沃趣科技股份有限公司 | 一种检测Oracle数据库同步软件运行状态的方法 |
| CN106649814A (zh) * | 2016-12-29 | 2017-05-10 | 国网江苏省电力公司南京供电公司 | 一种配电自动化跨区数据库一致性校验方法 |
| CN107247749B (zh) | 2017-05-25 | 2020-08-25 | 创新先进技术有限公司 | 一种数据库状态确定方法、一致性验证方法及装置 |
| CN107368569B (zh) * | 2017-07-11 | 2020-08-11 | 人人行科技股份有限公司 | 数据差异对比方法和装置、存储介质以及处理器 |
| CN107609188B (zh) * | 2017-10-09 | 2020-08-11 | 上海新炬网络信息技术股份有限公司 | 基于GoldenGate的数据同步校验方法 |
| CN109033127B (zh) * | 2018-05-31 | 2021-10-29 | 创新先进技术有限公司 | 一种同步数据校验方法、装置以及设备 |
| CN113836154B (zh) * | 2018-06-21 | 2024-05-03 | 创新先进技术有限公司 | 一种数据库切换方法及装置 |
| CN110262929B (zh) * | 2018-08-13 | 2020-01-07 | 武汉达梦数据库有限公司 | 一种保证复制事务一致性的方法以及相应的复制装置 |
| CN109446267B (zh) * | 2018-09-25 | 2023-06-02 | 国家电网有限公司客户服务中心 | 一种基于95598异地双活灾备模型的跨库数据集成系统及方法 |
| CN109408480B (zh) * | 2018-09-29 | 2020-10-30 | 武汉达梦数据库有限公司 | 基于oracle多节点rac日志基于scn对齐读取的方法及系统 |
| CN109740386B (zh) * | 2018-12-25 | 2020-12-08 | 星潮闪耀移动网络科技（中国）有限公司 | 一种静态资源文件的检测方法及装置 |
| CN110333970B (zh) * | 2019-07-10 | 2021-09-07 | 中国民航信息网络股份有限公司 | 一种数据恢复方法及装置 |
| CN110413693B (zh) * | 2019-07-31 | 2020-04-03 | 上海英方软件股份有限公司 | 一种数据库实时同步系统数据一致性的检验方法及装置 |
| CN111427898A (zh) * | 2020-03-16 | 2020-07-17 | 上海爱数信息技术股份有限公司 | 一种基于解析Oracle日志的持续数据保护系统及方法 |
| CN111737349B (zh) * | 2020-06-18 | 2023-09-19 | 中国银行股份有限公司 | 数据一致性校验方法及装置 |
| CN111737354A (zh) * | 2020-06-30 | 2020-10-02 | 中国工商银行股份有限公司 | 数据一致性的检测方法、装置、系统及介质 |
| CN111753518B (zh) * | 2020-08-12 | 2021-03-12 | 深圳潮数软件科技有限公司 | 一种自主的文件一致性检验方法 |
| CN112199441B (zh) * | 2020-09-28 | 2023-11-24 | 中国平安人寿保险股份有限公司 | 基于大数据平台的数据同步处理方法、装置、设备及介质 |
| CN113282643B (zh) * | 2021-06-04 | 2023-03-21 | 上海英方软件股份有限公司 | 一种oracle数据库同步环境下的表对比方法及系统 |
| CN113268470A (zh) * | 2021-06-17 | 2021-08-17 | 重庆富民银行股份有限公司 | 一种高效的数据库回滚方案验证方法 |
| CN114911862B (zh) * | 2022-07-18 | 2022-12-06 | 国网江苏省电力有限公司营销服务中心 | 一种网上国网运营链路大数据传输系统及方法 |
| CN114942851B (zh) * | 2022-07-25 | 2023-04-25 | 北京优合融宜科技有限公司 | 一种内存数据的读写方法以及读写装置 |
| CN117251460B (zh) * | 2023-08-10 | 2024-04-05 | 上海栈略数据技术有限公司 | 图数据库和关系数据库的数据一致性校验系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455557A (zh) * | 2013-08-08 | 2013-12-18 | 上海新炬网络技术有限公司 | 一种基于日志的结构化数据同步方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7103884B2 (en) * | 2002-03-27 | 2006-09-05 | Lucent Technologies Inc. | Method for maintaining consistency and performing recovery in a replicated data storage system |
-
2014
- 2014-10-30 CN CN201410598198.8A patent/CN104346454B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455557A (zh) * | 2013-08-08 | 2013-12-18 | 上海新炬网络技术有限公司 | 一种基于日志的结构化数据同步方法 |
Non-Patent Citations (3)
| Title |
|---|
| GoldenGate的数据初始化（原创）;czmmiao;《http://czmmiao.iteye.com/blog/1603336》;20120722;1-7 * |
| ogg根据scn同步数据，源库零停机时间;DoubleGinger;《http://www.cnblogs.com/kkterry/p/3832556.html》;20140709;1-8 * |
| 一种GoldenGate灾备系统中灾备数据快速验证方法;聂庆节 等;《电力信息化》;20130131;第11卷(第1期);61-65 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104346454A (zh) | 2015-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104346454B (zh) | 基于Oracle数据库的数据一致性校验方法 | |
| US9589041B2 (en) | Client and server integration for replicating data | |
| US9582520B1 (en) | Transaction model for data stores using distributed file systems | |
| CN106570086B (zh) | 数据迁移系统及数据迁移方法 | |
| US7933869B2 (en) | Method and system for cloning a tenant database in a multi-tenant system | |
| CN106815326B (zh) | 一种检测无主键数据表一致性的系统及方法 | |
| US7464097B2 (en) | Managing data integrity using a filter condition | |
| CN104809202A (zh) | 一种数据库同步的方法和装置 | |
| CN105843707B (zh) | 数据库快速恢复方法及设备 | |
| CN110651265A (zh) | 数据复制系统 | |
| CN104809201A (zh) | 一种数据库同步的方法和装置 | |
| US20040034668A1 (en) | Managing data integrity | |
| CN107004010A (zh) | 控制多数据库系统 | |
| JP6711884B2 (ja) | ソースデータベースの負荷を最小化したデータ整合性検証方法およびシステム | |
| CN107609188B (zh) | 基于GoldenGate的数据同步校验方法 | |
| CN110413693B (zh) | 一种数据库实时同步系统数据一致性的检验方法及装置 | |
| CN104809200A (zh) | 一种数据库同步的方法和装置 | |
| CN109241014B (zh) | 数据处理方法、装置和服务器 | |
| CN111198914A (zh) | 基于oracle数据库归档日志的整库实时数据采集方法 | |
| US20180032567A1 (en) | Method and device for processing data blocks in a distributed database | |
| CN114328759A (zh) | 一种数据仓库的数据构建与管理方法及终端 | |
| US20220318265A1 (en) | System And Method For Switching From Consistent Database To An Eventual Consistent Database Replica In Real Time While Preventing Reads Of Past Versions Of The Data | |
| CN105786877A (zh) | 一种数据存储方法、系统及查询方法 | |
| CN104252505A (zh) | 数据库管理平台中数据库实例的同步方法和装置 | |
| CN111198920B (zh) | 一种基于数据库同步确定对比表快照的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| ASS | Succession or assignment of patent right |
Owner name: SHANGHAI NEW CENTURY NETWORK INFORMATION TECHNOLOG Free format text: FORMER OWNER: SHANGHAI NEW CENTURY NETWORK CO., LTD. Effective date: 20150120 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20150120 Address after: 200063 Shanghai, Zhongshan North Road, No. 2000, building, building No. 3, B Applicant after: SHANGHAI XINJU NETWORK INFORMATION TECHNOLOGY CO., LTD. Address before: 200063 Shanghai, Zhongshan North Road, No. 2000, building, building No. 3, B Applicant before: Shanghai New Century Network Co., Ltd. |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160226 Address after: 200063 Shanghai, Zhongshan North Road, No. 2000, building, building No. 3, B Applicant after: Shanghai New Century Network Co., Ltd. Address before: 200063 Shanghai, Zhongshan North Road, No. 2000, building, building No. 3, B Applicant before: SHANGHAI XINJU NETWORK INFORMATION TECHNOLOGY CO., LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |