CN109241185A - 一种数据同步的方法以及数据同步装置 - Google Patents
一种数据同步的方法以及数据同步装置 Download PDFInfo
- Publication number
- CN109241185A CN109241185A CN201810977712.7A CN201810977712A CN109241185A CN 109241185 A CN109241185 A CN 109241185A CN 201810977712 A CN201810977712 A CN 201810977712A CN 109241185 A CN109241185 A CN 109241185A
- Authority
- CN
- China
- Prior art keywords
- log
- database
- data
- backup
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 2
- 230000009471 action Effects 0.000 abstract description 4
- 238000005096 rolling process Methods 0.000 abstract description 4
- 238000011084 recovery Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据库同步技术领域，提供了一种数据同步的方法以及数据同步装置，该数据同步的方法包括：源端同步工具获取源端数据库生成的备份文件；将备份文件发送至目的端同步工具，以使目的端同步工具依据备份文件还原得到基准数据库和活动事务日志；获取备份完成时刻源端数据库对应的最大日志序列号；读取源端数据库的日志文件中日志序列号大于最大日志序列号的操作日志，并将操作日志发送至目的端同步工具，以使目的端同步工具依据基准数据库、活动事务日志以及操作日志在目的端数据库上进行数据同步。本发明的数据同步的方法无需对活动事务进行回滚操作，减小数据处理量。同时，无需限制事务提交时间以及备份开始时间，可以有效提高同步的效率。
Description
【技术领域】
本发明涉及数据库同步技术领域，特别是涉及一种数据同步的方法以及数据同步装置。
【背景技术】
数据库数据实时同步是提高信息系统可用性，保证业务连续性的一种技术方案。通过数据实时同步，目的端数据库和源端数据库的业务数据保持实时一致，当源端数据库出现故障中断服务后，应用系统可快速切换至目的端数据库，保证业务连续性的要求。
目前基于数据库日志分析的数据实时同步是一种常用的数据实时同步技术。这种技术通过解析源端数据库的在线日志或归档日志获得数据的增删改变化，再将这些变化转换为特定的数据格式存放在本地或远端队列中，最后在目的端数据库恢复成SQL(Structured Query Language，简写SQL)语句，并通过数据库接口在目的端数据库上执行同步操作，来实现源数据库和目的端数据库的数据一致性。在数据实时同步开始之前，首先需要以源端数据库数据为基准，对目的端数据库进行一次数据初始化操作，来获得数据同步的基础点。
数据库初始化同步可以采用基于数据库备份还原方式初始化数据，如GoldenGate的RMAN((Recovery Manager，简写RMAN)在线初始化，使用RMAN工具备份源端数据库，然后将备份文件发送至目的端数据库，目的端数据库依据备份文件以及事务日志进行增量同步。在源端数据库生成备份文件的过程中，源端数据库可能存在活动事务(未提交的事务)，为了保证数据库事务的一致性，目的端数据库在还原以后会回滚掉未提交的事务。前述的方法，目的端数据库还原以后需要对备份中的活动事务进行回滚操作，同时这些活动事务在源端数据库被提交之后，目的端数据库需再次对这些活动事务进行解析以同步数据，如此一来，同步启动时，需从这些活动事务中起始SCN最小的事务日志位置开始分析，这就造成了源端数据库备份时，需要明确数据库中活动事务的最小事务起始SCN位置能够在归档或在线日志中被保留，并且在长时间的备份期间，该日志不能被清除。这些约束会增加通过备份还原方式搭建同步是否能成功的不确定性；同时，由于同步启动时需要从备份开始前的日志进行分析，影响了同步的效率(备份开始前到备份结束这段时间产生的日志量是不确定的)。
正因为有上述的约束，一种基于RMAN在线初始化同步的方法进行初始化数据同步，源端数据库在生成备份文件时，需要等待源端数据库中所有活动事务的开始时间大于同步进程的启动时间，才开始全库备份操作，确保备份开始时，所有活动事务的操作都能够在日志文件中被找到。虽然，该方法能够避免对活动事务在同步开启后出现事务丢失的问题，但是，现实应用系统中经常存在长时间未提交的事务(活动事务)，因此这种等待时间是不可控的。
因此，现有基于备份的数据同步的方法，由于活动事务的存在，需要对活动事务日志保留进行确认操作，需要等待活动事务提交之后再生成备份文件，而这种等待时间是不可控的；并且增加了同步日志数据处理的数据量，影响同步的效率。
鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
【发明内容】
本发明要解决的技术问题是在目的端数据库数据初始化时，由于活动事务的存在，需要对活动事务日志保留进行确认的操作，增加了同步日志数据处理的数据量，影响了同步的效率；并且需要等待活动事务提交之后再生成备份文件，而这种等待时间是不可控的，同样会影响同步的效率。
本发明实施例采用如下技术方案：
第一方面，本发明提供一种数据同步的方法，所述数据同步的方法包括：
源端同步工具获取源端数据库生成的备份文件；
将所述备份文件发送至目的端同步工具，以使所述目的端同步工具依据所述备份文件还原得到基准数据库和活动事务日志；
获取备份完成时刻所述源端数据库对应的最大日志序列号；
读取所述源端数据库的日志文件中日志序列号大于所述最大日志序列号的操作日志，并将所述操作日志发送至所述目的端同步工具，以使所述目的端同步工具依据所述基准数据库、所述活动事务日志以及所述操作日志在目的端数据库上进行数据同步。
优选地，所述源端同步工具获取源端数据库生成的备份文件包括：
源端同步工具获取源端数据库从备份开始时刻到备份完成时刻对应的事务日志，其中，所述事务日志包括活动事务日志以及已提交的事务日志；
将所述事务日志追加到所述数据文件之后形成备份文件。
优选地，所述数据同步的方法还包括：
获取所述源端数据库的日志文件中所有操作日志对应的日志序列号；
判断确定是否存在日志序列号小于所述最大日志序列号的操作日志；
若存在，则将所述源端数据库的日志文件中日志序列号大于所述最大日志序列号的操作日志发送至所述目的端同步工具；
若不存在，则重新获取备份文件。
第二方面，本发明提供一种数据同步的方法，所述数据库同步的方法包括：
目的端同步工具接收源端同步工具所发送的备份文件，并依据所述备份文件获取基准数据库和活动事务日志；
获取备份完成时刻所述源端数据库对应的最大日志序列号；
接收源端同步工具所发送的操作日志，其中，所述操作日志的日志序列号大于所述最大日志序列号；
依据所述基准数据库、所述活动事务日志及所述操作日志在目的端数据库上进行数据同步。
优选地，所述依据所述基准数据库、所述活动事务日志及所述操作日志在目的端数据库上进行数据同步包括：
获取所述活动事务日志对应的事务的标识码；
获取所述操作日志对应的事务的标识码；
判断确定所述操作日志对应的事务的标识码与所述活动事务日志对应的事务标识码是否相匹配；
若相匹配，则将所述操作日志与所述活动事务日志进行关联，直至所述目的端同步工具接收到事务提交的日志记录后，提交所述活动事务以更新所述基准数据库，进而实现数据同步；
若不相匹配，则表示所述操作日志为备份完成之后开始的新事务，所述目的端同步工具将所述操作日志转换为相应的SQL语句，并在所述目的端数据库上执行，进而实现数据同步。
优选地，依据所述基准数据库、所述活动事务日志及所述操作日志在目的端数据库上进行数据同步包括：
获取所述操作日志对应的事务的起始日志序列号；
判断确定所述操作日志对应的事务的起始日志序列号是否小于所述最大日志序列号；
若所述操作日志对应的事务的起始日志序列号小于所述最大日志序列号，则表明所述操作日志对应的事务为源端数据库备份完成之前启动而备份完成之后未提交的事务；
依据所述操作日志对应的事务的标识码与所述活动事务日志对应的事务标识码将所述活动事务日志和所述操作日志进行关联以进行数据同步。
优选地，所述依据所述基准数据库、所述活动事务日志及所述操作日志进行数据同步还包括：
若所述操作日志对应的事务的起始日志序列号大于所述最大日志序列号，则表明所述操作日志对应的事务为源端数据库备份完成之后开始的事务；
对所述操作日志进行解析还原为相应的SQL语句，并依据所述基准数据库进行数据同步。
优选地，所述备份文件包括数据文件以及所述源端数据库在备份开始时刻到备份完成时刻对应的事务日志，其中，所述事务日志包括活动事务日志和已提交的事务日志；
所述目的端同步工具接收源端同步工具所发送的备份文件，并依据所述备份文件获取基准数据库和活动事务日志包括：
接收源端同步工具所发送的备份文件；
对所述备份文件进行解析获取数据文件、已提交的事务日志和活动事务日志；
依据所述已提交的事务日志更新所述数据文件得到基准数据库。
优选地，所述获取备份完成时刻所述源端数据库对应的最大日志序列号包括：
对所述事务日志进行解析，获取所述事务日志中最大的日志序列号，将所述最大的日志序列号标记为备份完成时刻所述源端数据库对应的最大日志序列号。
第三方面，本发明提供一种数据同步装置，包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被程序设置为执行第一方面和/或第二方面所述的数据同步的方法。
第四方面，本发明还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面和/或第二方面所述的数据同步的方法。
与现有技术相比，本发明实施例的有益效果在于：本发明数据同步的方法可以在目的端数据库还原后保持活动事务启动，不对活动事务进行事务回滚，而是保存活动事务对数据库所做的修改记录。在目的端数据库恢复完成后，目的端数据库恢复完成的状态与源端数据库备份完成的状态保持一致。目的端数据库根据活动事务的日志信息恢复出相应的事务信息，数据同步装置将源端数据库在备份完成之后的操作日志和活动事务日志进行关联，在活动事务被提交时，再更新目的端数据库。本发明的数据同步的方法无需对活动事务进行回滚操作，减小目的端数据库的数据处理量。同时，无需限制事务提交时间以及备份开始时间，可以有效提高同步的效率。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据同步系统的结构示意图；
图2是本发明实施例提供的一种数据同步的方法；
图3是本发明实施例提供的一种数据同步的方法；
图4是图3中步骤23的一具体流程示意图；
图5是图3中步骤23的另一具体流程示意图；
图6是本发明实施例提供的一种数据同步装置的结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参阅图1，图1是本发明实施例提供的一种数据同步系统的结构示意图，该数据同步系统包括源端数据库1、目的端数据库2以及数据同步装置，数据同步装置分别与源端数据库1和目的端数据库2建立连接，以基于保持活动事务还原方式进行初始化同步。
具体而言，数据同步装置包括源端同步工具31以及目的端同步工具32。其中，源端同步工具31与源端数据库1连接，源端同步工具31通过源端同步服务读取源端数据库1；目的端同步工具32与目的端数据库2连接，目的端同步工具32通过目的端同步服务与目的端数据库2建立数据交互；源端同步服务和目的端同步服务交互，以将源端数据库1的数据同步到目的端数据库2，从而实现源端数据库1和目的端数据库2数据同步的功能。
源端数据库1与目的端数据库2实时进行数据同步，通过数据库的冗余方案能够有效缓解大数据量高并发访问带给系统的巨大压力，保证数据的高可用性，保证业务连续性。当源端数据库出现故障中断服务后，应用系统可快速切换至目的端数据库2，保证业务连续性的要求。
本发明提供一种数据同步的方法，该数据同步的方法可以在目的端数据库2保持活动事务，不对活动事务进行事务回滚，而是保存活动事务对数据库所做的修改记录。在目的端数据库2恢复完成后，目的端数据库2恢复完成的状态与源端数据库1备份完成的状态保持一致。目的端数据库2根据活动事务的日志信息恢复出相应的事务信息，将源端数据库1在备份完成之后的操作日志和活动事务日志进行关联，在活动事务被提交时，再更新目的端数据库2。本发明的数据同步的方法无需对活动事务进行回滚操作，减小目的端数据库2的数据处理量。同时，无需限制事务提交时间以及备份开始时间，可以有效提高同步的效率。下面具体说明本发明的数据同步的方法。
实施例1：
参阅图2具体说明本实施例数据同步的方法。其中，本实施例的数据同步方法是从源端数据库的角度解释说明本发明数据同步的方法。该数据同步的方法包括如下步骤：
步骤10：源端同步工具获取源端数据库生成的备份文件。
其中，源端数据库包括DM6数据库和DM7数据库中的任一种，可以依据实际情况进行选择。
在实际应用场景中，源端数据库依据联机备份命令生成数据库备份文件，由于在备份的过程中，源端数据库依旧会有事务发生，源端数据库还获取备份开始时刻到备份完成时刻对应的事务日志，其中，事务日志包括活动事务日志以及已提交的事务日志，并将该事务日志追加到数据文件之后形成备份文件。由于，备份文件中可能有多个数据文件，为了区分不同的数据文件，需要指定相应备份文件的名称，并将备份文件存放在设定的服务器目录下。同时为了节省存储空间，源端数据库将备份文件进行压缩以控制备份文件的大小，为了保证文件的安全性，源端数据库还对备份文件进行加密。
在本实施例中，源端同步工具获取源端数据库生成的备份文件。
步骤11：将所述备份文件发送至目的端同步工具，以使所述目的端同步工具依据所述备份文件还原得到基准数据库和活动事务日志。
在本实施例中，源端同步工具将备份文件发送至目的端同步工具，以使目的端同步工具依据备份文件获取基准数据库和活动事务日志。例如，源端同步工具通过TCP/IP网络将备份文件发送至目的端同步工具。在备份过程中，源端数据库无需停机，继续对外提供读写操作服务。
步骤12：获取备份完成时刻源端数据库对应的最大日志序列号。
在本实施例中，获取备份完成时刻源端数据库的日志文件中最大的日志序列号。其中，日志序列号是由数据库系统自动维护的数值，具有自动递增和全局唯一的特性。
在实际应用场景中，由于数据库中存在大量的对象，在对每个对象进行事务操作时均会对应产生操作日志，与此同时数据库会自动生成日志序列号以区分不同的操作。日志序列号用于代表数据库系统内部产生的一个物理事务，日志序列号在数据库系统的日志文件中具有全局唯一性，以区分不同的物理事务。目前，大多数数据库管理系统使用LSN(Log sequence number，简称LSN)代表数据库系统内部产生的一个物理事务，例如，SQLSERVER、MYSQL、DB2、DM6、DM7等数据库管理系统。不过，在ORACLE数据库中，采用SCN(System Change Number，简称SCN)作为产生一个物理事务的标识，而ORACLE中的LSN仅作为日志切换的一个序号，则在ORACLE数据库可以采用SCN作为日志序列号。
在本实施例中，最大日志序列号对应的操作日志记录源端数据库在备份完成时刻最新发生的事务。将最大日志序列号对应的操作日志作为增量同步的日志分析的起始点，在数据同步的过程中，源端同步工具将备份文件发送至目的端同步工具。在同步服务开启后，源端同步工具将日志序列号大于最大日志序列号的操作日志发送至目的端同步工具，以使目的端同步工具依据备份文件以及操作日志进行增量同步。
步骤13：读取所述源端数据库的日志文件中日志序列号大于所述最大日志序列号的操作日志，并将所述操作日志发送至所述目的端同步工具，以使所述目的端同步工具依据所述基准数据库、所述活动事务日志以及所述操作日志在目的端数据库上进行数据同步。
在本实施例中，源端同步工具将源端数据库的日志文件中日志序列号大于最大日志序列号的操作日志发送至目的端同步工具，以使目的端同步工具依据基准数据库、活动事务日志以及操作日志进行数据同步。关于目的端同步工具依据基准数据库、活动事务日志以及操作日志进行数据同步的方法请详见实施例2。
在实际应用场景中，由于人员疏忽或者其他原因，在源端数据库备份完成很长一段时间后，源端同步工具才执行同步操作(源端同步工具从源端数据库获取备份文件)，则在从备份完成到执行同步操作这一段时间内，源端数据库依旧会有很多事务发生，事务对应的操作也会记录在日志内，在实际使用过程中，为了节省内存空间，源端数据库会按照定时清理日志，则在从备份完成到执行同步操作这一段时间内的日志很有可能被全部清理掉，而备份文件中只存储有备份开始到备份完成时对应的事务日志。也就是说，源端数据库的在线日志或归档日志中的日志序列号均会大于最大日志序列号，而在备份完成时刻到执行同步时刻这一段时间的事务日志有可能已经被删除了，则有可能到导致数据同步出错。
为了避免前述情况的发生，在本实施例中，步骤12之后和步骤13之前还包括如下步骤：获取所述源端数据库的日志文件中所有操作日志对应的日志序列号；判断确定是否存在日志序列号小于所述最大日志序列号的操作日志；若存在，则将所述源端数据库的日志文件中日志序列号大于所述最大日志序列号的操作日志发送至所述目的端同步工具；若不存在，则重新获取备份文件。
具体地，源端同步工具首先获取源端数据库的日志文件中所有操作日志对应的日志序列号，并判断确定日志文件中是否存在日志序列号小于最大日志序列号的操作日志，若日志文件中存在日志序列号小于最大日志序列号的操作日志，则表明源端数据库日志文件中仍旧存储有备份完成之前的操作日志，由于在日志清理过程中，会先清理较早发生的事务的日志记录，即日志序列号较小的日志记录会先被删除，因此，备份完成时刻到执行同步时刻这一段时间的事务日志仍旧全部保留在源端的数据文件中。然后，源端同步工具再将源端数据库的日志文件中日志序列号大于最大日志序列号的操作日志发送至目的端同步工具。
若日志文件中不存在日志序列号小于最大日志序列号的操作日志，则表明源端数据库日志文件中备份完成之前所有的操作日志已经被全部清除，则备份完成时刻到执行同步时刻这一段时间的事务日志也有可能被部分删除，也就是说，备份完成之后的一部分日志有可能已经被删除，则有可能导致源端数据库和目的端数据库的数据不一致。此时，源端数据库需要再重新生成备份文件，并获取备份完成时刻对应的最大日志序列号作为同步起始点。源端同步工具重新获取源端数据库新生成备份文件以及相应的最大日志序列号。
区别于现有技术，本发明数据同步的方法可以在目的端数据库保持活动事务，利用它不对活动事务进行事务回滚的功能，而是保存活动事务对数据库所做的修改记录。在目的端数据库恢复完成后，目的端数据库恢复完成的状态与源端数据库备份完成的状态保持一致。目的端数据库会根据活动事务的日志信息恢复出相应的事务信息，数据同步装置利用备份完成之后的操作日志中的事务标识码和目的端数据库恢复出来的活动事务进行关联，延续这些事务在源端数据库上的操作，达到源端数据库和目标端数据库事务衔接的目的。本发明的数据同步的方法利用数据库还原以后不对活动事务进行回滚的功能，减小同步搭建时的日志数据处理量。同时，无需限制源端数据库事务提交时间以及备份开始时间，可以有效提高同步搭建的效率。
实施例2：
参阅图3具体说明本实施例数据同步的方法。其中，本实施例的数据同步方法是从目的端数据库的角度解释说明本发明数据同步的方法。本实施例数据库同步的方法包括如下步骤：
步骤20：目的端同步工具接收源端同步工具所发送的备份文件，并依据所述备份文件获取基准数据库和活动事务日志。
在本实施例中，目的端同步工具接收源端同步工具所发送的备份文件，并依据备份文件获取基准数据库。其中，备份文件包括数据文件以及源端数据库在备份开始时刻到备份完成时刻对应的事务日志，该事务日志包括活动事务日志和已提交的事务日志。
具体而言，目的端同步工具接收源端同步工具所发送的备份文件，对备份文件进行解析获取数据文件、已提交的事务日志和活动事务日志，并依据已提交的事务日志执行redo操作更新数据文件得到基准数据库，其中，redo操作是指使用一个日志记录，将该日志记录中指明的数据项设为新值。即，备份文件中的数据文件中各数据项的值与源端数据库在执行备份命令对应的时刻的值是相同的。但在备份开始到备份完成这一段时间有可能会存在已提交的事务，也就是说，在备份完成时源端数据库的某些数据项的值依据已提交的事务发生了改变，为了保证目的端数据库的初始化数据与源端数据库在备份完成时刻对应的数据一致，目的端同步工具依据已提交的事务日志执行redo操作更新数据文件得到基准数据库。
进一步地，目的端同步工具恢复还原活动事务日志，并获取活动事务对应的事务标识码、起始日志序列号以及更新日志记录，并将该活动事务日志存储于预设的路径下。其中，活动事务指的是未提交的事务，即该事务还未执行commit语句。
步骤21：获取备份完成时刻所述源端数据库对应的最大日志序列号。
在本实施例中，目的端同步工具还依据备份文件中的事务日志获取备份完成时刻对应的最大日志序列号。具体而言，目的端同步工具对事务日志进行日志解析，获取备份文件中的事务日志中最大的日志序列号，将最大的日志序列号标记为备份完成时刻源端数据库对应的最大日志序列号。目的端同步工具记录该最大日志序列号，用于作为增量同步的起始点。
步骤22：接收源端同步工具所发送的操作日志，其中，所述操作日志的日志序列号大于所述最大日志序列号。
在本实施例中，目的端同步工具接收源端同步工具所发送的操作日志，其中，操作日志的日志序列号大于最大日志序列号。
步骤23：依据所述基准数据库、所述活动事务日志及所述操作日志在目的端数据库上进行数据同步。
在本实施例中，目的端同步工具依据基准数据库、活动事务日志及操作日志进行数据同步。具体请参阅图4，步骤23：依据所述基准数据库、所述活动事务日志及所述操作日志在目的端数据库上进行数据同步具体包括如下步骤：
步骤2311：获取所述活动事务日志对应的事务的标识码。
在本实施例中，为了区分不同的事务，源端数据库会为每个事务分配唯一的事务标识码，事务日志中记录有相应的事务的标识码。目的端同步工具对活动事务日志进行解析，以获取对应的事务的标识码。在此，需要说明的是，事务日志中可能会包括多个活动事务，目的端同步工具依次对多个活动事务进行日志解析以获取相应的事务的标识码。
具体而言，目的端同步工具在启动后，需在登录目的端数据库，通过查询V$TRX动态视图获得目的端数据库中当前等待被关联的激活的事务标识码(活动事务的标识码)。
步骤2312：获取所述操作日志对应的事务的标识码。
步骤2313：判断确定所述操作日志对应的事务的标识码与所述活动事务日志对应的事务标识码是否相匹配。
步骤2314：若相匹配，则将所述操作日志与所述活动事务日志进行关联，直至所述目的端同步工具接收到事务提交的日志记录后，提交所述活动事务以更新所述基准数据库，进而实现数据同步。
步骤2315：若不相匹配，则表示所述操作日志为备份完成之后开始的新事务，所述目的端同步工具将所述操作日志转换为相应的SQL语句，并在所述目的端数据库上执行，进而实现数据同步。
在本实施例中，目的端数据工具接收源端同步工具所发送操作日志，提取操作日志中的事务标识码，待确认该事务提交或回滚后，先在事务标识码HASH表中搜索，判断确定事务标识码HASH表中是否存在与操作日志对应的事务的标识码相匹配的事务标识码。如果存在相匹配的事务标识码，则调用函数SF_ACTIVE_TRX(TRXID)，把该操作日志对应的事务和目的端数据库中的相应的活动事务进行关联后再执行同步操作。如果事务标识码在HASH表中搜索不到，则说明该事务是备份完成之后开启的新事务，目的端同步工具将操作日志转换为相应的SQL语句，并在目的端数据库上执行，进而实现数据同步。
在另一个可选的实施例中，参阅图5，步骤23：依据所述基准数据库、所述活动事务日志及所述操作日志在目的端数据库上进行数据同步具体包括如下步骤：
步骤2321：获取所述操作日志对应的事务的起始日志序列号。
步骤2322：判断确定所述操作日志对应的事务的起始日志序列号是否小于所述最大日志序列号。
在实际应用场景中，目的端同步工具首先判断确定操作日志对应的事务的开始时刻是在备份完成之前还是备份完成之后，若操作日志对应的事务的开始时刻是在备份完成之前，则需要将该操作日志与对应的活动事务日志进行关联，以获取对事务的操作。若操作日志对应的事务的开始时刻是在备份完成之后，则直接分析该操作日志进行数据同步即可。
具体而言，对某个事务T1进行更新操作时，为了记录事务的开始以及事务的提交，会产生一些日志记录类型：<T1start>事务T1开始；<T1commit>事务T1提交。其中，事务的起始日志序列号即对应<T1start>事务T1开始对应的日志的日志序列号。将操作日志对应的事务的起始日志序列号与最大日志序列号进行比较，即可确定操作日志对应的事务开始的时间，进而确定是否需要与活动事务日志进行关联。若小于，则执行步骤2323；若大于，则执行步骤2325。
步骤2323：若所述操作日志对应的事务的起始日志序列号小于所述最大日志序列号，则表明所述操作日志对应的事务为源端数据库备份完成之前启动而备份完成之后未提交的事务。
在本实施例中，若操作日志对应的事务的起始日志序列号小于最大日志序列号，则表明操作日志对应的事务为源端数据库备份完成之前启动而备份完成之后未提交的事务，则需要将操作日志与相应的活动事务日志进行关联。
步骤2324：依据所述操作日志对应的事务的标识码与所述活动事务日志对应的事务标识码将所述活动事务日志和所述操作日志进行关联以进行数据同步。
具体而言，依据事务的标识码对操作日志和活动事务日志进行关联。判断确定操作日志对应的事务的标识码与活动事务日志对应的事务的标识码是否相匹配。其中，前述的匹配可以为两者的事务的标识码对应的字符段相同，或者是两者的事务的标识码对应的字符段满足预设的规则，在此不做具体限定。
若相匹配，则将操作日志与活动事务日志进行关联，具体地，依据日志序列号的大小将操作日志和活动事务日志整合在一起，直至目的端数据库接收到事务提交(commit)的日志记录后，目的端同步工具提交活动事务以更新基准数据库，进而实现数据同步。
步骤2325：若所述操作日志对应的事务的起始日志序列号大于所述最大日志序列号，则表明所述操作日志对应的事务为源端数据库备份完成之后开始的事务。
在本实施例中，若操作日志对应的事务的起始日志序列号大于最大日志序列号，则表明操作日志对应的事务为源端数据库备份完成之后开始的新事务，则进行步骤2326。
步骤2326：对所述操作日志进行解析还原为相应的SQL语句，并依据所述基准数据库进行数据同步。
目的端同步工具将操作日志转换为相应的SQL语句，并在目的端数据库上执行，进而实现数据同步。
区别于现有技术，本发明数据同步的方法可以在目的端数据库保持活动事务，利用它不对活动事务进行事务回滚的功能，而是保存活动事务对数据库所做的修改记录。在目的端数据库恢复完成后，目的端数据库恢复完成的状态与源端数据库备份完成的状态保持一致。目的端数据库会根据活动事务的日志信息恢复出相应的事务信息，数据同步装置利用备份完成之后的操作日志中的事务标识码和目的端数据库恢复出来的活动事务进行关联，延续这些事务在源端数据库上的操作，达到源端数据库和目标端数据库事务衔接的目的。本发明的数据同步的方法利用数据库还原以后不对活动事务进行回滚的功能，减小同步搭建时的日志数据处理量。同时，无需限制源端数据库事务提交时间以及备份开始时间，可以有效提高同步搭建的效率。
实施例3：
请参阅图6，图6是本发明实施例提供的一种数据同步装置的结构示意图。本实施例的数据同步装置括一个或多个处理器61以及存储器62。其中，图6中以一个处理器61为例。
处理器61和存储器62可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器62作为一种基于数据同步的非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如实施例1中的数据同步的方法以及对应的程序指令。处理器61通过运行存储在存储器62中的非易失性软件程序、指令以及模块，从而执行数据同步的方法的各种功能应用以及数据处理，实现实施例1或实施例2的数据同步的方法的功能。
其中，存储器62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
关于数据同步的方法请参照图1～图5及相关的文字描述在此，不再赘述。
值得说明的是，上述装置和系统内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的处理方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(Read Only Memory，简写为ROM)、随机存取存储器(Random AccessMemory，简写为RAM)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据同步的方法，其特征在于，所述数据同步的方法包括：
源端同步工具获取源端数据库生成的备份文件；
将所述备份文件发送至目的端同步工具，以使所述目的端同步工具依据所述备份文件还原得到基准数据库和活动事务日志；
获取备份完成时刻所述源端数据库对应的最大日志序列号；
读取所述源端数据库的日志文件中日志序列号大于所述最大日志序列号的操作日志，并将所述操作日志发送至所述目的端同步工具，以使所述目的端同步工具依据所述基准数据库、所述活动事务日志以及所述操作日志在目的端数据库上进行数据同步。
2.根据权利要求1所述的数据同步的方法，其特征在于，所述源端同步工具获取源端数据库生成的备份文件包括：
源端同步工具获取源端数据库从备份开始时刻到备份完成时刻对应的事务日志，其中，所述事务日志包括活动事务日志以及已提交的事务日志；
将所述事务日志追加到所述数据文件之后形成备份文件。
3.根据权利要求1所述的数据同步的方法，其特征在于，所述数据同步的方法还包括：
获取所述源端数据库的日志文件中所有操作日志对应的日志序列号；
判断确定是否存在日志序列号小于所述最大日志序列号的操作日志；
若存在，则将所述源端数据库的日志文件中日志序列号大于所述最大日志序列号的操作日志发送至所述目的端同步工具；
若不存在，则重新获取备份文件。
4.一种数据库同步的方法，其特征在于，所述数据库同步的方法包括：
目的端同步工具接收源端同步工具所发送的备份文件，并依据所述备份文件获取基准数据库和活动事务日志；
获取备份完成时刻所述源端数据库对应的最大日志序列号；
接收源端同步工具所发送的操作日志，其中，所述操作日志的日志序列号大于所述最大日志序列号；
依据所述基准数据库、所述活动事务日志及所述操作日志在目的端数据库上进行数据同步。
5.根据权利要求4所述的数据同步的方法，其特征在于，所述依据所述基准数据库、所述活动事务日志及所述操作日志在目的端数据库上进行数据同步包括：
获取所述活动事务日志对应的事务的标识码；
获取所述操作日志对应的事务的标识码；
判断确定所述操作日志对应的事务的标识码与所述活动事务日志对应的事务标识码是否相匹配；
若相匹配，则将所述操作日志与所述活动事务日志进行关联，直至所述目的端同步工具接收到事务提交的日志记录后，提交所述活动事务以更新所述基准数据库，进而实现数据同步；
若不相匹配，则表示所述操作日志为备份完成之后开始的新事务，所述目的端同步工具将所述操作日志转换为相应的SQL语句，并在所述目的端数据库上执行，进而实现数据同步。
6.根据权利要求4所述的数据同步的方法，其特征在于，依据所述基准数据库、所述活动事务日志及所述操作日志在目的端数据库上进行数据同步包括：
获取所述操作日志对应的事务的起始日志序列号；
判断确定所述操作日志对应的事务的起始日志序列号是否小于所述最大日志序列号；
若所述操作日志对应的事务的起始日志序列号小于所述最大日志序列号，则表明所述操作日志对应的事务为源端数据库备份完成之前启动而备份完成之后未提交的事务；
依据所述操作日志对应的事务的标识码与所述活动事务日志对应的事务标识码将所述活动事务日志和所述操作日志进行关联以进行数据同步。
7.根据权利要求6所述的数据同步的方法，其特征在于，所述依据所述基准数据库、所述活动事务日志及所述操作日志进行数据同步还包括：
若所述操作日志对应的事务的起始日志序列号大于所述最大日志序列号，则表明所述操作日志对应的事务为源端数据库备份完成之后开始的事务；
对所述操作日志进行解析还原为相应的SQL语句，并依据所述基准数据库进行数据同步。
8.根据权利要求4所述的数据同步的方法，其特征在于，所述备份文件包括数据文件以及所述源端数据库在备份开始时刻到备份完成时刻对应的事务日志，其中，所述事务日志包括活动事务日志和已提交的事务日志；
所述目的端同步工具接收源端同步工具所发送的备份文件，并依据所述备份文件获取基准数据库和活动事务日志包括：
接收源端同步工具所发送的备份文件；
对所述备份文件进行解析获取数据文件、已提交的事务日志和活动事务日志；
依据所述已提交的事务日志更新所述数据文件得到基准数据库。
9.根据权利要求4所述的数据同步的方法，其特征在于，所述获取备份完成时刻所述源端数据库对应的最大日志序列号包括：
对所述事务日志进行解析，获取所述事务日志中最大的日志序列号，将所述最大的日志序列号标记为备份完成时刻所述源端数据库对应的最大日志序列号。
10.一种数据同步装置，其特征在于，包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被程序设置为执行如权利要求1～3和/或如权利要求4～9任一项所述的数据同步的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810977712.7A CN109241185B (zh) | 2018-08-27 | 2018-08-27 | 一种数据同步的方法以及数据同步装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810977712.7A CN109241185B (zh) | 2018-08-27 | 2018-08-27 | 一种数据同步的方法以及数据同步装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109241185A true CN109241185A (zh) | 2019-01-18 |
| CN109241185B CN109241185B (zh) | 2021-03-30 |
Family
ID=65068021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810977712.7A Active CN109241185B (zh) | 2018-08-27 | 2018-08-27 | 一种数据同步的方法以及数据同步装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109241185B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109933630A (zh) * | 2019-03-19 | 2019-06-25 | 武汉达梦数据库有限公司 | 数据库数据实时同步方法及设备 |
| CN110196859A (zh) * | 2019-06-10 | 2019-09-03 | 天津神舟通用数据技术有限公司 | 基于jdbc分发器的数据库读写分离集群实时一致性方法 |
| CN110427422A (zh) * | 2019-05-23 | 2019-11-08 | 武汉达梦数据库有限公司 | 数据同步异常时数据一致性校验方法、设备及存储介质 |
| CN110795504A (zh) * | 2019-10-18 | 2020-02-14 | 上海易点时空网络有限公司 | 主动和被动同步日志的实现方法和装置 |
| CN110888790A (zh) * | 2019-11-29 | 2020-03-17 | 杭州迪普科技股份有限公司 | 日志管理方法及装置、电子设备、存储介质 |
| CN110933144A (zh) * | 2019-11-09 | 2020-03-27 | 许继集团有限公司 | 一种变电站主站系统及数据库同步方法 |
| CN111241094A (zh) * | 2019-12-31 | 2020-06-05 | 武汉达梦数据库有限公司 | 一种基于日志解析的数据库删除列同步方法和装置 |
| CN111694800A (zh) * | 2020-04-30 | 2020-09-22 | 武汉达梦数据库有限公司 | 一种提升数据同步性能的方法和数据同步系统 |
| CN111694798A (zh) * | 2020-04-23 | 2020-09-22 | 武汉达梦数据库有限公司 | 一种基于日志解析的数据同步方法及数据同步系统 |
| CN111858501A (zh) * | 2020-06-02 | 2020-10-30 | 武汉达梦数据库有限公司 | 一种基于日志解析同步的日志读取方法和数据同步系统 |
| CN111858502A (zh) * | 2020-06-02 | 2020-10-30 | 武汉达梦数据库有限公司 | 一种基于日志解析同步的日志读取方法和同步系统 |
| CN111930828A (zh) * | 2020-05-29 | 2020-11-13 | 武汉达梦数据库有限公司 | 一种基于日志解析的数据同步方法和数据同步系统 |
| CN112000684A (zh) * | 2020-08-25 | 2020-11-27 | 浪潮云信息技术股份公司 | 一种基于trxid实现回环控制的数据库双向同步的方法及工具 |
| CN112307118A (zh) * | 2020-09-30 | 2021-02-02 | 武汉达梦数据库有限公司 | 基于日志解析同步的保障数据一致性的方法和同步系统 |
| CN112433992A (zh) * | 2020-11-16 | 2021-03-02 | 武汉船舶通信研究所（中国船舶重工集团公司第七二二研究所） | 一种数据同步日志优化方法 |
| CN112657198A (zh) * | 2021-01-07 | 2021-04-16 | 腾讯科技（深圳）有限公司 | 用户数据处理方法、装置、介质及设备 |
| CN112965949A (zh) * | 2021-03-03 | 2021-06-15 | 上海英方软件股份有限公司 | 一种远程读取oracle日志文件的方法 |
| CN113535665A (zh) * | 2021-07-16 | 2021-10-22 | 北京元年科技股份有限公司 | 一种主数据库与备数据库之间同步日志文件的方法及装置 |
| CN114003622A (zh) * | 2021-12-30 | 2022-02-01 | 天津南大通用数据技术股份有限公司 | 一种事务型数据库之间巨大事务增量同步方法 |
| US11645303B2 (en) | 2019-07-15 | 2023-05-09 | Tencent Technology (Shenzhen) Company Limited | Data synchronization method and apparatus of distributed system, medium, and electronic device |
| CN116541469A (zh) * | 2023-07-07 | 2023-08-04 | 深圳市科力锐科技有限公司 | 数据同步的实现方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102752372A (zh) * | 2012-06-18 | 2012-10-24 | 天津神舟通用数据技术有限公司 | 一种基于文件的数据库同步方法 |
| CN104717280A (zh) * | 2014-12-25 | 2015-06-17 | 广州市百果园网络科技有限公司 | 数据同步的标记方法和装置 |
| US20160203050A1 (en) * | 2015-01-08 | 2016-07-14 | International Business Machines Corporation | Data replication in a database management system |
| CN106354583A (zh) * | 2016-08-30 | 2017-01-25 | 广州鼎甲计算机科技有限公司 | 一种MySQL数据库的热备份方法与系统 |
| CN107025242A (zh) * | 2016-02-02 | 2017-08-08 | 南京中兴新软件有限责任公司 | 数据库间数据的复制方法及装置 |
| CN108073624A (zh) * | 2016-11-15 | 2018-05-25 | 平安科技（深圳）有限公司 | 业务数据处理系统及方法 |
-
2018
- 2018-08-27 CN CN201810977712.7A patent/CN109241185B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102752372A (zh) * | 2012-06-18 | 2012-10-24 | 天津神舟通用数据技术有限公司 | 一种基于文件的数据库同步方法 |
| CN104717280A (zh) * | 2014-12-25 | 2015-06-17 | 广州市百果园网络科技有限公司 | 数据同步的标记方法和装置 |
| US20160203050A1 (en) * | 2015-01-08 | 2016-07-14 | International Business Machines Corporation | Data replication in a database management system |
| CN107025242A (zh) * | 2016-02-02 | 2017-08-08 | 南京中兴新软件有限责任公司 | 数据库间数据的复制方法及装置 |
| CN106354583A (zh) * | 2016-08-30 | 2017-01-25 | 广州鼎甲计算机科技有限公司 | 一种MySQL数据库的热备份方法与系统 |
| CN108073624A (zh) * | 2016-11-15 | 2018-05-25 | 平安科技（深圳）有限公司 | 业务数据处理系统及方法 |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109933630B (zh) * | 2019-03-19 | 2021-11-23 | 武汉达梦数据库股份有限公司 | 数据库数据实时同步方法及设备 |
| CN109933630A (zh) * | 2019-03-19 | 2019-06-25 | 武汉达梦数据库有限公司 | 数据库数据实时同步方法及设备 |
| CN110427422A (zh) * | 2019-05-23 | 2019-11-08 | 武汉达梦数据库有限公司 | 数据同步异常时数据一致性校验方法、设备及存储介质 |
| CN110427422B (zh) * | 2019-05-23 | 2020-10-30 | 武汉达梦数据库有限公司 | 数据同步异常时数据一致性校验方法、设备及存储介质 |
| CN110196859A (zh) * | 2019-06-10 | 2019-09-03 | 天津神舟通用数据技术有限公司 | 基于jdbc分发器的数据库读写分离集群实时一致性方法 |
| US11645303B2 (en) | 2019-07-15 | 2023-05-09 | Tencent Technology (Shenzhen) Company Limited | Data synchronization method and apparatus of distributed system, medium, and electronic device |
| CN110795504A (zh) * | 2019-10-18 | 2020-02-14 | 上海易点时空网络有限公司 | 主动和被动同步日志的实现方法和装置 |
| CN110933144A (zh) * | 2019-11-09 | 2020-03-27 | 许继集团有限公司 | 一种变电站主站系统及数据库同步方法 |
| CN110888790B (zh) * | 2019-11-29 | 2024-02-27 | 杭州迪普科技股份有限公司 | 日志管理方法及装置、电子设备、存储介质 |
| CN110888790A (zh) * | 2019-11-29 | 2020-03-17 | 杭州迪普科技股份有限公司 | 日志管理方法及装置、电子设备、存储介质 |
| CN111241094A (zh) * | 2019-12-31 | 2020-06-05 | 武汉达梦数据库有限公司 | 一种基于日志解析的数据库删除列同步方法和装置 |
| CN111241094B (zh) * | 2019-12-31 | 2021-06-08 | 武汉达梦数据库有限公司 | 一种基于日志解析的数据库删除列同步方法和装置 |
| CN111694798A (zh) * | 2020-04-23 | 2020-09-22 | 武汉达梦数据库有限公司 | 一种基于日志解析的数据同步方法及数据同步系统 |
| CN111694798B (zh) * | 2020-04-23 | 2023-04-25 | 武汉达梦数据库股份有限公司 | 一种基于日志解析的数据同步方法及数据同步系统 |
| CN111694800B (zh) * | 2020-04-30 | 2023-03-24 | 武汉达梦数据库股份有限公司 | 一种提升数据同步性能的方法和数据同步系统 |
| CN111694800A (zh) * | 2020-04-30 | 2020-09-22 | 武汉达梦数据库有限公司 | 一种提升数据同步性能的方法和数据同步系统 |
| CN111930828A (zh) * | 2020-05-29 | 2020-11-13 | 武汉达梦数据库有限公司 | 一种基于日志解析的数据同步方法和数据同步系统 |
| CN111930828B (zh) * | 2020-05-29 | 2024-01-19 | 武汉达梦数据库股份有限公司 | 一种基于日志解析的数据同步方法和数据同步系统 |
| CN111858501A (zh) * | 2020-06-02 | 2020-10-30 | 武汉达梦数据库有限公司 | 一种基于日志解析同步的日志读取方法和数据同步系统 |
| CN111858502A (zh) * | 2020-06-02 | 2020-10-30 | 武汉达梦数据库有限公司 | 一种基于日志解析同步的日志读取方法和同步系统 |
| CN111858501B (zh) * | 2020-06-02 | 2023-03-28 | 武汉达梦数据库股份有限公司 | 一种基于日志解析同步的日志读取方法和数据同步系统 |
| CN112000684A (zh) * | 2020-08-25 | 2020-11-27 | 浪潮云信息技术股份公司 | 一种基于trxid实现回环控制的数据库双向同步的方法及工具 |
| CN112000684B (zh) * | 2020-08-25 | 2023-12-26 | 浪潮云信息技术股份公司 | 一种基于trxid实现回环控制的数据库双向同步的方法及工具 |
| CN112307118B (zh) * | 2020-09-30 | 2024-03-22 | 武汉达梦数据库股份有限公司 | 基于日志解析同步的保障数据一致性的方法和同步系统 |
| CN112307118A (zh) * | 2020-09-30 | 2021-02-02 | 武汉达梦数据库有限公司 | 基于日志解析同步的保障数据一致性的方法和同步系统 |
| CN112433992A (zh) * | 2020-11-16 | 2021-03-02 | 武汉船舶通信研究所（中国船舶重工集团公司第七二二研究所） | 一种数据同步日志优化方法 |
| CN112433992B (zh) * | 2020-11-16 | 2023-06-02 | 武汉船舶通信研究所（中国船舶重工集团公司第七二二研究所） | 一种数据同步日志优化方法 |
| CN112657198A (zh) * | 2021-01-07 | 2021-04-16 | 腾讯科技（深圳）有限公司 | 用户数据处理方法、装置、介质及设备 |
| CN112965949A (zh) * | 2021-03-03 | 2021-06-15 | 上海英方软件股份有限公司 | 一种远程读取oracle日志文件的方法 |
| CN113535665A (zh) * | 2021-07-16 | 2021-10-22 | 北京元年科技股份有限公司 | 一种主数据库与备数据库之间同步日志文件的方法及装置 |
| CN113535665B (zh) * | 2021-07-16 | 2022-07-22 | 北京元年科技股份有限公司 | 一种主数据库与备数据库之间同步日志文件的方法及装置 |
| CN114003622B (zh) * | 2021-12-30 | 2022-04-08 | 天津南大通用数据技术股份有限公司 | 一种事务型数据库之间巨大事务增量同步方法 |
| CN114003622A (zh) * | 2021-12-30 | 2022-02-01 | 天津南大通用数据技术股份有限公司 | 一种事务型数据库之间巨大事务增量同步方法 |
| CN116541469A (zh) * | 2023-07-07 | 2023-08-04 | 深圳市科力锐科技有限公司 | 数据同步的实现方法、装置、设备及存储介质 |
| CN116541469B (zh) * | 2023-07-07 | 2024-04-09 | 深圳市科力锐科技有限公司 | 数据同步的实现方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109241185B (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241185A (zh) | 一种数据同步的方法以及数据同步装置 | |
| US10235375B1 (en) | Persistent file system objects for management of databases | |
| US7539703B2 (en) | Setup method for disaster recovery system | |
| US8015430B1 (en) | Using asset dependencies to identify the recovery set and optionally automate and/or optimize the recovery | |
| US7991745B2 (en) | Database log capture that publishes transactions to multiple targets to handle unavailable targets by separating the publishing of subscriptions and subsequently recombining the publishing | |
| US7499954B2 (en) | Consistent reintegration of a failed primary instance | |
| US7103619B1 (en) | System and method for automatic audit data archiving within a remote database backup system | |
| US6993537B2 (en) | Data recovery system | |
| US7953707B2 (en) | System and program product for sequential coordination of external database application events with asynchronous internal database events | |
| CN106776121B (zh) | 一种数据灾备装置、系统及方法 | |
| US8321610B2 (en) | Methods of multi-server application synchronization without stopping I/O | |
| CN110704242B (zh) | 一种连续数据保护系统及方法 | |
| EP1499973A2 (en) | Database replication system | |
| WO2021184679A1 (zh) | 持续数据保护系统及方法 | |
| CN104166605B (zh) | 基于增量数据文件的数据备份方法及系统 | |
| JP2006525599A (ja) | フラッシュバックデータベース | |
| CN109189860A (zh) | 一种基于Kubernetes系统的MySQL主备增量同步方法 | |
| US8762347B1 (en) | Method and apparatus for processing transactional file system operations to enable point in time consistent file data recreation | |
| CN101441582A (zh) | 计算机数据对象的备份和恢复方法及实现该方法的系统和程序产品 | |
| US6754842B2 (en) | Facilitating a restart operation within a data processing system | |
| US10078558B2 (en) | Database system control method and database system | |
| US20180032555A1 (en) | Object database system including an object-specific historical attribute-change information system | |
| US20140250326A1 (en) | Method and system for load balancing a distributed database providing object-level management and recovery | |
| US8918364B1 (en) | Online mirror state transitioning in databases | |
| US11301341B2 (en) | Replication system takeover with handshake |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Fu Quan Inventor after: Sun Feng Inventor after: Zhao Jiawei Inventor before: Fu Quan Inventor before: Sun Feng Inventor before: Zhao Jiawei Inventor before: Yang Chun |
|
| CB03 | Change of inventor or designer information | ||
| CB02 | Change of applicant information |
Address after: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province Applicant after: Wuhan dream database Co.,Ltd. Address before: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province Applicant before: WUHAN DAMENG DATABASE Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Sun Feng Inventor after: Zhao Jiawei Inventor before: Fu Quan Inventor before: Sun Feng Inventor before: Zhao Jiawei |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220905 Address after: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee after: Wuhan dream database Co.,Ltd. Patentee after: HUAZHONG University OF SCIENCE AND TECHNOLOGY Address before: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province Patentee before: Wuhan dream database Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230725 Address after: 16-19/F, Building C3, Future Science and Technology Building, No. 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430206 Patentee after: Wuhan dream database Co.,Ltd. Address before: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee before: Wuhan dream database Co.,Ltd. Patentee before: HUAZHONG University OF SCIENCE AND TECHNOLOGY |
|
| TR01 | Transfer of patent right |