CN110008284A - 基于数据页预加载及回滚的数据库数据同步方法及设备 - Google Patents
基于数据页预加载及回滚的数据库数据同步方法及设备 Download PDFInfo
- Publication number
- CN110008284A CN110008284A CN201910203439.7A CN201910203439A CN110008284A CN 110008284 A CN110008284 A CN 110008284A CN 201910203439 A CN201910203439 A CN 201910203439A CN 110008284 A CN110008284 A CN 110008284A
- Authority
- CN
- China
- Prior art keywords
- data
- delete
- affairs
- update
- data page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000001360 synchronised effect Effects 0.000 claims abstract description 54
- 230000036316 preload Effects 0.000 claims abstract description 37
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 238000004891 communication Methods 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 6
- 230000001052 transient effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
Abstract
本发明实施例提供了一种基于数据页预加载及回滚的数据库数据同步方法及设备。所述方法包括：在目标端数据同步服务接收待同步的事务操作，按事务操作的ID进行分类缓存，若接收到任一事务操作日志，判断该操作是否属于UPDATE操作和/或DELETE操作，如果是则转换成UPDATE操作和/或DELETE操作，并将转换后的UPDATE操作和/或DELETE操作投递至数据页预加载线程，数据页预加载线程异步执行转换后的UPDATE操作和/或DELETE操作并回滚，实现待同步事务涉及的数据页预加载；待接收到事务的COMMIT操作日志便激活执行线程，执行预加载的待同步事务，同步待同步事务。本发明实施例提供的基于数据页预加载及回滚的数据库数据同步方法及设备，可以有效提升数据库事务同步时的同步效率。
Description
技术领域
本发明实施例涉及数据库数据处理技术领域，尤其涉及一种基于数据页预加载及回滚的数据库数据同步方法及设备。
背景技术
传统的基于数据库自身的主备机制实现数据库数据的实时复制，是进行数据容灾备份，保障数据安全的重要的解决方案。数据库主备机制下，一般备机作为备份节点，通常只提供只读访问，可以在备机上做一些报表分析、数据挖掘等只读访问的应用，而不能像主机一样提供读写访问。另外，数据库主备机制要求备机数据库系统和主机一致，对于异构数据库系统环境，则不能利用数据库自身的主备机制实现有效的数据实时复制。针对数据库主备机制实现数据复制的不足，目前基于软件的异构数据库复制技术应用广泛。这种技术在源端捕获出数据库的增量数据，然后发送到目标端，在目标端通过通用的数据库访问接口，将增量数据应用到目标数据库，实现数据复制。这种技术因为使用到通用数据库接口，因此支持异构数据库系统复制，支持异构操作系统环境，并且目标端备机数据库系统可读写，是一种“双活”系统。
有多种技术方式实现获取源端数据库的增量数据，其中基于数据库日志捕获分析的数据实时同步技术，因其对源数据库侵入性小，捕获分析性能高，得到较大发展及研究。这种技术通过分析源数据库归档或联机日志，捕获出数据库的INSERT、UPDATE、DELETE操作日志，然后发送到目标端，目标端对日志信息进行逆向生成，恢复成SQL语句方式，然后使用数据库通用接口，应用到目标数据库，实现数据复制。因此，在数据库实时复制过程中，目标端的执行效率是影响数据同步性能的重要因素。
目标端数据库上执行同步事务时，如果同步事务中操作相关数据页都已经加载，那么事务执行的效率将会较为高效；否则，如果同步事务中操作相关的数据页还在数据库磁盘文件中，访问这些页时则需要等待IO线程从磁盘上加载该页，事务执行的效率将会变得非常缓慢，影响数据同步的效率。因此，如何提高事务同步时操作访问数据页的命中率就可以提升目标端数据复制的执行效率，就成为业界亟待解决的重要技术问题。
发明内容
针对现有技术存在的上述问题，本发明实施例提供了一种基于数据页预加载及回滚的数据库数据同步方法及设备。
第一方面，本发明的实施例提供了一种基于数据页预加载及回滚的数据库数据同步方法，包括：在目标端数据同步服务接收待同步的事务操作，按所述事务操作的ID进行分类缓存，若接收到任一事务操作日志，判断该操作是否属于UPDATE操作和/或DELETE操作，如果是则转换成UPDATE操作和/或DELETE操作，并将转换后的UPDATE操作和/或DELETE操作投递至数据页预加载线程，所述数据页预加载线程异步执行所述转换后的UPDATE操作和/或DELETE操作并回滚，实现所述待同步事务涉及的数据页预加载；待接收到事务的COMMIT操作日志便激活执行线程，执行预加载的所述待同步事务，同步所述待同步事务；其中，转换后的UPDATE操作和/或DELETE操作的更新速度，快于转换前的UPDATE操作和/或DELETE操作的更新速度。
进一步地，所述则将事务中的UPDATE操作和/或DELETE操作，转换成UPDATE操作和/或DELETE操作,包括：判断接收到同步的事务操作，若事务操作为UPDATE操作和/或DELETE操作，则采用UPDATE操作和/或DELETE操作中的条件列,构造UPDATE操作和/或DELETE操作。
进一步地，所述则采用UPDATE操作和/或DELETE操作中的条件列,构造UPDATE操作和/或DELETE操作，包括：若UPDATE操作和/或DELETE操作出现连续批量操作，则采用UPDATE操作和/或DELETE参数批量绑定多行的方式一次性执行，实现相关数据页的一次性加载。
进一步地，所述的基于数据页预加载及回滚的数据库数据同步方法，还包括：若目标端数据同步服务启动，则初始化若干个数据页预加载线程，所述若干个数据页预加载线程，用于执行转换后的UPDATE操作和/或DELETE操作。
进一步地，所述的基于数据页预加载及回滚的数据库数据同步方法，还包括：若目标端数据同步服务启动，则初始化若干个事务执行线程，所述若干个事务执行线程，用于执行所述待同步的事务操作。
第二方面，本发明的实施例提供了一种基于数据页预加载及回滚的数据库数据同步装置，包括：
数据页预加载模块，用于在目标端数据同步服务接收待同步的事务操作，按所述事务操作的ID进行分类缓存，若接收到任一事务操作日志，判断该操作是否属于UPDATE操作和/或DELETE操作，如果是则转换成UPDATE操作和/或DELETE操作，并将转换后的UPDATE操作和/或DELETE操作投递至数据页预加载线程，所述数据页预加载线程异步执行所述转换后的UPDATE操作和/或DELETE操作并回滚，实现所述待同步事务涉及的数据页预加载；
事务同步模块，待接收到事务的COMMIT操作日志便激活执行线程，执行预加载的所述待同步事务，同步所述待同步事务；
其中，转换后的UPDATE操作和/或DELETE操作的更新速度，快于转换前的UPDATE操作和/或DELETE操作的更新速度。
第三方面，本发明的实施例提供了一种电子设备，包括：
至少一个处理器；以及
与处理器通信连接的至少一个存储器，其中：
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于数据页预加载及回滚的数据库数据同步方法。
第四方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于数据页预加载及回滚的数据库数据同步方法。
本发明实施例提供的基于数据页预加载及回滚的数据库数据同步方法及设备，通过将事务中的操作转化为相应的更新较为快速的操作，并投递至数据页预加载线程执行并回滚，可以实现事务执行之前对事务中的操作进行预热，从而有效提升数据库事务同步时的同步效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于数据页预加载及回滚的数据库数据同步方法流程图；
图2为本发明实施例提供的基于数据页预加载及回滚的数据库数据同步装置结构示意图；
图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明实施例提供了一种基于数据页预加载及回滚的数据库数据同步方法，参见图1，该方法包括：
101、在目标端数据同步服务接收待同步的事务操作，按所述事务操作的ID进行分类缓存，若接收到任一事务操作日志，判断该操作是否属于UPDATE操作和/或DELETE操作，如果是则转换成UPDATE操作和/或DELETE操作，并将转换后的UPDATE操作和/或DELETE操作投递至数据页预加载线程，所述数据页预加载线程异步执行所述转换后的UPDATE操作和/或DELETE操作并回滚，实现所述待同步事务涉及的数据页预加载；
102、待接收到事务的COMMIT操作日志便激活执行线程，执行预加载的所述待同步事务，同步所述待同步事务。
其中，转换后的UPDATE操作和/或DELETE操作的更新速度，快于转换前的UPDATE操作和/或DELETE操作的更新速度。
在上述实施例的基础上，本发明实施例中提供的基于数据页预加载及回滚的数据库数据同步方法，所述则将事务中的UPDATE操作和/或DELETE操作，转换成UPDATE操作和/或DELETE操作,包括：判断接收到同步的事务操作，若事务操作为UPDATE操作和/或DELETE操作，则采用UPDATE操作和/或DELETE操作中的条件列,构造UPDATE操作和/或DELETE操作。这样可以实现事务中的UPDATE操作和/或DELETE操作涉及的数据页在数据库中预热，防止事务执行线程在执行UPDATE操作和/或DELETE操作时访问到冷数据，冷数据则需要等待从磁盘上加载，从而影响到执行的性能。
具体地，假设同步事务中存在UPDATE操作：UPDATE T SET C1＝1，C2＝1，C3＝1，C4＝1，C5＝1，…，Cn＝1，WHERE ID＝1；
上述操作在执行时，可以先把UPDATE转换成UPDATE操作先执行，以便预热UPDATE需要访问的数据，转换为：UPDATE T SET C＝C WHERE ID＝1；
也可以将UPDATE转换成DELETE操作先执行，以便预热UPDATE需要访问的数据，转换为：DELETE FROM T WHERE ID＝1。
同步事务存在DELETE操作：DELETE FROM T WHERE ID＝1；
上述操作在执行时，可以先把DELETE转换成UPDATE操作先执行，以便预热DELETE需要访问的数据，转换为：UPDATE T SET C＝C WHERE ID＝1；
也可以将DELETE转换成DELETE操作先执行，以便预热DELETE需要访问的数据，转换为：DELETE FROM T WHERE ID＝1。
可以看出，通过操作的转换，可以将一些需要更新的列进行简化，这就可以提高事务操作的预热效率。
在上述实施例的基础上，本发明实施例中提供的基于数据页预加载及回滚的数据库数据同步方法，所述则采用UPDATE操作和/或DELETE操作中的条件列,构造UPDATE操作和/或DELETE操作，包括：若UPDATE操作和/或DELETE操作出现连续批量操作，则采用UPDATE操作和/或DELETE参数批量绑定多行的方式一次性执行，实现相关数据页的一次性加载。
需要说明的是，当UPDATE操作或DELETE操作出现连续批量的操作时，可以使用参数批量绑定多行的方式一次性执行加载。相对于转换成SELECT操作，转换成UPDATE操作的优势就在于可以使用参数绑定的方式批量的加载多行；相对于转换成DELETE操作，UPDATE操作可以防止记录在数据页中发生迁移；相对与转换成UPDATE操作,DELETE操作执行后产生的数据库日志量会更小。
在上述实施例的基础上，本发明实施例中提供的基于数据页预加载及回滚的数据库数据同步方法，还包括：若目标端数据同步服务启动，则初始化若干个数据页预加载线程，所述若干个数据页预加载线程，用于执行转换后的UPDATE操作和/或DELETE操作。
在上述实施例的基础上，本发明实施例中提供的基于数据页预加载及回滚的数据库数据同步方法，还包括：若目标端数据同步服务启动，则初始化若干个事务执行线程，所述若干个事务执行线程，用于执行所述待同步的事务操作。
具体地，将事务操作按接收到的事务操作顺序分解为操作1至操作N，转换后的UPDATE操作和/或DELETE操作，由数据页预加载线程1到数据页预加载线程N，顺序抽取UPDATE操作和/或DELETE操作执行，提交事务则分别由事务执行线程1到事务执行线程N执行。有关UPDATE操作和DELETE操作的具体内容可以参见表1。
表1
本发明实施例提供的基于数据页预加载及回滚的数据库数据同步方法，通过将事务中的操作转化为相应的更新较为快速的操作，并投递至数据页预加载线程执行并回滚，可以实现事务执行之前对事务中的操作进行预热，从而有效提升数据库事务同步时的同步效率。
本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种基于数据页预加载及回滚的数据库数据同步装置，该装置用于执行上述方法实施例中的基于数据页预加载及回滚的数据库数据同步方法。参见图2，该装置包括：
数据页预加载模块201，用于在目标端数据同步服务接收待同步的事务操作，按所述事务操作的ID进行分类缓存，若接收到任一事务操作日志，判断该操作是否属于UPDATE操作和/或DELETE操作，如果是则转换成UPDATE操作和/或DELETE操作，并将转换后的UPDATE操作和/或DELETE操作投递至数据页预加载线程，所述数据页预加载线程异步执行所述转换后的UPDATE操作和/或DELETE操作并回滚，实现所述待同步事务涉及的数据页预加载；
事务同步模块202，待接收到事务的COMMIT操作日志便激活执行线程，执行预加载的所述待同步事务，同步所述待同步事务；
其中，转换后的UPDATE操作和/或DELETE操作的更新速度，快于转换前的UPDATE操作和/或DELETE操作的更新速度。
本发明实施例提供的基于数据页预加载及回滚的数据库数据同步装置，采用数据页预加载模块和事务同步模块，通过将事务中的操作转化为相应的更新较为快速的操作，并投递至数据页预加载线程执行并回滚，可以实现事务执行之前对事务中的操作进行预热，从而有效提升数据库事务同步时的同步效率。
本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图3所示，该电子设备包括：至少一个处理器(processor)301、通信接口(Communications Interface)304、至少一个存储器(memory)302和通信总线303，其中，至少一个处理器301，通信接口304，至少一个存储器302通过通信总线303完成相互间的通信。至少一个处理器301可以调用至少一个存储器302中的逻辑指令，以执行如下方法：在目标端数据同步服务接收待同步的事务操作，按所述事务操作的ID进行分类缓存，若接收到任一事务操作日志，判断该操作是否属于UPDATE操作和/或DELETE操作，如果是则转换成UPDATE操作和/或DELETE操作，并将转换后的UPDATE操作和/或DELETE操作投递至数据页预加载线程，所述数据页预加载线程异步执行所述转换后的UPDATE操作和/或DELETE操作并回滚，实现所述待同步事务涉及的数据页预加载；待接收到事务的COMMIT操作日志便激活执行线程，执行预加载的所述待同步事务，同步所述待同步事务；其中，转换后的UPDATE操作和/或DELETE操作的更新速度，快于转换前的UPDATE操作和/或DELETE操作的更新速度。
此外，上述的至少一个存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。例如包括：在目标端数据同步服务接收待同步的事务操作，按所述事务操作的ID进行分类缓存，若接收到任一事务操作日志，判断该操作是否属于UPDATE操作和/或DELETE操作，如果是则转换成UPDATE操作和/或DELETE操作，并将转换后的UPDATE操作和/或DELETE操作投递至数据页预加载线程，所述数据页预加载线程异步执行所述转换后的UPDATE操作和/或DELETE操作并回滚，实现所述待同步事务涉及的数据页预加载；待接收到事务的COMMIT操作日志便激活执行线程，执行预加载的所述待同步事务，同步所述待同步事务；其中，转换后的UPDATE操作和/或DELETE操作的更新速度，快于转换前的UPDATE操作和/或DELETE操作的更新速度。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于数据页预加载及回滚的数据库数据同步方法，其特征在于，包括：
在目标端数据同步服务接收待同步的事务操作，按所述事务操作的ID进行分类缓存，若接收到任一事务操作日志，判断该操作是否属于UPDATE操作和/或DELETE操作，如果是则转换成UPDATE操作和/或DELETE操作，并将转换后的UPDATE操作和/或DELETE操作投递至数据页预加载线程，所述数据页预加载线程异步执行所述转换后的UPDATE操作和/或DELETE操作并回滚，实现所述待同步事务涉及的数据页预加载；
待接收到事务的COMMIT操作日志便激活执行线程，执行预加载的所述待同步事务，同步所述待同步事务。
2.根据权利要求1所述的基于数据页预加载及回滚的数据库数据同步方法，其特征在于，所述则将事务中的UPDATE操作和/或DELETE操作，转换成UPDATE操作和/或DELETE操作,包括：
判断接收到同步的事务操作，若事务操作为UPDATE操作和/或DELETE操作，则采用UPDATE操作和/或DELETE操作中的条件列,构造UPDATE操作和/或DELETE操作。
3.根据权利要求2所述的基于数据页预加载及回滚的数据库数据同步方法，其特征在于，所述则采用UPDATE操作和/或DELETE操作中的条件列,构造UPDATE操作和/或DELETE操作，包括：
若UPDATE操作和/或DELETE操作出现连续批量操作，则采用UPDATE操作和/或DELETE参数批量绑定多行的方式一次性执行，实现相关数据页的一次性加载。
4.根据权利要求1所述的基于数据页预加载及回滚的数据库数据同步方法，其特征在于，还包括：
若目标端数据同步服务启动，则初始化若干个数据页预加载线程，所述若干个数据页预加载线程，用于执行转换后的UPDATE操作和/或DELETE操作。
5.根据权利要求1所述的基于数据页预加载及回滚的数据库数据同步方法，其特征在于，还包括：
若目标端数据同步服务启动，则初始化若干个事务执行线程，所述若干个事务执行线程，用于执行所述待同步的事务操作。
6.一种基于数据页预加载及回滚的数据库数据同步装置，其特征在于，包括：
数据页预加载模块，用于在目标端数据同步服务接收待同步的事务操作，按所述事务操作的ID进行分类缓存，若接收到任一事务操作日志，判断该操作是否属于UPDATE操作和/或DELETE操作，如果是则转换成UPDATE操作和/或DELETE操作，并将转换后的UPDATE操作和/或DELETE操作投递至数据页预加载线程，所述数据页预加载线程异步执行所述转换后的UPDATE操作和/或DELETE操作并回滚，实现所述待同步事务涉及的数据页预加载；
事务同步模块，待接收到事务的COMMIT操作日志便激活执行线程，执行预加载的所述待同步事务，同步所述待同步事务。
7.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行如权利要求1至5任一项所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910203439.7A CN110008284B (zh) | 2019-03-18 | 2019-03-18 | 基于数据页预加载及回滚的数据库数据同步方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910203439.7A CN110008284B (zh) | 2019-03-18 | 2019-03-18 | 基于数据页预加载及回滚的数据库数据同步方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110008284A true CN110008284A (zh) | 2019-07-12 |
| CN110008284B CN110008284B (zh) | 2021-06-22 |
Family
ID=67167288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910203439.7A Active CN110008284B (zh) | 2019-03-18 | 2019-03-18 | 基于数据页预加载及回滚的数据库数据同步方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110008284B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111694798A (zh) * | 2020-04-23 | 2020-09-22 | 武汉达梦数据库有限公司 | 一种基于日志解析的数据同步方法及数据同步系统 |
| CN112394941A (zh) * | 2020-11-18 | 2021-02-23 | 京东数字科技控股股份有限公司 | 代码预热方法、装置、电子设备及存储介质 |
| CN113688338A (zh) * | 2020-05-19 | 2021-11-23 | 上海惠芽信息技术有限公司 | 用户数据的处理方法、处理装置及计算机存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043686A (zh) * | 2009-10-20 | 2011-05-04 | 华为技术有限公司 | 一种内存数据库的容灾方法、备用服务器及系统 |
| US20110320403A1 (en) * | 2010-06-28 | 2011-12-29 | O'krafka Brian W | Approaches for the replication of write sets |
| EP2555129A1 (en) * | 2011-08-03 | 2013-02-06 | Amadeus s.a.s. | Method and system to maintain strong consistency of distributed replicated contents in a client/server system |
| CN105786959A (zh) * | 2016-01-11 | 2016-07-20 | 北京京东尚科信息技术有限公司 | 主备数据库的同步方法及装置 |
| CN106209382A (zh) * | 2010-09-20 | 2016-12-07 | 安全第公司 | 用于安全数据共享的系统和方法 |
| CN106709043A (zh) * | 2016-12-30 | 2017-05-24 | 江苏瑞中数据股份有限公司 | 一种基于数据库日志的数据同步加载方法 |
| CN106970920A (zh) * | 2016-01-14 | 2017-07-21 | 阿里巴巴集团控股有限公司 | 一种用于数据库数据迁移的方法与设备 |
| CN108170768A (zh) * | 2017-12-25 | 2018-06-15 | 腾讯科技（深圳）有限公司 | 数据库同步方法、装置及可读介质 |
| CN108920698A (zh) * | 2018-07-16 | 2018-11-30 | 北京京东金融科技控股有限公司 | 一种数据同步方法、装置、系统、介质及电子设备 |
| CN109271450A (zh) * | 2018-10-10 | 2019-01-25 | 北京百度网讯科技有限公司 | 数据库同步方法、装置、服务器和存储介质 |
-
2019
- 2019-03-18 CN CN201910203439.7A patent/CN110008284B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043686A (zh) * | 2009-10-20 | 2011-05-04 | 华为技术有限公司 | 一种内存数据库的容灾方法、备用服务器及系统 |
| US20110320403A1 (en) * | 2010-06-28 | 2011-12-29 | O'krafka Brian W | Approaches for the replication of write sets |
| CN106209382A (zh) * | 2010-09-20 | 2016-12-07 | 安全第公司 | 用于安全数据共享的系统和方法 |
| EP2555129A1 (en) * | 2011-08-03 | 2013-02-06 | Amadeus s.a.s. | Method and system to maintain strong consistency of distributed replicated contents in a client/server system |
| CN103858122A (zh) * | 2011-08-03 | 2014-06-11 | 艾玛迪斯简易股份公司 | 保持客户端/服务器系统内的分布式复制内容的高度一致性的方法和系统 |
| CN105786959A (zh) * | 2016-01-11 | 2016-07-20 | 北京京东尚科信息技术有限公司 | 主备数据库的同步方法及装置 |
| CN106970920A (zh) * | 2016-01-14 | 2017-07-21 | 阿里巴巴集团控股有限公司 | 一种用于数据库数据迁移的方法与设备 |
| CN106709043A (zh) * | 2016-12-30 | 2017-05-24 | 江苏瑞中数据股份有限公司 | 一种基于数据库日志的数据同步加载方法 |
| CN108170768A (zh) * | 2017-12-25 | 2018-06-15 | 腾讯科技（深圳）有限公司 | 数据库同步方法、装置及可读介质 |
| CN108920698A (zh) * | 2018-07-16 | 2018-11-30 | 北京京东金融科技控股有限公司 | 一种数据同步方法、装置、系统、介质及电子设备 |
| CN109271450A (zh) * | 2018-10-10 | 2019-01-25 | 北京百度网讯科技有限公司 | 数据库同步方法、装置、服务器和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| JACKYRONGVIP: ""mysql数据库中的预热"", 《HTTPS://BLOG.CSDN.NET/JACKYRONGVIP/ARTICLE/DETAILS/84356690》 * |
| MYYSOPHIA: ""数据库表存在内存中"", 《HTTPS://BLOG.CSDN.NET/MYYSOPHIA/ARTICLE/DETAILS/79932470》 * |
| YUBIAO WANG 等: ""Research on Incremental Heterogeneous Database Synchronization Update Based on Web Service"", 《2015 INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND COMMUNICATION NETWORKS》 * |
| 董朋志: ""云环境下数据库同步服务的研究与实现"", 《中国优秀硕士论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111694798A (zh) * | 2020-04-23 | 2020-09-22 | 武汉达梦数据库有限公司 | 一种基于日志解析的数据同步方法及数据同步系统 |
| CN111694798B (zh) * | 2020-04-23 | 2023-04-25 | 武汉达梦数据库股份有限公司 | 一种基于日志解析的数据同步方法及数据同步系统 |
| CN113688338A (zh) * | 2020-05-19 | 2021-11-23 | 上海惠芽信息技术有限公司 | 用户数据的处理方法、处理装置及计算机存储介质 |
| CN112394941A (zh) * | 2020-11-18 | 2021-02-23 | 京东数字科技控股股份有限公司 | 代码预热方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110008284B (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102392944B1 (ko) | 데이터 백업 방법, 저장 매체 및 컴퓨팅 기기 | |
| CN105373448B (zh) | 数据库中故障数据的恢复方法和系统 | |
| US8825601B2 (en) | Logical data backup and rollback using incremental capture in a distributed database | |
| CN101551801B (zh) | 数据同步的方法和系统 | |
| CN109656934A (zh) | 基于日志解析的源端Oracle数据库DDL同步方法及设备 | |
| CN109977168A (zh) | 基于数据页预加载的数据库数据同步方法及设备 | |
| CN112000737A (zh) | 基于多云管理的数据同步方法、系统、终端及存储介质 | |
| CN110008284A (zh) | 基于数据页预加载及回滚的数据库数据同步方法及设备 | |
| CN104731956A (zh) | 同步数据的方法、系统及相关数据库 | |
| CN111651519B (zh) | 数据同步方法、数据同步装置、电子设备及存储介质 | |
| CN111382150A (zh) | 一种基于Flink的实时计算方法及系统 | |
| CN104657497A (zh) | 一种基于分布式计算的海量用电信息并行计算系统及方法 | |
| CN107301214A (zh) | 在hive中数据迁移方法、装置及终端设备 | |
| CN106095957A (zh) | 分布式文件系统的跨域多副本文件同步方法及装置 | |
| WO2019118274A1 (en) | Automated transaction engine | |
| CN110704442A (zh) | 一种大数据的实时获取方法及装置 | |
| CN106874343A (zh) | 一种时序数据库的数据删除方法及系统 | |
| CN106959989A (zh) | 主备数据库的同步方法及装置 | |
| US9009098B1 (en) | Methods and apparatus for creating a centralized data store | |
| CN108958659A (zh) | 一种分布式存储系统的小文件聚合方法、装置及介质 | |
| CN102360382B (zh) | 一种高速对象并行存储系统目录复制方法 | |
| CN109871394B (zh) | 一种全量分布式高并发计算方法及装置 | |
| CN110196786A (zh) | 数据库回滚同步中内存的控制方法及设备 | |
| CN109788077A (zh) | 一种支持集群的云备份系统及其方法 | |
| US11341159B2 (en) | In-stream data load in a replication environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province Applicant after: Wuhan dream database Co.,Ltd. Address before: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province Applicant before: WUHAN DAMENG DATABASE Co.,Ltd. |
|
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Sun Feng Inventor after: Yu Yuanlan Inventor before: Fu Quan Inventor before: Sun Feng Inventor before: Yu Yuanlan |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220907 Address after: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee after: Wuhan dream database Co.,Ltd. Patentee after: HUAZHONG University OF SCIENCE AND TECHNOLOGY Address before: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province Patentee before: Wuhan dream database Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230728 Address after: 16-19/F, Building C3, Future Science and Technology Building, No. 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430206 Patentee after: Wuhan dream database Co.,Ltd. Address before: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee before: Wuhan dream database Co.,Ltd. Patentee before: HUAZHONG University OF SCIENCE AND TECHNOLOGY |