CN117194566A - 多存储引擎数据复制方法、系统、计算机设备 - Google Patents
多存储引擎数据复制方法、系统、计算机设备 Download PDFInfo
- Publication number
- CN117194566A CN117194566A CN202311057920.2A CN202311057920A CN117194566A CN 117194566 A CN117194566 A CN 117194566A CN 202311057920 A CN202311057920 A CN 202311057920A CN 117194566 A CN117194566 A CN 117194566A
- Authority
- CN
- China
- Prior art keywords
- log
- storage node
- transaction
- mixed
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000010076 replication Effects 0.000 claims abstract description 46
- 230000000694 effects Effects 0.000 claims abstract description 19
- 230000002776 aggregation Effects 0.000 claims abstract description 8
- 238000004220 aggregation Methods 0.000 claims abstract description 8
- 230000004048 modification Effects 0.000 claims description 17
- 238000012986 modification Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种多存储引擎数据复制方法、系统、计算机设备，通过将事务存储引擎以及日志存储引擎输出主处理日志以及主重做日志的整合为混合日志文件，并根据混合日志文件内的记录日志合集将混合日志文件进行截取，从而生成用于进行系统复制的待恢复日志后，最后根据所述待恢复日志进行复制的方式实现了通过对混合日志进行分段截取后生成待恢复日志，从而达到备存储节点在进行复制时只需对截取出的待恢复日志进行回放，无需对整篇主重做日志进行回放的效果；同时，此方法避免了在主节点把并发提交的事务排队提交带来的性能损失，以及主节点上处理日志写入方式带来的IO系统高负载，并且大幅提升了备节点重放日志的速度。
Description
技术领域
本申请涉及服务器领域，尤其涉及一种多存储引擎数据复制方法、系统、计算机设备。
背景技术
KunlunBase是一个分布式关系数据库系统，支持OLTP和OLAP混合负载，且由于KunlunBase将数据分散存储在由多个储存单元组成的存储节点中，而为了实现高可用复制的对应功能，KunlunBase需要将主存储节点上执行的增删改操作的数据生成对应的二进制日志后，将所述二进制日志发送到备存储节点中进行回放，从而使主存储节点与备存储节点中的数据保持一致，这种日志从主节点持续流式传输到备节点并且存储起来然后重放的过程，就是数据库的复制流程，即数据库系统中的备节点重放日志实际上就是按照日志描述的对数据的改动方式来修改本地数据，从而做到备节点的数据与主节点最终一致，从而实现复制效果；
但当所述操作数据的数据量较大时，备存储节点回放对应的所述二进制日志所需要的时间也越长，导致了复制速度的下降，同时，由于二进制日志的复制的对存储和计算资源开销较大，因此如何提升在KunlunBase系统中主备存储节点的复制速度并且降低对存储和计算资源的消耗，成为了一个急需解决的问题。
申请内容
基于此，有必要针对上述问题，提出了一种能在KunlunBase系统的主备复制过程中提升数据复制速度同时减少资源消耗的多存储引擎数据复制方法、系统、计算机设备。
本申请提供了一种多存储引擎数据复制方法，所述方法运行在后台系统当中，所述后台系统内设有主存储节点以及备存储节点，所述主存储节点与所述备存储节点相连，所述主存储节点内设有事务存储引擎以及日志存储引擎，所述方法包括：
获取输入所述主存储节点的数据流，所述数据流来自输入到所述主存储节点的数据输入指令；
所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制；
所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中；
获取所述混合日志文件内设置的记录日志合集，所述记录日志合集用于记录所述主存储节点在一设定时间点上的一致性状态；
所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果。
进一步的，所述混合日志文件内设有若干个混合日志；
则所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中的步骤之后，具体包括：
判断所述混合日志是否为事务存储引擎输出；
若是，则获取所述执行事务的事务类型，所述事务类型为普通事务或XA事务中的一种；
获取设定的日志头部空间，并将所述事务类型添加到所述日志头部空间后，输出所述混合日志文件，所述日志头部空间设置在所述主重做日志、所述主处理日志以及所述混合日志内；
若否，则直接输出所述混合日志文件。
进一步的，所述主存储节点内设有一日志发送组件，所述备存储节点内设有一日志接收组件；
则所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存的步骤，具体包括：
所述日志发送组件将所述混合日志文件内的所述混合日志按照设定顺序发送到所述日志接收组件中；
所述日志接收组件判断收到所述混合日志的数量是否满足设定阈值；
若是，则所述备存储节点将收到的所有所述混合日志进行按照设定顺序进行储存；
获取所述备存储节点获取到的最后一个所述混合日志，并记为最终混合日志；
获取所述最终混合日志在所述混合日志文件内的终点位置，并记为终点位置坐标；
获取所述执行事务内设定的事务结束坐标，并判断所述终点位置坐标是否大于等于所述事务结束坐标；
若是，则判定所述主存储节点完成将所述执行事务的混合日志发送到了所述备存储节点。
进一步的，所述事务存储引擎执行所述执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中的步骤，具体包括：
获取所述主存储节点的储存数据，并记为待处理数据；
将所述执行事务进行拆分，从而生成若干个分支事务，所述分支事务用于供所述事务存储引擎内的工作线程独立执行；
所述工作线程根据获取到的数据修改命令在每个储存着所述储存数据的存储引擎中启动所述分支事务，从而对所述待处理数据进行修改；
将存储引擎中的修改操作记录为所述主重做日志，并且追加写入到混合日志文件中。
进一步的，所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制步骤之后，还包括：
获取所述执行事务的事务类型，并判断所述事务类型是否为XA事务；
若是，则获取与所述XA事务匹配的设定操作事件，所述设定操作事件为操作提交事件以及操作回滚事件中的一种；
所述事务存储引擎执行所述设定操作事件，并将所述设定操作事件对所述待处理数据的修改记录添加到所述混合日志文件当中；
获取所述分支事务的提交顺序，并将根据所述提交顺序生成一个提交顺序日志，所述提交顺序日志用于限定事务在所述备存储节点上的处理日志文件中的写入顺序；
将所述提交顺序日志添加到所述混合日志文件当中。
进一步的，所述混合日志内设有一设定储存空间，所述设定储存空间为所述混合日志文件内各个所述混合日志共用的储存空间，所述记录日志合集内设有若干个检查点日志，所述检查点日志储存在所述设定储存空间内，用于记录所述主存储节点在一设定时间点上的一致性状态；
则所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，并让所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果的步骤之后，还包括：
判断所述主存储节点是否出现非正常退出现象；
若是，则获取所述各个所述检查点日志中的第一检查点，所述第一检查点用于对各个所述检查点日志进行排序，从而生成对应的查询日志链条；
获取所述查询日志链条中首个所述检查点日志以及最后一个所述检查点日志的位置，并分别记为起始标志点以及结束标志点；
根据所述起始标志点以及所述结束标志点对所述记录日志合集进行截取，从而生成待恢复日志；
所述主存储节点根据所述待恢复日志进行恢复操作。
进一步的，所述备存储节点内设有一日志分流组件，所述日志分流组件用于将获取到所述混合日志进行储存；
则所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存的步骤，具体包括：
所述日志分流组件将获取到的所述混合日志存入所述备节点中的所述混合日志文件中，然后按照日志类型和存储引擎类型进行分类，从而将所述混合日志重新分解后，生成若干个拆分日志；
判断所述拆分日志是否为重做日志，若是，则将所述重做日志按设定顺序分流添加到所述备存储节点内指定类型存储引擎设定的备重做日志文件中；
判断所述拆分日志是否为处理日志，若是，则将所述处理日志按照进行设定顺序进行预储存；
判断是否收到所述分支事务内最后一条日志，
若是，则将所述提交顺序日志写入到所述备存储节点内的备处理日志文件中；
将预储存的所述处理日志按照所述提交顺序日志的设定顺序写入到备存储节点内的备处理日志文件中。
本申请还提供了一种多存储引擎数据复制系统，所述系统运行在后台系统当中，所述后台系统内设有主存储节点以及备存储节点，所述主存储节点与所述备存储节点相连，所述主存储节点内设有事务存储引擎以及日志存储引擎，所述系统包括：
获取单元，用于获取输入所述主存储节点的数据流，所述数据流来自输入到所述主存储节点的数据输入指令；
第一执行单元，用于控制所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制；
第二执行单元，用于控制所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中；
记录单元，用于获取所述混合日志文件内设置的记录日志合集，所述记录日志合集用于记录所述主存储节点在一设定时间点上的一致性状态；
发送单元，用于所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取输入所述主存储节点的数据流，所述数据流来自输入到所述主存储节点的数据输入指令；
所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制；
所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中；
获取所述混合日志文件内设置的记录日志合集，所述记录日志合集用于记录所述主存储节点在一设定时间点上的一致性状态；
所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果。
一种计算机可读介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取输入所述主存储节点的数据流，所述数据流来自输入到所述主存储节点的数据输入指令；
所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制；
所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中；
获取所述混合日志文件内设置的记录日志合集，所述记录日志合集用于记录所述主存储节点在一设定时间点上的一致性状态；
所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果。
本申请通过上述方法及结构，通过将事务存储引擎以及日志存储引擎输出主处理日志以及主重做日志的整合为混合日志文件，并根据混合日志文件内的记录日志合集将混合日志文件进行截取，从而生成用于进行系统复制的待恢复日志后，最后根据所述待恢复日志进行复制的方式实现了通过对混合日志进行分段截取后生成待恢复日志，从而达到备存储节点在进行复制时只需对截取出的待恢复日志进行回放，无需对整篇主重做日志进行回放的效果；同时，此方法避免了在主节点把并发提交的事务排队提交带来的性能损失，以及主节点上处理日志写入方式带来的IO系统高负载，并且大幅提升了备节点重放日志的速度，从而提升了主节点事务处理性能和主备节点数据复制性能。同时，确保了备节点仍然能够生成正确的处理日志供集群各组件使用和正常工作。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一实施例中多存储引擎数据复制方法的方法流程图；
图2为一实施例中主存储节点与备存储节点的连接示意图；
图3为一实施例中实施例中多存储引擎数据复制系统的结构示意图；
图4为一实施例中计算机设备的结构框图；
图5为一实施例中各个数据流的处理流程以及系统结构图；
图中标号名称为：1－主存储节点、2－备存储节点、11－事务存储引擎、12－日志存储引擎、13－日志发送组件、21－日志接收组件、22－日志分流组件、10－获取单元、20－第一执行单元、30－第二执行单元、40－记录单元、50－发送单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考图1以及图2，本申请公开了一种多存储引擎数据复制方法，所述方法运行在后台系统当中，所述后台系统内设有主存储节点1以及备存储节点2，主存储节点1与备存储节点2相连，主存储节点1内设有事务存储引擎11以及日志存储引擎12，所述方法包括：
S1、获取输入所述主存储节点的数据流，所述数据流来自输入到所述主存储节点的数据输入指令；
如上述步骤S1所述，所述后台系统获取用户输入的所述数据输入指令，并将所述数据输入指令输入到主存储节点1当中，可以理解的是，此时输入所述主存储节点的数据流即为所述数据输入指令；
此外，所述后台系统一般为后台服务器，此外，所述后台系统可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，本发明对此不做限定。
S2、所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制；
如上述步骤S2所述，事务存储引擎11执行输入的执行事务，可以理解的是，所述执行事务包含在所述数据输入指令当中，则事务存储引擎11执行输入的所述执行事务时，事务存储引擎11实际上是在根据所述数据输入指令修改内部数据，则事务存储引擎11将修改动作进行记录后，生成所述主重做日志，之后所述后台系统将所述主重做日志追加写入到设定的混合日志文件中，可以理解的是，所述混合日志文件用于使让备存储节点2进行高可用复制；
可以理解的是，所述执行事务即为输入到主存储节点1中执行的数据增删改命令，从而使主存储节点1执行数据增删改查命令，其中主存储节点1在执行数据增删改查命令会生成重做日志和处理日志；
此外，可以理解的是，所述主重做日志以及所述主处理日志本质上是一个二进制格式，且本身与特定事务存储引擎无关，用于描述数据修改方式的逻辑日志。
S3、所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中；
如上述步骤S3所述，日志存储引擎12亦用于执行输入的执行事务，则同理日志存储引擎12执行输入的所述执行事务时，日志存储引擎12实际上是在根据所述数据输入指令修改内部数据，则日志存储引擎12将修改动作进行记录后，同样生成所述主重做日志，则所述后台系统此时也将所述主重做日志追加写入到设定的混合日志文件中。
S4、获取所述混合日志文件内设置的记录日志合集，所述记录日志合集用于记录所述主存储节点在一设定时间点上的一致性状态；
如上述步骤S4所述，所述后台系统获取所述混合日志文件内设置的记录日志合集，可以理解的是，所述记录日志合集用于储存所述主重做日志以及所述主重做日志以及所述主处理日志，且所述记录日志合集用于记录所述主存储节点在一设定时间点上的一致性状态。
S5、所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果。
如上述步骤S5所述，主存储节点1将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，可以理解的是，所述过流式传输为实时流式传输(Realtime streaming)和顺序流式传输(progressive streaming)中的一种，且流式传输是指在数据传输过程中，数据以流的形式连续地传输，而不是分块或分段传输。在流式传输中，数据被分割为较小的数据包，按照顺序一个接一个地传输，接收方会按照相同的顺序接收和处理这些数据包，则所述备存储节点在对所述记录日志合集以及所述混合日志文件进行日志分流后根据所述记录日志合集重放所述主重做日志，从而使所述备存储节点达到高可用复制的效果；
可以理解的是，在上述实施例中各个数据流的处理流程以及系统结构可参考图5。
本实施例通过上述方法，通过将事务存储引擎以及日志存储引擎输出主处理日志以及主重做日志的整合为混合日志文件，并根据混合日志文件内的记录日志合集将混合日志文件进行截取，从而生成用于进行系统复制的待恢复日志后，最后根据所述待恢复日志进行复制的方式实现了通过对混合日志进行分段截取后生成待恢复日志，从而达到备存储节点在进行复制时只需对截取出的待恢复日志进行回放，无需对整篇主重做日志进行回放的效果；同时，此方法避免了在主节点把并发提交的事务排队提交带来的性能损失，以及主节点上处理日志写入方式带来的IO系统高负载，并且大幅提升了备节点重放日志的速度，从而提升了主节点事务处理性能和主备节点数据复制性能。同时，确保了备节点仍然能够生成正确的处理日志供集群各组件使用和正常工作。
一实施例中，所述混合日志文件内设有若干个混合日志；
则所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中的步骤之后，具体包括：
S21、判断所述混合日志是否为事务存储引擎输出，若是，则获取所述执行事务的事务类型，所述事务类型为普通事务或XA事务中的一种，获取设定的日志头部空间，并将所述事务类型添加到所述日志头部空间后，输出所述混合日志文件，所述日志头部空间设置在所述主重做日志、所述主处理日志以及所述混合日志内，若否，则直接输出所述混合日志文件。
如上述实施例所述，主存储节点1判断所述混合日志是否为事务存储引擎11输出，若是，则主存储节点1获取所述执行事务的事务类型，可以理解的是，所述事务类型为普通事务或XA事务中的一种，则主存储节点1获取设定的日志头部空间，并将所述事务类型添加到所述日志头部空间后，输出所述混合日志文件，可以理解的是，所述日志头部空间设置在所述主重做日志、所述主处理日志以及所述混合日志内；
此外，当主存储节点1判断所述混合日志不为事务存储引擎11输出时，则直接输出所述混合日志文件。
参考图2，一实施例中，主存储节点1内设有一日志发送组件13，备存储节点2内设有一日志接收组件21；
则所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存的步骤，具体包括：
S51、所述日志发送组件将所述混合日志文件内的所述混合日志按照设定顺序发送到所述日志接收组件中，所述日志接收组件判断收到所述混合日志的数量是否满足设定阈值，若是，则所述备存储节点将收到的所有所述混合日志进行按照设定顺序进行储存，获取所述备存储节点获取到的最后一个所述混合日志，并记为最终混合日志，获取所述最终混合日志在所述混合日志文件内的终点位置，并记为终点位置坐标，获取所述执行事务内设定的事务结束坐标，并判断所述终点位置坐标是否大于等于所述事务结束坐标，若是，则将所述执行事务的混合日志发送到了所述备存储节点。
如上述实施例所述，日志发送组件13将所述混合日志文件内的所述混合日志按照设定顺序发送到日志接收组件21中，此时日志接收组件12判断收到所述混合日志的数量是否满足设定阈值，若是，则备存储节点2将收到的所有所述混合日志进行按照设定顺序进行储存后，所述后台系统获取备存储节点2获取到的最后一个所述混合日志，并记为最终混合日志，之后备存储节点2获取所述最终混合日志在所述混合日志文件内的终点位置，并记为终点位置坐标，同时备存储节点2还获取所述执行事务内设定的事务结束坐标，并判断所述终点位置坐标是否大于等于所述事务结束坐标，若是，则备存储节点2判定主存储节点1完成将所述混合日志文件发送到备存储节点2的事务。
一实施例中，所述事务存储引擎执行所述执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中的步骤，具体包括：
S41、获取所述主存储节点的储存数据，并记为待处理数据，将所述执行事务进行拆分，从而生成若干个分支事务，所述分支事务用于供所述事务存储引擎内的工作线程独立执行，所述工作线程根据获取到的数据修改命令在每个储存着所述储存数据的存储引擎中启动所述分支事务，从而对所述待处理数据进行修改，将存储引擎中的修改操作记录为所述主重做日志，并且追加写入到混合日志文件中。
如上述实施例所述，事务存储引擎11获取主存储节点1获取内部的储存数据，并记为待处理数据之后，主存储节点1将所述执行事务进行拆分，从而生成若干个分支事务，可以提理解的是，所述分支事务用于供事务存储引擎11内的工作线程独立执行，则所述工作线程根据获取到的数据修改命令在每个储存着主存储节点1内的所述储存数据的存储引擎中启动所述分支事务，从而对主存储节点1内的所述待处理数据进行修改，之后主存储节点1将存储引擎中的修改操作记录为所述主重做日志，并且追加写入到混合日志文件中。
一实施例中，所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制步骤之后，还包括：
S42、获取所述执行事务的事务类型，并判断所述事务类型是否为XA事务，若是，则获取与所述XA事务匹配的设定操作事件，所述设定操作事件为操作提交事件以及操作回滚事件中的一种，所述事务存储引擎执行所述设定操作事件，并将所述设定操作事件对所述待处理数据的修改记录添加到所述混合日志文件当中，获取所述分支事务的提交顺序，并将根据所述提交顺序生成一个提交顺序日志，所述提交顺序日志用于限定事务在所述备存储节点上的处理日志文件中的写入顺序，将所述提交顺序日志添加到所述混合日志文件当中。
如上述实施例所述，事务存储引擎11取所述执行事务的事务类型，可以理解的是，在本实施例中所述事务类型为所述普通事务或所述XA事务中的一种，则当事务存储引擎11判定所述事务类型为XA事务时，则获取与所述XA事务匹配的设定操作事件，所述设定操作事件为操作提交事件以及操作回滚事件中的一种，则此时事务存储引擎11执行所述设定操作事件，并将所述设定操作事件对所述待处理数据的修改记录添加到所述混合日志文件当中，此外事务存储引擎11还获取所述分支事务的提交顺序，并将根据所述提交顺序生成一个提交顺序日志，所述提交顺序日志用于限定事务在所述备存储节点上的处理日志文件中的写入顺序，将所述提交顺序日志添加到所述混合日志文件当中。
一实施例中，所述混合日志内设有一设定储存空间，所述设定储存空间为所述混合日志文件内各个所述混合日志共用的储存空间，所述记录日志合集内设有若干个检查点日志，所述检查点日志储存在所述设定储存空间内，用于记录所述主存储节点在一设定时间点上的一致性状态；
则所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，并让所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果的步骤之后，还包括：
S52、判断所述主存储节点是否出现非正常退出现象，若是，则获取所述各个所述检查点日志中的第一检查点，所述第一检查点用于对各个所述检查点日志进行排序，从而生成对应的查询日志链条，获取所述查询日志链条中首个所述检查点日志以及最后一个所述检查点日志的位置，并分别记为起始标志点以及结束标志点，根据所述起始标志点以及所述结束标志点对所述记录日志合集进行截取，从而生成待恢复日志，所述主存储节点根据所述待恢复日志进行恢复操作。
如上述实施例所述，所述后台系统判断主存储节点1是否出现非正常退出现象，若是，则所述后台系统获取所述各个所述检查点日志中的第一检查点，所述第一检查点用于对各个所述检查点日志进行排序，从而生成对应的查询日志链条，之后所述后台系统获取所述查询日志链条中首个所述检查点日志以及最后一个所述检查点日志的位置，并分别记为起始标志点以及结束标志点，之后所述后台系统根据所述起始标志点以及所述结束标志点对所述记录日志合集进行截取，从而生成待恢复日志，最后主存储节点1根据所述待恢复日志进行恢复操作。
参考图2，一实施例中，备存储节点2内设有一日志分流组件22，日志分流组件22用于将获取到所述混合日志进行储存；
则所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存的步骤，具体包括：
S53、所述日志分流组件将获取到的所述混合日志存入所述备节点中的所述混合日志文件中，然后按照日志类型和存储引擎类型进行分类，从而将所述混合日志重新分解后，生成若干个拆分日志，判断所述拆分日志是否为重做日志，若是，则将所述重做日志按设定顺序分流添加到所述备存储节点内指定类型存储引擎设定的备重做日志文件中，判断所述拆分日志是否为处理日志，若是，则将所述处理日志按照进行设定顺序进行预储存，判断是否收到所述分支事务内最后一条日志，若是，则将所述提交顺序日志写入到所述备存储节点内的备处理日志文件中，将预储存的所述处理日志按照所述提交顺序日志的设定顺序写入到备存储节点内的备处理日志文件中。
如上述实施例所述，日志分流组件22将获取到的所述混合日志存入所述备节点中的所述混合日志文件中，然后按照日志类型和存储引擎类型进行分类，从而实现日志分流组件22从而将所述混合日志重新分解后，生成若干个拆分日志的效果，之后日志分流组件22判断所述拆分日志是否为重做日志，若是，则日志分流组件22将所述重做日志按设定顺序分流添加到备存储节点2内指定类型存储引擎设定的备重做日志文件中，之后日志分流组件22判断所述拆分日志是否为处理日志，若是，则备存储节点2将所述处理日志按照进行设定顺序进行预储存，之后备存储节点2判断是否收到所述分支事务内最后一条日志，若是，则备存储节点2将所述提交顺序日志写入到所述备存储节点内的备处理日志文件中，同时备存储节点2还将预储存的所述处理日志按照所述提交顺序日志的设定顺序写入到备存储节点2内预储存的备处理日志文件中，可以理解的是，所述备处理日志文件实际上就是储存在备存储节点2内的处理日志。
参考图3，本申请还提供了一种多存储引擎数据复制系统，所述系统运行在后台系统当中，所述后台系统内设有主存储节点1以及备存储节点2，主存储节点1与备存储节点2相连，主存储节点1内设有事务存储引擎11以及日志存储引擎12，所述系统包括：
获取单元10，用于获取输入所述主存储节点的数据流，所述数据流来自输入到所述主存储节点的数据输入指令；
第一执行单元20，用于控制所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制；
第二执行单元30，用于控制所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中；
记录单元40，用于获取所述混合日志文件内设置的记录日志合集，所述记录日志合集用于记录所述主存储节点在一设定时间点上的一致性状态；
发送单元50，用于所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果。
上述各单元为执行上述多存储引擎数据复制系统，在此不再一一介绍。
图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器，所述服务器包括但不限于高性能计算机和高性能计算机集群。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现所述多存储引擎数据复制方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行所述多存储引擎数据复制法。
在一个实施例中，本发明提供的多存储引擎数据复制方法可以实现为一种计算机程序的形式，计算机程序可在如图4所示的计算机设备上运行。计算机设备的存储器中可存储组成多存储引擎数据复制装置的各个程序模板。比如：获取单元10、第一执行单元20、第二执行单元30、记录单元40以及发送单元50。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
获取输入所述主存储节点的数据流，所述数据流来自输入到所述主存储节点的数据输入指令，所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制，所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中，获取所述混合日志文件内设置的记录日志合集，所述记录日志合集用于记录所述主存储节点在一设定时间点上的一致性状态，所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果。
综合上述实施例可知，本申请最大的有益效果在于，通过将事务存储引擎以及日志存储引擎输出主处理日志以及主重做日志的整合为混合日志文件，并根据混合日志文件内的记录日志合集将混合日志文件进行截取，从而生成用于进行系统复制的待恢复日志后，最后根据所述待恢复日志进行复制的方式实现了通过对混合日志进行分段截取后生成待恢复日志，从而达到备存储节点在进行复制时只需对截取出的待恢复日志进行回放，无需对整篇主重做日志进行回放的效果；同时，此方法避免了在主节点把并发提交的事务排队提交带来的性能损失，以及主节点上处理日志写入方式带来的IO系统高负载，并且大幅提升了备节点重放日志的速度，从而提升了主节点事务处理性能和主备节点数据复制性能。同时，确保了备节点仍然能够生成正确的处理日志供集群各组件使用和正常工作。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种多存储引擎数据复制方法，其特征在于，所述方法运行在后台系统当中，所述后台系统内设有主存储节点以及备存储节点，所述主存储节点与所述备存储节点相连，所述主存储节点内设有事务存储引擎以及日志存储引擎，所述方法包括：
获取输入所述主存储节点的数据流，所述数据流来自输入到所述主存储节点的数据输入指令；
所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制；
所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中；
获取所述混合日志文件内设置的记录日志合集，所述记录日志合集用于记录所述主存储节点在一设定时间点上的一致性状态；
所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果。
2.如权利要求1所述的多存储引擎数据复制方法，其特征在于，所述混合日志文件内设有若干个混合日志；
则所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中的步骤之后，具体包括：
判断所述混合日志是否为所述事务存储引擎输出；
若是，则获取所述执行事务的事务类型，所述事务类型为普通事务或XA事务中的一种；
获取设定的日志头部空间，并将所述事务类型添加到所述日志头部空间后，输出所述混合日志文件，所述日志头部空间设置在所述主重做日志、所述主处理日志以及所述混合日志内；
若否，则直接输出所述混合日志文件。
3.如权利要求1所述的多存储引擎数据复制方法，其特征在于，所述主存储节点内设有一日志发送组件，所述备存储节点内设有一日志接收组件；
则所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存的步骤，具体包括：
所述日志发送组件将所述混合日志文件内的所述混合日志按照设定顺序发送到所述日志接收组件中；
所述日志接收组件判断收到所述混合日志的数量是否满足设定阈值；
若是，则所述备存储节点将收到的所有所述混合日志进行按照设定顺序进行储存；
获取所述备存储节点获取到的最后一个所述混合日志，并记为最终混合日志；
获取所述最终混合日志在所述混合日志文件内的终点位置，并记为终点位置坐标；
获取所述执行事务的事务结束坐标，并判断所述终点位置坐标是否大于等于所述事务结束坐标；
若是，则判定所述主存储节点完成将所述执行事务的混合日志发送到了所述备存储节点。
4.如权利要求1所述的多存储引擎数据复制方法，其特征在于，所述事务存储引擎执行所述执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中的步骤，具体包括：
获取所述主存储节点的储存数据，并记为待处理数据；
将所述执行事务进行拆分，从而生成若干个分支事务，所述分支事务用于供所述事务存储引擎内的工作线程独立执行；
所述工作线程根据获取到的数据修改命令在每个储存着所述储存数据的存储引擎中启动所述分支事务，从而对所述待处理数据进行修改；
将存储引擎中的修改操作记录为所述主重做日志，并且追加写入到混合日志文件中。
5.如权利要求4所述的多存储引擎数据复制方法，其特征在于，所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制步骤之后，还包括：
获取所述执行事务的事务类型，并判断所述事务类型是否为XA事务；
若是，则获取与所述XA事务匹配的设定操作事件，所述设定操作事件为操作提交事件以及操作回滚事件中的一种；
所述事务存储引擎执行所述设定操作事件，并将所述设定操作事件对所述待处理数据的修改记录添加到所述混合日志文件当中；
获取所述分支事务的提交顺序，并将根据所述提交顺序生成一个提交顺序日志，所述提交顺序日志用于限定事务在所述备存储节点上的处理日志文件中的写入顺序；
将所述提交顺序日志添加到所述混合日志文件当中。
6.如权利要求1所述的多存储引擎数据复制方法，其特征在于，所述混合日志内设有一设定储存空间，所述设定储存空间为所述混合日志文件内各个所述混合日志共用的储存空间，所述记录日志合集内设有若干个检查点日志，所述检查点日志储存在所述设定储存空间内，用于记录所述主存储节点在一设定时间点上的一致性状态；
则所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，并让所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果的步骤之后，还包括：
判断所述主存储节点是否出现非正常退出现象；
若是，则获取所述各个所述检查点日志中的第一检查点，所述第一检查点用于对各个所述检查点日志进行排序，从而生成对应的查询日志链条；
获取所述查询日志链条中首个所述检查点日志以及最后一个所述检查点日志的位置，并分别记为起始标志点以及结束标志点；
根据所述起始标志点以及所述结束标志点对所述记录日志合集进行截取，从而生成待恢复日志；
所述主存储节点根据所述待恢复日志进行恢复操作。
7.如权利要求5所述的多存储引擎数据复制方法，其特征在于，所述备存储节点内设有一日志分流组件，所述日志分流组件用于将获取到所述混合日志进行储存；
则所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存的步骤，具体包括：
所述日志分流组件将获取到的所述混合日志存入所述备储存节点中的所述混合日志文件中，然后按照日志类型和存储引擎类型进行分类，从而将所述混合日志重新分解后，生成若干个拆分日志；
判断所述拆分日志是否为重做日志，若是，则将所述重做日志按设定顺序分流添加到所述备存储节点内指定类型存储引擎设定的备重做日志文件中；
判断所述拆分日志是否为处理日志，若是，则将所述处理日志按照进行设定顺序进行预储存；
判断是否收到所述分支事务内最后一条日志，
若是，则将所述提交顺序日志写入到所述备存储节点内的备处理日志文件中；
将预储存的所述处理日志按照所述提交顺序日志的设定顺序写入到备存储节点内的备处理日志文件中。
8.一种多存储引擎数据复制系统，其特征在于，所述系统运行在后台系统当中，所述后台系统内设有主存储节点以及备存储节点，所述主存储节点与所述备存储节点相连，所述主存储节点内设有事务存储引擎以及日志存储引擎，所述系统包括：
获取单元，用于获取输入所述主存储节点的数据流，所述数据流来自输入到所述主存储节点的数据输入指令；
第一执行单元，用于控制所述事务存储引擎执行输入的执行事务，从而输出对应的主重做日志，并将所述主重做日志追加写入到设定的混合日志文件中，所述混合日志文件用于进行高可用复制；
第二执行单元，用于控制所述日志存储引擎执行所述执行事务，从而输出对应的主处理日志，并将所述主处理日志追加写入到混合日志文件中；
记录单元，用于获取所述混合日志文件内设置的记录日志合集，所述记录日志合集用于记录所述主存储节点在一设定时间点上的一致性状态；
发送单元，用于所述主存储节点将所述记录日志合集以及所述混合日志文件通过过流式传输发送到所述备存储节点进行储存，所述备存储节点进行日志分流后根据所述记录日志合集重放所述主重做日志，从而达到高可用复制的效果。
9.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的多存储引擎数据复制方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多存储引擎数据复制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311057920.2A CN117194566B (zh) | 2023-08-21 | 2023-08-21 | 多存储引擎数据复制方法、系统、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311057920.2A CN117194566B (zh) | 2023-08-21 | 2023-08-21 | 多存储引擎数据复制方法、系统、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117194566A true CN117194566A (zh) | 2023-12-08 |
| CN117194566B CN117194566B (zh) | 2024-04-19 |
Family
ID=88987872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311057920.2A Active CN117194566B (zh) | 2023-08-21 | 2023-08-21 | 多存储引擎数据复制方法、系统、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117194566B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080228834A1 (en) * | 2007-03-14 | 2008-09-18 | Microsoft Corporation | Delaying Database Writes For Database Consistency |
| US20140279929A1 (en) * | 2013-03-15 | 2014-09-18 | Amazon Technologies, Inc. | Database system with database engine and separate distributed storage service |
| US20180225189A1 (en) * | 2016-12-23 | 2018-08-09 | Pusan National University Industry-University Cooperation Foundation | Large event log replay method and system |
| US10303564B1 (en) * | 2013-05-23 | 2019-05-28 | Amazon Technologies, Inc. | Reduced transaction I/O for log-structured storage systems |
| CN111404737A (zh) * | 2020-03-10 | 2020-07-10 | 腾讯科技（深圳）有限公司 | 一种容灾处理方法以及相关装置 |
| CN112084161A (zh) * | 2020-09-16 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 基于数据库的数据处理方法、装置以及可读存储介质 |
| CN113868028A (zh) * | 2020-06-30 | 2021-12-31 | 华为技术有限公司 | 一种在数据节点上回放日志的方法、数据节点及系统 |
| CN114443603A (zh) * | 2022-01-29 | 2022-05-06 | 中国农业银行股份有限公司 | 一种交易日志的回放方法、装置、计算机设备及介质 |
| CN114721976A (zh) * | 2020-12-21 | 2022-07-08 | 达索系统公司 | 用于存储数据库的混合影子分页 |
| CN115098378A (zh) * | 2022-06-28 | 2022-09-23 | 平安银行股份有限公司 | 基于异常断点分类聚合日志片段的方法、装置 |
| CN115114370A (zh) * | 2022-01-20 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 主从数据库的同步方法、装置、电子设备和存储介质 |
| CN115408411A (zh) * | 2022-09-01 | 2022-11-29 | 阿里云计算有限公司 | 数据写入方法、装置、电子设备及存储介质 |
| CN115858236A (zh) * | 2021-09-23 | 2023-03-28 | 华为技术有限公司 | 一种数据备份方法和数据库集群 |
| CN115994053A (zh) * | 2022-11-25 | 2023-04-21 | 金篆信科有限责任公司 | 数据库备机的并行回放方法、装置、电子设备及介质 |
| CN116560904A (zh) * | 2023-04-07 | 2023-08-08 | 苏州浪潮智能科技有限公司 | Nas数据备份容灾方法、系统、终端及存储介质 |
-
2023
- 2023-08-21 CN CN202311057920.2A patent/CN117194566B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080228834A1 (en) * | 2007-03-14 | 2008-09-18 | Microsoft Corporation | Delaying Database Writes For Database Consistency |
| US20140279929A1 (en) * | 2013-03-15 | 2014-09-18 | Amazon Technologies, Inc. | Database system with database engine and separate distributed storage service |
| US10303564B1 (en) * | 2013-05-23 | 2019-05-28 | Amazon Technologies, Inc. | Reduced transaction I/O for log-structured storage systems |
| US20180225189A1 (en) * | 2016-12-23 | 2018-08-09 | Pusan National University Industry-University Cooperation Foundation | Large event log replay method and system |
| CN111404737A (zh) * | 2020-03-10 | 2020-07-10 | 腾讯科技（深圳）有限公司 | 一种容灾处理方法以及相关装置 |
| CN113868028A (zh) * | 2020-06-30 | 2021-12-31 | 华为技术有限公司 | 一种在数据节点上回放日志的方法、数据节点及系统 |
| CN112084161A (zh) * | 2020-09-16 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 基于数据库的数据处理方法、装置以及可读存储介质 |
| CN114721976A (zh) * | 2020-12-21 | 2022-07-08 | 达索系统公司 | 用于存储数据库的混合影子分页 |
| CN115858236A (zh) * | 2021-09-23 | 2023-03-28 | 华为技术有限公司 | 一种数据备份方法和数据库集群 |
| CN115114370A (zh) * | 2022-01-20 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 主从数据库的同步方法、装置、电子设备和存储介质 |
| CN114443603A (zh) * | 2022-01-29 | 2022-05-06 | 中国农业银行股份有限公司 | 一种交易日志的回放方法、装置、计算机设备及介质 |
| CN115098378A (zh) * | 2022-06-28 | 2022-09-23 | 平安银行股份有限公司 | 基于异常断点分类聚合日志片段的方法、装置 |
| CN115408411A (zh) * | 2022-09-01 | 2022-11-29 | 阿里云计算有限公司 | 数据写入方法、装置、电子设备及存储介质 |
| CN115994053A (zh) * | 2022-11-25 | 2023-04-21 | 金篆信科有限责任公司 | 数据库备机的并行回放方法、装置、电子设备及介质 |
| CN116560904A (zh) * | 2023-04-07 | 2023-08-08 | 苏州浪潮智能科技有限公司 | Nas数据备份容灾方法、系统、终端及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 刘文欣: "多主数据库中基于分区的并发控制", 中国优秀硕士学位论文全文数据库信息科技辑, no. 12, 15 December 2022 (2022-12-15), pages 138 - 149 * |
| 庞丽萍, 陈宝利: "基于相互独立检查点的MPI消息日志系统", 华中科技大学学报(自然科学版), no. 08, 30 August 2004 (2004-08-30), pages 62 - 64 * |
| 杨洪章;罗圣美;施景超;王志坤;季一木;: "面向移动通信大数据的云存储系统优化", 计算机应用, no. 1, 15 June 2017 (2017-06-15), pages 34 - 40 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117194566B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11809726B2 (en) | Distributed storage method and device | |
| JP6777673B2 (ja) | インプレーススナップショット | |
| CN107644030B (zh) | 分布式数据库数据同步方法、相关装置及系统 | |
| US7814057B2 (en) | Page recovery using volume snapshots and logs | |
| US11442961B2 (en) | Active transaction list synchronization method and apparatus | |
| US8799213B2 (en) | Combining capture and apply in a distributed information sharing system | |
| US20120011101A1 (en) | Integrating client and server deduplication systems | |
| US20130325828A1 (en) | System and Method For Providing High-Availability and High-Performance Options For Transaction Log | |
| CN105493474B (zh) | 用于支持用于同步分布式数据网格中的数据的分区级别日志的系统及方法 | |
| US9037905B2 (en) | Data processing failure recovery method, system and program | |
| CN109542682B (zh) | 一种数据备份方法、装置、设备和存储介质 | |
| CN107545015B (zh) | 一种查询故障的处理方法及处理装置 | |
| JP2007241486A (ja) | 記憶装置システム | |
| US11748215B2 (en) | Log management method, server, and database system | |
| WO2020119709A1 (zh) | 数据合并的实现方法、装置、系统及存储介质 | |
| CN110196788B (zh) | 一种数据读取方法、装置、系统及存储介质 | |
| CN117194566B (zh) | 多存储引擎数据复制方法、系统、计算机设备 | |
| CN115794819A (zh) | 一种数据写入方法及电子设备 | |
| CN106371919A (zh) | 一种基于映射‑归约计算模型的洗牌数据缓存方法 | |
| CN115563221A (zh) | 数据同步方法、存储系统、设备及存储介质 | |
| CN115934417A (zh) | 一种数据备份方法、系统和设备 | |
| CN111026764B (zh) | 一种数据存储方法、装置、电子产品及存储介质 | |
| CN111541747A (zh) | 一种数据的检查点设置方法及装置 | |
| CN111522688A (zh) | 分布式系统的数据备份方法及装置 | |
| CN113568883B (zh) | 数据写入方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |