CN114116665A - 数据库中并行写入事务日志以提升处理效率的方法 - Google Patents

数据库中并行写入事务日志以提升处理效率的方法 Download PDF

Info

Publication number
CN114116665A
CN114116665A CN202111389585.7A CN202111389585A CN114116665A CN 114116665 A CN114116665 A CN 114116665A CN 202111389585 A CN202111389585 A CN 202111389585A CN 114116665 A CN114116665 A CN 114116665A
Authority
CN
China
Prior art keywords
transaction
transaction log
log
logs
thread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111389585.7A
Other languages
English (en)
Other versions
CN114116665B (zh
Inventor
廖美东
黄晓涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Mass Database Technology Co ltd
Beijing Vastdata Technology Co ltd
Original Assignee
Guangzhou Mass Database Technology Co ltd
Beijing Vastdata Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Mass Database Technology Co ltd, Beijing Vastdata Technology Co ltd filed Critical Guangzhou Mass Database Technology Co ltd
Priority to CN202111389585.7A priority Critical patent/CN114116665B/zh
Publication of CN114116665A publication Critical patent/CN114116665A/zh
Application granted granted Critical
Publication of CN114116665B publication Critical patent/CN114116665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明属于数据库管理系统和计算机软件领域，尤其涉及一种数据库中并行写入事务日志以提升处理效率的方法及其用途。本发明提出了一种新的切实可行的数据库中高效写入及回放事务日志的方法，通过采用多个处理线程负责事务日志落盘，每个处理线程写入各自分配的事务日志文件，避免文件争用，同时把单一事务日志缓冲区设置成多事务日志缓冲区，每个事务日志落盘处理线程只需要负责一个缓冲区的事务日志落盘，有效避免了单一事务日志缓冲区造成的高并发抢占锁，克服了单核心写入事务日志效率低下的缺陷，使得事务日志写入和回放效率显著提高，可以很好地满足高并发场景的应用需要。

Description

数据库中并行写入事务日志以提升处理效率的方法
技术领域
本发明属于数据库管理系统和计算机软件领域，尤其涉及一种数据库中并行写入事务日志以提升处理效率的方法及其用途。
背景技术
(1)目前大部分关系型数据库中，对数据库的所有修改都会写入数据库事务日志，以保证数据的ACID特性同时，提升数据库的业务处理性能。
然而，每个会话自行写入事务日志并保证落盘(参见图1)，此种处理方式虽然简单，但当遇到高并发场景时，如果每个会话都自行打开事务日志文件，并进行写入等各种操作，势必会造成对事务日志文件的频繁争用，从而导致写入事务日志时处理效率低下，大大影响了数据库的吞吐能力。
(2)为了克服单个会话自行写入事务日志的上述缺陷，应对高并发场景下数据库写入事务日志时的争用问题，关系型数据库加入了事务日志缓冲区(缓冲区在内存中)，每个会话在修改数据时，把事务日志写入到数据库事务日志缓冲区中，并由专门的处理进程或线程把事务日志从缓冲区中写入磁盘，同时告诉会话线程日志落盘的实时状态，当会话线程收到日志的落盘状态后，就可以进行后续的业务处理过程(参见图2)。
这种处理方案的优势在于，具有独立的线程负责数据库事务日志落盘，降低了高并发场景下写入事务日志时的争用，事务日志写入线程还可以进行批量写入，从而加快了写入速度。然而，随着多核服务器的发展，上述的单核心负责事务日志落盘处理方案显然无法满足数据库管理的需要，在OLTP场景下，写入数据库事务日志的落盘已成为制约数据库事务日志快速处理的瓶颈。
(3)事务日志回放，由于事务日志都写在一个文件中，事务日志的位置先后就是事务日志写入时的先后顺序，当需要进行事务日志回放时，也只能按照先后顺序进行回放(参见图3)，在高并发场景下，如果多个会话均要求进行事务日志文件的回放，此时也会造成对事务日志文件的争用，导致回放效率显著下降。
综上，出于提高数据库中事务日志写入及回放效率以适应高并发应用场景的需要，亟需一种新的切实可行的数据库中高效写入及回放事务日志的方法。
发明内容
目前，多核服务器迅速发展(已出现超过1000核的服务器)，这些服务器的共同特点是低频多核(单核主频低，整个服务器总体达到1000核心甚至更多，单个核心的处理能力相对较弱，服务器总体算力较强)。但是，现行数据库负责落盘的只有一个线程，所以事务日志落盘最多只能使用一个处理器核心的算力(一个线程最多使用一个CPU核心的算力)，也就是说，仅通过一个事务日志缓冲区并由一个CPU核心负责落盘数千甚至数万个CPU核心产生的事务日志，在OLTP场景下，写入数据库事务日志的落盘必然成为制约事务日志快速处理的瓶颈。
为了应对上述技术壁垒，克服单核心写入事务日志效率低下的技术缺陷，我们提供了一种解决方案。我们采用多个处理线程负责事务日志落盘，每个处理线程写入各自分配的事务日志文件，避免文件争用，以充分利用多核算力。具体而言，为了避免单一事务日志缓冲区造成的高并发抢占锁，我们把单一事务日志缓冲区设置成了多事务日志缓冲区方案，每个事务日志落盘处理线程只需要负责一个缓冲区的事务日志落盘，从而显著提高了事务日志写入和回放效率。
具体而言，本发明提供了一种数据库中并行写入事务日志以提升处理效率的方法，所述方法采用多个处理线程负责事务日志落盘，每个处理线程写入各自分配的事务日志文件，避免文件争用，同时将单一事务日志缓冲区调整设置成多个事务日志缓冲区，每个事务日志落盘处理线程只负责一个事务日志缓冲区的事务日志落盘，从而避免了单一事务日志缓冲区造成的高并发场景下多个会话对事务日志文件的频繁争用问题，提高了事务日志的写入和回放效率。
进一步地，本发明数据库中并行写入事务日志的方法包括以下步骤：
(1)根据服务器CPU架构的类型，把单一的事务日志缓冲区拆分为多个并行的事务日志缓冲区，当服务器采用NUMA架构CPU时，每个NUMA节点都设置有一个与之相对应的事务日志缓冲区；
(2)会话接收到客户端的请求后，进行分析和执行SQL；
(3)执行SQL过程中，对数据部分进行修改，修改数据时把事务日志写入运行本会话的CPU核心所对应的事务日志缓冲区中；
(4)每个事务日志缓冲区都设置有独立的事务日志落盘线程，并把该线程绑定在与该缓冲区邻近的CPU核心运行；事务日志落盘线程循环检查缓冲区中是否有新的事务日志，当有新的事务日志出现时，立刻将该新事务日志写入磁盘中，并向会话线程反馈写入新事务日志的状态；
(5)每个事务日志落盘线程都具有自己的事务日志文件，多个事务日志落盘线程之间不发生相互冲突。
优选地，上述方法步骤(5)中把不同落盘线程的事务日志文件写入到不同的磁盘中，以避免磁盘I/O集中影响数据库性能。
优选地，上述方法中为了避免事务日志文件过大，事务日志根据大小拆分文件。
优选地，上述方法在采用多线程写入不同的事务日志文件时，把时间戳作为事务日志的元素，一起写入到事务日志中，并通过事务日志的时间戳区分事务日志的先后顺序。
进一步地，本发明数据库中并行写入事务日志的方法，多个会话的事务日志分别写入到多个事务日志缓冲区并落盘后，当需要进行事务日志回放时，则针对多个事务日志文件进行并行回放，从而充分利用了服务器算力，事务日志回放方法包括以下步骤：
(1)启动多个事务日志回放线程，每个回放线程负责处理一个文件；当写入事务日志时根据大小对文件进行过拆分，此时每个回放线程负责处理拆分获得的一组文件；
(2)事务日志回放线程读取事务日志，判断是否是事务操作日志；若该事务日志不是事务操作日志，则直接解析并修改对应数据；若该事务日志是事务操作日志，则把该事务日志放入到本线程对应的事务操作队列中，每个事务日志回放线程都包含自己的事务操作队列，事务操作队列内部的事务日志按照时间戳先后顺序排列；
(3)数据库中包含一个事务管理器，在回放过程中，事务管理器采用归并排序的方法，根据时间戳的先后顺序，从各个事务日志回放线程的事务操作队列中获取事务操作日志，进行回放并修改对应的事务状态，直至所有的事务日志回放线程结束；
(4)当存在部分队列的日志为空时，则判断对应的回放线程是否已经回放完成，若未回放完成，则继续等待其下一个事务操作日志；若已回放完成，则进入下一步骤；
(5)当全部回放线程回放完成时，事务管理器把全部事务操作队列的事务操作日志处理完毕，则整个事务日志回放程序结束。
进一步地，为保证事务日志回放过程中数据读取的正确性，每个事务日志回放线程在回放过程中，当遇到事务提交或者回滚的日志，就立刻将其加入到自己的事务操作队列中，而当遇到其他日志时，则直接解析和修改数据。
此外，本发明还涉及上述数据库中并行写入事务日志的方法在数据库管理系统中的用途。
综上，本发明提出了一种新的切实可行的数据库中高效写入及回放事务日志的方法，通过采用多个处理线程负责事务日志落盘，每个处理线程写入各自分配的事务日志文件，避免文件争用，同时把单一事务日志缓冲区设置成多事务日志缓冲区，每个事务日志落盘处理线程只需要负责一个缓冲区的事务日志落盘，有效避免了单一事务日志缓冲区造成的高并发抢占锁，克服了单核心写入事务日志效率低下的缺陷，使得事务日志写入和回放效率显著提高，可以很好地满足高并发场景的应用需要。
附图说明
为了更清楚地说明现有技术和本发明实施例的技术方案，下面对现有技术和本发明实施例中需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本发明中记载的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为单个会话自行写入事务日志的流程示意图。
图2为单核心事务日志管理时事务日志写入及落盘处理的流程示意图。
图3为单核心事务日志管理时事务日志回放的流程示意图。
图4为本发明数据库中并行写入事务日志方法的主体流程示意图。
图5为本发明方法中事务日志回放的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
同时，应理解，本发明的保护范围并不局限于下述特定的具体实施方案；还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。
实施例1：一种数据库中并行写入事务日志以提升处理效率的方法，本方法采用多个处理线程负责事务日志落盘，每个处理线程写入各自分配的事务日志文件，避免文件争用，同时将单一事务日志缓冲区调整设置成多个事务日志缓冲区，每个事务日志落盘处理线程只负责一个事务日志缓冲区的事务日志落盘，从而避免了单一事务日志缓冲区造成的高并发场景下多个会话对事务日志文件的频繁争用问题，提高了事务日志的写入和回放效率。
具体包括以下步骤(参见图4)：
(1)根据服务器CPU架构的类型，把单一的事务日志缓冲区拆分为多个并行的事务日志缓冲区，当服务器采用NUMA架构CPU时，每个NUMA节点都设置有一个与之相对应的事务日志缓冲区。
(2)会话接收到客户端的请求后，进行分析和执行SQL。
(3)执行SQL过程中，对数据部分进行修改，修改数据时把事务日志写入运行本会话的CPU核心所对应的事务日志缓冲区中；另外，为了避免事务日志文件过大，当事务日志过大时，可根据大小拆分文件。
(4)每个事务日志缓冲区都设置有独立的事务日志落盘线程，并把该线程绑定在与该缓冲区邻近的CPU核心运行；事务日志落盘线程循环检查缓冲区中是否有新的事务日志，当有新的事务日志出现时，立刻将该新事务日志写入磁盘中，并向会话线程反馈写入新事务日志的状态；
此外，在采用多线程写入不同的事务日志文件时，把时间戳作为事务日志的元素，一起写入到事务日志中，并通过事务日志的时间戳区分事务日志的先后顺序，例如：
时间戳可由8字节组成，表示从1970年1月1日00:00开始到现在时刻的秒数和纳秒：
前4位是一个32bit整型数，表示秒，最大值为4,294,967,295秒；
后4位是一个32bit整型数，表示纳秒，最大值为999,999,999纳秒。
1501001451s,320841750ns表示距离1970年1月1日00:00开始已经经过了1501001451秒+320841750纳秒。
(5)每个事务日志落盘线程都具有自己的事务日志文件，多个事务日志落盘线程之间不发生相互冲突；另外，如果需要，可以把不同落盘线程的事务日志文件写入到不同的磁盘中，以避免磁盘I/O集中影响数据库性能。
另一方面，本方法实施过程中，多个会话的事务日志分别写入到多个事务日志缓冲区并落盘后，当需要进行事务日志回放时，则针对多个事务日志文件进行并行回放，从而充分利用了服务器算力。
事务日志回放方法包括以下步骤(参见图5)：
(1)启动多个事务日志回放线程，每个回放线程负责处理一个文件；当写入事务日志时根据大小对文件进行过拆分，此时每个回放线程负责处理拆分获得的一组文件。
(2)事务日志回放线程读取事务日志，判断是否是事务操作日志；若该事务日志不是事务操作日志，则直接解析并修改对应数据；若该事务日志是事务操作日志，则把该事务日志放入到本线程对应的事务操作队列中，每个事务日志回放线程都包含自己的事务操作队列，事务操作队列内部的事务日志按照时间戳先后顺序排列。
(3)数据库中包含一个事务管理器，在回放过程中，事务管理器采用归并排序的方法，根据时间戳的先后顺序，从各个事务日志回放线程的事务操作队列中获取事务操作日志，进行回放并修改对应的事务状态，直至所有的事务日志回放线程结束。
(4)当存在部分队列的日志为空时，则判断对应的回放线程是否已经回放完成，若未回放完成，则继续等待其下一个事务操作日志；若已回放完成，则进入下一步骤。
(5)当全部回放线程回放完成时，事务管理器把全部事务操作队列的事务操作日志处理完毕，则整个事务日志回放程序结束。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、替换、改进等，均应包含在本发明的权利要求保护范围之内。

Claims (8)

1.一种数据库中并行写入事务日志以提升处理效率的方法，其特征在于，所述方法采用多个处理线程负责事务日志落盘，每个处理线程写入各自分配的事务日志文件，避免文件争用，同时将单一事务日志缓冲区调整设置成多个事务日志缓冲区，每个事务日志落盘处理线程只负责一个事务日志缓冲区的事务日志落盘，从而避免了单一事务日志缓冲区造成的高并发场景下多个会话对事务日志文件的频繁争用问题，提高了事务日志的写入和回放效率。
2.根据权利要求1所述的数据库中并行写入事务日志的方法，其特征在于，所述方法包括以下步骤：
(1)根据服务器CPU架构的类型，把单一的事务日志缓冲区拆分为多个并行的事务日志缓冲区，当服务器采用NUMA架构CPU时，每个NUMA节点都设置有一个与之相对应的事务日志缓冲区；
(2)会话接收到客户端的请求后，进行分析和执行SQL；
(3)执行SQL过程中，对数据部分进行修改，修改数据时把事务日志写入运行本会话的CPU核心所对应的事务日志缓冲区中；
(4)每个事务日志缓冲区都设置有独立的事务日志落盘线程，并把该线程绑定在与该缓冲区邻近的CPU核心运行；事务日志落盘线程循环检查缓冲区中是否有新的事务日志，当有新的事务日志出现时，立刻将该新事务日志写入磁盘中，并向会话线程反馈写入新事务日志的状态；
(5)每个事务日志落盘线程都具有自己的事务日志文件，多个事务日志落盘线程之间不发生相互冲突。
3.根据权利要求2所述的数据库中并行写入事务日志的方法，其特征在于，步骤(5)中把不同落盘线程的事务日志文件写入到不同的磁盘中，以避免磁盘I/O集中影响数据库性能。
4.根据权利要求2所述的数据库中并行写入事务日志的方法，其特征在于，为了避免事务日志文件过大，事务日志根据大小拆分文件。
5.根据权利要求2所述的数据库中并行写入事务日志的方法，其特征在于，在采用多线程写入不同的事务日志文件时，把时间戳作为事务日志的元素，一起写入到事务日志中，并通过事务日志的时间戳区分事务日志的先后顺序。
6.根据权利要求1所述的数据库中并行写入事务日志的方法，其特征在于，多个会话的事务日志分别写入到多个事务日志缓冲区并落盘后，当需要进行事务日志回放时，则针对多个事务日志文件进行并行回放，从而充分利用了服务器算力，事务日志回放方法包括以下步骤：
(1)启动多个事务日志回放线程，每个回放线程负责处理一个文件；当写入事务日志时根据大小对文件进行过拆分，此时每个回放线程负责处理拆分获得的一组文件；
(2)事务日志回放线程读取事务日志，判断是否是事务操作日志；若该事务日志不是事务操作日志，则直接解析并修改对应数据；若该事务日志是事务操作日志，则把该事务日志放入到本线程对应的事务操作队列中，每个事务日志回放线程都包含自己的事务操作队列，事务操作队列内部的事务日志按照时间戳先后顺序排列；
(3)数据库中包含一个事务管理器，在回放过程中，事务管理器采用归并排序的方法，根据时间戳的先后顺序，从各个事务日志回放线程的事务操作队列中获取事务操作日志，进行回放并修改对应的事务状态，直至所有的事务日志回放线程结束；
(4)当存在部分队列的日志为空时，则判断对应的回放线程是否已经回放完成，若未回放完成，则继续等待其下一个事务操作日志；若已回放完成，则进入下一步骤；
(5)当全部回放线程回放完成时，事务管理器把全部事务操作队列的事务操作日志处理完毕，则整个事务日志回放程序结束。
7.根据权利要求6所述的数据库中并行写入事务日志的方法，其特征在于，为保证事务日志回放过程中数据读取的正确性，每个事务日志回放线程在回放过程中，当遇到事务提交或者回滚的日志，就立刻将其加入到自己的事务操作队列中，而当遇到其他日志时，则直接解析和修改数据。
8.权利要求1-7任一项所述的数据库中并行写入事务日志的方法在数据库管理系统中的用途。
CN202111389585.7A 2021-11-22 2021-11-22 数据库中并行写入事务日志以提升处理效率的方法 Active CN114116665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111389585.7A CN114116665B (zh) 2021-11-22 2021-11-22 数据库中并行写入事务日志以提升处理效率的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111389585.7A CN114116665B (zh) 2021-11-22 2021-11-22 数据库中并行写入事务日志以提升处理效率的方法

Publications (2)

Publication Number Publication Date
CN114116665A true CN114116665A (zh) 2022-03-01
CN114116665B CN114116665B (zh) 2023-07-25

Family

ID=80439715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111389585.7A Active CN114116665B (zh) 2021-11-22 2021-11-22 数据库中并行写入事务日志以提升处理效率的方法

Country Status (1)

Country Link
CN (1) CN114116665B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658805A (zh) * 2022-09-15 2023-01-31 星环信息科技(上海)股份有限公司 一种事务一致性管理引擎及方法
CN116578655A (zh) * 2023-07-06 2023-08-11 舟谱数据技术南京有限公司 一种数据传输系统及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020178177A1 (en) * 2001-05-28 2002-11-28 Park Nam Shik Parallel logging method for transaction processing system
CN108205476A (zh) * 2017-12-27 2018-06-26 郑州云海信息技术有限公司 一种多线程日志输出的方法及装置
CN108319543A (zh) * 2018-01-24 2018-07-24 广州江南科友科技股份有限公司 一种计算机日志数据的异步处理方法及其介质、系统
CN108874588A (zh) * 2018-06-08 2018-11-23 郑州云海信息技术有限公司 一种数据库实例恢复方法和装置
CN109271450A (zh) * 2018-10-10 2019-01-25 北京百度网讯科技有限公司 数据库同步方法、装置、服务器和存储介质
CN110990363A (zh) * 2019-11-29 2020-04-10 交通银行股份有限公司 一种分布式数据库多线程协同事务日志回放方法、系统
CN112416654A (zh) * 2020-11-26 2021-02-26 上海达梦数据库有限公司 一种数据库日志重演方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020178177A1 (en) * 2001-05-28 2002-11-28 Park Nam Shik Parallel logging method for transaction processing system
CN108205476A (zh) * 2017-12-27 2018-06-26 郑州云海信息技术有限公司 一种多线程日志输出的方法及装置
CN108319543A (zh) * 2018-01-24 2018-07-24 广州江南科友科技股份有限公司 一种计算机日志数据的异步处理方法及其介质、系统
CN108874588A (zh) * 2018-06-08 2018-11-23 郑州云海信息技术有限公司 一种数据库实例恢复方法和装置
CN109271450A (zh) * 2018-10-10 2019-01-25 北京百度网讯科技有限公司 数据库同步方法、装置、服务器和存储介质
CN110990363A (zh) * 2019-11-29 2020-04-10 交通银行股份有限公司 一种分布式数据库多线程协同事务日志回放方法、系统
CN112416654A (zh) * 2020-11-26 2021-02-26 上海达梦数据库有限公司 一种数据库日志重演方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周晓云;覃雄派;徐钊;: "一种高效的并行内存数据库事务提交与恢复技术", 中国矿业大学学报, no. 01 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115658805A (zh) * 2022-09-15 2023-01-31 星环信息科技(上海)股份有限公司 一种事务一致性管理引擎及方法
CN116578655A (zh) * 2023-07-06 2023-08-11 舟谱数据技术南京有限公司 一种数据传输系统及其控制方法
CN116578655B (zh) * 2023-07-06 2023-09-15 舟谱数据技术南京有限公司 一种数据传输系统及其控制方法

Also Published As

Publication number Publication date
CN114116665B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US10554771B2 (en) Parallelized replay of captured database workload
US10754874B2 (en) Query dispatching system and method
US9619430B2 (en) Active non-volatile memory post-processing
US7039773B2 (en) Method and mechanism for efficient implementation of ordered records
US9635093B2 (en) Slave side transaction ID buffering for efficient distributed transaction management
US9904721B1 (en) Source-side merging of distributed transactions prior to replication
US10216588B2 (en) Database system recovery using preliminary and final slave node replay positions
US10599630B2 (en) Elimination of log file synchronization delay at transaction commit time
CN114116665A (zh) 数据库中并行写入事务日志以提升处理效率的方法
US20090089338A1 (en) Techniques for file system recovery
WO2019109854A1 (zh) 分布式数据库数据处理方法、装置、存储介质及电子装置
US20110055151A1 (en) Processing Database Operation Requests
WO2022002103A1 (zh) 一种在数据节点上回放日志的方法、数据节点及系统
CN110941502A (zh) 消息处理方法、装置、存储介质及设备
WO2023159976A1 (zh) 数据分段写入方法、数据读取方法及装置
CN113094434A (zh) 数据库同步方法、系统、装置、电子设备及介质
CN115994053A (zh) 数据库备机的并行回放方法、装置、电子设备及介质
US20230315713A1 (en) Operation request processing method, apparatus, device, readable storage medium, and system
US10789087B2 (en) Insight usage across computing nodes running containerized analytics
US9965355B2 (en) System and method for dynamic collection of system management data in a mainframe computing environment
Yuan et al. Rubato DB: A highly scalable staged grid database system for OLTP and big data applications
WO2024098363A1 (zh) 一种基于多核处理器的并发事务处理方法及其系统
CN115904817A (zh) 分布式数据库并行回放方法、装置、电子设备和存储介质
CN113688099B (zh) 基于spdk的数据库存储引擎加速方法及系统
CN110046132B (zh) 一种元数据请求处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant