CN116302699B

CN116302699B - 一种数据库并行回放的控制方法以及控制系统

Info

Publication number: CN116302699B
Application number: CN202310269626.1A
Authority: CN
Inventors: 李勇; 张文江; 王亚辉; 冯国瑜; 孙家彦; 马骅; 梁继良
Original assignee: Beijing Uxsino Software Co ltd
Current assignee: Beijing Uxsino Software Co ltd
Priority date: 2023-03-20
Filing date: 2023-03-20
Publication date: 2024-02-06
Anticipated expiration: 2043-03-20
Also published as: CN116302699A

Abstract

本发明提供了一种数据库并行回放的控制方法以及控制系统，所述控制方法包括：创建startup进程以及指定数据量的日志回放进程redo worker以共享内存队列；startup进程从日志文件中按照顺序读取日志记录，根据日志类型是否进行并行回放，如果是则进行哈希运算，根据哈希运算的结果将日志记录分发到相应的redo worker进行回放；redo worker回放进程根据初始化配置进行表级或页级日志回放，在日志回放的同时提供对数据库的只读服务，保证读取的数据在事务中的一致性。本发明的数据库并行回放的控制方法可以有效改善日志回放性能，提高回放速度，以及故障恢复速度等问题。

Description

一种数据库并行回放的控制方法以及控制系统

技术领域

本发明涉及数据库并行回放领域，具体而言，涉及一种数据库并行回放的控制方法以及控制系统。

背景技术

当业务系统对数据库故障恢复以及同步回放时间有较高性能要求时，在串行日志回放已经达到性能优化瓶颈，需要进一步加快日志回放，可以采用调用多任务并行回放的方法，利用处理器并行处理资源，来加速日志回放效率。

串行日志处理的缺点在恢复日志量较大时，故障恢复时间会很长，影响启动时间，进而影响对外提供服务时间。

有鉴于此，特提出本发明。

发明内容

有鉴于此，本发明公开了一种数据库并行回放的控制方法，该方法可以有效改善日志回放性能，提高回放速度，以及故障恢复速度等问题。

具体地，本发明是通过以下技术方案实现的：

第一方面，本发明公开了一种数据库并行回放的控制方法，包括如下步骤：

创建startup进程以及指定数据量的日志回放进程redo worker以共享内存队列；

startup进程从日志文件中按照顺序读取日志记录，根据日志类型是否进行并行回放，如果是则进行哈希运算，根据哈希运算的结果将日志记录分发到相应的redo worker进行回放；

redo worker回放进程根据初始化配置进行表级或页级日志回放，在日志回放的同时提供对数据库的只读服务，保证读取的数据在事务中的一致性。

优选地，在整个并行回放的过程中主要依靠多个进程实现：

postmaster进程，是数据库的主进程，数据库并行回放的控制方法的部分初始化以及启动过程由此进程完成，具体地，根据读取配置信息对相应模块参数进行初始化；启动startup进程入恢复阶段；

startup进程，日志分发进程，此进程主要用于将日志分发到不同的日志回放进程功能；具体地，开启并行恢复：注册并行回放进程，通知postmaster启动redo workers；读取日志：循环读取日志(record)，根据日志参数，将日志分发到redo worker消息队列或在当前进程回放；

redo worker进程，日志回放的工作进程，此进程用于接收并回放startup进程分发的日志，根据配置存在多个实例，用于并行回放日志。

其中startup进程由postmaster进程来控制启动进入恢复阶段，同时startup进程通知postmaster进程启动redo workers，所述postmaster进程负责数据库并行回放的控制方法的初始化以及启动过程。

本发明的方案还包括了功能参数配置的方法，通过配置文件接口提供给用户进行配置，在启动时加载配置到并行处理框架中，功能参数配置项主要包括以下几项：并行回放功能开关，打开或关闭并行回放功能，关闭后为串行回放；设置并线回放数量，用于设置并行回放工作进程的数量；页级并行开关，用于页级并行的开启与关闭，页级关闭默认为表级并行回放；配置并行回放的内存资源，用于配置日志回放工作进程队列内存容量。

优选地，日志是否可分发，以下日志类型等信息引用与数据库内核定义，以下为具体说明：

日志类型为RM_HEAP_ID、RM_HEAP2_ID、RM_BTREE_ID、RM_HASH_ID、RM_GIN_ID、RM_GIST_ID、RM_SEQ_ID、RM_SPGIST_ID、RM_BRIN_ID、RM_GENERIC_ID等，日志是可并行回放，分发给redo workers；

日志类型为RM_XACT_ID等事务相关的不可分发；

日志类型为RM_XLOG_ID等checkpoint相关的，不可分发，必须等待所有的redoworkers回放完成。

优选地，日志回放的过程中，需要根据数据库当前状态判断是否需要恢复，如果需要则获取恢复的起始位点以及目标恢复时间线进行日志恢复；恢复环境清理后退出日志回放。

优选地，确认数据库需要恢复的过程包括：需要恢复则启动日志回放，通过检查点文件读取第一条需要回放日志，启动并行日志回放，进入循环回放日志。

在上述过程中，如果不需要回放直接启动数据库，不进行日志回放。

优选地，循环回放日志的过程中，根据日志类型判断日志是否分发，分发则将日志记录分发到相应的消息队列，否则直接进行回放，然后进行下一条日志记录的读取，按照上述方法进行判断是否分发。

优选地，在退出日志回放之前，读取最后一个有效或回放日志记录，记录到日志文件中，检查如果没有恢复到一致点或结束点终止进程，释放日志回放时申请的内存。

优选地，在日志并行回放的过程中应当保证事务的一致性，在事务提交之前，应该保证当前事务的所有日志均已回放完成，同一事务的提交日志必须是串行的(由startup进程回放)。

第二方面，本发明公开了一种数据库并行回放的控制系统，包括：

创建模块：用于创建startup进程以及指定数据量的日志回放进程redo worker以共享内存队列；

分发模块：用于startup进程从日志文件中按照顺序读取日志记录，根据日志类型是否进行并行回放，如果是则进行哈希运算，根据哈希运算的结果将日志记录分发到相应的redo worker进行回放；

回放模块：用于redo worker回放进程根据初始化配置进行表级或页级日志回放，在日志回放的同时提供对数据库的只读服务，保证读取的数据在事务中的一致性。

第三方面，本发明公开了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述数据库并行回放的控制方法的步骤。

第四方面，本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述数据库并行回放的控制方法的步骤。

本发明的数据库并行回放的控制方法以及控制系统，相比于串行回放，并行回放增加了对硬件的利用率，使得日志回放可以并发处理增加了日志回放的处理性能；增加回放日志并行读取数据单元功能，可以在日志回放的同时提供数据的只读服务，增加数据在日志回放阶段对读数据操作的吞吐量。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例的并行日志回放运行架构整体示意图；

图2为本发明实施例的日志分发以及并行处理的流程图；

图3为本发明实施例的日志分发单元的功能流程图；

图4为根据本发明实施例的回放日志并行读取数据单元功能流程图；

图5为本发明实施例提供的一种计算机设备的流程示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明公开了一种数据库并行回放的控制方法，包括如下步骤：

在本发明中，如图1所示，存在两种进程startup进程与redo worker进程，通过并行回放框架启动1个startup进程与多个redo worker进程和初始化对应数量的消息队列，启动redo worker进程的数量由用户通过配置文件配置，并提供默认值：

postmaster进程是数据库的主进程，并行回放框架的启动部分由postmaster进程执行，创建startup与redo worker以及对应数量的共享内存消息队列；

本发明中进程间的启动与日志的分发流程如下：

S1：postmaster进入初始化，通过判断检查点信息判断是否需要进行日志回放；

S2：启动startup进程，初始化启动成功后，通知读postmaster启动redo worker进程；

S3：接受startup通知，启动redo workers进程，以及共享内存消息队列。

如图2所示startup进程处理日志记录的步骤如下：

S4：循环读取日志信息，通过日志类型判断是否可以分发，不可以分发直接回放日志

S6：如果日志记录可以分发，通过HASH运算得到redo workers进程标识，将日志发送到redo workers进程注册的消息队列。

日志类型引用数据库内核相关概念，可分发的类型为可以被分发到消息队列的日志，不可分发的类型为,不发送到消息队列需要等待所有redo workers对回放日志处理完成后再进行回放；

可分发日志类型为RM_HEAP_ID、RM_HEAP2_ID、RM_BTREE_ID、RM_HASH_ID、RM_GIN_ID、RM_GIST_ID、RM_SEQ_ID、RM_SPGIST_ID、RM_BRIN_ID、RM_GENERIC_ID等；

不可分发的日志类型：RM_XACT_ID等事务相关类型、RM_XLOG_ID等检查点相关的；

计算redo workers进程标识的哈希运算模块还包括以下内容；

根据初始化配置信息，可以获得当前是表级或者页级回放，计算redo workers进程标识的方式分为以下两种方式：

从日志文件中得到一条记录，从record中解析出{reloid,forknum,blocknum}(表的oid，forknum，块号)，根据{reloid,forknum,blocknum,nworkers}进行HASH计算出[0,workernum-1]之间的值workernum(redo worker的序号)。

redo workers核心进程工作步骤如下：

S7：挂载消息队列

S8：循环读取挂载消息队列中的日志，调用数据库回放模块进行日志回放。

如图3所示，日志分发过程支持页级/表级应用方法如下：

页级表级分发中计算worknum的方法如下

1)表级日志分发算法：worknum＝reloid％nwokers

2)页级日志分发算法：workernum＝(reloid+(forknum*7)+blkno+(reloid&*(nworkers/4))％nworker

如果一条日志记录包含多个引用页，页级并行方法如下：

将日志分别分发给多个redo worker，重复回放。在回放时会计算页面的workernum，如果不属于该回放进程，丢弃次日志不进行回放。

LSN是数据库日志的唯一标识，每条日志的标识不重复。通过标识区分日志的先后顺序。

如图4所示，回放日志并行读取数据单元，日志回放的同时，可以提供对数据库的只读服务，并保证读取数据在事务中的一致性；

一个事务可能包含多条日志，每条日志按照表或页分发给多个redo worker，而多个redo worker的回放日志的顺序是无法保证的。为了保证事务一致性，在事务提交之前，应该保证当前事务的所有日志均已回放完成，即小于事务提交日志lsn的日志均已回放完成。且事务提交日志必须是串行(由startup进程回放)，用于保证事务的一致性。

另外，本发明还提供了一种数据库并行回放的控制系统，具体包括：

该处理系统主要由上述三个模块构成，通过该系统的搭建很好的改善日志回放性能，提高回放速度，以及提高故障恢复速度。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

图5为本发明公开的一种计算机设备的结构示意图。参考图5所示，该计算机设备400，至少包括存储器402和处理器401；所述存储器402通过通信总线403和处理器连接，用于存储所述处理器401可执行的计算机指令，所述处理器401用于从所述存储器402读取计算机指令以实现上述任一实施例所述的数据库并行回放的控制方法的步骤。

对于上述装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部磁盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

最后应说明的是：虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims

1.一种数据库并行回放的控制方法，其特征在于，包括如下步骤：

redo worker回放进程根据初始化配置进行表级或页级日志回放，在日志回放的同时提供对数据库的只读服务，保证读取的数据在事务中的一致性；

页级表级分发中计算worknum的方法如下：

1)表级日志分发算法：worknum＝reloid％nwokers

如果一条日志记录包含多个引用页，页级并行方法如下：

将日志分别分发给多个redo worker，重复回放，在回放时会计算页面的workernum，如果不属于该回放进程，丢弃次日志不进行回放，

LSN是数据库日志的唯一标识，每条日志的标识不重复，通过标识区分日志的先后顺序。

2.根据权利要求1所述的控制方法，其特征在于，所述startup进程由postmaster进程来控制启动进入恢复阶段，同时startup进程通知postmaster进程启动redo workers，所述postmaster进程负责数据库并行回放的控制方法的初始化以及启动过程。

3.根据权利要求2所述的控制方法，其特征在于，以表或页面为单位对日志记录进行所述哈希运算，所述哈希运算的过程包括：从日志记录中解析出计算redo worker序号的字段，通过哈希运算计算获得redo worker序号，将日志分发到对应的redo worker进程的消息队列进行回放。

4.根据权利要求3所述的控制方法，其特征在于，日志回放的过程中，需要根据数据库当前状态判断是否需要恢复，如果需要则获取恢复的起始位点以及目标恢复时间线进行日志恢复；恢复环境清理后退出日志回放。

5.根据权利要求4所述的控制方法，其特征在于，确认数据库需要恢复的过程包括：需要恢复则启动日志回放，通过检查点文件读取第一条需要回放日志，启动并行日志回放，进入循环回放日志。

6.根据权利要求4所述的控制方法，其特征在于，循环回放日志的过程中，根据日志类型判断日志是否分发，分发则将日志记录分发到相应的消息队列，否则直接进行回放，然后进行下一条日志记录的读取，按照上述方法进行判断是否分发。

7.根据权利要求4所述的控制方法，其特征在于，在退出日志回放之前，读取最后一个有效或回放日志记录，记录到日志文件中，检查如果没有恢复到一致点或结束点终止进程，释放日志回放时申请的内存。

8.采用权利要求1-7任一项所述的数据库并行回放的控制方法的控制系统，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序执行时实现权利要求1-7任一项所述数据库并行回放的控制方法的步骤。