CN112131318B

CN112131318B - 一种数据库集群中预写日志记录排序系统

Info

Publication number: CN112131318B
Application number: CN202011367590.3A
Authority: CN
Inventors: 赵宗鹏; 张震阳; 曹宝峰; 李垠; 张争; 逯瑶
Original assignee: Beijing Uxsino Software Co ltd
Current assignee: Beijing Uxsino Software Co ltd
Priority date: 2020-11-30
Filing date: 2020-11-30
Publication date: 2021-03-16
Anticipated expiration: 2040-11-30
Also published as: CN112131318A

Abstract

本发明提供一种数据库集群中预写日志记录排序系统，能够为实现数据库数据一致性恢复提供基础支撑。WAL日志顺序号生成模块用于生成逻辑化和全局化的WAL日志记录的SNU；SNU初始化模块用于对数据库集群重启后的各个节点的SNU进行初始化，对数据库集群运行中新节点的SNU进行初始化；SNU同步发送与重传模块用于在发送节点的事务提交时，对提交的SNU进行广播同步，对同步失败的接收节点进行重传发送；SNU接收与协调模块用于根据消息中的SNU对接收节点当前的SNU进行更新协调；SNU全局排序模块用于在更新协调的基础上，对数据库集群的所有节点中需要恢复的WAL日志记录进行全局排序。

Description

一种数据库集群中预写日志记录排序系统

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据库集群中预写日志记录排序系统。

背景技术

在大数据时代，随着数据量的爆发式增长，单机数据库系统已经越来越难以满足企业不断增长的业务需求了，因此对于分布式集群数据库的需求亦是水涨船高，作为最出色的单机数据库，UXDB也在大力探索和发展分布式集群的解决方案。

根据集群的功能特点可以分为3大类：高可用集群、负载均衡集群、高性能集群。从数据共享的角度对集群分类的话，还可以将其分成非共享存储（Share-nothing）和共享存储（Share-everything）两种结构。

对于Share-everything结构，集群中所有的节点都会访问共享的磁盘，所以很多时候可以把这种架构称为“共享磁盘架构”，这种架构的最大特点就是：通过高速的存储局域网将多个节点连接在一起，实现对共享磁盘的并发读、写操作。Share-everything集群架构成功地避免了Share-nothing集群的缺点。这种集群能够实现非常好的高可用性、负载均衡和扩展性。利用UXDB来实现此种集群架构，所有节点对同一磁盘存储进行并发读、写操作，会面临较多的技术挑战，需要支持分布式事务、全局快照、全局死锁、全局数据恢复等功能。

UXDB SRAC（Super Real Application Cluster）数据库集群系统就是基于上述的share-everything存储架构，以单机数据库UXDB为基础, 发展出的一种基于内存融合的数据库集群系统。而本发明实施例就是为解决UXDB SRAC集群数据恢复需求，而设计出的一种“日志全局排序技术”。

UXDB单机数据库（以下简称“单机数据库”）下WAL日志排序使用的是一种叫LSN（Log Sequence Number）的机制，此种机制在单机下能够很好的运作，但当将单机数据库扩展到内存融合数据库集群，就无法保证集群的数据一致性恢复了。现有机制在集群下存在如下缺点：

1）集群下存在多个实例节点，每个节点都有自己的WAL日志，每个WAL日志中的LSN可能会出现重复；

2）LSN不单纯是一个自增的顺序号，在单机数据库中还承担着“日志文件字节偏移”的物理功能。因此无法全局化，否则会丢失“字节偏移”的物理意义。

因此，不能将原来的“单机数据库LSN”简单的扩展为“全局LSN”，对于集群系统，在数据库启动进行数据恢复时，需要检查所有节点下的WAL日志，数据的恢复依赖于多个节点的WAL日志，因此就需要一种机制，使得在集群的级别下，对多个节点的WAL日志进行排序，为实现数据库数据一致性恢复提供基础支撑。

发明内容

本发明实施例提供一种数据库集群中预写日志记录排序系统，包括：

预写WAL日志顺序号SNU生成模块、SNU初始化模块、SNU同步发送与重传模块、SNU接收与协调模块以及SNU全局排序模块；

所述WAL日志顺序号生成模块，用于生成逻辑化和全局化的WAL日志记录的SNU；

所述SNU初始化模块，用于对数据库集群重启后的各个节点的SNU进行初始化，以及对所述数据库集群运行中新节点加入后的所述新节点的SNU进行初始化；

所述SNU同步发送与重传模块，用于在发送节点的SNU生成的基础上，在发送节点的事务提交时，对提交的SNU进行广播同步，并且对同步失败的接收节点进行重传发送；

所述SNU接收与协调模块，用于在接收节点接收到广播同步的消息后，根据所述消息中的SNU对接收节点当前的SNU进行更新协调；

所述SNU全局排序模块，用于在所述更新协调的基础上，对数据库集群的所有节点中需要恢复的WAL日志记录进行全局排序。

根据本发明一个实施例的数据库集群中预写日志记录排序系统，所述数据库集群中的每个节点具有对应的SNU生成器，在节点中各个事务访问所述SNU生成器以获取SNU之前，获取节点内相应的锁。

根据本发明实施例的数据库集群中预写日志记录排序系统，所述SNU初始化模块，具体用于在所述数据库集群重启后，同步重启后的各个节点的SNU的连续性；在所述数据库集群运行中新节点加入后，同步所述新节点的SNU与其他节点的SNU的一致性。

根据本发明实施例的数据库集群中预写日志记录排序系统，所述SNU同步发送与重传模块，具体用于在发送节点的SNU生成的基础上，在所述发送节点上的事务提交时，将所述发送节点的SNU通过同步消息进行广播，若存在未对所述同步消息进行回复的当前接收节点，则确定所述发送节点的SNU需要重传。

根据本发明实施例的数据库集群中预写日志记录排序系统，所述SNU接收与协调模块，具体用于在所述当前接收节点接收到所述发送节点的同步消息后，对所述同步消息中的内容进行解析，将解析得到的所述发送节点的SNU与所述当前接收节点的当前SNU进行更新协调。

根据本发明实施例的数据库集群中预写日志记录排序系统，所述SNU接收与协调模块，具体用于若所述发送节点的SNU大于或等于所述当前接收节点的当前SNU，则将所述当前接收节点的当前SNU更新为所述发送节点的SNU加1；若所述发送节点的SNU小于所述当前接收节点的当前SNU，则不进行更新操作。

根据本发明实施例的数据库集群中预写日志记录排序系统，在执行更新操作或不进行更新操作后，所述当前接收节点向所述发送节点发送回复消息。

根据本发明实施例的数据库集群中预写日志记录排序系统，所述SNU全局排序模块，具体用于当数据库集群重启时，检测控制文件，当根据所述控制文件确定所述数据库集群需要数据恢复时，对所述数据库集群中所有节点中需要恢复的WAL日志记录进行提取，并按照所述WAL日志记录上的SNU号进行全局排序。

本发明实施例提供的一种数据库集群中预写日志记录排序系统，通过对数据库集群的所有节点中需要恢复的WAL日志记录进行全局排序，为实现数据库数据一致性恢复提供了基础支撑。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据库集群中预写日志记录排序系统功能示意图；

图2为本发明实施例提供的一种数据库集群中日志记录全局排序的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例就是基于上述share-everything结构，以UXDB单机数据库为基础，在内存融合架构的集群数据库系统中，为实现其全局数据恢复需求，而设计一种“日志全局排序技术”。

请参阅图1，图1为本发明实施例提供的一种数据库集群中预写日志记录排序系统功能示意图，包括：

WAL日志顺序号（SNU）生成模块S101、SNU初始化模块S102、SNU同步发送与重传模块S103、SNU接收与协调模块S104以及SNU全局排序模块S105；

所述WAL日志顺序号生成模块S101，用于生成逻辑化和全局化的WAL日志记录的SNU；具体地，能够在集群系统中产生一个类似于内部逻辑时钟的WAL日志记录顺序号，此顺序号是是一个单纯的逻辑顺序号，可以在单个节点中能够做到唯一且自增，还能够在多个节点中进行全局的可排序；

所述SNU初始化模块S102，用于对数据库集群重启后的各个节点的SNU进行初始化，以及对所述数据库集群运行中新节点加入后的所述新节点的SNU进行初始化；

所述SNU同步发送与重传模块S103用于在发送节点的SNU生成的基础上，在发送节点的事务提交时，对提交的SNU进行广播同步，并且对同步失败的接收节点进行重传发送；

所述SNU接收与协调模块S104用于在接收节点接收到广播同步的消息后，根据所述消息中的SNU对接收节点当前的SNU进行更新协调；

所述SNU全局排序模块S105，用于在所述更新协调的基础上，对数据库集群的所有节点中需要恢复的WAL日志记录进行全局排序。

在一些可能的实施例中，所述数据库集群中的每个节点具有对应的SNU生成器，在节点中各个事务访问所述SNU生成器以获取SNU之前，获取节点内相应的锁。

具体地，WAL日志顺序号生成模块S101能够在数据库集群中产生WAL日志记录顺序号，可以在单个节点中做到自增。数据库集群中的每个节点都有自己的SNU生成器，而不是所有节点从某个主节点中统一获取，即SNU的生成需要是全对称而非主从式的架构。

具体地，SNU初始化模块S102分为两个部分，一是集群重启后各个节点SNU的初始化，二是集群运行中新节点加入后新节点SNU的初始化，具体实施方式为：

（1）新节点加入时SNU初始化

当集群数据库运行过程中，当有新节点加入集群时，需要对其的SNU进行同步，同步流程如下：

a．新加入节点向集群内所有已加入的节点发送广播请求，请求其他节点将自己当前的SNU发送给自己；

b．集群内其他节点收到新节点发送的请求后，将自己当前的SNU发送给新节点；

c．新节点在指定的时间段中接收集群内其他节点的回复，当超过此时间段后，停止接收，然后检查已接收的回复数量是否大于零，即在指定时间段内至少收到一个节点的回复，然后新节点从接收到所有的SNU中选择SNU最大的（即max（SNU1， SNU2， SNU3， …）作为自己当前的SNU；如果在指定时间段内，接收到回复数量为零，则重复上述同步流程，直到至少接收到一个节点的回复。

（2）集群重启时SNU初始化

当前集群重启时，第一个启动的节点对共享存储下的所有WAL日志进行扫描，从WAL中查找出最大的SNU，在此SNU基础上加1，作为自己的初始SNU，其他节点依次启动时，按照上述新加入节点SNU的初始化机制完成初始化即可。

在一些可能的实施例中，所述SNU同步发送与重传模块S103具体用于在发送节点的SNU生成的基础上，在所述发送节点上的事务提交时，将所述发送节点的SNU通过同步消息进行广播，若存在未对所述同步消息进行回复的当前接收节点，则确定所述发送节点的SNU需要重传。

具体地，每个节点都有自己的SNU生成器，当一个节点上的事务提交时，通过SNU同步发送与重传模块S103将节点的SNU广播出去；当前节点将SNU同步发送给其他节点后，其他节点需要就是否收到同步消息向发送节点进行回复，如果某个节点没有回复，则需要进行重传。

进一步地，所述SNU接收与协调模块S104具体用于在所述当前接收节点接收到所述发送节点的同步消息后，对所述同步消息中的内容进行解析，将解析得到的所述发送节点的SNU与所述当前接收节点的当前SNU进行更新协调。

具体地，其他节点接收到发送节点的SNU同步消息后，负责对同步消息的内容进行解析，将解析得到的接收SNU与节点当前SNU进行比较更新，确保所有节点的SNU均保持协调；协调的流程为：如果发送节点的SNU大于或等于节点当前的SNU，则将节点当前SNU更新为发送节点的SNU加1；如果发送节点的SNU小于节点当前的SNU，则忽略此次更新。另外无论最终是否更新，节点接收到发送节点的SNU并进行处理后，需要向发送节点回复消息。

在一些可能的实施例中，所述SNU全局排序模块S105，具体用于当数据库集群重启时，检测控制文件，当根据所述控制文件确定所述数据库集群需要数据恢复时，对所述数据库集群中所有节点中需要恢复的WAL日志记录进行提取，并按照所述WAL日志记录上的SNU号进行全局排序。

具体地，在上述实施例的基础上，当数据库重启时，SNU全局排序模块S105首先检测控制文件，当根据控制文件发现数据库需要数据恢复时，将数据库集群中所有节点中需要恢复的WAL日志记录取出，并按照WAL日志记录上的SNU号，进行全局排序，排好顺序后，就可以参照单机数据库的方式，顺序进行日志恢复。

综上，采用一种全对称而非主从式架构，对于单个节点，SNU的增长无需时刻与其他节点同步，仅当事务提交时与其他节点同步，从而极大减轻了网络负载，提高了数据库集群的并发性能。

为了具体说明图1所述模块能达到的具体效果，请参阅图2，图2为本发明实施例提供的一种数据库集群中日志记录全局排序的结构示意图，包括：

RAC全数据恢复模块、全节点联立日志扫描模块以及数据恢复模块；

其中，全节点联立日志扫描模块连接node1 wal 、node2 wal...、node N wal，其中node1的日志号为wal record snu1、wal record snu2、wal record snu3、wal recordsnu4、wal record snu5、wal record snu6；node2 的日志号为wal record snu1、walrecord snu2、wal record snu3、wal record snu4、wal record snu11、wal recordsnu12；node N 的日志号为wal record snu1、wal record snu2、wal record snu3、walrecord snu4、wal record snu5、wal record snu18。

在本发明实施例所述日志记录全局排序方法中，不同节点间的序号可能重复。如果不同事务修改的数据行不存在交集，则数据日志记录是近似符合用户的操作历史顺序的，不同节点间是有可能出现重复序号的；但是，如果不同事务修改的数据行存在交集，在数据库隔离性机制的配合下，对于任何一行的操作日志顺序一定是严格符合用户的操作历史顺序的。由此保证数据库集群下数据库数据恢复的一致性。

以RAC数据库集群为例，当RAC数据库集群重启时，首先检查控制文件，以确认RAC数据库集群是否是正常关闭，还是异常关闭。如果确认异常关闭，则要根据所有节点的WAL日志，来对数据进行恢复，具体恢复流程如下为：

逐个扫描各个节点的控制文件，从最新的检查点（Checkpoint）开始扫描每个节点中的需要重做（Redo）的WAL日志记录，根据每条WAL日志记录中的SNU号，对所有节点扫描到的“重做”WAL日志记录进行一个全局的排序，在图1各个实现模块的基础上，按照SNU号排好顺序的WAL日志记录集合中，相干数据(即不同事务修改存在交集的数据行)的WAL日志记录一定是严格按照用户操作的历史顺序的，非相干数据(即不同事务修改不存在交集的数据行)的WAL日志记录也是近似按照用户操作的历史顺序的，对此全局排序的WAL日志记录集合像单机数据库一样进行“重做播放（Redo Replay）”，就可以确保恢复出来的数据库数据的一致性和最终的完整性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种数据库集群中预写日志记录排序系统，其特征在于，包括：

WAL顺序号SNU生成模块、SNU初始化模块、SNU同步发送与重传模块、SNU接收与协调模块以及SNU全局排序模块；

所述WAL顺序号SNU生成模块，用于生成逻辑化和全局化的WAL记录的SNU；

所述SNU全局排序模块，用于在所述更新协调的基础上，对数据库集群的所有节点中需要恢复的WAL记录进行全局排序；

所述SNU初始化模块，具体用于：

（1）新节点加入时SNU初始化：

a．新节点向集群内所有已加入的节点发送广播请求，请求其他节点将自己当前的SNU发送给自己；

c．新节点在指定的时间段中接收集群内其他节点的回复，当超过此时间段后，停止接收，然后检查已接收的回复数量是否大于零，如果在指定时间段内至少收到一个节点的回复，新节点从接收到所有的SNU中选择最大的SNU作为自己当前的SNU；如果在指定时间段内接收到回复数量为零，则重复上述同步流程，直到至少接收到一个节点的回复；

（2）集群重启时SNU初始化：

当前集群重启时，第一个启动的节点对共享存储下的所有WAL进行扫描，从WAL中查找出最大的SNU，在此SNU基础上加1，作为自己的初始SNU，其他节点依次启动时，按照上述新节点加入时SNU初始化的机制完成初始化；

所述SNU同步发送与重传模块，具体用于在发送节点的SNU生成的基础上，在所述发送节点上的事务提交时，将所述发送节点的SNU通过同步消息进行广播，若存在未对所述同步消息进行回复的当前接收节点，则确定所述发送节点的SNU需要重传；

所述SNU接收与协调模块，具体用于在所述当前接收节点接收到所述发送节点的同步消息后，对所述同步消息中的内容进行解析，将解析得到的所述发送节点的SNU与所述当前接收节点的当前SNU进行更新协调；

所述SNU接收与协调模块，具体用于若所述发送节点的SNU大于或等于所述当前接收节点的当前SNU，则将所述当前接收节点的当前SNU更新为所述发送节点的SNU加1；若所述发送节点的SNU小于所述当前接收节点的当前SNU，则不进行更新操作。

2.根据权利要求1所述的数据库集群中预写日志记录排序系统，其特征在于，所述数据库集群中的每个节点具有对应的SNU生成器，在节点中各个事务访问所述SNU生成器以获取SNU之前，获取节点内相应的锁。

3.根据权利要求1所述的数据库集群中预写日志记录排序系统，其特征在于，所述SNU初始化模块，具体用于在所述数据库集群重启后，实现重启后的各个节点的SNU的连续性；在所述数据库集群运行中新节点加入后，实现所述新节点的SNU与其他节点的SNU的一致性。

4.根据权利要求1-3任一项所述的数据库集群中预写日志记录排序系统，其特征在于，所述SNU全局排序模块，具体用于当数据库集群重启时，检测控制文件，当根据所述控制文件确定所述数据库集群需要数据恢复时，对所述数据库集群中所有节点中需要恢复的WAL记录进行提取，并按照所述WAL记录上的SNU号进行全局排序。