CN111813607B - 一种基于内存融合的数据库集群恢复日志处理系统 - Google Patents

Abstract

本发明实施例提供一种基于内存融合的数据库集群恢复日志处理系统，包括：数据块发送处理模块、数据块接收处理模块、内存维护与清理模块以及脏页传递链路日志扫描模块；数据块发送处理模块用于描述数据块的脏页发送记录，并在相应的内存和日志中添加脏页发送记录；数据块接收处理模块用于描述数据块的脏页接收记录，并在相应的内存和日志中添加脏页接收记录；内存维护与清理模块用于维护脏页发送记录和脏页接收记录，以及清理数据块刷盘之后的数据块传递链路上的相关的脏页发送记录和脏页接收记录；脏页传递链路日志扫描模块用于在数据库集群启动并执行离线恢复的时候，根据脏页发送记录和脏页接收记录确定数据库集群内数据恢复的方法。

Description

一种基于内存融合的数据库集群恢复日志处理系统

技术领域

本发明涉及数据库技术领域，尤其涉及一种基于内存融合的数据库集群恢复日志处理系统。

背景技术

数据库集群技术是将多台服务器联合起来组成集群来实现综合性能优于单个大型服务器的技术，这种技术不但能够满足业务应用的需要，而且能够大幅度的节约投资成本。数据库集群技术分属两类体系：基于数据库引擎的集群技术和基于数据库网关（中间件）的集群技术。随着企业的发展，企业的业务应用将面临产生和处理越来越多的数据，这些数据的抽取和组合将用于分析以满足快速响应市场变化和调整企业策略的目的。

为满足实际需要，目前在业界中存在两种被普遍认可的方案：分布式数据库系统和实时应用集群（Real Application Cluster，RAC）系统。前者采用分片（sharding）的方式将数据进行有效的分片并分散在多个物理上分布的机器上进行部署，从而形成逻辑上统一但物理上分布的数据库系统；此种方式通常都需要应用系统进行相应的改造，并且在数据处理上有一定的约束，比如：尽可能的避免数据在不同节点之间的结合（join），后者可以在应用系统零修改的前提下满足该要求。

在实时应用集群系统中，对于单机数据库ACID事务控制系统中的“D”（数据持久性）产生了明显的变化。在单机数据库系统内，使用单个事务日志服务，日志写入的顺序是串行的。在基于内存融合的数据库集群模式下，每个数据库节点（node）都能够操作相同的数据，但是每个数据库节点只在本数据库节点相关的事务日志文件中写入。故此，与单机数据库系统相比，基于内存融合的数据库集群系统下的日志写入不是顺序的，而是分布在多个日志文件中的，是跳跃的。故此，基于内存融合的数据库集群系统无法使用原数据恢复流程。

发明内容

本发明实施例提供一种基于内存融合的数据库集群恢复日志处理系统，用以解决现有技术中无法使用原数据恢复流程的缺陷，实现在内存中以及日志中完整地记录数据块的操作顺序。

本发明实施例提供一种基于内存融合的数据库集群恢复日志处理系统，包括：

数据块发送处理模块、数据块接收处理模块、内存维护与清理模块以及脏页传递链路日志扫描模块；

所述数据块发送处理模块，用于描述数据块的脏页发送记录，并在相应的内存和日志中添加所述脏页发送记录；

所述数据块接收处理模块，用于描述数据块的脏页接收记录，并在相应的内存和日志中添加所述脏页接收记录；

所述内存维护与清理模块，用于维护所述脏页发送记录和所述脏页接收记录，以及清理数据块刷盘之后的数据块传递链路上的相关的脏页发送记录和脏页接收记录；

所述脏页传递链路日志扫描模块，用于在数据库集群启动并执行离线恢复的时候，根据所述脏页发送记录和所述脏页接收记录确定所述数据库集群内数据恢复的方法；所述数据库集群包括多个数据库节点。

根据本发明一个实施例的基于内存融合的数据库集群恢复日志处理系统，所述多个数据库节点使用共享存储服务或共享的磁盘阵列之上的同一份数据存储，所述共享存储服务提供的共享存储上的数据部署方式具体为：所述数据库集群的数据首先由单个数据库节点进行数据库数据的初始化，然后多个所述数据库节点使用所述初始化后的数据，所述多个数据库节点使用位于共享存储之上同一份数据，最后每个数据库节点的事务日志位于共享存储之上的不同目录下，每个数据库节点使用单独的一个日志目录。

根据本发明一个实施例的基于内存融合的数据库集群恢复日志处理系统，所述数据库集群采用内存融合架构进行资源调度和锁控制。

根据本发明一个实施例的基于内存融合的数据库集群恢复日志处理系统，所述内存融合架构中内存融合在各个数据库节点上搭建分布式锁控制，用于负责管理所述数据库集群内所有数据库节点对于数据块的读写请求，以及相关联的数据块发送、接收及转发数据资源调度。

根据本发明一个实施例的基于内存融合的数据库集群恢复日志处理系统，所述数据块发送处理模块基于内存融合架构的数据块脏页流转过程中生效。

根据本发明一个实施例的基于内存融合的数据库集群恢复日志处理系统，所述数据块接收处理模块基于内存融合架构的数据块脏页流转过程中生效。

根据本发明一个实施例的基于内存融合的数据库集群恢复日志处理系统，所述脏页发送记录和所述脏页接收记录为一一对应关系。

根据本发明一个实施例的基于内存融合的数据库集群恢复日志处理系统，所述内存维护与清理模块，具体用于在内存中完整记录所述数据块传递链路，并当已被修改的脏页数据块由内存写入存储后，清理所述数据块传递链路上全部相关节点的脏页发送记录和脏页接收记录。

根据本发明一个实施例的基于内存融合的数据库集群恢复日志处理系统，所述内存维护与清理模块，具体用于当由于脏页传递所相关的脏页数据块刷盘后，将脏页数据块执行刷盘的节点通知所述数据库集群内所有相关节点，以使得所有相关节点将自身数据块或相关节点将本节点数据块的脏页发送记录和脏页接收记录清除。

本发明实施例提供的基于内存融合的数据库集群恢复日志处理系统，能够完整地梳理出基于内存融合架构下的数据块在不同数据库节点之间的写入或修改顺序，进而提取与排序多数据库节点的日志作为恢复日志，作为数据库集群数据恢复的重要基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于内存融合的数据库集群架构图；

图2是本发明实施例提供的一种基于内存融合的数据库集群恢复日志处理系统功能示意图；

图3是本发明实施例中内存维护与清理模块所涉及的数据库集群关闭状态下的“离线恢复”流程图；

图4是本发明实施例中脏页传递链路日志扫描模块所涉及的由健康节点恢复宕机节点数据的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例提供的一种基于内存融合的数据库集群架构图，如图1所示，多个数据库节点（节点1、节点2以及节点3）使用共享存储服务或共享的磁盘阵列之上的同一份数据存储。共享存储服务提供的共享存储上的数据部署方式具体为：

所述数据库集群的数据首先由单个数据库节点进行数据库数据的初始化，然后多个数据库节点使用初始化后的数据。多个数据库节点使用位于共享存储之上同一份数据，最后每个数据库节点的事务日志位于共享存储之上的不同目录下，每个数据库节点使用单独的一个日志目录，如节点1日志目录、节点2日志目录以及节点3日志目录。

所述数据库集群采用内存融合架构进行资源调度和锁控制，具体地，所述数据库集群是基于内存融合架构的，内存融合在各个数据库节点上搭建分布式锁控制，负责管理数据库集群内所有数据库节点对于数据块（数据块单元）的读写请求，以及相关联的数据块发送、接收及转发等数据资源调度工作。数据库节点与内存融合的关系为：

当需要数据库节点读或写某一数据块中的数据时，首先向内存融合申请目标数据块的读或写权限，并由内存融合将资源调度至发出请求的数据库节点，由该数据库节点在本机器之内、本事务空间之内完成全部的数据库事务操作。

在图1所示实施例的基础上，请参阅图2，图2为本发明实施例提供的一种基于内存融合的数据库集群恢复日志处理系统功能示意图，包括：

数据块发送处理模块201、数据块接收处理模块202、内存维护与清理模块203以及脏页传递链路日志扫描模块204；

所述数据块发送处理模块201，用于描述数据块的脏页发送记录，并在相应的内存和日志中添加所述脏页发送记录；

所述数据块接收处理模块202，用于描述数据块的脏页接收记录，并在相应的内存和日志中添加所述脏页接收记录；

所述内存维护与清理模块203，用于维护所述脏页发送记录和所述脏页接收记录，以及清理数据块刷盘之后的数据块传递链路上的相关的脏页发送记录和脏页接收记录；

所述脏页传递链路日志扫描模块204，用于在数据库集群启动并执行离线恢复的时候，根据所述脏页发送记录和所述脏页接收记录确定所述数据库集群内数据恢复的方法；所述数据库集群包括多个数据库节点。

具体地，数据块发送处理模块201基于内存融合架构的数据块脏页流转过程中生效，仅针对已被本机修改的、暂存于内存中而未写入磁盘的数据块（脏页数据块），并且仅针对以“写”模式请求的数据块转发请求，本文将此种情况暂称为“脏页写传递”行为。

脏页数据块属于需要被恢复的对象，不处于脏页状态的数据块不属于需要被恢复的对象；以“读”的方式进行的数据块发送，数据恢复不涉及读节点，仅在脏页以“写”的方式进行发送的情况下，脏页数据块的恢复涉及多个数据库节点。

数据块发送处理模块201，在发生“脏页写传递”情况时，将发送记录记入内存和预写日志（Write Ahead Log，WAL），以供集群启动时候的“离线恢复”、以及集群运行状态下由健康节点恢复故障节点的“在线恢复”使用。

对于数据块发送处理模块201，在所述“脏页写传递”环节中，发送节点取消数据块的刷盘权限，接收节点获得数据块的刷盘权限。发送节点在内存中保留该数据块的发送前版本，直至内存中的数据块发送记录被清除后可以清除内存中的该数据块的发送前版本。

对于数据块发送处理模块201，在录入日志的环节中，该条日志无需立即实时刷盘，该条日志伴随其他日志一并刷入存储。

数据块接收处理模块202基于内存融合架构的数据块脏页流转过程中生效，该模块同样针对发送方将处于脏页状态的数据块发送至本机，并且本机是以“写”模式请求的数据块。该模块将发送记录记入内存和WAL日志，以供数据库集群启动时候的“离线恢复”、以及数据库集群运行状态下由健康节点恢复故障节点的“在线恢复”使用。

对于数据块接收处理模块202，在录入日志的环节中，该条日志无需立即实时刷盘，而是伴随需要操作相关数据块的数据块事务日志一并刷入存储。

内存维护与清理模块203，用于记录与本机相关的全部脏页发送记录与脏页接收记录，脏页发送记录和脏页接收记录为一一对应关系。

数据块发送处理模块201和数据块接收处理模块202在内存中记录的信息，存储于内存维护与清理模块203所维护的内存对象中。

当已被修改的脏页数据块由内存写入存储后，意味着该数据块将不需要被恢复，内存维护与清理模块203能够据此清理链路上全部相关节点的脏页发送与接收记录。

脏页发送与接收的脏页传递链路中所涉及的全部节点，可能为两个，也可能为多个；脏页刷盘由最后一个进行写入的节点执行，即脏页传递链路中的最后一个节点。将脏页传递链路所涉及的数据块刷盘之后，该节点上的内存维护与清理模块203通知脏页传递链路中的其他节点清除脏页收发记录并等待回复确认；当收到了全部的确认消息之后，该节点可以清除本机上的脏页接收记录。

脏页传递链路日志扫描模块204，用于在离线恢复以及在线恢复的情况下，处理待恢复数据的全部日志。对于单个数据块以脏页传递的形式在多个节点间多次修改、数据恢复涉及到多个数据库节点的日志情况时，该脏页传递链路日志扫描模块204能够梳理出数据块在多个节点间的传递链路，并进行日志拼接。

脏页传递链路日志扫描模块204需要处理的问题，在于针对内存融合架构下脏页传递行为中，对于同一个数据块的操作涉及到多个节点的问题。依据数据块发送处理模块201、数据块接收处理模块202、内存维护与清理模块203所记录的内存和日志信息，脏页传递链路日志扫描模块204能够将需要联合多个节点进行恢复的数据块进行日志与数据准备。在数据库集群启动时候的“离线恢复”流程中，脏页传递链路日志扫描模块204主要进行跨节点日志的拼接组合；在数据库集群运行状态下由健康节点恢复故障节点的“在线恢复”流程中，脏页传递链路日志扫描模块204主要进程调用其他现存节点内存中的数据块作为基板数据并进行恢复。

为了更好地说明图2所述各个模块对于集群启动时候的离线数据恢复的作用，以及图2中脏页传递链路日志扫描模块204的工作方式，请参阅图3，图3是本发明实施例中内存维护与清理模块203所涉及的数据库集群关闭状态下的“离线恢复”流程图。

在图3所述流程开始之前，离线恢复流程首先通过检查数据库控制文件的方式，判断是否存在非正常关闭的节点，以及在存在非正常关闭节点的情况下，确定非正常关闭节点的节点号，随后执行图3所示流程。包括:

301、扫描WAL日志开始；

302、读取故障节点WAL日志；

303、是否获取到下一条事务Redo记录；若是，执行步骤304，否则执行步骤306；

304、是否包含接收日志；若是，则执行步骤305，否则执行步骤310；

305、记录此项Redo条目于跨节点日志记录列表；返回执行步骤303；

306、其他节点接收日志扫描；再执行步骤307；

307、跨节点日志记录获取拼接日志；

308、日志拼接；

309、恢复日志处理完毕；

310、记录此项Redo条目于单节点日志记录列表；返回执行步骤303。

具体地，在图3所示流程中，首先扫描非正常关闭的节点的WAL日志，判断每条日志对应的数据块单元是否包含脏页接收记录。若是，则代表该数据块单元的恢复将涉及多个节点的日志，将其录入跨节点日志记录列表；否则仅涉及记录该条日志节点的日志，将其录入单节点日志记录列表。

在扫描完毕所有非正常关闭节点日志之后，扫描全部其他节点的脏页接收记录，确认是否存在由非正常关闭节点发送的脏页接收记录，若是，则代表相关数据块单元已传递至其他节点进行操作，相关数据块单元已有其他节点进行管理并写入磁盘，不需要进行恢复，将其从单节点日志记录列表和跨节点日志记录列表中清除，否则需要恢复。

接下来针对跨节点日志记录列表中的日志条目，进行跨节点的日志拼接，组合成为全部待恢复数据的恢复日志。随后将可以据此进行离线状态下基于内存融合架构的完整离线恢复。

需要说明的是，上述“离线恢复”流程中描述的具体执行恢复的流程，不仅能够适用单个非正常关闭节点的情况，同样能够适用多个异常退出节点的情况。

为了更好地说明图2所述各个模块对于集群运行状态时由任一健康节点执行宕机节点数据恢复的作用，以及图2中脏页传递链路日志扫描模块204的工作方式，请参阅图4，图4是本发明实施例中脏页传递链路日志扫描模块204所涉及的由健康节点恢复宕机节点数据的流程图。

在图4所述流程开始之前，在线恢复流程首先通过网络心跳的方式，判断是否存在异常退出的节点，以及在存在异常退出节点的情况下，确定异常退出节点的节点号，随后开始图4所示流程。包括：

401、扫描WAL日志开始；

402、读取故障节点WAL日志；

403、是否获取到下一条事务Redo记录；若是，则执行步骤404，否则执行步骤406；

404、是否包含接收日志；若是，则执行步骤405，否则执行步骤410；

405、记录此项Redo条目于跨节点日志记录列表；返回执行步骤403；

406、其他节点接收记录远程访问；再执行步骤407；

407、其他节点发送记录远程访问；

408、暂存数据块获取；

409、准备恢复；

410、记录此项Redo条目于单节点日志记录列表；返回执行步骤403。

具体地，在图4所示流程中，首先异常退出节点的WAL日志，判断每条日志对应的数据库单元是否包含脏页接收记录。若是，则代表该数据块单元的恢复将涉及多个数据库节点，将其录入跨节点日志记录列表；否者仅涉及记录该条日志节点，将其录入单节点日志记录列表。

在扫描完毕异常退出节点日志之后，通过RPC访问的方式检查其他全部节点内存中的脏页接收记录，确认是否存在由非正常关闭节点发送的脏页接收记录，若是，则代表相关数据块单元已传递至其他节点进行操作，相关数据块单元已有其他节点进行管理，不需要进行恢复，将其从单节点日志记录列表和跨节点日志记录列表中清除，否者需要恢复。

接下来针对跨节点日志记录列表中的每一条日志，向其他节点通过RPC方式获取暂存于内存中的、中间版本数据块单元，将其作为该数据块单元恢复的基板数据块单元。随后将可以据此进行在线状态下基于内存融合架构的完整离线恢复。

需要说明的是，为了使得上述描述更加清晰与简单，上述“在线恢复”流程中描述了集群中出现了单点故障情况下的在线恢复。如若出现多个异常退出的节点，将同样需要离线恢复流程中日志拼接的环节，在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (7)

1.一种基于内存融合的数据库集群恢复日志处理系统，其特征在于，包括：

数据块发送处理模块、数据块接收处理模块、内存维护与清理模块以及脏页传递链路日志扫描模块；

所述数据块发送处理模块，用于描述数据块的脏页发送记录，并在相应的内存和日志中添加所述脏页发送记录；在录入日志的环节，该条日志伴随着其他日志一并刷入存储；

所述数据块接收处理模块，用于描述数据块的脏页接收记录，并在相应的内存和日志中添加所述脏页接收记录；在录入日志的环节，该条日志伴随着其他日志一并刷入存储；

所述内存维护与清理模块，用于维护所述脏页发送记录和所述脏页接收记录，以及清理数据块刷盘之后的数据块传递链路上的相关的脏页发送记录和脏页接收记录；

所述脏页传递链路日志扫描模块，用于在数据库集群启动并执行离线恢复的时候，根据所述脏页发送记录和所述脏页接收记录确定所述数据库集群内数据恢复的方法；所述数据库集群包括多个数据库节点；

所述内存维护与清理模块，具体用于在内存中完整记录所述数据块传递链路，并当已被修改的脏页数据块由内存写入存储后，清理所述数据块传递链路上全部相关节点的脏页发送记录和脏页接收记录；

所述内存维护与清理模块，具体用于当由于脏页传递所相关的脏页数据块刷盘后，将脏页数据块执行刷盘的节点通知所述数据库集群内所有相关节点，以使得所有相关节点将自身数据块或相关节点将本节点数据块的脏页发送记录和脏页接收记录清除；

当脏页数据块执行刷盘的节点收到了所述数据库集群内所有相关节点全部的确认消息之后，脏页数据块执行刷盘的节点上的内存维护与清理模块清除本机上的脏页接收记录；

所述内存维护与清理模块具体用于在数据库集群关闭状态下，通过检查数据库控制文件的方式，判断是否存在非正常关闭的节点，以及在存在非正常关闭节点的情况下，确定非正常关闭节点的节点号；扫描非正常关闭的节点的WAL日志，判断每条日志对应的数据块单元是否包含脏页接收记录，若是，将其录入跨节点日志记录列表；否则将其录入单节点日志记录列表；

在扫描完毕所有非正常关闭节点日志之后，扫描全部其他节点的脏页接收记录，确认是否存在由非正常关闭节点发送的脏页接收记录，若是，则不需要进行恢复，将其从单节点日志记录列表和跨节点日志记录列表中清除，否则需要恢复；

所述脏页传递链路日志扫描模块，还用于在离线恢复以及在线恢复的情况下，处理待恢复数据的全部日志；对于单个数据块以脏页传递的形式在多个节点间多次修改、数据恢复涉及到多个数据库节点的日志情况时，梳理出数据块在多个节点间的传递链路，并进行日志拼接。

2.根据权利要求1所述的基于内存融合的数据库集群恢复日志处理系统，其特征在于，所述多个数据库节点使用共享存储服务或共享的磁盘阵列之上的同一份数据存储，所述共享存储服务提供的共享存储上的数据部署方式具体为：所述数据库集群的数据首先由单个数据库节点进行数据库数据的初始化，然后多个所述数据库节点使用所述初始化后的数据，所述多个数据库节点使用位于共享存储之上同一份数据，最后每个数据库节点的事务日志位于共享存储之上的不同目录下，每个数据库节点使用单独的一个日志目录。

3.根据权利要求1所述的基于内存融合的数据库集群恢复日志处理系统，其特征在于，所述数据库集群采用内存融合架构进行资源调度和锁控制。

4.根据权利要求3所述的基于内存融合的数据库集群恢复日志处理系统，其特征在于，所述内存融合架构中内存融合在各个数据库节点上搭建分布式锁控制，用于负责管理所述数据库集群内所有数据库节点对于数据块的读写请求，以及相关联的数据块发送、接收及转发数据资源调度。

5.根据权利要求1所述的基于内存融合的数据库集群恢复日志处理系统，其特征在于，所述数据块发送处理模块基于内存融合架构的数据块脏页流转过程中生效。

6.根据权利要求1所述的基于内存融合的数据库集群恢复日志处理系统，其特征在于，所述数据块接收处理模块基于内存融合架构的数据块脏页流转过程中生效。

7.根据权利要求1所述的基于内存融合的数据库集群恢复日志处理系统，其特征在于，所述脏页发送记录和所述脏页接收记录为一一对应关系。

Images