CN111475480B - 一种日志处理方法及系统 - Google Patents

Abstract

本发明公开了一种日志处理方法及系统。其中，该方法包括：至少两个数据库服务节点将各自生成的日志记录发送至匹配的日志节点，其中，至少两个数据库服务节点属于一个共享存储数据库集群，日志记录为至少两个数据库服务节点针对同一数据页进行修改生成的日志记录，日志节点对接收的日志记录进行处理，并将处理后的日志记录发送至存储节点，存储节点根据预设规则对接收到的日志记录进行处理。这样能够在分布式数据库系统扩展日志节点后，在数据库服务节点为共享存储数据库集群的情况下，有效保证存储节点以正确的顺序执行REDO日志，从而保证数据的正确性。

Description

一种日志处理方法及系统

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种日志处理方法及系统。

背景技术

在分布式数据库系统架构中，如图1所示，数据库服务(Database Server，DS)节点接收、执行客户端的数据库操作请求并生成日志，日志(Redo log Server，RS)节点接收DS节点发送的REDO日志，然后将其分发到多个存储(Storage Server,SS)节点，实现多副本存储。当DS节点中的若干个节点属于一个共享存储数据库集群时，该集群中的各个DS节点可能会修改相同的数据页，这些节点通过共享存储集群的同步机制保证发送给RS节点的REDO日志为有序的，因此，RS节点只需根据数据副本分布，将日志依次分发给对应的SS节点，由SS节点逐个写入即可。

在整个系统中，DS节点和SS节点可以通过扩展节点的方式缓解数据库计算和存储的压力，此时，RS节点的网络、缓存等资源容易成为整个系统的性能瓶颈，因此，需要对RS节点进行扩展，扩展后的系统架构如图2所示。扩展RS节点之后，每个DS节点仍唯一与某一RS节点对应，但SS节点可以同时接收多个RS节点的REDO日志，这样当DS节点属于一个共享存储数据库集群，且集群中的各个DS节点修改相同的数据页时，若这些DS节点对应不同的RS节点，那么SS按照接收REDO日志的顺序逐次写入可能会导致数据混乱。

发明内容

本发明提供一种日志处理方法及系统，能够在分布式数据库系统扩展日志节点后，在数据库服务节点为共享存储数据库集群的情况下，有效保证存储节点以正确的顺序执行REDO日志，从而保证数据的正确性。

第一方面，本发明实施例提供了一种日志处理方法，该方法包括：

至少两个数据库服务节点将各自生成的日志记录发送至匹配的日志节点，其中，至少两个数据库服务节点属于一个共享存储数据库集群，日志记录为至少两个数据库服务节点针对同一数据页进行修改生成的日志记录；

日志节点对接收的日志记录进行处理，并将处理后的日志记录发送至存储节点；

存储节点根据预设规则对接收到的日志记录进行处理。

第二方面，本发明实施例还提供了一种日志处理系统，该系统包括：至少两个数据库服务节点、日志节点、存储节点；

其中，至少两个数据库服务节点，用于将各自生成的日志记录发送至匹配的日志节点，其中，至少两个数据库服务节点属于一个共享存储数据库集群，日志记录为至少两个数据库服务节点针对同一数据页进行修改生成的日志记录；

日志节点，用于对接收的日志记录进行处理，并将处理后的日志记录发送至存储节点；

存储节点，用于根据预设规则对接收到的日志记录进行处理。

本发明实施例提供了一种日志处理方法及系统，具体为至少两个数据库服务节点将各自生成的日志记录发送至匹配的日志节点，其中，至少两个数据库服务节点属于一个共享存储数据库集群，日志记录为至少两个数据库服务节点针对同一数据页进行修改生成的日志记录，日志节点对接收的日志记录进行处理，并将处理后的日志记录发送至存储节点，存储节点根据预设规则对接收到的日志记录进行处理。这样能够在分布式数据库系统扩展日志节点后，在数据库服务节点为共享存储数据库集群的情况下，有效保证存储节点以正确的顺序执行REDO日志，从而保证数据的正确性。

附图说明

图1是现有技术中的分布式数据库系统架构示意图；

图2是扩展后的分布式数据库系统架构示意图；

图3是本发明实施例中的日志处理方法流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

另外，在本发明实施例中，“可选地”或者“示例性地”等词用于表示作例子、例证或说明。本发明实施例中被描述为“可选地”或者“示例性地”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“可选地”或者“示例性地”等词旨在以具体方式呈现相关概念。

为了更加清楚的理解本实施例提供的方案，示例地给出了部分与本发明相关概念的说明以供参考。如下所示：

数据库服务节点：用于接收执行客户端的数据库操作请求并产生REDO日志；

日志服务节点：用于提供REDO日志分发和数据的读写服务；

存储节点：用于执行REDO日志，其中，多个存储节点可实现多个副本数据存储。

日志组：根据日志来源将日志划分为不同的日志组，每个数据库服务节点属于一个组，且仅能配置一个日志节点。

在上述概念的基础上，图3为本发明实施例提供的一种日志处理方法的流程图，该方法可以应用于分布式数据库系统架构下，如图3所示，该方法具体包括：

S301、至少两个数据库服务节点将各自生成的日志记录发送至匹配的日志节点。

在本实施例中，步骤S301中的至少两个数据库服务节点为属于一个共享数据库集群的节点，至少两个数据库服务节点各自生成的日志记录为针对同一个数据页进行修改生成的日志记录。即本步骤可以理解为共享存储数据库集群中的至少两个数据库服务节点针对同一数据页进行修改，并生成相应的修改日志记录，进而将生成的日志记录发送至匹配的日志节点。

如图2所示，假设DS1节点、DS2节点、DS3节点为一个共享存储数据库集群的不同数据库实例，DS1节点配置的为RS1节点，DS2节点和DS3节点配置的为RS2节点，则DS1节点将生成的日志记录发送至匹配的RS1节点，DS2节点和DS3节点将生成的日志记录发送至匹配的RS2节点。

S302、日志节点对接收的日志记录进行处理，并将处理后的日志记录发送至存储节点。

示例性地，在本实施例中，日志节点接收到匹配的数据库服务节点发送的日志记录后，可以在该日志记录中设置序号(例如，日志节点序号等)，进而将设置有序号的日志记录发送至存储节点。

例如，假设本实施例中存在有两个日志节点RS1和RS2，其序号分别为1和2，在接收到的匹配的DS节点发送的日志记录REDO后，设置相应的序号，设置序号后的日志记录分别为REDO1和REDO2，进而，将日志记录REDO1和REDO2发送至存储节点。

S303、存储节点根据预设规则对接收到的日志记录进行处理。

存储节点接收到设置有序号的日志记录后，可以根据日志记录的序号为每个日志节点发送的日志记录分配对应的处理线程，并将接收到的日志记录放在对应的处理线程中，各处理线程以并行运行的方式根据预设规则进行日志处理。

在一种示例中，本步骤中的预设规则可以为，在存储节点确定当前处理的日志记录为页同步重做日志的情况下，存储节点根据日志记录对应的数据页中日志记录序列号(Log Sequence Number，LSN)对当前处理的日志记录进行处理；

或者，在存储节点确认当前处理的日志记录为LSN更新日志记录的情况下，存储节点更新日志记录的LSN，并根据日志记录的数据页页号和更新后的LSN查找等待事件；

或者，在存储节点确认当前处理的日志记录为普通数据页修改日志记录的情况下，存储节点直接对当前处理的日志记录进行处理。

示例性地，上述预设规则中，在存储节点确定当前处理的日志记录为页同步重做日志的情况下，存储节点根据日志记录对应的数据页中LSN对当前处理的日志记录进行处理的实现方式可以为，在存储节点确认日志记录对应的数据页中LSN小于当前处理的日志记录LSN的情况下，存储节点设置等待事件，使当前线程进入等待状态，其中，该等待事件中记录有日志记录对应的数据页页号和页同步重做日志中的LSN；或者，在存储节点确认日志记录对应的数据页中LSN等于当前处理的日志记录LSN的情况下，存储节点处理当前处理的日志记录的下一日志记录。

在存储节点确认当前处理的日志记录为LSN更新日志记录的情况下，存储节点的处理方式可以为，直接重做该日志记录的更新LSN动作后，根据日志记录的数据页页号和更新后的LSN查找等待事件，若已登记的等待事件中有相同的页号和LSN值，则唤醒该等待事件对应的线程，并删除该等待事件，之后继续下一日志记录的处理；或者，在存储节点根据日志记录的数据页页号和更新后的LSN在已登记的等待事件中未查找到相同的页号和LSN的情况下，存储节点继续处理下一个日志记录。

在存储节点确认当前处理的日志记录为普通数据页修改日志记录的情况下，存储节点直接对当前处理的日志记录进行处理的实现方式可以为直接在当前处理的日志记录对应的数据页中写入数据，即重做该日志记录的修改动作。

这样，当存储节点处理来自不同的日志节点的日志时，根据LSN值做同步检查和等待，可以避免不同数据库服务节点更新同一个数据页时，较大LSN的记录被提前写入的情况。

进一步地，本实施例以以下具体事例对上述的实现过程做进一步详细描述。假设RS1发送给存储节点的日志记录REDO1如下：

……

[99，512，int(1)]//在99号页、512偏移处写入整型数值1。记为rec1

……

[99，lsn(1000)]//更新99号页的LSN值为1000。记为rec2

RS2发送给存储节点的日志记录REDO2如下：

……

[99，page_sync(1000)]//页同步重做日志，表示处理后续日志时，99号页LSN需达到1000。记为rec3

……

[99，512，int(2)]//在99号页、512偏移处写入整型数值2。记为rec4

……

[99，lsn(1001)]//更新99号页LSN值为1001。记为rec5

若存储节点为日志记录REDO1和REDO2分配日志处理线程T1和T2，并将REDO1和REDO2分别放到T1和T2中处理。假设线程T2开始处理REDO2，首先处理日志记录rec3，即当前处理的日志记录为页同步重做日志，此时由于rec2还未执行，从99号数据页中取出的LSN小于页同步重做日志中的1000，则设置一个等待事件，该等待事件中事件记录页号为99，LSN值为1000，然后进入等待事件，使T2进入线程等待。

线程T1与T2并行执行，T1处理REDO1，首先处理日志记录rec1，该日志记录为普通数据页修改日志记录，可以直接写入数据。之后，T1可以处理rec2，该日志记录为LSN更新日志记录，存储节点更新日志记录中的LSN，将其更新为1000，并根据页号99和更新后的LSN值1000查找已登记的等待事件，确认是否有需要唤醒的等待事件。若查找到T2等待的事件有相同的页号99和LSN值为1000，则将T2唤醒，并删除该等待事件。T2继续处理日志记录rec4。

由于rec4是在rec1之后进行的，保证了日志写入的同步顺序，之后T2处理rec5时，可以按照上述同样的方式继续查找是否有对应的等待事件，若存在有等待事件，可以唤醒对应的等待线程。

通过本实施例提供的日志处理方法，可以在分布式数据库系统扩展日志节点后，在数据库服务节点为共享存储数据库集群的情况下，有效保证存储节点以正确的顺序执行REDO日志，从而保证数据的正确性。

本发明实施例还提供一种日志处理系统，如图2所示，该系统包括至少两个数据库服务节点201、日志节点202、存储节点203；

其中，至少两个数据库服务节点，用于将各自生成的日志记录发送至匹配的日志节点，其中，至少两个数据库服务节点属于一个共享存储数据库集群，日志记录为至少两个数据库服务节点针对同一数据页进行修改生成的日志记录。

日志节点，用于对接收的日志记录进行处理，并将处理后的日志记录发送至存储节点；

存储节点，用于根据预设规则对接收到的日志记录进行处理。

在一种示例中，日志节点，用于在接收的日志记录中设置序号。

存储节点，用于为日志记录分配对应的处理线程，并以各处理线程并行运行的方式根据预设规则对接收到的日志记录进行处理。

在一种示例中，存储节点，还用于在确认当前处理的日志记录为页同步重做日志的情况下，根据日志记录对应的数据页中LSN对当前处理的日志记录进行处理；或者，在确认当前处理的日志记录为LSN更新日志记录的情况下，更新日志记录的LSN，并根据日志记录的数据页页号和更新后的LSN查找等待事件；或者，在确认当前处理的日志记录为普通数据页修改日志记录的情况下，直接对当前处理的日志记录进行处理。

示例性地，上述根据日志记录对应的数据页中LSN对当前处理的日志记录进行处理的实现方式可以为，在存储节点确认日志记录对应的数据页中LSN小于当前处理的日志记录LSN的情况下，存储节点设置等待事件，使对应的线程进入等待状态，其中，等待事件中记录日志记录对应的数据页页号和页同步重做日志中的LSN；或者，在存储节点确认日志记录对应的数据页中LSN等于当前处理的日志记录LSN的情况下，存储节点处理当前处理的日志记录的下一日志记录。

存储节点根据日志记录的数据页页号和LSN查找等待事件的实现方式可以为，在存储节点根据日志记录的数据页页号和LSN在已登记的等待事件中查找到相同的页号和LSN的情况下，存储节点唤醒等待事件对应的线程，并删除等待事件；或者，在存储节点根据日志记录的数据页页号和LSN在已登记的等待事件中未查找到相同的页号和LSN的情况下，存储节点继续处理下一个日志记录。

存储节点直接对当前处理的日志记录进行处理的实现方式可以为存储节点直接在当前处理的日志记录对应的数据页中写入数据。

本实施例所提供的日志处理系统可执行图3所提供的日志处理方法，具备执行方法相应的有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (5)

1.一种日志处理方法，其特征在于，包括：

至少两个数据库服务节点将各自生成的日志记录发送至匹配的日志节点，其中，所述至少两个数据库服务节点属于一个共享存储数据库集群，所述日志记录为至少两个数据库服务节点针对同一数据页进行修改生成的日志记录；

所述日志节点对接收的日志记录进行处理，包括所述日志节点在接收的日志记录中设置序号，并将设置序号后的日志记录发送至存储节点；

所述存储节点根据序号为日志记录分配对应的处理线程，各处理线程并行的对接收到的日志记录进行处理；

在所述存储节点确认当前处理的日志记录为页同步重做日志的情况下，所述存储节点根据日志记录对应的数据页中日志序列号LSN对当前处理的日志记录进行处理；

或者，在所述存储节点确认当前处理的日志记录为LSN更新日志记录的情况下，所述存储节点更新所述日志记录的LSN，并根据日志记录的数据页页号和更新后的LSN查找等待事件；

或者，在所述存储节点确认当前处理的日志记录为普通数据页修改日志记录的情况下，所述存储节点直接对当前处理的日志记录进行处理。

2.根据权利要求1所述的方法，其特征在于，所述根据日志记录对应的数据页中LSN对当前处理的日志记录进行处理，包括：

在所述存储节点确认日志记录对应的数据页中LSN小于当前处理的日志记录LSN的情况下，所述存储节点设置等待事件，使当前线程进入等待状态，所述等待事件中记录日志记录对应的数据页页号和页同步重做日志中的LSN；

或者，在所述存储节点确认日志记录对应的数据页中LSN等于当前处理的日志记录LSN的情况下，所述存储节点处理当前处理的日志记录的下一日志记录。

3.根据权利要求1所述的方法，其特征在于，所述根据日志记录的数据页页号和LSN查找等待事件，包括：

在所述存储节点根据日志记录的数据页页号和LSN在已登记的等待事件中查找到相同的页号和LSN的情况下，所述存储节点唤醒等待事件对应的线程，并删除等待事件；

或者，在所述存储节点根据日志记录的数据页页号和LSN在已登记的等待事件中未查找到相同的页号和LSN的情况下，所述存储节点继续处理下一个日志记录。

4.根据权利要求1所述的方法，其特征在于，所述存储节点直接对当前处理的日志记录进行处理，包括：

所述存储节点直接在当前处理的日志记录对应的数据页中写入数据。

5.一种日志处理系统，其特征在于，包括：至少两个数据库服务节点、日志节点、存储节点；

其中，所述至少两个数据库服务节点，用于将各自生成的日志记录发送至匹配的日志节点，其中，所述至少两个数据库服务节点属于一个共享存储数据库集群，所述日志记录为至少两个数据库服务节点针对同一数据页进行修改生成的日志记录；

所述日志节点，用于对接收的日志记录进行处理，包括所述日志节点在接收的日志记录中设置序号，并将设置序号后的日志记录发送至存储节点；

所述存储节点，用于根据序号为日志记录分配对应的处理线程，各处理线程并行的对接收到的日志记录进行处理；

在所述存储节点确认当前处理的日志记录为页同步重做日志的情况下，所述存储节点根据日志记录对应的数据页中日志序列号LSN对当前处理的日志记录进行处理；

或者，在所述存储节点确认当前处理的日志记录为LSN更新日志记录的情况下，所述存储节点更新所述日志记录的LSN，并根据日志记录的数据页页号和更新后的LSN查找等待事件；

或者，在所述存储节点确认当前处理的日志记录为普通数据页修改日志记录的情况下，所述存储节点直接对当前处理的日志记录进行处理。