CN111198752B - 一种日志系统提高事务处理能力的方法和装置 - Google Patents

Abstract

本发明公开了一种日志系统提高事务处理能力的方法，包括将并发提交的多个事务汇聚为事务集；设置多块日志设备，接收所述事务集；设置多块日志设备的管理机制，以根据日志设备状态投放所述事务集，供后端存储设备写入；其中所述多块日志设备的管理机制包括对多块日志设备的负载均衡管理和/或磨损均衡管理；本发明还提供了一种装置；通过多块日志设备结合事务汇聚提交，可以让后端存储设备处理能力足够的情况下，可以把引入日志引起的性能影响，降低到零影响等技术效果。

Description

一种日志系统提高事务处理能力的方法和装置

技术领域

本发明涉及计算机数据处理技术领域，具体而言，为日志系统提高事务处理能力的方法和装置。

背景技术

数据的一致性是存储系统的前提，也就是说，一个用户存入的文件，其他用户读取后内容不能出现不一致，NAS存储架构是当前主要的一种网络文件存储架构，是一个网络上的文件系统，是真正的即插即用型存储系统，使用范围非常广泛，但是由于用户和存储系统通过网络连接，存储系统的异常很容易引起数据不一致的发生。

文件系统一般情况下先写入数据，然后写入元数据(如权限、所有者及创建和访问时间)，如果在写入文件内容之后与写入文件元数据之前的时间差里，存储系统的异常让文件发生了错误，处于写入过程中的文件系统会非正常卸载，那么文件系统就会处于不一致的状态；出现这种情况时，文件中不一致的元数据会填满已丢失文件的空间，目录项中的文件项可能会丢失，也就造成文件的丢失。

所以文件系统需追踪引起系统改变的记录，会把这些记录存放在与文件系统相对独立的区域，通常我们叫“日志”。一旦这些日志记录被安全地写入，日志文件系统就可以应用它们清除引起系统改变的记录，在任何系统发生崩溃或需要重新启动时，数据就遵从日志文件中的信息记录进行恢复；当前主流文件系统都是日志式文件系统。

日志式文件系统主要在分区中保存有一个日志记录文件，文件系统写操作首先是对记录文件进行操作，若整个写操作由于某种原因而中断，则在下次系统启动时就会读日志记录文件的内容来恢复没有完成的写操作，所以日志式文件系统是一个具有故障恢复能力的文件系统。

如图1所示的日志式文件系统运行过程中，如果如果所有数据都先记录日志，一个很明显的弊端就是性能问题；为了解决这个问题和提高文件系统的性能，本领域最为常见的文件系统的处理方案是：

XFS使用逻辑日志，使用一种高效的磁盘格式来记录元数据的变动：

1)要向磁盘写数据的时候，肯定要改变元数据，日志就要在这之前记录要怎么去改元数据的，当发生异常掉电或者文件系统崩溃后，进行修复时会检查文件系统的一致性，当出现不一致时，可通过它来恢复，在数据下刷到磁盘之前，会先将对元数据的变动存放在日志中，如图2所示的。

2)XFS允许将日志存储在另一个块设备上，例如，另一个磁盘上的一个分区。

XFS只对元数据的变动进行日志记录，并且在写元数据之前，XFS不采取任何专门的预防措施来确保将数据保存到磁盘。这意味着，使用XFS时，如果发生意外的重新引导，则最近修改的数据有可能丢失。

EXT提供了三种日志模式供选择：

1)data＝journal日志模式；这种模式日志中记录包括所有改变文件系统的数据和元数据，可靠性能保证的情况下性能差。

2)data＝ordered日志模式(默认)；仅记录改变文件系统的元数据，且溢出文件数据要补充到磁盘中。此模式虽然数据的变化情况并不被记录在日志中，但它们必须做，在记录元数据前要修改文件数据，这将降低系统的性能(速度)。

3)data＝writeback日志模式；仅记录改变文件系统的元数据，且不保证数据和元数据的顺序；这是速度最快的EXT日志模式，是支持异步的日志，但当系统关闭时，可能有更新的数据因不能被写入磁盘而出现不一致。

有鉴于此，特提出本发明。

发明内容

针对现有技术中的缺陷，本发明提供一种日志系统提高事务处理能力的方法和装置，以利于解决现有文件系统牺牲存储系统性能的代价换取数据一致性的问题。

为了实现上述目的，本发明的技术方案为：

一种日志系统提高事务处理能力的方法，包括

将并发提交的多个事务汇聚为事务集；

设置多块日志设备，接收所述事务集；

设置多块日志设备的管理机制，以根据日志设备状态投放所述事务集，供后端存储设备写入；

其中所述多块日志设备的管理机制包括对多块日志设备的负载均衡管理和/或磨损均衡管理。

优选的，上述的日志系统提高事务处理能力的方法中，所述多块日志设备的负载均衡管理包括：

将多块日志设备划分成平均的条带，多个日志设备之间条带统一分布；将所有条带映射成同一个线性空间，事务集列队提交后，在线性空间统一分配条带，以向日志设备提交事务集并依靠线性映射去分布。

优选的，上述的日志系统提高事务处理能力的方法中，所述磨损均衡管理包括：

当日志设备变成磨损状态时，不再向其提交事务集；同时只对磨损状态的日志设备进行空间回收直至空间全部被回收，启用日志设备更换。

本发明还提供了一种日志系统提高事务处理能力的装置，包括

事务汇聚模块：用于将提交的事务进行聚合，形成事务集；

设备管理模块：用于接收事务汇聚模块提交的事务集投放到多块日志设备中以供后端存储设备写入；

其中所述设备管理模板包括：

多块日志设备：用于接收事务集；

控制模块：用于管理所有日志设备，实时同步每块日志设备当前状态，以选择日志设备将接收的事务集提交过去

回收模块：用于多块日志设备的空间回收。

优选的，上述的日志系统提高事务处理能力的装置中，所述事务汇聚模块通过事务提交接口收到事务后，平均分配到并发队列；通过多线程和多队列进行均衡映射；线程遍历自身所映射到的队列，将每个队列中被投递的事务进行打包汇聚成事务集，并将事务集投递给设备管理模块。

优选的，上述的日志系统提高事务处理能力的装置中，日志设备当前状态包括负载状态和/或磨损状态。

优选的，上述的日志系统提高事务处理能力的装置中，控制模块还用于通过对多块日志设备管理，进行负载均衡，包括：

将多块日志设备划分成平均的条带，多个日志设备之间条带统一分布；将所有条带映射成同一个线性空间，事务集列队提交后，在线性空间统一分配条带，以向日志设备提交事务集并依靠线性映射去分布。

优选的，上述的日志系统提高事务处理能力的装置中，还包括逆磨损模块，用于对磨损状态的日志设备进行热替换。

优选的，控制模块还用于通过对多块日志设备管理，进行磨损均衡，包括：

当日志设备磨损达到预设范围，所述逆磨损模块通知该日志设备达到磨损状态；控制模块同步到日志设备状态后，停止向该日志设备分配事务集；回收模块对该日志设备全部回收后，通知逆磨损模块启动换盘。

优选的，上述的日志系统提高事务处理能力的装置中，根据所述多块日志设备的条带在线性空间进行映射，在数据恢复阶段，按照线性序列遍历日志设备划分的条带对数据进行恢复。

与传统技术相比，本发明的有益效果是：

本发明方法对多块日志设备进行管理，将接收到的所述事务集根据日志设备状态进行投放，提高日志设备的处理能力；多块日志设备结合事务汇聚提交，可以让后端存储设备处理能力足够的情况下，让前端用户IO可以成倍增加，换句话说，可以把引入日志引起的性能影响，降低到零影响；

本发明装置能够根据系统容量和需求，采用多块日志设备并用，成倍提高事务提交带宽；并且结合多日志事务聚合为一个事务集的方案，大大降低日志设备的压力，提高日志存储效率，相对于xfs或者ext为了提高效率只记录逻辑日志或者元数据的方式，更具安全性；保证数据一致性；

设备管理模块会随时监测日志设备状态和性能，根据性能让设备之间达到负载均衡的水平，根据设备磨损程度，启动负载均衡，更换设备；并通过逆磨损模块，可以对某一块设备热替换而不中断业务。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为现有技术中日志式文件系统示意图；

图2为现有技术中XFS使用逻辑日志的示意图；

图3为本发明装置一个具体实施例的运行逻辑框图；

图4为本发明装置事务汇聚模块的一个具体实施例的处理流程图；

图5为本发明装置中设备管理模块的局部管理示意图；

图6为本发明装置一个具体实施例中的多设备条带在线性空间上的映射示意图

图7为本发明装置一个具体实施例中的磨损均衡处理示意图；

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

实施例1

一种日志系统提高事务处理能力的方法，包括：

将并发提交的多个事务汇聚为事务集，形成事务集记录日志；

设置多块日志设备，接收所述事务集；

设置多块日志设备的管理机制，以根据日志设备状态投放所述事务集，供后端存储设备写入；

其中所述多块日志设备的管理机制包括对多块日志设备的负载均衡管理和/或磨损均衡管理。

对于用户IO操作，在存储系统中都是以一个事务的方式提交，如果IOPS(Input/Output Operations Per Second，即每秒进行读写操作的次数)非常高的情况下，事务提交会非常频繁，本发明方法中首先会对频繁提交的事务进行缓存和汇聚，将多个事务汇聚成一个事务集记录日志，可以很大程度降低压力。

本发明方法设置管理机制对多块日志设备进行管理，将接收到的所述事务集根据日志设备状态进行投放，，供后端存储设备写入；相当于将日志设备和文件系统设备独立，可选用快速设备提升日志处理性能。

其中使用多块日志设备，例如选用三块SSD(Solid State Drives，固态硬盘，简称固盘)作为日志设备，这个特性会很大程度上提高日志设备的处理能力，理论上是成倍的增加，即三块日志设备将是单个日志设备处理能力的3倍。

多块日志设备结合事务汇聚提交，可以让后端存储设备处理能力足够的情况下，让前端用户IO可以成倍增加，换句话说，可以把引入日志引起的性能影响，降低到零影响。

所述设置多块日志设备的管理机制通过程序模块实现，通过控制模块实时同步(即统计)每块日志设备当前状态选择相应的日志设备将接收的事务集提交过去。其中日志设备当前状态包括负载状态、磨损状态以及其他状态。

多块日志设备的负载均衡管理包括：

将多个日志设备划分成平均的条带，多个日志设备之间条带统一分布，将所有条带映射成同一个线性空间，多队列事务提交后，在线性空间统一分配条带，可达到日志设备上的事务集提交依靠线性映射去分布，容量和流量达到均衡目的。

磨损均衡管理包括：

当日志设备变成磨损状态时，控制模块提交事务集的时候不再提交给磨损状态的日志设备，前端用户写入均衡地落到正常状态的设备；同时只对磨损状态的日志设备进行空间回收直至空间全部被回收(也就是数据全部写入后端设备)后，启用换盘过程，用新日志设备更换掉磨损状态的日志设备。

实施例2

为了实现上述方法，本发明还提供了一种日志系统提高事务处理能力的装置，包括：

事务汇聚模块：用于将提交的事务进行聚合，形成事务集；

设备管理模块：用于接收事务汇聚模块提交的事务集投放到多块日志设备中以供后端存储设备写入；

其中所述设备管理模板包括：

多块日志设备：用于接收事务集；

控制模块：用于管理所有日志设备，实时同步每块日志设备当前状态，以选择日志设备将接收的事务集提交过去；

回收模块：用于多块日志设备的空间回收。

具体的，本发明给出的一个具体实施例中：

事务汇聚模块；用于将提交的事务进行聚合，形成事务集记录日志。

如图3所示的，前端用户分别通过过程1-1、1-2、1-3提交到事务至事务汇聚模块，即多用户并发提交；事务汇聚模块提供统一的事务提交接口，接收用户提交的事务并将接收的事务进行聚合，形成事务集；提交给设备管理模块。

事务的汇聚功能很大程度上解决降低前端压力，当前端IOPS过大的时候，汇聚可以将前端压力成倍缓解。在事务汇聚模块内部，为了提高效率采用多队列并发机制，多队列使用多线程去提高处理效率。

事务汇聚模块开启多个事务队列，多队列和多线程进行均衡映射，外部事务提交平均分布到多个队列，队列中积累的事务被本队列所映射到的线程去处理，处理线程会将队列中已经提交进来的事务进行打包汇聚处理，汇聚完成的事务集提交到设备管理模块。

如图4所示的，事务提交经过过程1-1、1-2、1-3通过事务提交接口提交给事务汇聚模块；

事务提交接口收到事务提交以后，平均分配到并发队列，如图4中所示的并发过程3-1到3-n；多线和多队列进行均衡映射，处理线程遍历自身所映射到的队列，将每个队列中被投递的事务进行打包汇聚(如图4中所示的过程4-1-1与过程4-1-2为线程1将其所映射到的队列中被投递的事务进行打包汇聚)，并将汇聚后的事务集投递给设备管理模块对外接口(如过程4-1-3为线程1的投递)。

设备管理模块，用于接收事务汇聚模块提交的事务集投放到多块日志设备中以供后端存储设备写入。

设备管理模块提供统一接口(即设备管理模块对外接口)供事务模块提交；

如图5所示的，设备管理模块包括：

多块日志设备，用于接收事务集；

控制模块，用于统一管理所有日志设备集，该设备集中以日志设备ID为唯一标识，实时同步(即统计)每块日志设备当前状态，以选择日志设备将接收的事务集提交过去。

控制模块根据当前日志设备的提交位置、负载和磨损状态，供对提交的事务集提交到哪块设备做依据；继而选择将接收到的事务集投递到哪个日志设备，让日志设备基本达到负载均衡的水平。

控制模块对负载均衡的实现：

如图6所示的，将多个日志设备划分成平均的条带，多个日志设备之间条带统一分布，将所有条带映射成同一个线性空间，多队列事务集提交后，在线性空间统一分配条带，可达到日志设备上的事务集提交依靠线性映射去分布，容量和流量达到均衡目的。

如图7所示的，控制模块对磨损均衡的实现：

当日志设备变成磨损状态时，控制模块提交事务集的时候不再提交给磨损状态的设备，前端写入均衡落到正常状态的设备。回收模块在线性空间上顺序回收，磨损状态的设备空间被正常回收，当磨损设备空间全部被回收(也就是数据全部写入后端设备)后，启用换盘过程，用新设备更换掉磨损状态的设备。

当日志设备(SSD)到了一定磨损程度后，可以更换日志设备，更换日志设备的过程中，日志管理模块可以自动负载转移，将需要被替换的设备上负载转移到其他设备，当需要被替换的设备上现有日志回收完以后，该设备被替换，启用新设备后再进行负载均衡。

进一步的，本装置还包括逆磨损模块，用于进行日志设备热替换。

控制模块提交事务集的时候不再提交给磨损状态的设备通过所述逆磨损模块实现：在某一块日志设备磨损达到一定程度以后，逆磨损模块通知该日志设备(如图3所示的过程6)达到磨损状态；控制模块同步到日志设备状态后，不再给磨损设备分配事务集；回收流程正常进行，当磨损设备全部回收之后，通知逆磨损模块(即过程7)，逆磨损模块启动换盘(即过程8)，使用新的日志设备替换磨损的日志设备。逆磨损模块能够实现设备热替换进行逆磨损。

控制模块对日志数据重放的实现：

日志引入的主要作用是异常情况下保护数据一致性，从日志恢复数据是日志设备的基本要求，所以引入多设备后对于日志数据恢复一定要保证数据恢复顺序。本装置将多设备的条带在线性空间进行映射，保证了设备空间的线性顺序。在数据恢复阶段，按照线性序列遍历日志设备划分的条带对数据进行恢复，转换成一块盘上的日志恢复。

结合图3所示，事务集日志成功投放到日志设备后，设备管理模块将数据经过过程4-1回刷(即刷回、一次性写入)后端存储设备，后端存储设备真正落盘成功后，给设备管理模块经过程4-2反馈成功信息；设备管理模块收到后端数据写成功的反馈以后，将消息通过过程4-3通知设备回收模块。

设备回收模块根据内部维护的回收事务记录，通过过程5-1、5-2、5-3，将相应的日志设备上空间释放，新的提交可以继续使用日志设备。

相对于传统文件系统牺牲存储系统性能的代价换取数据一致性，本发明的装置：

能够实现将日志设备和文件系统设备独立，继而选用快速设备(如ssd随机读写高性能快速设备)提升日志处理性能，提高前端事务提交的吞吐量；

能够根据系统容量和需求，采用多块日志设备并用，成倍提高事务提交带宽；并且结合多日志事务聚合为一个事务集的方案，大大降低日志设备的压力，提高日志存储效率，相对于xfs或者ext为了提高效率只记录逻辑日志或者元数据的方式，更具安全性；保证数据一致性。

设备管理模块会随时监测日志设备状态和性能，根据性能让设备之间达到负载均衡的水平，根据设备磨损程度，启动负载均衡，更换设备；并通过逆磨损模块，可以对某一块设备热替换而不中断业务；这与传统技术的多块盘共同使用提高带宽的方法(如Raid0方案)中，其对数据没有冗余保护、当设备有磨损情况需要更换的时候必须断流处理、而且日志盘中的数据无法恢复的情况比，本发明装置更具安全性和灵活性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (7)

1.一种日志系统提高事务处理能力的方法，其特征在于，包括

将并发提交的多个事务汇聚为事务集；

设置多块日志设备，接收所述事务集；

设置多块日志设备的管理机制，以根据日志设备状态投放所述事务集，供后端存储设备写入；

其中，所述多块日志设备的管理机制包括对多块日志设备的负载均衡管理和磨损均衡管理，

其中，所述多块日志设备的负载均衡管理包括：

将多块日志设备划分成平均的条带，多个日志设备之间条带统一分布；将所有条带映射成同一个线性空间，事务集列队提交后，在线性空间统一分配条带，以向日志设备提交事务集并依靠线性映射去分布，

其中，所述磨损均衡管理包括：

当日志设备变成磨损状态时，不再向其提交事务集；同时只对磨损状态的日志设备进行空间回收直至空间全部被回收，启用日志设备更换。

2.一种日志系统提高事务处理能力的装置，其特征在于，包括

事务汇聚模块：用于将提交的事务进行聚合，形成事务集；

设备管理模块：用于接收事务汇聚模块提交的事务集投放到多块日志设备中以供后端存储设备写入；

其中所述设备管理模块包括：

多块日志设备：用于接收事务集；

控制模块：用于管理所有日志设备，实时同步每块日志设备当前状态，以选择日志设备将接收的事务集提交过去；回收模块：用于多块日志设备的空间回收，

其中，所述控制模块还用于通过对多块日志设备管理，进行负载均衡，包括：

将多块日志设备划分成平均的条带，多个日志设备之间条带统一分布；将所有条带映射成同一个线性空间，事务集列队提交后，在线性空间统一分配条带，以向日志设备提交事务集并依靠线性映射去分布。

3.根据权利要求2所述的日志系统提高事务处理能力的装置，其特征在于，所述事务汇聚模块通过事务提交接口收到事务后，平均分配到并发队列；通过多线程和多队列进行均衡映射；线程遍历自身所映射到的队列，将每个队列中被投递的事务进行打包汇聚成事务集，并将事务集投递给设备管理模块。

4.根据权利要求2所述的日志系统提高事务处理能力的装置，其特征在于，日志设备当前状态包括负载状态和/或磨损状态。

5.根据权利要求2所述的日志系统提高事务处理能力的装置，其特征在于，还包括逆磨损模块，用于对磨损状态的日志设备进行热替换。

6.根据权利要求5所述的日志系统提高事务处理能力的装置，其特征在于，控制模块还用于通过对多块日志设备管理，进行磨损均衡，包括：

当日志设备磨损达到预设范围，所述逆磨损模块通知该日志设备达到磨损状态；控制模块同步到日志设备状态后，停止向该日志设备分配事务集；回收模块对该日志设备全部回收后，通知逆磨损模块启动换盘。

7.根据权利要求6所述的日志系统提高事务处理能力的装置，其特征在于，根据所述多块日志设备的条带在线性空间进行映射，在数据恢复阶段，按照线性序列遍历日志设备划分的条带对数据进行恢复。