CN113126919A - 一种RocksDB性能提升方法、系统及存储介质 - Google Patents

Abstract

本发明提供了一种RocksDB性能提升方法、系统及存储介质，方法包括：响应于RocksDB产生写操作类，将写操作类放入写队列中，并查询写队列中是否有预设的n个写操作类领队，其中，n大于1；响应于写队列中没有写操作类领队且写队列中的写操作类的总数m大于n，从写队列中选出n个写操作类分别作为写操作类领队，并基于总数m将写队列中的其他写操作类进行合并处理以使得其他写操作类被分别合并到n个写操作类领队中；将合并处理后的n个写操作类领队分别提交到对应的n个预写式日志中。本发明使得RocksDB的日志提交方式由原来的串行提交日志设置为并行提交日志，提升了RocksDB在高压下的性能，减少了高速设备存储系统的I/O时延。

Description

一种RocksDB性能提升方法、系统及存储介质

技术领域

本发明涉及分布式存储技术领域，尤其涉及一种RocksDB性能提升方法、系统及存储介质。

背景技术

分布式存储系统已广泛用于云计算和大数据分析等领域，在不同场景和需求下会出现不同硬件规格的分布式存储系统，一般包括：慢速设备存储、混合慢速高速设备存储、以及高速设备存储。如何发挥高速设备存储中的高速设备性能，是当前分布式存储系统急于解决的问题。分布式存储系统的性能瓶颈主要集中在本地存储引擎的I/O(数据输入Input/输出Output)处理，本地存储引擎的I/O处理分为元数据和数据部分。一部分分布式存储系统采用RocksDB数据库保存元数据信息，一般情况下，RocksDB能够快速完成元数据的存储，但是在高速存储设备的分布式存储系统中，RocksDB的处理时延明显增大，造成本地存储引擎的I/O阻塞。因此，如何提升RocksDB的元数据存储效率是目前亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提出一种RocksDB性能提升方法、系统及存储介质，用以解决现有技术中RocksDB由于提交预写式日志效率低下导致RocksDB性能低下的问题。

基于上述目的，本发明提供了一种RocksDB性能提升方法，包括如下步骤：

响应于RocksDB产生写操作类，将写操作类放入写队列中，并查询写队列中是否有预设的n个写操作类领队，其中，n大于1；

响应于写队列中没有写操作类领队且写队列中的写操作类的总数m大于n，从写队列中选出n个写操作类分别作为写操作类领队，并基于总数m将写队列中的其他写操作类进行合并处理以使得其他写操作类被分别合并到n个写操作类领队中；

将合并处理后的n个写操作类领队分别提交到对应的n个预写式日志中。

在一些实施例中，n等于2。

在一些实施例中，从写队列中选出n个写操作类分别作为写操作类领队，并基于总数m将写队列中的其他写操作类进行合并处理以使得其他写操作类被分别合并到n个写操作类领队中包括：从写队列中选取队首的写操作类作为第一写操作类领队以及选取队列的第m/2+1或(m-1)/2+1个写操作类作为第二写操作类领队，并将第一写操作类领队与第二写操作类领队之间的写操作类合并到第一写操作类领队中，以及将第二写操作类领队后面的写操作类合并到第二写操作类领队中。

在一些实施例中，方法还包括：依次为第一写操作类领队和第二写操作类领队按照顺序加一的方式分配序号。

在一些实施例中，将合并处理后的n个写操作类领队分别提交到对应的预写式日志中包括：基于分配的序号的奇偶性分别将第一写操作类领队和第二写操作类领队提交到对应的具有不同奇偶性日志号的两个预写式日志中。

在一些实施例中，方法还包括：响应于写队列中已有一个写操作类领队且写队列中的写操作类的总数m大于n-1，从写队列中选取队首的写操作类作为另一个写操作类领队，并将另一个写操作类领队与写队列的第m/2+1或(m-1)/2+1个写操作类之间的写操作类合并到该另一个写操作类领队中，以及将写队列中剩余的写操作类合并到该已有的一个写操作类领队中。

在一些实施例中，RocksDB产生写操作类包括：RocksDB将接收到的元数据封装为写操作类。

在一些实施例中，方法还包括：将合并处理后的n个写操作类领队分别提交到对应的n个预写式日志中后，将RocksDB产生的写操作类写入内存表。

本发明的另一方面，还提供了一种RocksDB性能提升系统，包括：

查询模块，配置用于响应于RocksDB产生写操作类，将写操作类放入写队列中，并查询写队列中是否有预设的n个写操作类领队，其中，n大于1；

合并处理模块，配置用于响应于写队列中没有写操作类领队且写队列中的写操作类的总数m大于n，从写队列中选出n个写操作类分别作为写操作类领队，并基于总数m将写队列中的其他写操作类进行合并处理以使得其他写操作类被分别合并到n个写操作类领队中；以及

提交模块，配置用于将合并处理后的n个写操作类领队分别提交到对应的n个预写式日志中。

本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项方法。

本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。

本发明至少具有以下有益技术效果：

本发明通过在写队列中选择n个写操作领队以及进行合并处理，使得后续的日志提交方式由原来的串行提交日志设置为并行提交日志，提升了RocksDB在高压下的性能，减少了高速设备存储系统的I/O时延，提升了分布式存储系统的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为根据本发明实施例提供的RocksDB性能提升方法的示意图；

图2为根据本发明实施例提供的RocksDB性能提升系统的示意图；

图3为本发明提供的执行RocksDB性能提升方法的计算机设备的一个实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。

基于上述目的，本发明实施例的第一个方面，提出了一种RocksDB性能提升方法的实施例。图1示出的是本发明提供的RocksDB性能提升方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：

步骤S10、响应于RocksDB产生写操作类，将写操作类放入写队列中，并查询写队列中是否有预设的n个写操作类领队，其中，n大于1；

步骤S20、响应于写队列中没有写操作类领队且写队列中的写操作类的总数m大于n，从写队列中选出n个写操作类分别作为写操作类领队，并基于总数m将写队列中的其他写操作类进行合并处理以使得其他写操作类被分别合并到n个写操作类领队中；

步骤S30、将合并处理后的n个写操作类领队分别提交到对应的n个预写式日志中。

RocksDB是一个可嵌入的、持久型的key-value存储，是使用一套日志结构的数据库引擎。现有技术中，RocksDB框架的高速设备存储中的高速设备性能的瓶颈点在于预写式日志的串行提交，具体地，当存在多个writer(写操作类)时会选出一个leader(写操作类领队)，然后将该leader应该将其write_batch(一批写操作类)提交到WAL(Write Ahead Log预写式日志)，但该leader会将没有被选中的同类的write_batch也进行合并，然后一并提交到WAL，且提交线程还是一个。基于此，本发明实施例通过在写队列中选择n个写操作领队以及进行合并处理，使得后续的日志提交方式由原来的串行提交日志设置为并行提交日志，提升了RocksDB在高压下的性能，减少了高速设备存储系统的I/O时延，提升了分布式存储系统的性能。

在一些实施例中，n等于2。在一些实施例中，从写队列中选出n个写操作类分别作为写操作类领队，并基于总数m将写队列中的其他写操作类进行合并处理以使得其他写操作类被分别合并到n个写操作类领队中包括：从写队列中选取队首的写操作类作为第一写操作类领队以及选取队列的第m/2+1或(m-1)/2+1个写操作类作为第二写操作类领队，并将第一写操作类领队与第二写操作类领队之间的写操作类合并到第一写操作类领队中，以及将第二写操作类领队后面的写操作类合并到二写操作类领队中。本实施例中，当m为偶数时，第二写操作类领队可以选择写队列的第m/2+1个写操作类；当m为奇数时，第二写操作类领队可以选择写队列的第(m-1)/2+1个写操作类。本实施例中，队列中的写操作类是依序排列的，通过基于写操作类的总数而顺序选取写操作类领队以及顺序选取写操作类进行合并，可以避免写操作类的丢失，保证了整个过程的有序性。但选取写操作类领队的方式并不限于此，且将其余写操作类合并到写操作类领队的方式也不限于此，可根据实际情况而定。

在一些实施例中，方法还包括：依次为第一写操作类领队和第二写操作类领队按照顺序加一的方式分配序号。本实施例中，通过序号分配器给全局的写操作类领队进行顺序加一的方式来分配序号。在全局的角度上，当写队列中的写操作类领队被合并处理后，便移出队列，但后续该队列中的写操作类领队的序号是在被移出队列的写操作类领队的序号上加一的。

在一些实施例中，将合并处理后的n个写操作类领队分别提交到对应的n个预写式日志中包括：基于分配的序号的奇偶性分别将第一写操作类领队和第二写操作类领队提交到对应的具有不同奇偶性日志号的两个预写式日志中。本实施例中，由于n等于2，因此基于分配的序号的奇偶性来进行预写式日志的对应，也相当于给序号用了余2法。例如，若第一写操作类领队的序号为6，第二写操作类领队的序号为7，预写式日志分别为WAL_1和WAL_2，便将第一写操作类领队提交到WAL_2中，将第二写操作类领队提交到WAL_1中。若n等于3，可以对序号应用余3法，即用序号数字除以3，根据余数是0、1、2来找对应的日志号，预写式日志也采用与之相匹配的方法来标记日志号。

在一些实施例中，方法还包括：响应于写队列中已有一个写操作类领队且写队列中的写操作类的总数m大于n-1，从写队列中选取队首的写操作类作为另一个写操作类领队，并将另一个写操作类领队与写队列的第m/2+1或(m-1)/2+1个写操作类之间的写操作类合并到该另一个写操作类领队中，以及将写队列中剩余的写操作类合并到该一个写操作类领队中。在另一实施例中，方法还包括：依次为该另一个写操作类领队和该一个写操作类领队按照顺序加一的方式分配序号，并基于分配的序号的奇偶性分别将另一个写操作类领队和该已有的一个写操作类领队提交到对应的具有不同奇偶性日志号的两个预写式日志中。

在一些实施例中，RocksDB产生写操作类包括：RocksDB将接收到的元数据封装为写操作类。

在一些实施例中，方法还包括：将合并处理后的n个写操作类领队分别提交到对应的预写式日志中后，将RocksDB产生的写操作类写入内存表。本实施例中，当内存表(memtable)渐渐被接收的写操作类占用到预设阈值时，会转化为Immemtable，然后将Immemtable中的内容移到硬盘。

在另一实施例中，若系统出现故障，RocksDB的恢复过程主要包括：同时获取n个RocksDB的预写式日志；通过迭代器分别指向n个预写式日志，并依照日志号的顺序依次获取预写式日志进行恢复。通过采用本发明实施例的RocksDB性能提升方法，可以使得万一系统故障后日志恢复也可以有序而稳定地进行。

本发明实施例的第二个方面，还提供了一种RocksDB性能提升系统。图2示出的是本发明提供的RocksDB性能提升系统的实施例的示意图。一种RocksDB性能提升系统包括：查询模块10，配置用于响应于RocksDB产生写操作类，将写操作类放入写队列中，并查询写队列中是否有预设的n个写操作类领队，其中，n大于1；合并处理模块20，配置用于响应于写队列中没有写操作类领队且写队列中的写操作类的总数m大于n，从写队列中选出n个写操作类分别作为写操作类领队，并基于总数m将写队列中的其他写操作类进行合并处理以使得其他写操作类被分别合并到n个写操作类领队中；以及提交模块30，配置用于将合并处理后的n个写操作类领队分别提交到对应的n个预写式日志中。

本发明实施例的RocksDB性能提升系统，通过在写队列中选择n个写操作领队以及进行合并处理，使得后续的日志提交方式由原来的串行提交日志设置为并行提交日志，提升了RocksDB在高压下的性能，减少了高速设备存储系统的I/O时延，提升了分布式存储系统的性能。

本发明实施例的第三个方面，还提供了一种计算机存储介质，存储介质存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项实施例的方法。

应当理解，在相互不冲突的情况下，以上针对根据本发明的RocksDB性能提升方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的RocksDB性能提升系统和存储介质。也就是说，上面所述的应用于RocksDB性能提升方法的所有实施例及其变化都可以直接移转应用于根据本发明的系统和存储介质，并直接结合于此。为了本公开的简洁起见，在此不再重复阐述。

本发明实施例的第四个方面，还提供了一种计算机设备，包括存储器302和处理器301，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例的方法。

如图3所示，为本发明提供的执行RocksDB性能提升方法的计算机设备的一个实施例的硬件结构示意图。以如图3所示的计算机设备为例，在该计算机设备中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图3中以通过总线连接为例。输入装置303可接收输入的数字或字符信息，以及产生与RocksDB性能提升系统的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的RocksDB性能提升方法。

最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种RocksDB性能提升方法，其特征在于，包括以下步骤：

响应于RocksDB产生写操作类，将所述写操作类放入写队列中，并查询所述写队列中是否有预设的n个写操作类领队，其中，n大于1；

响应于所述写队列中没有写操作类领队且所述写队列中的写操作类的总数m大于n，从所述写队列中选出n个写操作类分别作为写操作类领队，并基于所述总数m将所述写队列中的其他写操作类进行合并处理以使得其他写操作类被分别合并到n个写操作类领队中；

将所述合并处理后的n个写操作类领队分别提交到对应的n个预写式日志中。

2.根据权利要求1所述的方法，其特征在于，所述n等于2。

3.根据权利要求2所述的方法，其特征在于，从所述写队列中选出n个写操作类分别作为写操作类领队，并基于所述总数m将所述写队列中的其他写操作类进行合并处理以使得其他写操作类被分别合并到n个写操作类领队中包括：

从所述写队列中选取队首的写操作类作为第一写操作类领队以及选取队列的第m/2+1或(m-1)/2+1个写操作类作为第二写操作类领队，并将所述第一写操作类领队与所述第二写操作类领队之间的写操作类合并到所述第一写操作类领队中，以及将所述第二写操作类领队后面的写操作类合并到所述第二写操作类领队中。

4.根据权利要求3所述的方法，其特征在于，还包括：

依次为所述第一写操作类领队和第二写操作类领队按照顺序加一的方式分配序号。

5.根据权利要求4所述的方法，其特征在于，将所述合并处理后的n个写操作类领队分别提交到对应的n个预写式日志中包括：

基于分配的序号的奇偶性分别将所述第一写操作类领队和第二写操作类领队提交到对应的具有不同奇偶性日志号的两个预写式日志中。

6.根据权利要求2所述的方法，其特征在于，还包括：

响应于所述写队列中已有一个写操作类领队且所述写队列中的写操作类的总数m大于n-1，从所述写队列中选取队首的写操作类作为另一个写操作类领队，并将所述另一个写操作类领队与所述写队列的第m/2+1或(m-1)/2+1个写操作类之间的写操作类合并到所述另一个写操作类领队中，以及将所述写队列中剩余的写操作类合并到所述已有的一个写操作类领队中。

7.根据权利要求1所述的方法，其特征在于，RocksDB产生写操作类包括：

RocksDB将接收到的元数据封装为写操作类。

8.根据权利要求1所述的方法，其特征在于，还包括：

将所述合并处理后的n个写操作类领队分别提交到对应的预写式日志中后，将所述RocksDB产生的所述写操作类写入内存表。

9.一种RocksDB性能提升系统，其特征在于，包括：

查询模块，配置用于响应于RocksDB产生写操作类，将所述写操作类放入写队列中，并查询所述写队列中是否有预设的n个写操作类领队，其中，n大于1；

合并处理模块，配置用于响应于所述写队列中没有写操作类领队且所述写队列中的写操作类的总数m大于n，从所述写队列中选出n个写操作类分别作为写操作类领队，并基于所述总数m将所述写队列中的其他写操作类进行合并处理以使得其他写操作类被分别合并到n个写操作类领队中；以及

提交模块，配置用于将所述合并处理后的n个写操作类领队分别提交到对应的n个预写式日志中。

10.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被执行时实现如权利要求1-8任意一项所述的方法。

Images