CN109101194A - 一种刷写性能优化方法和存储系统 - Google Patents

Abstract

本申请实施例公开了一种刷写性能优化方法，包括：首先存储系统通过底层模块接收上层模块下发的写IO；若所述写IO的数量达到第一预设值，则在现有线程的基础上增加相应数量的线程得到第一数量的线程，所述线程用于处理所述写IO；然后再判断所述写IO的数量与所述调整后的线程数是否匹配；若所述写IO的数量与所述调整后的线程数匹配，则执行所述写IO以实现数据的写入。本申请通过判断IO的数量情况可动态调整线程数量以使得IO数量与线程数量始终保持在一个理想的状态，以此提高数据写入的效率。

Description

一种刷写性能优化方法和存储系统

技术领域

本申请涉及计算机数据存储技术领域，尤其涉及一种刷写性能优化方法和存储系统。

背景技术

随着互联网络的快速发展和计算机技术的广泛应用，对计算机的数据处理能力要求也越来越高，但是频繁的IO请求制约了计算机快速处理紧急问题的能力，因此IO能力成了现如今急需解决的问题。

存储系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备(硬件)和算法(软件)所组成的系统。其中，输入和输出(input output，IO)分为IO设备和IO接口两个部分。在存储系统的全闪阵列中，为实现数据的随机转顺序的存储方式，对于写IO的处理会采用追加写的方式，即在底层模块接收到存储系统的上层模块的写IO请求时，会给其写IO分配地址，而写IO的工作是由线程完成的，线程与存储系统下划分的空间块是进行绑定的，不同的空间块挂载到不同的线程上意味着不同线程上在给其上的写IO在分配地址时，可以分配到该线程所对应的空间块上，以此来保证不同的线程操作不同的空间区域，以此来防止出现不同线程写同一空间区域的冲突。

由于不同的线程分别写不同的空间块，因而容易导致IO因分散到多个线程而使单个线程不易快速凑满空间块，继而出现下盘速度变慢的问题。

发明内容

本申请实施例提供了一种刷写性能优化方法和存储系统，保证了存储系统在不同的负载压力下都能够正常工作，既不会导致过多的IO滞留，又不会因为空间块长时间无法凑满而影响工作效率，从整体提高了数据写入的效率。

有鉴于此，本发明第一方面提供了一种刷写性能优化方法，包括：

接收上层模块下发的写IO；

若所述写IO的数量达到第一预设值，则在现有线程的基础上增加相应数量的线程得到第一数量的线程，所述线程用于处理所述写IO；

判断所述写IO的数量与所述调整后的线程数是否匹配；

若所述写IO的数量与所述调整后的线程数匹配，则执行所述写IO以实现数据的写入。

结合本申请实施例第一方面，在本申请实施例第一方面的第一种实施方式中，所述方法还包括：

若所述写IO的数量达到第一预设值，则在现有线程的基础上减少相应的线程数量得到第二数量的线程。

结合本申请实施例第一方面，在本申请实施例第一方面的第二种实施方式中，所述接收上层模块下发的写IO之后，所述方法还包括：

对所述写IO分配逻辑地址；

将所述逻辑地址查询逻辑地址与物理地址的映射关系得到物理地址；

在所述物理地址上执行所述写IO。

结合本申请实施例第一方面的第二种实施方式，在本申请实施例第一方面的第三种实施方式中，所述在现有线程的基础上增加相应的线程数量得到第一数量的线程之后，方法还包括：

根据所述第一数量将存储系统划分为第一数量的空间块；

将所述第一数量的空间块分别与所述第一数量的线程进行绑定。

结合本申请实施例第一方面的第三种实施方式，在本申请实施例第一方面的第四种实施方式中，所述将所述第一数量的空间块分别与所述第一数量的线程进行绑定包括：

将第一空间块与第一线程进行绑定以使得所述第一线程上的写IO分配至所述第一空间块；

将第二空间块与第二线程进行绑定以使得所述第二线程上的写IO分配至所述第二空间块。

本发明第二方面提供了一种存储系统，所述存储系统包括：

接收单元，用于接收上层模块下发的写IO；

决策单元，用于当所述写IO的数量达到第一预设值时，在现有线程的基础上增加相应数量的线程得到第一数量的线程，所述线程用于处理所述写IO；

检测单元，用于判断所述写IO的数量与所述调整后的线程数是否匹配；

写入单元，用于当所述写IO的数量与所述调整后的线程数匹配时，执行所述写IO以实现数据的写入。

结合本申请实施例第二方面，在本申请实施例第二方面的第一种实施方式中，所述存储系统还包括：

所述决策单元，用于当所述写IO的数量达到第一预设值时，在现有线程的基础上减少相应的线程数量得到第二数量的线程。

结合本申请实施例第二方面，在本申请实施例第二方面的第二种实施方式中，所述写入单元还包括：

分配模块，用于对所述写IO分配逻辑地址；

获取模块，用于将所述逻辑地址查询逻辑地址与物理地址的映射关系获取物理地址；

执行模块，用于在所述物理地址上执行所述写IO。

结合本申请实施例第二方面的第二种实施方式，在本申请实施例第二方面的第三种实施方式中，所述存储系统还包括：

划分单元，用于决策单元之后根据所述第一数量将存储系统划分为第一数量的空间块；

绑定单元，用于将所述第一数量的空间块分别与所述第一数量的线程进行绑定。

本申请第三方面提供一种计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述任一方面的方法。

本申请第四方面提供一种计算机存储介质，用于储存为上述方法所用的计算机软件指令，当其在计算机上运行时，使得计算机可以执行上述中任一方面的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供了一种刷写性能优化方法，根据存储系统的负载压力和累积的IO数量对线程数量进行动态调整，当底层模块接收的IO数量较多时适当增加投入工作的线程数量，同时也增加与线程对应的空间块数量，以便存放更多的写IO；当接收的IO数量较少时，可以适当减少投入工作的线程数，相应减少工作的空间块，保证写IO能更集中的快速凑满空间块然后进行刷盘写入数据。通过接收的IO数量情况动态调整线程数量使得IO数量与线程数量始终保持在一个理想的状态，能够提高数据写入的效率。

附图说明

图1为本申请实施例中典型的存储系统的结构框架图；

图2为本申请实施例中刷写性能优化方法的流程示意图；

图3为本申请实施例中线程和空间块绑定的示意图；

图4为本申请实施例中存储系统的结构示意图；

图5为本申请实施例中存储系统的另一结构示意图；

图6为本申请实施例中存储系统的另一结构示意图。

具体实施方式

本申请实施例提供了一种刷写性能优化方法，首先存储系统通过底层模块接收上层模块下发的写IO；若所述写IO的数量达到第一预设值，则在现有线程的基础上增加相应的线程数量得到第一数量的线程，所述线程用于处理所述写IO；然后判断所述写IO的数量与所述调整后的线程数是否匹配；若所述写IO的数量与所述调整后的线程数匹配，则执行所述写IO以实现数据的写入。本申请实施例通过接收的IO数量情况可动态调整线程的数量，从而使得IO数量与线程数量始终保持在一个理想的状态，以此提高数据写入的效率。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

存储系统中的数据管理能力是计算机高效、快速运转的重要指标，图1为典型的存储系统的结构框图，如图所示，多个逻辑磁盘Drive组成廉价磁盘冗余阵(Redundant Arrayof Inexpensive Disks，RAID)，而后由一个或多个RAID组成存储池pool，存储池再划分出逻辑卷，逻辑卷映射到主机端后，便可向卷中写IO。对于实际的存储产品由于还会有很多其他功能，实际还会有更多层，如快照层、缓存层等。

具体的是通过存储系统划分的多个空间块与线程进行绑定的方式将线程上的写IO放入空间块，空间块与线程进行绑定意味着在给写IO分配地址时可以将该写IO分配到某个线程对应的空间块上去，当数据填充满所在空间块时，再一并进行刷盘，将空间块中的数据写入到后端磁盘中，通过这种方式进行数据写入会存在一些问题，例如由于划分的空间块数量是固定的，那么与空间块一一绑定的线程数量也是固定的，因此在接收的写IO数量较少时，用来存放IO的空间块不易被填充满，从而导致下盘速度变慢；如果接收的写IO数量较多，那么很有可能预先划分的空间块一时容纳不了需要写入的IO数量，溢出的IO数据必须进行等待。可以看出，写IO的数量和空间块的数量不匹配时会严重影响数据写入的效率。

因此本申请实施例以全闪存储的存储产品为例描述了一种刷写能力优化方法，如图2所示：

101、通过底层模块接收上层模块下发的写IO；

由上述描述可知，典型存储系统的结构包括逻辑磁盘Drive层、磁盘冗余阵列Raid层、存储池pool层和逻辑卷层。而本申请实施例中的上层模块泛指处于底层模块之上的某一层逻辑，底层模块泛指负责分配IO地址的功能模块，对应到不同的产品，由于架构设计的差异，地址分配的功能可以放在RAID层、存储池层或逻辑卷层，甚至也可以独立作为一个模块，具体此处不作限定。

在底层模块在收到写IO后按全闪存储对应的追加写方式进行处理，首先给写IO分配一个地址，而后将该地址记录到元数据中，建立起逻辑地址与实际地址的映射关系，从而保证以后可以通过元数据正确查询到IO的地址。

102、若所述写IO的数量达到第一预设值，则递增现有的线程数量得到第一数量的线程，所述线程用于处理所述写IO；

此处的第一预设值为IO数量的上限值，即当接收的写IO数量大于或等于预设的临界值时，说明此时负载压力较大，需要增加线程数量，而与线程绑定的空间块的作用是用来存放IO，因此线程数量越多，对应的空间块数量越多，能够处理的IO请求也就越多，也有助于提高存储系统的数据管理能力。

本申请实施例中的第一预设值是根据存储系统的IO承受能力而定的，具体可依据产品类型和配置情况灵活设定，如果某种类型的存储系统本身能够处理大量的IO请求，那么预设值可以设定的高一点，如果处理IO请求能力差，相应的，第一预设值应设置的低一点，本申请实施例对第一预设值的具体数值不作限定。

本申请实施例中对递增的线程数量也不作具体限定，可以试探性地先增加一个线程，然后判断增加后的线程数量和写IO数量是否匹配，如果不匹配，再根据线程数量和写IO数量之间的差值情况决定增加多少线程。也可以在IO数量达到第一预设值时直接根据线程数量和写IO数量之间的差值情况决定增加多少线程，增加线程的具体方式本申请实施例不作限定。

103、判断所述写IO的数量与调整后的所述第一数量的线程是否匹配；

在步骤102增加线程数量之后，判断调整后的第一数量的线程和接收的IO的数量是否匹配，即当前并发的线程数量和IO负载是否保持在一个相对理想的工作状态，具体来说，系统在当前情况下是否可以承担起主机负载，既不会因为IO数量太多处理不了，又不会因为IO数量太少导致空间块长时间未填满，无法统一进行刷盘。

本申请实施例中的相对理想状态由存储系统的硬件性能以及软件设计根据实际情况决定，具体此处不作限定。

104、若所述写IO的数量与所述调整后的线程数匹配，则执行所述写IO以实现数据的写入。

本申请实施例通过接收的IO数量情况可动态调整线程的数量，在从而使得IO数量与线程数量始终保持在一个理想的状态，以此提高数据写入的效率。

可选地，在上述实施例的基础上，本发明实施例提供的刷写性能优化方法的实施例中：

若所述写IO的数量达到第二预设值，则在现有线程的基础上减少相应数量的线程得到第二数量的线程。

当存储系统通过底层模块接收的写IO数量小于或等于某个预设值时，说明IO数量太少，负载压力较小，此时可以适当减少线程数量，与递增线程数量类似，递减的临界预设值和递减的数目可根据硬件平台性能和系统具体架构进行合理设定。

可选地，在上述实施例的基础上，本发明实施例提供的刷写性能优化方法的实施例中，所述接收上层模块下发的写IO之后，所述方法还包括：

对所述写IO分配逻辑地址；

将所述逻辑地址查询逻辑地址与物理地址的映射关系得到物理地址；

在所述物理地址上执行所述写IO。

对于写IO的处理一般有两种方式：覆盖写和追加写。对于传统存储(由普通机械盘组成的存储产品)采用的是覆盖写方式，举例来说，如果逻辑卷第100的位置对应到实际物理空间20的位置，则每次写逻辑卷100位置，数据实际都重复写在物理空间20的位置；而对于全闪存储(由固态硬盘(Solid State Drives，SSD)组成的存储产品)，为充分适配SSD的特点，会采用追加写方式，每次写逻辑卷时，无论写在何位置，对应到物理空间都是从0位置开始依次追加，举例来说，第一次写逻辑卷100位置，会对应到物理空间0位置开始数据写入，再写200位置时，对应到物理空间1位置写入数据，再次写100位置时，对应到物理空间2位置写入数据，即每次都不会写到物理空间的相同位置，而是依次追加地写到新位置。

本申请实施中的刷写能力优化方法适用于全闪存储的数据写入方式，在底层模块接收到上层模块下发的写IO后，按照全闪存储的追加写方式给IO分配一个地址，然后将该地址记录到元数据中，保证以后可以通过元数据以及逻辑地址与实际地址之间的映射关系可以正确查询到IO的地址

本申请实施例中的刷写性能优化方式针对于SSD构成的全闪阵列，因此采用追加写的数据写入方式可以更好地适配SSD，以便能更好的发挥出SSD的性能。

可选地，在上述实施例的基础上，本发明实施例提供的刷写性能优化方法的实施例中，所述在现有线程的基础上增加相应的线程数量得到第一数量的线程之后，方法还包括：

根据所述第一数量将存储系统划分为第一数量的空间块；

将所述第一数量的空间块分别与所述第一数量的线程进行绑定。

对于存储系统，空间管理一般都是分成一定大小的块进行管理的，分块的具体大小根据实际情况决定，例如可将存储系统的空间分为4K、32K、128K、1M等。

写IO的工作是由线程来完成的，如图3所示，因此将不同的空间块挂在到不同线程上意味着不同线程在给其上的写IO分配地址时，可以将写IO分配到某个线程所对应的空间块上，以此来保证不同的线程操作不同的空间区域，以此来防止出现不同线程写同一空间区域的冲突。

可选地，在上述实施例的基础上，本发明实施例提供的刷写性能优化方法的实施例中，所述将所述第一数量的空间块分别与所述第一数量的线程进行绑定包括：

将第一空间块与第一线程进行绑定以使得所述第一线程上的写IO分配至所述第一空间块；

将第二空间块与第二线程进行绑定以使得所述第二线程上的写IO分配至所述第二空间块。

对应的本申请实施例中刷写性能优化方法，下面从本发明中的存储系统进行详细描述，请参阅图4，存储系统20包括：

接收单元201，用于接收上层模块下发的写IO；

决策单元202，用于当所述写IO的数量达到第一预设值时，在现有线程的基础上增加相应数量的线程得到第一数量的线程，所述线程用于处理所述写IO；

检测单元203，用于判断所述写IO的数量与所述调整后的线程数是否匹配；

写入单元204，用于当所述写IO的数量与所述调整后的线程数匹配时，执行所述写IO以实现数据的写入。

可选地，在上述图4对应的实施例的基础上，本发明实施例存储系统中的决策单元还用于当所述写IO的数量达到第一预设值时，在现有线程的基础上减少相应的线程数量得到第二数量的线程。

可选地，在上述图4对应的实施例的基础上，请参阅图5，本发明实施例存储系统中的写入单元204包括：

分配模块2041，用于对所述写IO分配逻辑地址；

获取模块2042，用于将所述逻辑地址查询逻辑地址与物理地址的映射关系获取物理地址；

执行模块2043，用于在所述物理地址上执行所述写IO。

可选地，在上述图4对应的实施例的基础上，请参阅图6，本发明实施例中的存储系统还包括：

划分单元205，用于决策单元之后根据所述第一数量将存储系统划分为第一数量的空间块；

绑定单元206，用于将所述第一数量的空间块分别与所述第一数量的线程进行绑定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种刷写性能优化方法，其特征在于，所述方法包括：

接收上层模块下发的写IO；

若所述写IO的数量达到第一预设值，则在现有线程的基础上增加相应数量的线程得到第一数量的线程，所述线程用于处理所述写IO；

判断所述写IO的数量与所述调整后的线程数是否匹配；

若所述写IO的数量与所述调整后的线程数匹配，则执行所述写IO以实现数据的写入。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述写IO的数量达到第一预设值，则在现有线程的基础上减少相应的线程数量得到第二数量的线程。

3.根据权利要求1所述的方法，其特征在于，所述接收上层模块下发的写IO之后，所述方法还包括：

对所述写IO分配逻辑地址；

将所述逻辑地址查询逻辑地址与物理地址的映射关系得到物理地址；

在所述物理地址上执行所述写IO。

4.根据权利要求3所述的方法，其特征在于，所述在现有线程的基础上增加相应的线程数量得到第一数量的线程之后，方法还包括：

根据所述第一数量将存储系统划分为第一数量的空间块；

将所述第一数量的空间块分别与所述第一数量的线程进行绑定。

5.根据权利要求4所述的方法，其特征在于，所述将所述第一数量的空间块分别与所述第一数量的线程进行绑定包括：

将第一空间块与第一线程进行绑定以使得所述第一线程上的写IO分配至所述第一空间块；

将第二空间块与第二线程进行绑定以使得所述第二线程上的写IO分配至所述第二空间块。

6.一种存储系统，其特征在于，所述存储系统包括：

接收单元，用于接收上层模块下发的写IO；

决策单元，用于当所述写IO的数量达到第一预设值时，在现有线程的基础上增加相应数量的线程得到第一数量的线程，所述线程用于处理所述写IO；

检测单元，用于判断所述写IO的数量与所述调整后的线程数是否匹配；

写入单元，用于当所述写IO的数量与所述调整后的线程数匹配时，执行所述写IO以实现数据的写入。

7.根据权利要求6所述的存储系统，其特征在于，所述存储系统还包括：

所述决策单元，用于当所述写IO的数量达到第一预设值时，在现有线程的基础上减少相应的线程数量得到第二数量的线程。

8.根据权利要求6所述的存储系统，其特征在于，所述写入单元还包括：

分配模块，用于对所述写IO分配逻辑地址；

获取模块，用于将所述逻辑地址查询逻辑地址与物理地址的映射关系获取物理地址；

执行模块，用于在所述物理地址上执行所述写IO。

9.根据权利要求8所述的存储系统，其特征在于，所述存储系统还包括：

划分单元，用于决策单元之后根据所述第一数量将存储系统划分为第一数量的空间块；

绑定单元，用于将所述第一数量的空间块分别与所述第一数量的线程进行绑定。

10.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得计算机执行如权利要求1至5中任意一项所述的刷写性能优化方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述权利要求1至5中任一所述的刷写性能优化方法。