CN106371916B - 一种存储系统io线程优化方法及其装置 - Google Patents

Abstract

本发明公开了一种存储系统IO线程优化方法，IO线程包括SCSI IO处理线程以及缓存处理线程，IO线程的总数固定；该方法包括实时检测存储系统的缓存利用率；按照第一预设策略对缓存利用率的大小进行判断，得到判断结果；缓存利用率为缓存内未同步至存储介质内的数据所占用的缓存比例；根据判断结果以及预设调整策略对IO线程中两种线程的分配数量进行调整。本发明能够兼顾两种线程的需要进行平衡分配，尽可能保证线程的分配合理性，能够提高存储系统的资源利用率以及服务质量。本发明还公开了一种存储系统IO线程优化装置，也具有上述优点，在此不再赘述。

Description

一种存储系统IO线程优化方法及其装置

技术领域

本发明涉及存储性能优化技术领域，特别是涉及一种存储系统IO线程优化方法及其装置。

背景技术

随着IT产业的发展，计算机朝大容量、高速度方向的发展，使得计算机产业对计算机设备和存储设备的要求越来越高，对存储设备的容量、速度、可持续性、高可用性等都提出越来越高的要求。而在不断提高对容量、速度等硬指标的要求的同时，存储系统的服务质量的要求也越来越受关注。

存储系统中主要包括两种线程：SCSI IO处理线程以及缓存处理线程，SCSI IO处理线程的作用是将SCSI(Small Computer System Interface，小型计算机系统接口)接收到的客户端指令和数据转化为存储系统内的Block IO操作或者File IO操作；缓存处理线程用于定时按照缓存刷写策略将缓存内的数据写入对应的存储介质中，同时将缓存区间释放，以提供给新的SCSI IO操作数据使用。

目前的存储系统中，SCSI IO处理线程和缓存处理线程的数量分别由不同的模块控制及调整，两者之间相互独立，这种情况下只能单独调整SCSI IO处理线程和缓存处理线程的数量，而不能兼顾两种线程的需要平衡分配，很容易导致线程分配不合理的情况出现，存储系统的资源利用率低，且容易出现存储系统资源过载的情况，服务质量差。

因此，如何提供一种资源利用率高、服务质量好的存储系统IO线程优化方法及其装置是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种存储系统IO线程优化方法及其装置，能够兼顾两种线程的需要进行平衡分配，尽可能保证线程的分配合理性，能够提高存储系统的资源利用率以及服务质量。

为解决上述技术问题，本发明提供了一种存储系统IO线程优化方法，所述IO线程包括SCSI IO处理线程以及缓存处理线程，所述IO线程的总数固定；所述方法包括：

实时检测所述存储系统的缓存利用率；所述缓存利用率为所述缓存内未同步至存储介质内的数据所占用的缓存比例；

按照第一预设策略对所述缓存利用率的大小进行判断，得到判断结果；

根据所述判断结果以及预设调整策略对所述IO线程中两种线程的分配数量进行调整。

优选地，所述按照第一预设策略对所述缓存利用率的大小进行判断，得到判断结果；根据所述判断结果以及预设调整策略对所述IO线程中两种线程的分配数量进行调整的过程具体为：

当所述缓存利用率为零时，判断所述存储系统初始运行；依据所述预设调整策略中的第一分配方式分配所述IO线程中两种线程的数量；其中，在所述第一分配方式下所述SCSI IO处理线程的数量大于所述缓存处理线程的数量；

当所述缓存利用率大于零但低于第一预设阈值时，判断所述存储系统运行正常；不调整所述IO线程中两种线程的数量；

当所述缓存利用率高于第二预设阈值时，判断所述存储系统缓存不足；依据所述预设调整策略中的第二分配方式分配所述IO线程中两种线程的数量；

当所述缓存利用率高于第三预设阈值时，判断所述存储系统缓存严重不足；依据所述预设调整策略中的第三分配方式分配所述IO线程中两种线程的数量；其中，在所述第三分配方式下所述SCSI IO处理线程的数量小于所述缓存处理线程的数量。

优选地，所述根据所述判断结果以及预设调整策略对所述IO线程中两种线程的分配数量进行调整之前还包括：

判断所述存储系统接收到的IO操作中，是否包括有延迟敏感的应用操作，如果是，优先按照所述预设调整策略中的第四分配方式分配所述IO线程中两种线程的数量；其中，所述第四分配方式下所述SCSI IO处理线程的数量增加，所述缓存处理线程的数量降低；如果否，根据所述判断结果以及所述预设调整策略对所述IO线程中两种线程的分配数量进行调整。

优选地，还包括：

当依据所述预设调整策略中的所述第三分配方式分配所述IO线程中两种线程的数量后，所述缓存利用率仍高于所述第三预设阈值，将所述SCSI的目标队列深度限制为预设深度值。

为解决上述技术问题，本发明还提供了一种存储系统IO线程优化装置，所述IO线程包括SCSI IO处理线程以及缓存处理线程，所述IO线程的总数固定；所述装置包括：

检测模块，用于实时检测所述存储系统的缓存利用率；所述缓存利用率为所述缓存内未同步至存储介质内的数据所占用的缓存比例；

第一判断模块，用于按照第一预设策略对所述缓存利用率的大小进行判断，得到判断结果；

调整模块，用于根据所述判断结果以及预设调整策略对所述IO线程中两种线程的分配数量进行调整。

优选地，所述第一判断模块具体用于：

当所述缓存利用率为零时，判断所述存储系统初始运行；发送第一调整信号至所述调整模块；当所述缓存利用率大于零但低于第一预设阈值时，判断所述存储系统运行正常，发送第二调整信号至所述调整模块；当所述缓存利用率高于第二预设阈值时，判断所述存储系统缓存不足，发送第三调整信号至所述调整模块；当所述缓存利用率高于第三预设阈值时，判断所述存储系统缓存严重不足，发送第四调整信号至所述调整模块；

所述调整模块具体用于：

接收所述第一调整信号后，依据所述预设调整策略中的第一分配方式分配所述IO线程中两种线程的数量；其中，在所述第一分配方式下所述SCSI IO处理线程的数量大于所述缓存处理线程的数量；接收所述第二调整信号后，不调整所述IO线程中两种线程的数量；接收所述第三调整信号后，依据所述预设调整策略中的第二分配方式分配所述IO线程中两种线程的数量；接收所述第四调整信号后，依据所述预设调整策略中的第三分配方式分配所述IO线程中两种线程的数量；其中，在所述第三分配方式下所述SCSI IO处理线程的数量小于所述缓存处理线程的数量。

优选地，还包括：

第二判断模块，用于判断所述存储系统接收到的IO操作中，是否包括有延迟敏感的应用操作，如果是，发送优先处理信号至所述调整模块；如果否，发送正常处理信号至所述调整模块；

所述调整模块还用于：

接收所述优先处理信号后，优先按照所述预设调整策略中的第四分配方式分配所述IO线程中两种线程的数量；其中，在所述第四分配方式下所述SCSIIO处理线程的数量增加，所述缓存处理线程的数量降低；接收所述正常处理信号后，根据所述判断结果以及所述预设调整策略对所述IO线程中两种线程的分配数量进行调整。

优选地，所述调整模块还用于：

当依据所述预设调整策略中的所述第三分配方式分配所述IO线程中两种线程的数量后，所述缓存利用率仍高于所述第三预设阈值，将所述SCSI的目标队列深度限制为预设深度值。

本发明提供了一种存储系统IO线程优化方法，根据实时检测到的缓存利用率判断此时存储系统对两种线程的需要情况，进而根据判断结果以及预设调整策略对SCSI IO处理线程以及缓存处理线程的数量统一进行分配。可见，本发明兼顾了两种线程的需要进行平衡分配，尽可能保证了线程的分配合理性，存储系统的资源利用率高，尽可能避免了存储系统资源过载的情况出现，提高了存储系统的服务质量。本发明还提供了一种存储系统IO线程优化装置，也具有上述优点，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种存储系统IO线程优化方法的过程的流程图；

图2为本发明提供的另一种存储系统IO线程优化方法的过程的流程图；

图3为本发明提供的一种存储系统IO线程优化装置的结构示意图。

具体实施方式

本发明的核心是提供一种存储系统IO线程优化方法及其装置，能够兼顾两种线程的需要进行平衡分配，尽可能保证线程的分配合理性，能够提高存储系统的资源利用率以及服务质量。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明提供了一种存储系统IO线程优化方法，IO线程包括SCSI IO处理线程以及缓存处理线程，IO线程的总数固定；参见图1所示，图1为本发明提供的一种存储系统IO线程优化方法的过程的流程图。该方法包括：

步骤s101：实时检测存储系统的缓存利用率；缓存利用率为缓存内未同步至存储介质内的数据所占用的缓存比例；

步骤s102：按照第一预设策略对缓存利用率的大小进行判断，得到判断结果；

步骤s103：根据判断结果以及预设调整策略对IO线程中两种线程的分配数量进行调整。

本发明提供了一种存储系统IO线程优化方法，根据实时检测到的缓存利用率判断此时存储系统对两种线程的需要情况，进而根据判断结果以及预设调整策略对SCSI IO处理线程以及缓存处理线程的数量统一进行分配。可见，本发明兼顾了两种线程的需要进行平衡分配，尽可能保证了线程的分配合理性，存储系统的资源利用率高，尽可能避免了存储系统资源过载的情况出现，提高了存储系统的服务质量。

实施例二

基于实施例一的基础上，本发明还提供了另一种存储系统IO线程优化方法，参见图2所示，图2为本发明提供的另一种存储系统IO线程优化方法的过程的流程图。

该方法包括：

步骤s201：实时检测存储系统的缓存利用率；

步骤s202：按照第一预设策略对缓存利用率的大小进行判断，得到判断结果；

步骤s203：根据判断结果以及预设调整策略对IO线程中两种线程的分配数量进行调整。

具体的，按照第一预设策略对缓存利用率的大小进行判断，得到判断结果；根据判断结果以及预设调整策略对IO线程中两种线程的分配数量进行调整的过程具体为：

当缓存利用率为零时，判断存储系统初始运行；依据预设调整策略中的第一分配方式分配IO线程中两种线程的数量；其中，在第一分配方式下SCSI IO处理线程的数量大于缓存处理线程的数量；

当缓存利用率大于零但低于第一预设阈值时，判断存储系统运行正常；不调整IO线程中两种线程的数量；

当缓存利用率高于第二预设阈值时，判断存储系统缓存不足；依据预设调整策略中的第二分配方式分配IO线程中两种线程的数量；

当缓存利用率高于第三预设阈值时，判断存储系统缓存严重不足；依据预设调整策略中的第三分配方式分配IO线程中两种线程的数量；其中，在第三分配方式下SCSI IO处理线程的数量小于缓存处理线程的数量。

可以理解的是，本发明中将存储系统的资源与IO线程进行了绑定，IO线程的分配合理性也在一定程度上表明了存储系统资源分配的合理性。在存储系统初始运行时，可将大部分资源用于SCSI IO处理，SCSI IO处理线程的数量远大于缓存处理线程的数量；在存储系统运行一段时间后，若缓存利用率低于第一预设阈值，表明此时缓存利用率较低，即该种线程分配方式下能够满足缓存刷写的需求，故不需要进行资源分配的更改；若缓存利用率高于第二预设阈值，表明此时缓存利用率较高，该种线程分配方式下已经不太能满足缓存刷写的需求，需要提高缓存处理线程的数量，即在第二分配方式下SCSI IO处理线程的数量减小，缓存处理线程的数量增加；若缓存利用率高于第三预设阈值，表明此时缓存利用率过高，即将被写满，急需增加缓存处理线程的数量，故此时可将大部分资源用于缓存处理，SCSI IO处理线程的数量远小于缓存处理线程的数量。可见，第一预设阈值小于第二预设阈值，第二预设阈值小于第三预设阈值。

当然，本发明不限定IO线程的总数量，也不限定各个预设阈值以及各种分配方式下两种线程的数量，以上各个数值均可根据实际情况自行决定，并且还可根据实际情况进行动态调整。同时，第一预设策略中设定的几个判断级别以及对应的预设调整策略分配方式仅为优选方案，工作人员可根据实际需要增减判断级别以及对应的分配方式(例如，仅判断缓存是否处于正常运行或不足，而不判断缓存是否处于严重不足状态)，还可以根据需要对各个判断级别的判定标准以及分配方式的具体内容进行修改，本发明对此不作限定。另外，也可以通过编写程序，定期按照预设规则调整IO线程的数量。

另外，预设调整策略中的各个分配方式可以为具体的SCSI IO处理线程的和缓存处理线程的分配线程数量，也可以为SCSI IO处理线程的和缓存处理线程分别在IO线程总数中所占的比例，具体采用哪种方式本发明不作限定。

作为优选地，该方法还包括：

步骤s204：当依据预设调整策略中的第三分配方式分配IO线程中两种线程的数量后，缓存利用率仍高于第三预设阈值，将SCSI的目标队列深度限制为预设深度值。

这里的队列深度指的是SCSI允许接收的IO操作数量，一旦接收到的IO操作数量达到队列深度值时即停止接收，该种方式能够一定程度上减少SCSIIO处理线程的需求，从而能够分配尽可能多的IO线程作为缓存处理线程，进而缓解缓存的需求。

作为优选地，根据判断结果以及预设调整策略对IO线程中两种线程的分配数量进行调整之前还包括：

步骤s205：判断存储系统接收到的IO操作中，是否包括有延迟敏感的应用操作，如果是，优先按照预设调整策略中的第四分配方式分配IO线程中两种线程的数量；其中，第四分配方式下SCSI IO处理线程的数量增加，缓存处理线程的数量降低；如果否，根据判断结果以及预设调整策略对IO线程中两种线程的分配数量进行调整。

可以理解的是，若有延迟敏感的应用操作时，这些操作会需要存储系统立即返回相应的响应，故该种情况下需要相应的增加SCSI IO处理线程的数量。

需要注意的是，这里的步骤s205与步骤s201及步骤s202之间无顺序限定，即可以在进行步骤s201及步骤s202的同时进行步骤s205，也可以先进行步骤s205，然后再进行步骤s201及步骤s202，或者反过来，本发明对此不做限定。

与实施例一相比，本发明进一步增加了在缓存持续不足的情况下，限制SCSI的目标队列深度的操作，从而尽可能缓解缓存的需求，提高服务质量；并且，还增加了对延迟敏感操作的检测以及相应的处理，避免由于这部分操作的特殊需要而影响其他IO操作的处理，提高了存储系统的可靠性。

本发明还提供了一种存储系统IO线程优化装置，IO线程包括SCSI IO处理线程以及缓存处理线程，IO线程的总数固定；参见图3所示，图3为本发明提供的一种存储系统IO线程优化装置的结构示意图。该装置包括：

检测模块11，用于实时检测存储系统的缓存利用率；缓存利用率为缓存内未同步至存储介质内的数据所占用的缓存比例；

第一判断模块12，用于按照第一预设策略对缓存利用率的大小进行判断，得到判断结果；

调整模块13，用于根据判断结果以及预设调整策略对IO线程中两种线程的分配数量进行调整。

其中，第一判断模块12具体用于：

当缓存利用率为零时，判断存储系统初始运行；发送第一调整信号至调整模块13；当缓存利用率大于零但低于第一预设阈值时，判断存储系统运行正常，发送第二调整信号至调整模块13；当缓存利用率高于第二预设阈值时，判断存储系统缓存不足，发送第三调整信号至调整模块13；当缓存利用率高于第三预设阈值时，判断存储系统缓存严重不足，发送第四调整信号至调整模块13；

调整模块13具体用于：

接收第一调整信号后，依据预设调整策略中的第一分配方式分配IO线程中两种线程的数量；其中，在第一分配方式下SCSI IO处理线程的数量大于缓存处理线程的数量；接收第二调整信号后，不调整IO线程中两种线程的数量；接收第三调整信号后，依据预设调整策略中的第二分配方式分配IO线程中两种线程的数量；接收第四调整信号后，依据预设调整策略中的第三分配方式分配IO线程中两种线程的数量；其中，在第三分配方式下SCSI IO处理线程的数量小于缓存处理线程的数量。

作为优选地，该装置还包括：

第二判断模块14，用于判断存储系统接收到的IO操作中，是否包括有延迟敏感的应用操作，如果是，发送优先处理信号至调整模块13；如果否，发送正常处理信号至调整模块13；

调整模块13还用于：

接收优先处理信号后，优先按照预设调整策略中的第四分配方式分配IO线程中两种线程的数量；其中，在第四分配方式下SCSI IO处理线程的数量增加，缓存处理线程的数量降低；接收正常处理信号后，根据判断结果以及预设调整策略对IO线程中两种线程的分配数量进行调整。

作为优选地，调整模块13还用于：

当依据预设调整策略中的第三分配方式分配IO线程中两种线程的数量后，缓存利用率仍高于第三预设阈值，将SCSI的目标队列深度限制为预设深度值。

本发明提供了一种存储系统IO线程优化装置，根据实时检测到的缓存利用率判断此时存储系统对两种线程的需要情况，进而根据判断结果以及预设调整策略对SCSI IO处理线程以及缓存处理线程的数量统一进行分配。可见，本发明兼顾了两种线程的需要进行平衡分配，尽可能保证了线程的分配合理性，存储系统的资源利用率高，尽可能避免了存储系统资源过载的情况出现，提高了存储系统的服务质量。

需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种存储系统IO线程优化方法，其特征在于，所述IO线程包括SCSI IO处理线程以及缓存处理线程，所述IO线程的总数固定；所述方法包括：

实时检测所述存储系统的缓存利用率；所述缓存利用率为所述缓存内未同步至存储介质内的数据所占用的缓存比例；

按照第一预设策略对所述缓存利用率的大小进行判断，得到判断结果；

根据所述判断结果以及预设调整策略对所述IO线程中两种线程的分配数量进行调整；

所述按照第一预设策略对所述缓存利用率的大小进行判断，得到判断结果；根据所述判断结果以及预设调整策略对所述IO线程中两种线程的分配数量进行调整的过程具体为：

当所述缓存利用率为零时，判断所述存储系统初始运行；依据所述预设调整策略中的第一分配方式分配所述IO线程中两种线程的数量；其中，在所述第一分配方式下所述SCSIIO处理线程的数量大于所述缓存处理线程的数量；

当所述缓存利用率大于零但低于第一预设阈值时，判断所述存储系统运行正常；不调整所述IO线程中两种线程的数量；

当所述缓存利用率高于第二预设阈值时，判断所述存储系统缓存不足；依据所述预设调整策略中的第二分配方式分配所述IO线程中两种线程的数量；在所述第二分配方式下所述SCSI IO处理线程的数量减小，所述缓存处理线程的数量增加；

当所述缓存利用率高于第三预设阈值时，判断所述存储系统缓存严重不足；依据所述预设调整策略中的第三分配方式分配所述IO线程中两种线程的数量；其中，在所述第三分配方式下所述SCSI IO处理线程的数量小于所述缓存处理线程的数量。

2.根据权利要求1所述的方法，其特征在于，所述根据所述判断结果以及预设调整策略对所述IO线程中两种线程的分配数量进行调整之前还包括：

判断所述存储系统接收到的IO操作中，是否包括有延迟敏感的应用操作，如果是，优先按照所述预设调整策略中的第四分配方式分配所述IO线程中两种线程的数量；其中，所述第四分配方式下所述SCSI IO处理线程的数量增加，所述缓存处理线程的数量降低；如果否，根据所述判断结果以及所述预设调整策略对所述IO线程中两种线程的分配数量进行调整。

3.根据权利要求1所述的方法，其特征在于，还包括：

当依据所述预设调整策略中的所述第三分配方式分配所述IO线程中两种线程的数量后，所述缓存利用率仍高于所述第三预设阈值，将所述SCSI的目标队列深度限制为预设深度值。

4.一种存储系统IO线程优化装置，其特征在于，所述IO线程包括SCSI IO处理线程以及缓存处理线程，所述IO线程的总数固定；所述装置包括：

检测模块，用于实时检测所述存储系统的缓存利用率；所述缓存利用率为所述缓存内未同步至存储介质内的数据所占用的缓存比例；

第一判断模块，用于按照第一预设策略对所述缓存利用率的大小进行判断，得到判断结果；

调整模块，用于根据所述判断结果以及预设调整策略对所述IO线程中两种线程的分配数量进行调整；

所述第一判断模块具体用于：

当所述缓存利用率为零时，判断所述存储系统初始运行；发送第一调整信号至所述调整模块；当所述缓存利用率大于零但低于第一预设阈值时，判断所述存储系统运行正常，发送第二调整信号至所述调整模块；当所述缓存利用率高于第二预设阈值时，判断所述存储系统缓存不足，发送第三调整信号至所述调整模块；当所述缓存利用率高于第三预设阈值时，判断所述存储系统缓存严重不足，发送第四调整信号至所述调整模块；

所述调整模块具体用于：

接收所述第一调整信号后，依据所述预设调整策略中的第一分配方式分配所述IO线程中两种线程的数量；其中，在所述第一分配方式下所述SCSI IO处理线程的数量大于所述缓存处理线程的数量；接收所述第二调整信号后，不调整所述IO线程中两种线程的数量；接收所述第三调整信号后，依据所述预设调整策略中的第二分配方式分配所述IO线程中两种线程的数量，在所述第二分配方式下所述SCSI IO处理线程的数量减小，所述缓存处理线程的数量增加；接收所述第四调整信号后，依据所述预设调整策略中的第三分配方式分配所述IO线程中两种线程的数量；其中，在所述第三分配方式下所述SCSI IO处理线程的数量小于所述缓存处理线程的数量。

5.根据权利要求4所述的装置，其特征在于，还包括：

第二判断模块，用于判断所述存储系统接收到的IO操作中，是否包括有延迟敏感的应用操作，如果是，发送优先处理信号至所述调整模块；如果否，发送正常处理信号至所述调整模块；

所述调整模块还用于：

接收所述优先处理信号后，优先按照所述预设调整策略中的第四分配方式分配所述IO线程中两种线程的数量；其中，在所述第四分配方式下所述SCSI IO处理线程的数量增加，所述缓存处理线程的数量降低；接收所述正常处理信号后，根据所述判断结果以及所述预设调整策略对所述IO线程中两种线程的分配数量进行调整。

6.根据权利要求4所述的装置，其特征在于，所述调整模块还用于：

当依据所述预设调整策略中的所述第三分配方式分配所述IO线程中两种线程的数量后，所述缓存利用率仍高于所述第三预设阈值，将所述SCSI的目标队列深度限制为预设深度值。