CN110688068B - 一种存储系统写操作处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种存储系统写操作处理方法，包括：对硬盘的日志文件进行检测，判断日志文件中是否存在硬盘的错误信息；若日志文件中存在错误信息，则利用日志收集工具收集目标日志文件；保存目标日志文件；该方法由于无需对smart信息进行收集并分析，而是直接利用日志文件判断是否发生故障，因此可以在硬盘发生故障后及时确认发生故障并收集日志，故此可以保证日志收集的及时性，即收集到故障发生后距离故障发生时间最近的日志，为后续的硬盘故障分析提供最有价值的信息，解决了现有技术无法为硬盘故障分析提供最有价值的信息的问题；此外，本发明还提供了一种存储系统写操作处理装置、设备及计算机可读存储介质，同样具有上述有益效果。

Description

一种存储系统写操作处理方法、装置、设备及存储介质

技术领域

本发明涉及存储系统写操作处理领域，特别涉及一种存储系统写操作处理方法、存储系统写操作处理装置、存储系统写操作处理设备及计算机可读存储介质。

背景技术

在现有分布式存储集群中读写操作采用主-从模式，客户端要读操作或写数据时，只将读请求或写请求发送给主OSD(Object-based Storage Device，对象存储设备)。

客户端要写入数据时，先将写请求发送缓存层，缓存层批量地将请求发送给后端存储的主OSD，主OSD解析写请求得到写操作后将写操作发送给从OSD。从OSD执行写操作，在执行完之后，会告诉主OSD，以便主OSD通知客户端写入完成，保证数据的一致性。但是，当写请求中包括数量过多的针对同一对象的写指令时，主OSD需要很长时间才能将写指令一一解析出来，因此会造成线程超时自杀，无法执行写操作。特别是当针对同一对象的写操作数量超过65535个时，由于主OSD在一次解析过程中只能解析65535个写请求，因此会造成写请求解析错误，同样无法执行写操作。

因此，如何解决现有存储系统执行针对同一对象的过多个写操作时容易出现故障的问题，是本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种存储系统写操作处理方法、存储系统写操作处理装置、存储系统写操作处理设备及计算机可读存储介质，解决了现有存储系统执行针对同一对象的过多个写操作时容易出现故障的问题。

为解决上述技术问题，本发明提供了一种存储系统写操作处理方法，包括：

在缓存层中获取针对目标对象的写操作，判断所述写操作的数量是否大于数量阈值；

若所述写操作的数量大于数量阈值，则直接将所有所述写操作发送给后端存储；

在所述后端存储中执行所述写操作。

可选的，在所述后端存储中执行所述写操作，包括：

在所述后端存储的主OSD中将所有所述写操作进行合并，得到一个整体写操作；

执行所述整体写操作。

可选的，在所述后端存储的主OSD中将所有所述写操作进行合并，得到一个整体写操作，包括：

在所述后端存储的所述主OSD的内存中按照合并规则将所述针对所述目标对象的所述写操作合并为一个所述整体写操作。

可选的，所述获取针对目标对象的写操作，包括：

获取针对所述目标对象的写请求；

解析所述写请求，得到所述写操作。

本发明还提供了一种存储系统写操作处理装置，包括：

判断模块，用于在缓存层中获取针对目标对象的写操作，判断所述写操作的数量是否大于数量阈值；

发送模块，用于若所述写操作的数量大于数量阈值，则直接将所有所述写操作发送给后端存储；

执行模块，用于在所述后端存储中执行所述写操作。

可选的，所述执行模块，包括：

写操作合并单元，用于在所述后端存储的主OSD中将所有所述写操作进行合并，得到一个整体写操作；

写操作执行单元，用于执行所述整体写操作。

可选的，所述写操作合并单元，包括：

规则合并子单元，用于在所述后端存储的所述主OSD的内存中按照合并规则将所述针对所述目标对象的所述写操作合并为一个所述整体写操作。

可选的，所述判断模块，包括：

写请求获取单元，用于获取针对所述目标对象的写请求；

写请求解析单元，用于解析所述写请求，得到所述写操作。

本发明还提供了一种存储系统写操作处理设备，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现上述的存储系统写操作处理方法。

本发明还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的存储系统写操作处理方法。

本发明提供的存储系统写操作处理方法在缓存层中获取针对目标对象的写操作，判断写操作的数量是否大于数量阈值。若写操作的数量大于数量阈值，则将所有写操作发送给后端存储。在后端存储中执行写操作。

可见，该方法在确定针对目标对象的写操作数量超过数量阈值时，将写操作发送给后端存储，以便后端存储执行写操作。该方法限制了后端存储每次获取的针对目标对象的写操作数量，避免后端存储出现线程超时自杀或请求解析错误的情况，解决了现有存储系统执行针对同一对象的过多个写操作时容易出现故障的问题。

此外，本发明还提供了一种存储系统写操作处理装置、存储系统写操作处理设备及计算机可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种存储系统写操作处理方法流程图；

图2为本发明实施例提供的另一种存储系统写操作处理方法流程图；

图3为本发明实施例提供的一种存储系统写操作处理装置的结构示意图；

图4为本发明实施例提供的一种存储系统写操作处理设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例提供的一种存储系统写操作处理方法流程图。该方法包括：

S101：在缓存层中获取针对目标对象的写操作，判断写操作的数量是否大于数量阈值。

为了提高读写效率，现有分布式存储系统中，在客户端和后端存储之间存在缓存层。缓存层即为Cache层，高速缓冲存储器是存在于主存与CPU之间的一级存储器，一般由静态存储芯片(Static Random-Access Memory，SRAM)组成，容量比较小但速度比主存高得多，接近于CPU的速度。在计算机存储系统的层次结构中，是介于中央处理器和主存储器之间的高速小容量存储器。它和主存储器一起构成一级的存储器。

在缓存层中获取针对目标对象的写操作，本发明实施例中的写操作均为不连续的写操作，即写入地址不连续的写操作。具体的，客户端在生成了写请求后，会将写请求发送到缓存层。目标对象为需要被执行写操作的对象，任何一个对象均可以作为目标对象。在获取针对目标对象的写请求后，可以立即解析该写请求，得到写操作；或者可以等写请求数达到预订数量时统一对写请求进行解析，得到写操作。在获取针对目标对象的写操作后，判断写操作的数量是否大于数量阈值。本实施例并不限定每个写请求中包括的写操作个数，例如一个写请求中可以仅包括一个写操作。判断写操作的数量是否大于数量阈值。本实施例并不限定数量阈值的具体大小，一般的，可以设置为10000。本实施例并不限定获取写操作的操作执行频率，例如可以实时获取写操作；或者可以按照预设获取周期获取写操作。

在现有技术中，缓存层会依据当前缓存层的使用大小、当前缓存层中存放的读操作/写操作数量、读操作/写操作存放的时间等因素决定在什么时刻将操作发送给后端存储，这样就可能会导致针对某个对象的写操作数量很大，甚至超过65535个，进而导致后端存储出现线程超时自杀或请求解析错误的情况，无法执行针对该对象的写操作。本实施例判断针对各个对象的写操作数是否大于数量阈值，当前正在被判断的对象即为目标对象，若针对目标对象的写操作数大于数量阈值，则进入步骤S102；当写操作数不大于数量阈值时，可以重新获取针对目标对象的写操作数并进行判断，或者可以不执行任何操作，本实施例不限定写操作数不大于数量阈值时的操作。

S102：直接将所有写操作发送给后端存储。

当确定针对目标对象的写操作数大于数量阈值时，直接将所有写操作发送给后端存储。具体的，从缓存层中获取写请求，将写请求发送给后端存储，后端存储对写请求进行解析以得到写操作。由于写操作中包括的写请求数不会超过数量阈值，因此后端存储不会在解析写请求得到写操作的过程中出现线程超时自杀或请求解析错误的情况。本发明实施例中后端存储的结构为分布式，因此写请求发送给后端存储的主OSD。需要说明的是，本实施例中向后端存储发送的写操作均为针对目标对象的写操作，即针对同一对象且数量超过预设阈值的写操作。本实施例也不限定在发送针对目标对象的写操作时是否发送针对其他对象的其他操作，例如还可以同时发送针对其他对象的读操作。优选的，为了使后端存储尽快处理完针对目标对象的写操作，防止出现线程超时自杀的问题，仅向后端存储发送针对目标对象的写操作。

S103：在后端存储中执行写操作。

在后端存储中执行写请求时，具体的，可以由主OSD获取写操作，并将写操作发送给存储有目标对象的从OSD，从OSD获取并一一执行上述写操作，当写操作执行完毕后，向主OSD发送确认执行完毕的消息，主OSD将该消息发送至缓存层，缓存层将该消息发送给客户端，这样即可保证数据的一致性。

进一步的，为了提高处理速度，减少执行写操作所需的时间，本实施例中优选的，对写操作进行合并处理。具体请参考图2，图2为本发明实施例提供的另一种存储系统写操作处理方法流程图，包括：

S201：在后端存储的主OSD中将所有写操作进行合并，得到一个整体写操作。

具体的，在后端存储的主OSD中所有写操作进行合并，本实施例并不限定合并的具体方法，可以参考相关技术。例如可以在后端存储主OSD的内存中按照合并规则将针对目标对象的写操作合并为一个整体写操作，对于合并规则的具体内容，本实施例不做限定，只要按照该合并规则可以将多个写操作合并为一个整体写操作即可。

S202：执行整体写操作。

在后端存储中执行该整体写操作，例如可以将目标对象从从OSD中读出至主OSD中，在主OSD中对目标对象执行该整体写操作；或者可以将该整体写操作发送至存储有目标对象的从OSD，在从OSD中执行该整体写操作。利用该写操作执行方法，可以减少执行写操作的时间，提高操作处理速度。

应用本发明实施例提供的存储系统写操作处理方法，在缓存层中获取针对目标对象的写操作，判断写操作的数量是否大于数量阈值。若写操作的数量大于数量阈值，则将所有写操作发送给后端存储。在后端存储中执行写操作。该方法在确定针对目标对象的写操作数量超过数量阈值时，将写操作发送给后端存储，以便后端存储执行写操作。该方法限制了后端存储每次获取的针对目标对象的写操作数量，避免后端存储出现线程超时自杀或请求解析错误的情况，解决了现有存储系统执行针对同一对象的过多个写操作时容易出现故障的问题。

下面对本发明实施例提供的存储系统写操作处理装置进行介绍，下文描述的存储系统写操作处理装置与上文描述的存储系统写操作处理方法可相互对应参照。

请参考图3，图3为本发明实施例提供的一种存储系统写操作处理装置的结构示意图，包括：

判断模块310，用于在缓存层中获取针对目标对象的写操作，判断写操作的数量是否大于数量阈值；

发送模块320，用于若写操作的数量大于数量阈值，则直接将所有写操作发送给后端存储；

执行模块330，用于在后端存储中执行写操作。

可选的，执行模块330，包括：

写操作合并单元，用于在后端存储的主OSD中将所有写操作进行合并，得到一个整体写操作；

写操作执行单元，用于执行整体写操作。

可选的，写操作合并单元，包括：

规则合并子单元，用于在后端存储的主OSD的内存中按照合并规则将针对目标对象的写操作合并为一个整体写操作。

可选的，判断模块，包括：

写请求获取单元，用于获取针对目标对象的写请求；

写请求解析单元，用于解析写请求，得到写操作。

下面对本发明实施例提供的存储系统写操作处理设备进行介绍，下文描述的存储系统写操作处理设备与上文描述的存储系统写操作处理方法可相互对应参照。

请参考图4，图4为本发明实施例提供的一种存储系统写操作处理设备的结构示意图，该存储系统写操作处理设备包括存储器、处理器，其中：

存储器410，用于保存计算机程序；

处理器420，用于执行计算机程序，以实现上述的存储系统写操作处理方法。

下面对本发明实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的存储系统写操作处理方法可相互对应参照。

本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的存储系统写操作处理方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上对本发明所提供的一种存储系统写操作处理方法、存储系统写操作处理装置、存储系统写操作处理设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种存储系统写操作处理方法，其特征在于，包括：

在缓存层中获取针对目标对象的写操作，判断所述写操作的数量是否大于数量阈值；所述写操作的写入地址不连续；各个所述写操作针对的目标对象为同一个对象；

若所述写操作的数量大于数量阈值，则直接将所有所述写操作发送给后端存储；

在所述后端存储中执行所述写操作；

在所述后端存储中执行所述写操作，包括：

在所述后端存储的主OSD中将所有所述写操作进行合并，得到一个整体写操作；

执行所述整体写操作。

2.根据权利要求1所述的存储系统写操作处理方法，其特征在于，在所述后端存储的主OSD中将所有所述写操作进行合并，得到一个整体写操作，包括：

在所述后端存储的所述主OSD的内存中按照合并规则将所述针对所述目标对象的所述写操作合并为一个所述整体写操作。

3.根据权利要求2所述的存储系统写操作处理方法，其特征在于，所述获取针对目标对象的写操作，包括：

获取针对所述目标对象的写请求；

解析所述写请求，得到所述写操作。

4.一种存储系统写操作处理装置，其特征在于，包括：

判断模块，用于在缓存层中获取针对目标对象的写操作，判断所述写操作的数量是否大于数量阈值；所述写操作的写入地址不连续；各个所述写操作针对的目标对象为同一个对象；

发送模块，用于若所述写操作的数量大于数量阈值，则直接将所有所述写操作发送给后端存储；

执行模块，用于在所述后端存储中执行所述写操作；

所述执行模块，包括：

写操作合并单元，用于在所述后端存储的主OSD中将所有所述写操作进行合并，得到一个整体写操作；

写操作执行单元，用于执行所述整体写操作。

5.根据权利要求4所述的存储系统写操作处理装置 ，其特征在于，所述写操作合并单元，包括：

规则合并子单元，用于在所述后端存储的所述主OSD的内存中按照合并规则将所述针对所述目标对象的所述写操作合并为一个所述整体写操作。

6.根据权利要求5所述的存储系统写操作处理装置 ，其特征在于，所述判断模块，包括：

写请求获取单元，用于获取针对所述目标对象的写请求；

写请求解析单元，用于解析所述写请求，得到所述写操作。

7.一种存储系统写操作处理设备，其特征在于，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现如权利要求1至3任一项所述的存储系统写操作处理方法。

8.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的存储系统写操作处理方法。

Images