CN110781166B - 存储系统中数据管理方法和装置 - Google Patents

Abstract

本申请实施例公开了一种存储系统中数据管理方法和装置。所述方法包括：获取至少一个元数据；从所述元数据中提取根数据的信息，并存储所述根数据的信息；在检测当前时间内软件栈的负载状态符合预设的轻载判断条件时，向存储系统中的硬盘发送已存储的根数据的信息。

Description

存储系统中数据管理方法和装置

技术领域

本申请实施例涉及信息处理领域，尤指一种存储系统中数据管理方法和装置。

背景技术

元数据(Metadata)，又称中介数据、中继数据，是关于数据的组织、数据域及其关系的信息，简言之，元数据为描述数据的数据(data about data)，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。其使用目的在于：识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。

在云和大数据快速发展的时代，对存储产品的性能要求也越来越高，高性能存储产品已经能达到EB(Exabyte，艾字节级)，中文名叫的容量和亿级IOPS(Input/OutputOperations Per Second，每秒进行读写操作的次数)的极速性能，其中全闪存储产品对于性能要求更高，这也就导致了全闪存储的软件栈在工作时通常会有大量的元数据需要下刷，性能压力很大。

存储产品中的软件栈负责把用户的数据写入硬盘和从硬盘读出数据给用户；利用存储产品中的软件栈把数据发送到硬盘的行为称为下刷。在相关技术中，软件栈下刷元数据的效率较低，影响软件栈处理IO的性能。

发明内容

为了解决上述任一技术问题，本申请实施例提供了一种存储系统中数据管理方法和装置。

为了达到本申请实施例目的，本申请实施例提供了一种存储系统中数据管理方法，包括：

获取至少一个元数据；

从所述元数据中提取根数据的信息，并存储所述根数据的信息；

在检测当前时间内软件栈的负载状态符合预设的轻载判断条件时，向存储系统中的硬盘发送已存储的根数据的信息。

在一个示例性实施例中，所述从所述元数据中提取所述元数据中的根数据的信息之后，所述方法还包括：

向所述硬盘发送所述元数据中除根数据之外的非根数据的信息。

在一个示例性实施例中，检测当前时间的软件栈的负载状态是否符合所述轻载判断条件，是通过如下方式得到的，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息时，获取所述软件栈对非根数据的信息进行下刷操作的负载状态；

判断所述负载状态是否符合预先设置的轻载判断条件；

如果所述负载状态符合所述轻载判断条件，则确定当前时间的软件栈的负载状态符合所述轻载判断条件。

在一个示例性实施例中，所述判断所述负载状态是否符合预先设置的轻载判断条件，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息过程中，记录未执行向所述硬盘发送所述非根数据的信息的操作的连续时长；

判断所述连续时长是否达到预设设置的时长判断条件；

如果所述连续时长达到所述时长判断条件，则确定当前时间的数据下刷的负载状态符合所述空闲负载判断条件。

在一个示例性实施例中，所述对所述根数据的信息进行下刷操作之后，所述方法还包括：

在检测到向所述硬盘发送所述根数据的信息的操作完成后，对新接收的元数据执行向硬盘发送元数据的操作。

一种存储系统中数据管理装置，包括处理器和存储器，其中所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现如下操作，包括：

获取至少一个元数据；

从所述元数据中提取根数据的信息，并存储所述根数据的信息；

在检测当前时间内软件栈的负载状态符合预设的轻载判断条件时，向存储系统中的硬盘发送已存储的根数据的信息。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现所述从所述元数据中提取所述元数据中的根数据的信息的操作之后，所述处理器调用所述存储器中的计算机程序还实现如下操作，包括：

向所述硬盘发送所述元数据中除根数据之外的非根数据的信息。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现检测当前时间的软件栈的负载状态是否符合所述轻载判断条件的操作，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息时，获取所述软件栈对非根数据的信息进行下刷操作的负载状态；

判断所述负载状态是否符合预先设置的轻载判断条件；

如果所述负载状态符合所述轻载判断条件，则确定当前时间的软件栈的负载状态符合所述轻载判断条件。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现所述判断所述负载状态是否符合预先设置的轻载判断条件的操作，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息过程中，记录未执行向所述硬盘发送所述非根数据的信息的操作的连续时长；

判断所述连续时长是否达到预设设置的时长判断条件；

如果所述连续时长达到所述时长判断条件，则确定当前时间的数据下刷的负载状态符合所述空闲负载判断条件。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现所述对所述根数据的信息进行下刷操作的操作之后，所述处理器调用所述存储器中的计算机程序还实现如下操作，包括：

在检测到向所述硬盘发送所述根数据的信息的操作完成后，对新接收的元数据执行向硬盘发送元数据的操作。

本申请实施例提供的方案，获取至少一个元数据，从所述元数据中提取根数据的信息，并存储所述根数据的信息，在检测当前时间内软件栈的负载状态符合预设的轻载判断条件时，向存储系统中的硬盘发送已存储的根数据的信息，实现快速下刷元数据中根数据的目的，提高元数据的下刷效率，保证软件栈处理IO的性能。

另外，通过将元数据划分为根数据和非根数据两部分数据，并分开发送两部分数据，保证了数据传输的效率；在软件栈的负载状态为轻载时，传输根数据，保证软件栈的传输负载能够支持根数据的快速传输；在软件栈传输非根数据的负载状态为轻载时，再传输根数据，实现根数据和非根数据在时间上错开传输，保证元数据的传输效率。

本申请实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请实施例的实施例一起用于解释本申请实施例的技术方案，并不构成对本申请实施例技术方案的限制。

图1为本申请实施例提供的存储系统中数据管理方法的流程图；

图2为本申请实施例提供的元数据的根数据空闲时下刷的方法的流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请实施例的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请实施例中的实施例及实施例中的特征可以相互任意组合。

图1为本申请实施例提供的存储系统中数据管理方法的流程图。图1所示方法包括：

步骤101、获取至少一个元数据；

在一个示例性实施例中，元数据用来描述将要被写入硬盘数据的存储位置的数据，包括根数据和非根数据两部分，其中根数据是用来存储元数据查找信息的数据，一般根据元数据的根数据查找到元数据的内容，根数据在元数据中占用了前512M字节的容量；

步骤102、从所述元数据中提取所述元数据中的根数据的信息，并存储所述根数据的信息；

经过对相关技术中进行分析，发明人发现软件栈下刷元数据的效率低的原因在于：

在相关技术中，在下刷元数据时把元数据的根数据和非根数据同时下刷到硬盘，软件栈下刷元数据的非根数据时就已经压力非常大，根数据同时下刷无疑更增加了软件栈的压力，造成存储软件处理元数据的效率降低，进而影响软件栈处理IO的性能。

基于上述分析，通过将元数据的根数据提取出来，进行单独处理，保证有效降低下刷操作的负载压力；

在一个示例性实施例中，可以新增一个nonDestageList列表，把元数据的根数据单独放到nonDestageList列表中。

在一个示例性实施例中，所述从所述元数据中提取所述元数据中的根数据的信息之后，所述方法还包括：

向所述硬盘发送所述元数据中除根数据之外的非根数据的信息。

在上述示例性实施例中，元数据的非根数据可以依旧存放在destageList列表中，然后destageList中非根数据维持原有下刷处理逻辑；由于没有根数据的数据量的共同下刷，可以快速完成非根数据的信息的下刷，缩短处理时间，提高下刷操作的处理效率。

将接收的元数据划分为根数据和非根数据两部分，并将两部分数据分开发送至硬盘中，减少因根数据的数据量过大，造成非根数据的下刷完成时间。

步骤103、在检测当前时间内软件栈的负载状态符合预设的轻载判断条件时，向存储系统中的硬盘发送已存储的根数据的信息。

在一个示例性实施例中，由于根数据的数据量大，执行下刷根数据会给软件栈带来较大的负载，因此，在软件栈的负载状态处于轻载时在，执行对根数据的下刷操作，在保证软件栈的正常工作的前提下，完成根数据的下刷操作。

本申请实施例提供的方法，获取至少一个元数据，从所述元数据中提取根数据的信息，并存储所述根数据的信息，在检测当前时间内软件栈的负载状态符合预设的轻载判断条件时，向存储系统中的硬盘发送已存储的根数据的信息，实现快速下刷元数据中根数据的目的，提高元数据的下刷效率，保证软件栈处理IO的性能。

下面对本申请实施例提供的方法进行说明：

本申请实施例提供的方法，通过把元数据根数据单独用空闲下刷策略处理，实现了元数据根数据空闲时的下刷的功能，减少了元数据下刷繁忙时下刷元数据的数据量，提高了软件栈数据下刷的效率。

执行根数据所使用的空闲时间是根据软件栈的处理负担确定的。

在一个示例性实施例中，检测当前时间的软件栈的负载状态是否符合所述轻载判断条件，是通过如下方式得到的，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息时，获取所述软件栈对非根数据的信息进行下刷操作的负载状态；

判断所述负载状态是否符合预先设置的轻载判断条件；

如果所述负载状态符合所述轻载判断条件，则确定当前时间的软件栈的负载状态符合所述轻载判断条件。

软件栈会有一个单独的线程监视元数据的非根数据的下刷情况，如果对非根数据的信息的处理负载已经符合轻载判断条件，例如，对非根数据的下刷操作即将完成(如完成90％的非根数据的下刷)，或者，已完成非根数据的下刷，则确定软件栈对非根数据的下刷处理的负担处于轻载状态。

在一个示例性实施例中，所述判断所述负载状态是否符合预先设置的轻载判断条件，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息过程中，记录未执行向所述硬盘发送所述非根数据的信息的操作的连续时长；

判断所述连续时长是否达到预设设置的时长判断条件；

如果所述连续时长达到所述时长判断条件，则确定当前时间的数据下刷的负载状态符合所述空闲负载判断条件。

软件栈可以设置单独的线程，可以监视元数据的非根数据的下刷情况，如果出现了连续N分钟没有元数据非根数据下刷的情况，那么软件栈就会启动根数据下刷流程，对已存储的根数据进行下刷，其中N为大于0的数，取值可以根据实际需要自行设置。

在一个示例性实施例中，所述对所述根数据的信息进行下刷操作之后，所述方法还包括：

在检测到向所述硬盘发送所述根数据的信息的操作完成后，对新接收的元数据执行向硬盘发送元数据的操作。

在检测到根数据的信息的下刷操作完成后，可以确定已接收的元数据的大部分数据量已经完成，则软件栈对元数据的下刷的负载状态处于轻载状态，可以启动对新接收的元数据的处理，其中对新的元数据的下刷处理可以沿用本申请实施例提供的方案，或者，采用相关技术中的其他方案。

下面对本申请实施例提供对方法进行说明：

本申请实施例提出一种元数据的根数据空闲时下刷的方法，通过新增一个nonDestageList链表，把元数据的根数据放到nonDestageList链表中进行单独处理的方式实现元数据的根数据空闲时下刷

通过新增一个nonDestageList列表，把元数据的根数据单独放到nonDestageList列表中，元数据的非根数据依旧存放在destageList列表中。然后destageList中非根数据维持原有下刷处理逻辑，软件栈会有一个线程监控元数据非根数据下刷情况，如果出现连续3分钟没有元数据非根数据下刷的情况就启动nonDestageList列表中元数据根数据下刷流程。

这种元数据的根数据空闲时下刷的方法不仅减少了下刷元数据时的刷盘数据量，而且充分利用软件栈的没有元数据下刷时的空闲时间，提高了软件栈的性能。

图2为本申请实施例提供的元数据的根数据空闲时下刷的方法的流程图。如图2所示，为了实现元数据的根数据空闲时下刷，在软件栈中新增一个nonDestageList列表，把元数据的根数据单独放到nonDestageList列表中，元数据的非根数据依旧存放在destageList列表中。destageList列表中的非根数据如果符合下刷条件会采用原有的下刷逻辑进入下刷流程，软件栈会有一个单独的线程监视元数据的非根数据的下刷情况，如果出现了连续3分钟没有元数据非根数据下刷的情况，那么软件栈就会启动根数据下刷流程，把nonDestageList列表中根数据进行下刷。

步骤(1)：新增一个nonDestageList列表；

在软件栈中新增一个nonDestageList列表，该nonDestageList列表用于单独存储元数据的根数据；

将元数据划分为根数据和非根数据，其中根数据执行步骤(2)至步骤(4)；非根数据执行步骤(5)至步骤(6)；

其中，对根数据的处理包括如下流程：

步骤(2)：将元数据的根数据放入nonDestageList列表；

步骤(3)：检测软件栈是否有连续3分钟没有元数据的非根数据下刷的情况；

如果有，则执行步骤(4)；否则，继续执行检测步骤；

步骤(4)：启动nonDestageList列表中根数据下刷流程；

其中，对非根数据的处理包括如下流程：

步骤(5)：元数据非根数据依旧放入destageList列表；

步骤(6)：沿用相关技术中的下刷操作流程对destageList列表中的数据进行下刷操作。

本申请实施例提供的方法，通过元数据的根数据空闲时下刷，既减少了元数据下刷繁忙时的刷盘数据量，提高了软件栈的数据下刷效率，又充分利用了软件栈空闲时的系统资源。

本申请实施例提供一种存储系统中数据管理装置，包括处理器和存储器，其中所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现如下操作，包括：

获取至少一个元数据；

从所述元数据中提取根数据的信息，并存储所述根数据的信息；

在检测当前时间内软件栈的负载状态符合预设的轻载判断条件时，向存储系统中的硬盘发送已存储的根数据的信息。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现所述从所述元数据中提取所述元数据中的根数据的信息的操作之后，所述处理器调用所述存储器中的计算机程序还实现如下操作，包括：

向所述硬盘发送所述元数据中除根数据之外的非根数据的信息。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现检测当前时间的软件栈的负载状态是否符合所述轻载判断条件的操作，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息时，获取所述软件栈对非根数据的信息进行下刷操作的负载状态；

判断所述负载状态是否符合预先设置的轻载判断条件；

如果所述负载状态符合所述轻载判断条件，则确定当前时间的软件栈的负载状态符合所述轻载判断条件。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现所述判断所述负载状态是否符合预先设置的轻载判断条件的操作，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息过程中，记录未执行向所述硬盘发送所述非根数据的信息的操作的连续时长；

判断所述连续时长是否达到预设设置的时长判断条件；

如果所述连续时长达到所述时长判断条件，则确定当前时间的数据下刷的负载状态符合所述空闲负载判断条件。

在一个示例性实施例中，所述处理器调用所述存储器中的计算机程序以实现所述对所述根数据的信息进行下刷操作的操作之后，所述处理器调用所述存储器中的计算机程序还实现如下操作，包括：

在检测到向所述硬盘发送所述根数据的信息的操作完成后，对新接收的元数据执行向硬盘发送元数据的操作。

本申请实施例提供的装置，获取至少一个元数据，从所述元数据中提取根数据的信息，并存储所述根数据的信息，在检测当前时间内软件栈的负载状态符合预设的轻载判断条件时，向存储系统中的硬盘发送已存储的根数据的信息，实现快速下刷元数据中根数据的目的，提高元数据的下刷效率，保证软件栈处理IO的性能。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (8)

1.一种存储系统中数据管理方法，其特征在于，包括：

获取至少一个元数据；

从所述元数据中提取根数据的信息，并存储所述根数据的信息；

从所述元数据中提取根数据的信息之后，向硬盘发送所述元数据中除根数据之外的非根数据的信息；在检测当前时间内软件栈的负载状态符合预设的轻载判断条件时，向存储系统中的硬盘发送已存储的根数据的信息。

2.根据权利要求1所述的方法，其特征在于，检测当前时间的软件栈的负载状态是否符合所述轻载判断条件，是通过如下方式得到的，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息时，获取所述软件栈对非根数据的信息进行下刷操作的负载状态；

判断所述负载状态是否符合预先设置的轻载判断条件；

如果所述负载状态符合所述轻载判断条件，则确定当前时间的软件栈的负载状态符合所述轻载判断条件。

3.根据权利要求2所述的方法，其特征在于，所述判断所述负载状态是否符合预先设置的轻载判断条件，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息过程中，记录未执行向所述硬盘发送所述非根数据的信息的操作的连续时长；

判断所述连续时长是否达到预设设置的时长判断条件；

如果所述连续时长达到所述时长判断条件，则确定当前时间的数据下刷的负载状态符合所述轻载判断条件。

4.根据权利要求1至3任一所述的方法，其特征在于，所述向存储系统中的硬盘发送已存储的根数据的信息之后，所述方法还包括：

在检测到向所述存储系统中的硬盘发送已存储的根数据的信息的操作完成后，对新接收的元数据执行向硬盘发送元数据的操作。

5.一种存储系统中数据管理装置，其特征在于，包括处理器和存储器，其中所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现如下操作，包括：

获取至少一个元数据；

从所述元数据中提取根数据的信息，并存储所述根数据的信息；

在检测当前时间内软件栈的负载状态符合预设的轻载判断条件时，向存储系统中的硬盘发送已存储的根数据的信息；

所述处理器调用所述存储器中的计算机程序以实现所述从所述元数据中提取所述元数据中的根数据的信息的操作之后，所述处理器调用所述存储器中的计算机程序还实现如下操作，包括：

向所述硬盘发送所述元数据中除根数据之外的非根数据的信息。

6.根据权利要求5所述的装置，其特征在于，所述处理器调用所述存储器中的计算机程序以实现检测当前时间的软件栈的负载状态是否符合所述轻载判断条件的操作，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息时，获取所述软件栈对非根数据的信息进行下刷操作的负载状态；

判断所述负载状态是否符合预先设置的轻载判断条件；

如果所述负载状态符合所述轻载判断条件，则确定当前时间的软件栈的负载状态符合所述轻载判断条件。

7.根据权利要求6所述的装置，其特征在于，所述处理器调用所述存储器中的计算机程序以实现所述判断所述负载状态是否符合预先设置的轻载判断条件的操作，包括：

在向所述硬盘发送所述元数据中除根数据之外的非根数据的信息过程中，记录未执行向所述硬盘发送所述非根数据的信息的操作的连续时长；

判断所述连续时长是否达到预设设置的时长判断条件；

如果所述连续时长达到所述时长判断条件，则确定当前时间的数据下刷的负载状态符合所述轻载判断条件。

8.根据权利要求5至7任一所述的装置，其特征在于，所述处理器调用所述存储器中的计算机程序以实现所述向存储系统中的硬盘发送已存储的根数据的信息的操作之后，所述处理器调用所述存储器中的计算机程序还实现如下操作，包括：

在检测到向所述存储系统中的硬盘发送已存储的根数据的信息的操作完成后，对新接收的元数据执行向硬盘发送元数据的操作。

Images