CN107832455B - 一种存储对象的数据获取方法、系统、设备及存储介质 - Google Patents

Abstract

本发明公开了一种存储对象的数据获取方法，应用于基于KV数据库的对象存储服务器，该方法包括：接收存储对象的操作指令；判断存储对象是否存在完成区域；如果否，则逐个定位存储对象的所有key，并确定各个key对应的value值，以完成存储对象的数据获取。应用本发明实施例所提供的技术方案，极大地提高了存储对象的数据获取的效率。本发明还提供了一种存储对象的数据获取系统、设备及计算机可读存储介质，具有相应技术效果。

Description

一种存储对象的数据获取方法、系统、设备及存储介质

技术领域

本发明涉及计算机存储技术领域，特别是涉及一种存储对象的数据获取方法、系统、设备及存储介质。

背景技术

在分布式文件系统中，每个目录对应一个存储对象，存储对象以文件的形式存储在对象存储服务器中，通常将这些存储对象的数据称为元数据。分布式文件系统的每个目录下又有可能有多个子目录或者子文件，例如，在一个分布式文件系统中有3个目录，分别对应3个存储对象：文件A、文件B和文件C。文件A中可能又有多个子目录或者子文件，例如有文件A1、文件A2和文件A3，各个子文件有其相应的创建时间、大小、权限等信息。

存储对象的数据通常以KV的形式进行存储，KV指的是key-value，其中key为目录下对应的子目录名及文件名，value值为目录或文件的创建时间、大小、权限等信息。在分布式文件系统中，通常将存储对象的数据存储在omap(obejt map)数据库中，omap数据库是一种以KV的形式进行数据存储的数据库。当用户需要对目录进行操作时，就需要以存储对象名为参数，从omap数据库中取出存储对象的数据信息，即从对象存储服务器中取出与目录对应的元数据信息。

在现有技术中，用户需要对某一个目录进行操作时，例如需要对文件A中的A1进行操作时，就需要遍历omap数据库以获取文件A对应的数据，仍以上述例子中文件A包含A1、A2和A3为例，需要遍历omap数据库，取出文件A包含的A1、A2和A3的数据信息。但随着文件系统的发展，存储的数据越来越多，一个目录下对应的文件及子目录动辄几万、几十万，用户对目录进行操作时，经常会出现omap的操作得不到及时响应，极端的情况下还会导致磁盘对应的进程掉线踢盘，严重影响了用户的使用。

综上所述，如何提高遍历omap数据库时的效率，即提高元数据的获取效率，解决omap的操作得不到及时响应的问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种存储对象的数据获取方法、系统、设备及存储介质，以提高存储对象的数据获取效率。

为解决上述技术问题，本发明提供如下技术方案：

一种存储对象的数据获取方法，应用于基于KV数据库的对象存储服务器，该方法包括：

接收存储对象的操作指令；

判断所述存储对象是否存在完成区域；

如果否，则逐个定位所述存储对象的所有key，并确定各个key对应的value值，以完成所述存储对象的数据获取。

优选的，所述操作指令包括浏览指令。

优选的，在判断所述存储对象存在完成区域之后，还包括：

逐个定位所述存储对象的所有key；

针对每一个key，判断该key是否存在完成区域，以确定该key对应的value值并完成所述存储对象的数据获取。

优选的，在所述完成所述存储对象的数据获取之后，还包括：

输出数据获取完毕的提示信息。

一种存储对象的数据获取系统，应用于基于KV数据库的对象存储服务器，该系统包括：

操作指令接收模块，用于接收存储对象的操作指令；

完成区域判断模块，用于判断所述存储对象是否存在完成区域，如果否，则触发数据第一获取模块；

所述数据第一获取模块，用于逐个定位所述存储对象的所有key，并确定各个key对应的value值，以完成所述存储对象的数据获取。

优选的，所述操作指令包括浏览指令。

优选的，还包括：

数据第二获取模块，用于在所述完成区域判断模块判断所述存储对象存在完成区域之后，逐个定位所述存储对象的所有key；针对每一个key，判断该key是否存在完成区域，以确定该key对应的value值并完成所述存储对象的数据获取。

优选的，还包括：

提示信息输出模块，用于在所述完成所述存储对象的数据获取之后，输出数据获取完毕的提示信息。

一种存储对象的数据获取设备，该设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一项所述的存储对象的数据获取方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的存储对象的数据获取方法的步骤。

应用本发明实施例所提供的技术方案，应用于基于KV数据库的对象存储服务器，包括：接收存储对象的操作指令；判断存储对象是否存在完成区域；如果否，则逐个定位存储对象的所有key，并确定各个key对应的value值，以完成存储对象的数据获取。

发明人发现，现有技术中，遍历omap数据库时，元数据读取慢的原因是对于每一个key，均需要判断该key是否存在完成区域，随着存储数据的增多，目录项不断增加，即key的数量也在不断增加，因此遍历omap的耗时越来越长。在本发明的方案中，先判断存储对象是否存在完成区域，如果不存在，就不需要对于每一个key都进行存储区域的判断，只需要直接逐个定位该存储对象的所有key，并确定各个key对应的value值。极大地提高了存储对象的数据获取的效率，即遍历对象存储服务器的omap数据库以获得元数据的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中一种存储对象的数据获取方法的实施流程图；

图2为本发明中一种存储对象的数据获取系统的结构示意图；

图3为本发明中一种存储对象的数据获取设备的结构示意图。

具体实施方式

本发明的核心是提供一种存储对象的数据获取方法，极大地提高了存储对象的数据获取的效率，即遍历对象存储服务器的omap数据库以获得元数据的效率。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

发明人发现，随着分布式文件系统的发展，存储的数据越来越多，经常会出现omap的操作得不到及时响应，极端的情况下还会导致磁盘对应的进程掉线踢盘的情况。因此分析omap数据库的遍历流程：在遍历omap数据库时，先定位到存储对象的第一key处，判断此key是否存在完成区域，如果否，则获取该key对应的value值，然后定位到该存储对象的第二个key处，判断该key是否存在完成区域，直至所有的key均遍历完成。而在这个过程中，主要的耗时是在对各个key是否存在完成区域的判断上，随着数据越来越多，各个子目录以及子文件不断增多，即存储对象的key的数量越来越多，导致现有技术中遍历omap的耗时越来越长。

请参考图1，为本发明中一种存储对象的数据获取方法的实施流程图，该方法应用于基于KV数据库的对象存储服务器，包括以下步骤：

S101：接收存储对象的操作指令。

当需要对分布式文件系统中的数据进行操作时，首先要获得这些待操作数据的目录信息，当然，如果需要对目录进行操作，例如目录的创建、删除等操作，也需要先获得目录信息。每个目录对应一个对象存储服务器中的存储对象，当需要获得目录信息时，由元数据服务器向对象存储服务器发送针对存储对象的操作指令，对象存储服务器可以接收针对存储对象的该操作指令。

在对象存储服务器接收存储对象的操作指令之后，可以进行步骤S102的操作。

S102：判断存储对象是否存在完成区域。

对象存储服务器接收存储对象的操作指令，判断存储对象是否存在完成区域，如果否，则进行步骤S103的操作。

完成区域(complete region)是由克隆对象共享的，omap数据库的key区域。如果一个目录下存在多个子目录或子文件，对于这些子目录或子文件而言，如果某个子目录或子文件在分布式文件系统中没有克隆，即没有备份，则该子目录或子文件不存在完成区域。如果存储对象的所有子目录及子文件均不存在备份，则该存储对象不存在完成区域。

通常，只有极小部分的项目会使用分布式文件系统的快照功能，即极少数的存储对象会存在完成区域，绝大部分存储对象不存在完成区域，即该目录下的所有子文件以及子目录均不存在备份。判断存储对象是否存在完成区域的耗时大致相当于判断某个子文件是否存在完成区域的耗时。

在判断存储对象不存在完成区域时，可以进行步骤S103的操作。

S103：逐个定位存储对象的所有key，并确定各个key对应的value值，以完成存储对象的数据获取。

在逐个定位存储对象的所有key时，是以存储对象名为参数。由于存储对象不存在完成区域，该存储对象的每一个key都有唯一对应的value值，在遍历该存储对象的所有key之后，可以获得各个key相对应的value值，以完成存储对象的数据获取。在逐个定位存储对象的所有key时，可以通过迭代器完成key的定位。

应用本发明实施例所提供的技术方案，应用于基于KV数据库的对象存储服务器，包括：接收存储对象的操作指令；判断存储对象是否存在完成区域；如果否，则逐个定位存储对象的所有key，并确定各个key对应的value值，以完成存储对象的数据获取。

发明人发现，现有技术中，遍历omap数据库时，元数据读取慢的原因是对于每一个key，均需要判断该key是否存在完成区域，随着存储数据的增多，目录项不断增加，即key的数量也在不断增加，因此遍历omap的耗时越来越长。在本发明的方案中，先判断存储对象是否存在完成区域，如果不存在，就不需要对于每一个key都进行存储区域的判断，只需要直接逐个定位该存储对象的所有key，并确定各个key对应的value值。极大地提高了存储对象的数据获取的效率，即遍历对象存储服务器的omap数据库以获得元数据的效率。

在本发明的一种具体实施方式中，操作指令包括浏览指令。当用户需要对分布式文件系统的数据进行操作时，例如浏览时，元数据服务器可以向对象存储服务器发送针对相应目录的操作指令，具体的，可以为针对该目录对应的存储对象的浏览指令，对象存储服务器可以接收该浏览指令，并且根据该浏览指令，遍历omap数据库以获得存储对象的数据。

在本发明的一种具体实施方式中，在判断存储对象存在完成区域之后，还可以包括以下两个步骤：

步骤一：逐个定位存储对象的所有key；

步骤二：针对每一个key，判断该key是否存在完成区域，以确定该key对应的value值并完成存储对象的数据获取。

当存储对象存在完成区域时，可以采用现有技术中，针对每个key单独判断该key是否存在完成区域的操作。具体可以为：逐个定位存储对象的所有key，针对每一个key，判断该key是否存在完成区域，以确定该key对应的value值并完成存储对象的数据获取。

例如，如果某个目录的子目录存在备份，则该子目录存在完成区域，即对应于该目录的存储对象存在完成区域。例如第一目录对应的文件A中包括子文件A1、A2和C1，第二目录对应的文件B中包括子文件B1、B2和C1，当用户需要文件A1时，对象存储服务器会判断文件A存在完成区域。在判断出存储对象存在完成区域之后，逐个定位该存储对象的每一个key，在该实施例中，可以先定位到文件A1的key，判断A1不存在完成区域，获得与A1的key对应的value值，相应的，定位到文件A2的key之后，判断A2不存在完成区域，获得与A2的key对应的value值。当定位C1的key时，由于文件C1存在备份，即文件C1存在完成区域，会出现重复的key以及value值。因此可以在判断出文件C1存在完成区域后，通过去重复的操作，获得文件C1的key及其对应的value值。

在本发明的一种具体实施方式中，在完成存储对象的数据获取之后，还包括：输出数据获取完毕的提示信息。

当完成存储对象的数据获取时，可以输出数据获取完毕的提示信息。例如可以通过指示灯或者图标闪烁进行提示。

相应于上面的方法实施例，本发明实施例还提供了一种存储对象的数据获取系统，下文描述的存储对象的数据获取系统与上文描述的存储对象的数据获取方法可相互对应参照。

参见图2所示，为本发明中一种存储对象的数据获取系统的结构示意图，应用于基于KV数据库的对象存储服务器，该系统包括以下模块：

操作指令接收模块201，用于接收存储对象的操作指令；

完成区域判断模块202，用于判断存储对象是否存在完成区域，如果否，则触发数据第一获取模块203；

数据第一获取模块203，用于逐个定位存储对象的所有key，并确定各个key对应的value值，以完成存储对象的数据获取。

在本发明的一种具体实施方式中，操作指令包括浏览指令。

在本发明的一种具体实施方式中，还包括：

数据第二获取模块，用于在完成区域判断模块判断存储对象存在完成区域之后，逐个定位存储对象的所有key；针对每一个key，判断该key是否存在完成区域，以确定该key对应的value值并完成存储对象的数据获取。

在本发明的一种具体实施方式中，还包括：

提示信息输出模块，用于在完成存储对象的数据获取之后，输出数据获取完毕的提示信息。

相应于上面的方法及系统实施例，本发明实施例还提供了一种存储对象的数据获取设备以及一种计算机可读存储介质。

参见图3所示，为本发明中一种存储对象的数据获取设备的结构示意图，应用于基于KV数据库的对象存储服务器，该设备包括：

存储器301，用于存储计算机程序；

处理器302，用于执行计算机程序时实现上述任一项存储对象的数据获取方法。

本发明公开的一种计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任一项存储对象的数据获取方法的步骤。

存储对象的数据获取设备以及计算机可读存储介质，可以与上文描述的存储对象的数据获取方法及系统相互对应参照。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种存储对象的数据获取方法，其特征在于，应用于基于KV数据库的对象存储服务器，包括：

接收存储对象的操作指令；

判断所述存储对象是否存在完成区域；

如果否，则逐个定位所述存储对象的所有key，并确定各个key对应的value值，以完成所述存储对象的数据获取；

在判断所述存储对象存在完成区域之后，还包括：

逐个定位所述存储对象的所有key；

针对每一个key，判断该key是否存在完成区域，以确定该key对应的value值并完成所述存储对象的数据获取；

其中，每个目录对应一个对象存储服务器中的存储对象；所述完成区域是由克隆对象共享的，用于进行存储对象的数据存储的数据库中的key区域，如果一个目录下存在多个子目录或子文件，针对这些子目录或子文件，如果某个子目录或子文件在分布式文件系统中没有克隆，则该子目录或子文件不存在完成区域；如果存储对象的所有子目录及子文件均不存在备份，则该存储对象不存在完成区域。

2.根据权利要求1所述的方法，其特征在于，所述操作指令包括浏览指令。

3.根据权利要求1或2所述的方法，其特征在于，在所述完成所述存储对象的数据获取之后，还包括：

输出数据获取完毕的提示信息。

4.一种存储对象的数据获取系统，其特征在于，应用于基于KV数据库的对象存储服务器，包括：

操作指令接收模块，用于接收存储对象的操作指令；

完成区域判断模块，用于判断所述存储对象是否存在完成区域，如果否，则触发数据第一获取模块；

所述数据第一获取模块，用于逐个定位所述存储对象的所有key，并确定各个key对应的value值，以完成所述存储对象的数据获取；

还包括：

数据第二获取模块，用于在所述完成区域判断模块判断所述存储对象存在完成区域之后，逐个定位所述存储对象的所有key；针对每一个key，判断该key是否存在完成区域，以确定该key对应的value值并完成所述存储对象的数据获取；

其中，每个目录对应一个对象存储服务器中的存储对象；所述完成区域是由克隆对象共享的，用于进行存储对象的数据存储的数据库中的key区域，如果一个目录下存在多个子目录或子文件，针对这些子目录或子文件，如果某个子目录或子文件在分布式文件系统中没有克隆，则该子目录或子文件不存在完成区域；如果存储对象的所有子目录及子文件均不存在备份，则该存储对象不存在完成区域。

5.根据权利要求4所述的系统，其特征在于，所述操作指令包括浏览指令。

6.根据权利要求4或5所述的系统，其特征在于，还包括：

提示信息输出模块，用于在所述完成所述存储对象的数据获取之后，输出数据获取完毕的提示信息。

7.一种存储对象的数据获取设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述的存储对象的数据获取方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的存储对象的数据获取方法的步骤。

Images