CN104750756B

CN104750756B - 一种数据操作方法、设备及元数据存储设备

Info

Publication number: CN104750756B
Application number: CN201310753082.2A
Authority: CN
Inventors: 陈媛媛; 王娟; 钱岭
Original assignee: China Mobile Communications Group Co Ltd
Current assignee: China Mobile Communications Group Co Ltd
Priority date: 2013-12-31
Filing date: 2013-12-31
Publication date: 2018-09-04
Anticipated expiration: 2033-12-31
Also published as: CN104750756A

Abstract

本发明公开了一种数据操作方法、设备及元数据存储设备。元数据存储设备包括第一硬盘存储单元和第二硬盘存储单元。第一硬盘存储单元用于以保存对象存储系统中所有副本的位置信息；第二硬盘存储单元用于分别保存所述对象存储系统中每组对象存储设备存储的副本的位置信息。由于每组对象存储设备存储的副本的位置信息分别保存。在读取过程中，从一组对象存储设备存储的位置信息中查找目标对象的副本的位置信息，其效率远远高于从全部副本的位置信息中查找第一目标对象的副本的位置信息。另外，由于元数据保存在元数据存储设备的硬盘中，而非缓存元数据，从而保证了元数据存储的可靠性。

Description

一种数据操作方法、设备及元数据存储设备

技术领域

本发明涉及数据存储技术领域，尤其涉及一种数据操作方法、设备及元数据存储设备。

背景技术

对象存储系统通常由对象存储设备（Object-based Storage Device，OSD)、文件系统和元数据服务器（Meta Data Server，MDS）等部分组成。具有高速直接访问和数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。

在对象存储系统中，对象以主/从副本的形式存储在OSD中，元数据存储在MDS中，元数据中保存有对象在OSD中的位置信息。读写流程是客户端（Client）、MDS、OSD三者之间的交互过程。读取数据时，Client先从MDS中读取元数据，获取对象的各个副本的位置信息，然后任意选择一个副本，根据该副本的位置信息，到相应的OSD中读取对象。写数据时，Client先从MDS中读取元数据，获取对象的主副本的位置信息，向主副本进行写数据操作，然后由主副本同步到从副本。当某个对象缺失或新增副本时，副本的位置信息发生变化，元数据也要做相应的修改。主从副本切换、节点或磁盘失效等等都需要修改元数据中的副本位置信息。

元数据的存储和组织方式直接影响到数据读写的效率，特别是数据读取的效率。

现有的一种元数据存储和组织方式为，建立唯一的关于副本位置信息的元数据表。相应的，元数据的存储多采用分布式数据库，在分布式数据库中建立唯一的关于副本位置信息的Location元数据表。该Location元数据表分块存储在分布式数据库中。该方案的优势是提升了元数据的可靠性，但是在元数据表过大的情况下，元数据的查找效率不理想，在元数据表中检索和定位信息需要的时间较长，从而限制了对象数据的读写。

现有的另一种元数据存储和组织方式为，对元数据表建立缓存。所缓存的元数据一般为读写次数较多的热点数据，也会存储过去一段时间内访问过的元数据。为元数据建立缓存的方法能提高元数据访问效率，缺陷是会占用大量内存，并且元数据的可靠性很难保证。

发明内容

本发明的目的是提供一种数据操作方法、设备及元数据存储设备，以解决现有的元数据存储和组织方式无法兼顾元数据的可靠性以及读写效率的问题。

本发明的目的是通过以下技术方案实现的：

一种数据操作方法，包括：

从元数据存储设备中保存的一组对象存储设备存储的副本的位置信息中，获取第一目标对象的副本的位置信息；

根据获取的第一目标对象的副本的位置信息，读取第一目标对象的数据。

其中，元数据存储设备的硬盘中分别保存对象存储系统中每组对象存储设备存储的副本的位置信息。

由于每组对象存储设备存储的副本的位置信息分别保存，从一组对象存储设备存储的位置信息中查找第一目标对象的副本的位置信息，其效率远远高于从全部副本的位置信息中查找第一目标对象的副本的位置信息。另外，由于元数据保存在元数据存储设备的硬盘中，而非缓存元数据，从而保证了元数据存储的可靠性。

较佳地，每组对象存储设备存储的副本的位置信息分别以一个元数据表的形式保存在元数据存储设备的硬盘中。

较佳地，还可以从上述元数据存储设备的硬盘中保存的一组位置信息中，获取第二目标对象的副本的位置信息，这一组位置信息为上述对象存储系统中所有副本的位置信息；根据获取的第二目标对象的副本的位置信息，对第二目标对象的副本进行写操作或修改操作。

较佳地，对象存储系统中所有副本的位置信息以一个元数据表的形式保存在元数据存储设备的硬盘中。

因为对象存储设备OSD被分成若干个组之后，会有基于组所做的操作，例如以组为单位将对象存储设备重启、同组的OSD连接在同一个交换机上。这些场景下，如果出现多个OSD失效，那很有可能是以组为单位的，也就是一组OSD都失效了。为了保证一组OSD停服务时，对象至少有一个副本是可用的，基于上述任意方法实施例，较佳地，一个对象的所有副本存储在不同组的对象存储设备中。其中，只要保证不是所有的副本存放在相同的对象存储设备中即可。优选的，各个副本分别存放在不同的对象存储设备中。

基于上述任意方法实施例，较佳地，相同逻辑机架号的对象存储设备被划分为一组。

基于与方法同样的发明构思，本发明实施例还提供一种数据操作设备，包括：

位置信息读取单元，用于从元数据存储设备中保存的一组对象存储设备存储的副本的位置信息中，获取第一目标对象的副本的位置信息，元数据存储设备的硬盘中分别保存对象存储系统中每组对象存储设备存储的副本的位置信息；

数据操作单元，用于根据获取的第一目标对象的副本的位置信息，读取第一目标对象的数据。

由于每组对象存储设备存储的副本的位置信息分别保存，从一组对象存储设备存储的位置信息中查找第一目标对象的副本的位置信息，其效率远远高于从全部副本的位置信息中查找第一目标对象的副本的位置信息。另外，由于元数据保存在元数据存储设备的硬盘中，而非缓存元数据，从而保证了元数据存储的和可靠性。

较佳地，位置信息读取单元还用于：从元数据存储设备的硬盘中保存的一组位置信息中，获取第二目标对象的副本的位置信息，这一组位置信息为对象存储系统中所有副本的位置信息；数据操作单元还用于：根据获取的第二目标对象的副本的位置信息，对第二目标对象的副本进行写操作或修改操作。

较佳地，一个对象的所有副本存储在不同组的对象存储设备中。其中，只要保证不是所有的副本存放在相同的对象存储设备中即可。优选的，各个副本分别存放在不同的对象存储设备中。

较佳地，相同逻辑机架号的对象存储设备被划分为一组。

本发明实施例还提供一种元数据存储设备，包括：

第一硬盘存储单元，用于以保存对象存储系统中所有副本的位置信息；

第二硬盘存储单元，用于分别保存对象存储系统中每组对象存储设备存储的副本的位置信息。

由于每组对象存储设备存储的副本的位置信息分别保存。在读取过程中，从一组对象存储设备存储的位置信息中查找第一目标对象的副本的位置信息，其效率远远高于从全部副本的位置信息中查找第一目标对象的副本的位置信息。另外，由于元数据保存在元数据存储设备的硬盘中，而非缓存元数据，从而保证了元数据存储的和可靠性。

较佳地，对象存储系统中所有副本的位置信息以一个元数据表的形式保存在述第一硬盘存储单元中；每组对象存储设备存储的副本的位置信息分别以一个元数据表的形式保存在第二硬盘存储单元中。

基于上述任意元数据存储设备实施例，较佳地，相同逻辑机架号的对象存储设备被划分为一组。

附图说明

图1为本发明实施例提供的OSD分组架构及元数据存储方式示意图；

图2为本发明实施例提供的方法流程图；

图3为本发明实施例提供的数据操作设备示意图；

图4为本发明实施例提供的元数据存储设备示意图。

具体实施方式

下面结合附图，对本发明实施例提供的技术方案进行详细说明。

本发明实施例提供的方案基于对OSD进行分组。具体的，对象存储系统中的所有OSD被分为多个组。其中，对OSD进行分组的依据有很多，例如，可以按照OSD的物理位置进行分组，还可以按照任意规则对OSD进行分组。

因为OSD被分成若干个组之后，会有基于组所做的操作，例如以组为单位将对象存储设备重启、同组的OSD连接在同一个交换机上。这些场景下，如果出现多个OSD失效，那很有可能是以组为单位的，也就是一组OSD都失效了。为了保证一组OSD停服务时，对象至少有一个副本是可用的，基于上述任意方法实施例，较佳地，一个对象的所有副本存储在不同组的OSD中。其中，只要保证不是所有的副本存放在相同的OSD中即可。优选的，各个副本分别存放在不同的OSD中。

较佳地，基于逻辑机架号（Rackid）对OSD进行分组，相同逻辑机架号的OSD被划分为一组。由于逻辑机架由管理员在启动系统时配置，与OSD的物理位置无直接关系。因此，每个OSD所在机架和每个机架上的OSD数量是可控的，便于OSD的管理和维护。

基于上述OSD分组架构，将元数据组织成多个元数据表。其中，一个元数据为一个副本的位置信息。所谓位置信息，是指副本所在的OSD的信息，记录该副本是存储在哪个OSD上，可以是能唯一标示一台OSD的标识信息，例如OSD的ID，也可以是OSD的名称等等。具体的，一组OSD对应一个元数据表，该元数据表中存储该组OSD保存的所有副本的位置信息。另外，还保存一张元数据表，该元数据表中存储所有对象的所有副本的位置信息。

以逻辑机架号对OSD进行分组为例，如图1所示，Rack1～RackN为逻辑机架号；Server1～Server9为不同的OSD，可认为是OSD的标识。元数据表Total_Meta_Table中存储所有对象的所有副本的位置信息。其中，Block_Name为对象的索引，具体指示块（Block）或对象（Object）的标识；位置（Lacation）是该副本所在OSD的索引，具体指示该副本在哪个OSD中；复制（Replication）是该副本的对象的其他副本所在的OSD的索引，具体指示了该副本的对象的其他副本在哪些OSD中保存。元数据表Rack1_Meta_Table、Rack2_Meta_Table、Rack3_Meta_Table……RackN_Meat_Table分别保存每个逻辑机架号对应的副本的位置信息。例如，Rack1_Meta_Table中保存Rack1的所有OSD中的副本的位置信息。

为避免元数据存储不均匀，所有元数据节点（即MDS）的数据一致，都存有Total_Meta_Table和Rack1_Meta_Table等基于分组的元数据表。

假设对象存储系统中存有M个对象，每个对象存3个副本，那么关于位置信息的元数据总数是M，OSD被分为N个组，则每个基于分组的元数据表的长度为（3*M）/N。只要N大于3则所查找的元数据表的规模就小于传统的元数据表。

基于上述OSD分组架构以及元数据组织方式，本发明实施例提供的数据操作方法如图2所示，具体包括如下操作：

步骤200、从元数据存储设备中保存的一组对象存储设备存储的副本的位置信息中，获取第一目标对象的副本的位置信息。

较佳地，每组对象存储设备存储的副本的位置信息分别以一个元数据表的形式保存在元数据存储设备的硬盘中。如图1中的Rack1_Meta_Table1。

其中，一个对象的多个副本保存在不同的OSD中，只要读取其中一组OSD存储的副本的位置信息即可。例如，第一目标对象有三个副本，分别保存在Server1、Server5和Server8中。则可以读取Rack1_Meta_Table，获取目标对象在Servera1中存储的副本的位置信息。

步骤210、根据获取的第一目标对象的副本的位置信息，读取第一目标对象的数据。

其中，第一目标对象是指需要进行读操作的对象。

具体的，副本的位置信息包括副本所在的OSD的标识信息。根据OSD的标识信息，查找到第一目标对象的副本所在的OSD。然后根据副本在该OSD中的存储位置，在该OSD中读取第一目标对象的数据。

基于上述处理流程可知，在读流程中，查询基于OSD分组的元数据表，获取第一目标对象的任一可用副本的位置信息。

在写流程中，则查询对象存储系统中所有副本的位置信息，例如，查询Total_Meta_Table，获取第二目标对象的副本的位置信息；根据获取的第二目标对象的副本的位置信息，对第二目标对象的副本进行写操作或修改操作。

其中，第二目标对象是指需要进行写操作或修改操作的对象。

具体的，对于写操作，查询第二目标对象的主副本的位置信息，根据获取的主副本的位置信息，对第二目标对象的主副本进行写操作，然后查询第二目标对象的从副本的位置信息，根据获取的从副本的位置信息，对第二目标对象的从副本进行写操作。在Total_Meta_Table中，可以通过一次查询获得数据对象的多个副本的位置信息，相当于一次查询就将第二目标对象的多个副本位置一次读出，之后建立对这多个副本的写任务，先启动主副本的写任务，执行成功后再启动从副本的写任务。

具体的，对于修改操作，查询第二目标对象的所有副本的位置信息，根据获取的副本的位置信息，对第二目标对象的副本进行修改操作。在Total_Meta_Table中，副本的位置信息包括副本所在的OSD的标识信息，以及同一对象的其他副本所在OSD的标识信息。在Total_Meta_Table中，可以通过一次查询获得数据对象的多个副本的位置信息，相当于一次查询就将第二目标对象的多个副本位置一次读出，之后建立对这多个副本的修改任务，先启动主副本的修改任务，执行成功后再启动从副本的修改任务。

基于与方法同样的发明构思，本发明实施例还提供一种数据操作设备，如图3所示，包括：

位置信息读取单元301，用于从元数据存储设备中保存的一组对象存储设备存储的副本的位置信息中，获取第一目标对象的副本的位置信息，元数据存储设备的硬盘中分别保存对象存储系统中每组对象存储设备存储的副本的位置信息；

数据操作单元302，用于根据获取的第一目标对象的副本的位置信息，读取第一目标对象的数据。

较佳地，位置信息读取单元301还用于：从元数据存储设备的硬盘中保存的一组位置信息中，获取第二目标对象的副本的位置信息，这一组位置信息为对象存储系统中所有副本的位置信息；数据操作单元302还用于：根据获取的第二目标对象的副本的位置信息，对第二目标对象的副本进行写操作或修改操作。

较佳地，相同逻辑机架号的对象存储设备被划分为一组。

本发明实施例还提供一种元数据存储设备，如图4所示，包括：

第一硬盘存储单元401，用于以保存对象存储系统中所有副本的位置信息；

第二硬盘存储单元402，用于分别保存对象存储系统中每组对象存储设备存储的副本的位置信息。

较佳地，对象存储系统中所有副本的位置信息以一个元数据表的形式保存在述第一硬盘存储单元401中；每组对象存储设备存储的副本的位置信息分别以一个元数据表的形式保存在第二硬盘存储单元402中。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种数据操作方法，其特征在于，包括：

从元数据存储设备中保存的一组对象存储设备存储的副本的位置信息中，获取第一目标对象的副本的位置信息，所述元数据存储设备的硬盘中分别保存对象存储系统中每组对象存储设备存储的副本的位置信息；一个对象的所有副本存储在不同组的对象存储设备中；

根据获取的所述第一目标对象的副本的位置信息，读取所述第一目标对象的数据。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

从所述元数据存储设备的硬盘中保存的一组位置信息中，获取第二目标对象的副本的位置信息，所述一组位置信息为所述对象存储系统中所有副本的位置信息；

根据获取的所述第二目标对象的副本的位置信息，对所述第二目标对象的副本进行写操作或修改操作。

3.根据权利要求2所述的方法，其特征在于，所述对象存储系统中所有副本的位置信息以一个元数据表的形式保存在所述元数据存储设备的硬盘中；每组对象存储设备存储的副本的位置信息分别以一个元数据表的形式保存在所述元数据存储设备的硬盘中。

4.根据权利要求1～3任一项所述的方法，其特征在于，相同逻辑机架号的对象存储设备被划分为一组。

5.一种数据操作设备，其特征在于，包括：

位置信息读取单元，用于从元数据存储设备中保存的一组对象存储设备存储的副本的位置信息中，获取第一目标对象的副本的位置信息，所述元数据存储设备的硬盘中分别保存对象存储系统中每组对象存储设备存储的副本的位置信息；一个对象的所有副本存储在不同组的对象存储设备中；

数据操作单元，用于根据获取的所述第一目标对象的副本的位置信息，读取所述第一目标对象的数据。

6.根据权利要求5所述的数据操作设备，其特征在于，所述位置信息读取单元还用于：从所述元数据存储设备的硬盘中保存的一组位置信息中，获取第二目标对象的副本的位置信息，所述一组位置信息为所述对象存储系统中所有副本的位置信息；

所述数据操作单元还用于：根据获取的所述第二目标对象的副本的位置信息，对所述第二目标对象的副本进行写操作或修改操作。

7.根据权利要求6所述的数据操作设备，其特征在于，所述对象存储系统中所有副本的位置信息以一个元数据表的形式保存在所述元数据存储设备的硬盘中；每组对象存储设备存储的副本的位置信息分别以一个元数据表的形式保存在所述元数据存储设备的硬盘中。

8.根据权利要求5～7任一项所述的数据操作设备，其特征在于，相同逻辑机架号的对象存储设备被划分为一组。

9.一种元数据存储设备，其特征在于，包括：

第二硬盘存储单元，用于分别保存所述对象存储系统中每组对象存储设备存储的副本的位置信息。

10.根据权利要求9所述的元数据存储设备，其特征在于，所述对象存储系统中所有副本的位置信息以一个元数据表的形式保存在所述第一硬盘存储单元中；每组对象存储设备存储的副本的位置信息分别以一个元数据表的形式保存在所述第二硬盘存储单元中。

11.根据权利要求9或10所述的元数据存储设备，其特征在于，一个对象的所有副本存储在不同组的对象存储设备中。

12.根据权利要求9或10所述的元数据存储设备，其特征在于，相同逻辑机架号的对象存储设备被划分为一组。