CN109684331A - 一种基于Kudu的对象存储元数据管理装置及方法 - Google Patents

Abstract

本发明公开了一种基于Kudu的对象存储元数据管理装置及方法，属于数据库领域，本发明要解决的技术问题为如何达到海量结构化存储的目标，同时解决数据延迟，技术方案为：①一种基于Kudu的对象存储元数据管理装置，包括元数据管理模块和对象数据存储模块，分别用于存储、管理对象数据的元数据信息以及用于存储管理对象数据。②一种基于Kudu的对象存储元数据管理方法，该方法是利用元数据管理模块完成对象数据的插入、获取、更新及删除，同时存储并管理对象数据的元数据信息；再利用对象数据存储模块完成对象数据的存储，在kudu结构化存储的基础上扩展了非对象存储，对象数据存储模块利用CMSP进行消息的发送以及缓存，最终数据存储至文件系统或裸设备中。

Description

一种基于Kudu的对象存储元数据管理装置及方法

技术领域

本发明涉及数据库领域，具体地说是一种基于Kudu的对象存储元数据管理装置及方法。

背景技术

Hadoop生态系统有很多组件，每一个组件有不同的功能。在现实场景中，用户往往需要同时部署很多Hadoop工具来解决一个问题。比如，用户需要利用Hbase的快速插入、快读random access的特性来导入数据，同时用户使用HDFS/Parquet+Impala/Hive来对超大的数据集进行查询分析。很多公司都成功地部署了HDFS/Parquet+HBase混合架构，然而这种架构较为复杂，而且在维护上也十分困难，还会产生数据的延迟。故如何达到海量结构化存储的目标，同时解决数据延迟是目前急需解决的技术问题。海量结构化存储是以一种简单的架构存储结构化数据，达到Hbase快速导入快速查询、Parquet超大数据分析的效果，同时解决数据延迟问题。

专利号为CN108563923A专利文献公开了一种基因变异数据分布式存储方法及架构，该方法包括分布式数据存储过程、分布式位图索引创建过程和分布式查询检索过程；该架构包括分布式列式存储模块、分布式位图索引模块和查询检索模块。但是该技术方案不能实现海量结构化存储的目标，同时解决数据延迟的问题。

发明内容

本发明的技术任务是提供一种基于Kudu的对象存储元数据管理装置及方法，来解决如何达到海量结构化存储的目标，同时解决数据延迟的问题。

本发明的技术任务是按以下方式实现的，一种基于Kudu的对象存储元数据管理装置，包括,

元数据管理模块，用于存储、管理对象数据的元数据信息；元数据管理模块通过OSMetadata(元数据)守护进程模块进行工作；

对象数据存储模块，用于存储管理对象数据；对象数据存储模块利用CMSP(云消息服务平台)进行消息的发送以及缓存，并最终进行存储，最终数据存储至文件系统或裸设备中。

作为优选，所述元数据信息存储在元数据表中，元数据表为内置kudu表；

元数据信息包括对象数据名字、对象数据存储id、对象数据长度、对象数据版本和时间戳；

其中，对象数据名字(name)表示对象数据在对象存储服务中的唯一标识；

对象数据存储id表示对象数据存储的节点信息以及存储位置信息；

对象数据长度(len)表示对象数据的长度，以字节为单位；

对象数据版本表示元数据的信息的版本号，新插入时默认为0，后续进行对象数据更新版本号发生变化，通过该版本号保证元数据信息的一致性；

时间戳(time)表示对象数据发生变化时的时间戳。

更优地，所述OSMetadata(元数据)守护进程模块包括，

对象数据插入模块，用于对象数据插入操作，从对象存储服务节点中获取对应的元数据信息并进行插入操作；

对象数据获取模块，用于对象数据获取操作，从元数据表中获取相关的元数据信息并到对应的对象存储服务节点中获取元数据；

对象数据更新及删除模块，用于对象数据的更新、删除操作，更新元数据信息时一并更新对应的元数据服务节点信息；对象数据更新删除模块包括容错模块。

更优地，所述对象数据存储模块包括，

对象存储管理节点模块，用于对象存储节点的选择调度；

对象存储节点模块，用于实际存储对象数据的节点。

一种基于Kudu的对象存储元数据管理方法，该方法是利用元数据管理模块完成对象数据的插入、获取、更新及删除，同时存储并管理对象数据的元数据信息；再利用对象数据存储模块完成对象数据的存储，在kudu结构化存储的基础上扩展了非对象存储，对象数据存储模块利用CMSP进行消息的发送以及缓存，并最终进行存储，最终数据存储至文件系统或裸设备中。

作为优选，所述元数据管理模块通过OSMetadata守护进程进行工作，OSMetadata守护进程主要包括如下功能：对象数据插入操作、对象数据获取操作以及对象数据的更新及删除操作。

更优地，所述对象数据的插入操作是从对象存储服务节点中获取对应的元数据信息进行插入操作，具体步骤如下：

(1)、开始，从对象存储服务节点(API)获取对应元数据信息；

(2)、判断元数据记录是否存在：

①、若存在，则跳转至步骤(1)；

②、若不存在，则执行步骤(3)；

(3)、判断对象数据存储模块存储数据是否成功：

①、若成功，则执行步骤(4)；

②、若失败，则跳转至步骤(1)；

(4)、生产元数据；

(5)、将生产的元数据存储至元数据表。

更优地，所述对象数据获取操作是从元数据表中获取相关的元数据信息并到对应的对象存储服务节点获取元数据，具体步骤如下：

(1)、开始，从对象存储服务节点(API)获取元数据信息；

(2)、判断元数据记录是否存在：

①、若存在，则执行步骤(3)；

②、若不存在，则跳转至步骤(1)；

(3)、获取元数据。

更优地，所述对象数据的更新及删除操作是更新元数据信息并更新对应的元数据服务节点信息，具体步骤如下：

(1)、开始，从对象存储服务节点(API)获取元数据信息；

(2)、判断元数据记录是否存在：

①、若不存在，则跳转至步骤(1)；

②、若存在，则执行步骤(3)；

(3)、判断更新元数据信息是否成功：

①、若失败，则跳转至步骤(1)；

②、若成功，则执行步骤(4)；

(4)、判断更新对象数据信息是否成功：

①、若失败，则执行步骤(5)；

(5)、判断回退元数据信息是否成功：

①、若失败，则执行步骤(6)；

(6)、元数据信息存储至容错模块。

更优地，所述对象数据存储模块存储数据的具体如下：

(1)、当有数据存储请求时，对象存储管理节点会从对象存储节点中选择出一个节点进行数据处理服务，该数据存储节点接收到数据后进行存储，存储完成后生成元数据信息并将元数据信息发送给元数据管理节点进行存储；

(2)、若该数据有备份需求时，该数据存储节点会根据对象存储节点设定的备份规则从其他对象存储节点中选择出备份节点并将数据发送至该数据存储节点进行备份存储，该备份节点同样会生成元数据信息并将元数据信息发送至元数据管理节点进行存储。

本发明的基于Kudu的对象存储元数据管理装置及方法具有以下优点：

(1)、本发明以Kudu结构化存储作为元数据存储引擎，以对象存储引擎作为对象数据存储引擎，支持对象数据的增加、删除、更改、获取、操作，实现对象存储功能；

(2)、本发明的元数据信息存储在元数据表中，元数据表为内置kudu表，Kudu有点还包括：

①、对数据扫描(scan)和随机访问(random access)同时具有高性能，简化用户复杂的混合架构；

②、充分利用先进CPU与I/O资源；

③、支持数据的原地更新，避免额外的数据处理、数据移动；

④、海量结构化存储在大数据仓库平台中用于存储结构化数据,定位于快速变化数据的快速分析型数据仓库，并在此基础上进行大数据分析、数据挖掘和机器学习等；

⑤、Kudu是一种分布式列式结构化存储引擎，能支持在实时更新的数据上进行查询，但只能存储结构化数据，结构化数据中可以存储二进制类型字段，但大小仅限制在64K以下；

⑥、在实际场景应用中，往往既需要满足结构化存储和非结构化存储一体化支持，所以对kudu结构化存储扩展非结构化存储会提供更便捷的功能；

(3)、本发明可以直接进行对象数据的插入、删除、更新、获取操作，单个对象最大支持4G，可以高效支持大文件、小文件，存储集群存储容量可线性扩展，在Kudu结构化存储的基础上扩展了非结构化存储的功能，使kudu既能实现结构化和非结构化数据的一体化存储。

附图说明

下面结合附图对本发明进一步说明。

附图1为基于Kudu的对象存储元数据管理装置结构框图；

附图2为对象数据获取操作的流程框图；

附图3为对象数据获取操作的流程框图；

附图4为对象数据的更新及删除操作的流程框图。

具体实施方式

参照说明书附图和具体实施例对本发明的一种基于Kudu的对象存储元数据管理装置及方法作以下详细地说明。

实施例1：

如附图1所示，本发明的基于Kudu的对象存储元数据管理装置,其结构包括元数据管理模块和对象数据存储模块；元数据管理模块用于存储、管理对象数据的元数据信息；元数据管理模块通过OSMetadata(元数据)守护进程模块进行工作；对象数据存储模块用于存储管理对象数据；对象数据存储模块利用CMSP(云消息服务平台)进行消息的发送以及缓存，并最终进行存储，最终数据存储至文件系统或裸设备中。

元数据信息存储在元数据表中，元数据表为内置kudu表；元数据信息包括对象数据名字、对象数据存储id、对象数据长度、对象数据版本和时间戳；元数据信息存储在元数据表中，该表为内置kudu表，名字为kudu_os_metadata,kudu_os_metadata表结构如下所示：

字段名	类型	是否主键	是否为空
				name	string	是	否
id	string	是	否
				len	int64	否	否
status	int8	否	否
				time	UNIXTIME_MICROS	否	否

其中，对象数据名字(name)表示对象数据在对象存储服务中的唯一标识；

对象数据存储id表示对象数据存储的节点信息以及存储位置信息；

对象数据长度(len)表示对象数据的长度，以字节为单位；

对象数据版本表示元数据的信息的版本号，新插入时默认为0，后续进行对象数据更新版本号发生变化，通过该版本号保证元数据信息的一致性；

时间戳(time)表示对象数据发生变化时的时间戳。

元数据中的一条记录信息，代表一个实际存储的对象数据信息。对于同一对象数据多备份的情况name是相同的，name和id唯一标识节点某一对象数据。

OSMetadata(元数据)守护进程模块包括对象数据插入模块、对象数据获取模块以及对象数据更新及删除模块；对象数据插入模块用于对象数据插入操作，从对象存储服务节点中获取对应的元数据信息并进行插入操作；对象数据获取模块用于对象数据获取操作，从元数据表中获取相关的元数据信息并到对应的对象存储服务节点中获取元数据；对象数据更新及删除模块，用于对象数据的更新、删除操作，更新元数据信息时一并更新对应的元数据服务节点信息；对象数据更新删除模块包括容错模块。

对象数据存储模块包括对象存储管理节点模块和对象存储节点模块；对象存储管理节点模块用于对象存储节点的选择调度；对象存储节点模块，用于实际存储对象数据的节点。

实施例2：

本发明的基于Kudu的对象存储元数据管理方法，该方法是利用元数据管理模块完成对象数据的插入、获取、更新及删除，同时存储并管理对象数据的元数据信息；再利用对象数据存储模块完成对象数据的存储，在kudu结构化存储的基础上扩展了非对象存储，对象数据存储模块利用CMSP进行消息的发送以及缓存，并最终进行存储，最终数据存储至文件系统或裸设备中。元数据管理模块通过OSMetadata守护进程进行工作，OSMetadata守护进程主要包括如下功能：对象数据插入操作、对象数据获取操作以及对象数据的更新及删除操作。

如附图2所示，对象数据的插入操作是从对象存储服务节点中获取对应的元数据信息进行插入操作，具体步骤如下：

(1)、开始，从对象存储服务节点(API)获取对应元数据信息；

(2)、判断元数据记录是否存在：

①、若存在，则跳转至步骤(1)；

②、若不存在，则执行步骤(3)；

(3)、判断对象数据存储模块存储数据是否成功：

①、若成功，则执行步骤(4)；

②、若失败，则跳转至步骤(1)；

(4)、生产元数据；

(5)、将生产的元数据存储至元数据表。

如附图3所示，对象数据获取操作是从元数据表中获取相关的元数据信息并到对应的对象存储服务节点获取元数据，具体步骤如下：

(1)、开始，从对象存储服务节点(API)获取元数据信息；

(2)、判断元数据记录是否存在：

①、若存在，则执行步骤(3)；

②、若不存在，则跳转至步骤(1)；

(3)、获取元数据。

如附图4所示，对象数据的更新及删除操作是更新元数据信息并更新对应的元数据服务节点信息，具体步骤如下：

(1)、开始，从对象存储服务节点(API)获取元数据信息；

(2)、判断元数据记录是否存在：

①、若不存在，则跳转至步骤(1)；

②、若存在，则执行步骤(3)；

(3)、判断更新元数据信息是否成功：

①、若失败，则跳转至步骤(1)；

②、若成功，则执行步骤(4)；

(4)、判断更新对象数据信息是否成功：

①、若失败，则执行步骤(5)；

(5)、判断回退元数据信息是否成功：

①、若失败，则执行步骤(6)；

(6)、元数据信息存储至容错模块。

对象数据存储模块存储数据的具体如下：

(1)、当有数据存储请求时，对象存储管理节点会从对象存储节点中选择出一个节点进行数据处理服务，该数据存储节点接收到数据后进行存储，存储完成后生成元数据信息并将元数据信息发送给元数据管理节点进行存储；

(2)、若该数据有备份需求时，该数据存储节点会根据对象存储节点设定的备份规则从其他对象存储节点中选择出备份节点并将数据发送至该数据存储节点进行备份存储，该备份节点同样会生成元数据信息并将元数据信息发送至元数据管理节点进行存储。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于Kudu的对象存储元数据管理装置，其特征在于，包括,

元数据管理模块，用于存储、管理对象数据的元数据信息；元数据管理模块通过OSMetadata守护进程模块进行工作；

对象数据存储模块，用于存储管理对象数据；对象数据存储模块利用CMSP进行消息的发送以及缓存，并最终进行存储，最终数据存储至文件系统或裸设备中。

2.根据权利要求1所述的基于Kudu的对象存储元数据管理装置，其特征在于，所述元数据信息存储在元数据表中，元数据表为内置kudu表；

元数据信息包括对象数据名字、对象数据存储id、对象数据长度、对象数据版本和时间戳；

其中，对象数据名字(name)表示对象数据在对象存储服务中的唯一标识；

对象数据存储id表示对象数据存储的节点信息以及存储位置信息；

对象数据长度(len)表示对象数据的长度，以字节为单位；

对象数据版本表示元数据的信息的版本号，新插入时默认为0，后续进行对象数据更新版本号发生变化，通过该版本号保证元数据信息的一致性；

时间戳(time)表示对象数据发生变化时的时间戳。

3.根据权利要求1或2所述的基于Kudu的对象存储元数据管理装置，其特征在于，所述OSMetadata守护进程模块包括，

对象数据插入模块，用于对象数据插入操作，从对象存储服务节点中获取对应的元数据信息并进行插入操作；

对象数据获取模块，用于对象数据获取操作，从元数据表中获取相关的元数据信息并到对应的对象存储服务节点中获取元数据；

对象数据更新及删除模块，用于对象数据的更新、删除操作，更新元数据信息时一并更新对应的元数据服务节点信息；对象数据更新删除模块包括容错模块。

4.根据权利要求3所述的基于Kudu的对象存储元数据管理装置，其特征在于，所述对象数据存储模块包括，

对象存储管理节点模块，用于对象存储节点的选择调度；

对象存储节点模块，用于实际存储对象数据的节点。

5.一种基于Kudu的对象存储元数据管理方法，其特征在于，该方法是利用元数据管理模块完成对象数据的插入、获取、更新及删除，同时存储并管理对象数据的元数据信息；再利用对象数据存储模块完成对象数据的存储，在kudu结构化存储的基础上扩展了非对象存储，对象数据存储模块利用CMSP进行消息的发送以及缓存，并最终进行存储，最终数据存储至文件系统或裸设备中。

6.根据权利要求5所述的基于Kudu的对象存储元数据管理方法，其特征在于，所述元数据管理模块通过OSMetadata守护进程进行工作，OSMetadata守护进程主要包括如下功能：对象数据插入操作、对象数据获取操作以及对象数据的更新及删除操作。

7.根据权利要求6所述的基于Kudu的对象存储元数据管理方法，其特征在于，所述对象数据的插入操作是从对象存储服务节点中获取对应的元数据信息进行插入操作，具体步骤如下：

(1)、开始，从对象存储服务节点获取对应元数据信息；

(2)、判断元数据记录是否存在：

①、若存在，则跳转至步骤(1)；

②、若不存在，则执行步骤(3)；

(3)、判断对象数据存储模块存储数据是否成功：

①、若成功，则执行步骤(4)；

②、若失败，则跳转至步骤(1)；

(4)、生产元数据；

(5)、将生产的元数据存储至元数据表。

8.根据权利要求6或7所述的基于Kudu的对象存储元数据管理方法，其特征在于，所述对象数据获取操作是从元数据表中获取相关的元数据信息并到对应的对象存储服务节点获取元数据，具体步骤如下：

(1)、开始，从对象存储服务节点获取元数据信息；

(2)、判断元数据记录是否存在：

①、若存在，则执行步骤(3)；

②、若不存在，则跳转至步骤(1)；

(3)、获取元数据。

9.根据权利要求8所述的基于Kudu的对象存储元数据管理方法，其特征在于，所述对象数据的更新及删除操作是更新元数据信息并更新对应的元数据服务节点信息，具体步骤如下：

(1)、开始，从对象存储服务节点获取元数据信息；

(2)、判断元数据记录是否存在：

①、若不存在，则跳转至步骤(1)；

②、若存在，则执行步骤(3)；

(3)、判断更新元数据信息是否成功：

①、若失败，则跳转至步骤(1)；

②、若成功，则执行步骤(4)；

(4)、判断更新对象数据信息是否成功：

①、若失败，则执行步骤(5)；

(5)、判断回退元数据信息是否成功：

①、若失败，则执行步骤(6)；

(6)、元数据信息存储至容错模块。

10.根据权利要求9所述的基于Kudu的对象存储元数据管理方法，其特征在于，所述对象数据存储模块存储数据的具体如下：

(1)、当有数据存储请求时，对象存储管理节点会从对象存储节点中选择出一个节点进行数据处理服务，该数据存储节点接收到数据后进行存储，存储完成后生成元数据信息并将元数据信息发送给元数据管理节点进行存储；

(2)、若该数据有备份需求时，该数据存储节点会根据对象存储节点设定的备份规则从其他对象存储节点中选择出备份节点并将数据发送至该数据存储节点进行备份存储，该备份节点同样会生成元数据信息并将元数据信息发送至元数据管理节点进行存储。