CN109669916B - 一种基于cmsp和kudu的分布式对象存储架构和平台 - Google Patents

Abstract

本发明公开一种基于CMSP和KUDU的分布式对象存储架构和平台，涉及存储架构技术领域，包括对象存储服务端和对象存储客户端。对象存储服务端包括对象存储节点、对象存储管理节点、对象存储元数据节点、对象存储元数据管理节点四部分，若干个对象存储元数据节点组成对象存储元数据集群。对象存储客户端包括一组对象存储API。对象存储节点、对象存储管理节点、对象存储元数据管理节点三部分分别基于CMSP实现，对象存储元数据节点基于KUDU实现。对象存储应用通过对象存储API与对象存储管理节点、对象存储元数据集群相连，并最终连接到某个具体的对象存储节点，通过该具体的对象存储节点进行对象的存储、获取、更新、命名或删除操作，实现对象存储大容量平滑扩展。

Description

一种基于CMSP和KUDU的分布式对象存储架构和平台

技术领域

本发明涉及存储架构技术领域，具体的说是一种基于CMSP和KUDU的分布式对象存储架构和平台。

背景技术

大数据分为结构化数据、半结构化数据和非结构化数据，而半结构化数据最终存储时要么转换为结构化数据，要么以非结构化数据存在，非结构化数据在存储量(空间占用)方面远远大于结构化数据，因此非结构化数据的存储技术对存储利用大数据非常关键。

现有的非结构化数据有的分散存储于不同主机上文件系统中，分散存储不利于管理和利用；有的存储于分布式文件系统中，如HDFS，逻辑上统一管理，但HDFS架构上扩展性有缺陷，不能处理太大规模的非结构化数据，另外不适合于对于迟延要求较低的场景。

现有的非结构化数据也可以存储于对象存储中，目标数据从对象中进行读写，然后通过键值获取对应的对象，整个存储的形式为key-object的存储方式，较典型的例子：开源的Ceph、亚马逊的S3存储和阿里云的OSS存储，对象存储可以管理更多的非结构化数据，不同的对象存储因技术不同也各有优缺，如一些不能够平滑扩展、成本问题、较高迟延等。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种基于CMSP和KUDU的分布式对象存储架构和平台，在普通硬件条件下以较低成本实现对象存储高可靠、高性能和大容量平滑扩展。

本发明的一种基于CMSP和KUDU的分布式对象存储架构和平台，解决上述技术问题采用的技术方案如下：

一种基于CMSP和KUDU的分布式对象存储架构和平台，包括对象存储服务端和对象存储客户端。

对象存储服务端包括对象存储节点、对象存储管理节点、对象存储元数据节点、对象存储元数据管理节点四部分，若干个对象存储元数据节点组成对象存储元数据集群。

对象存储客户端包括一组对象存储API。

对象存储节点、对象存储管理节点、对象存储元数据管理节点三部分分别基于CMSP实现，对象存储元数据节点基于KUDU实现。

对象存储应用通过对象存储API与对象存储管理节点、对象存储元数据集群相连，并最终连接到某个具体的对象存储节点，通过该具体的对象存储节点进行对象的存储、获取、更新、命名或删除操作。

可选的，所涉及对象存储节点是实际的对象存储服务器，每个对象存储节点包括至少一个Topic、至少一个容器和一组对象存储服务。

至少一个Topic用于缓存对象存储客户端发过来待存的对象数据，还可根据需求配置若干Topic用于复制缓存的对象数据，复制功能利用CMSP的复制功能实现，复制的缓存对象数据可发送到其它对象存储节点进行备份，其中，一个对象可以有多个副本，并可异地存储，以保证对象存储的高可用，发送功能利用CMSP的发送功能实现。

至少一个容器用于实际存储对象数据，容器可为一个文件系统文件、一个逻辑卷、一块裸盘、一个LUN、一块内存等不同的介质，对象数据可靠地写入容器中，即使服务器发生掉电故障，已写入的对象数据也不会丢失(不包括易失的内存容器)；对象写入容器时，可以不依赖操作系统的文件系统，采用非缓冲方式直接写入容器中，性能更高且可靠，对内存的需求也很少。

一组对象存储服务包括容器的创建、增加、删除、监控，包括对象的存储、获取、更新、更名、删除、判断对象是否存在、元数据生成各项服务。

可选的，所涉及对象存储节点基于CMSP实现；每个对象存储节点可支持PB级存储，对象存储节点在逻辑上独立，对象存储平台由若干个对象存储节点组成，对象存储节点数目可线性动态扩展到上万个，也可以根据需要动态减少。

可选的，所涉及对象存储管理节点基于CMSP实现；对象存储管理节点提供对象存储节点的注册功能，给对象存储客户端提供对象路由功能，通过对象存储管理节点对象存储客户端不需要关心对象具体存储在哪个对象存储节点上，少部分对象存储节点失效不会影响对象存储客户端操作。

可选的，所涉及对象存储元数据节点包含所有对象存储节点所有对象的元数据，具体是通过kudu分布式数据库实现的，对象存储元数据存储于kudu中。kudu可以存储上万亿条对象存储元数据信息，且具备高可靠性、高可用性和高性能。利用kudu管理元数据克服了Hadoop管理元数据的不足，利用普通的硬件和不需要太多的内存就可高性能地支持EB级甚至ZB级的对象存储的元数据管理。

可选的，所涉及对象存储元数据管理节点基于CMSP实现；对象存储元数据管理节点是将来自各个对象存储节点的元数据实时写入对象存储元数据节点集群中。对象存储元数据管理节点具备极高的性能，每个节点每秒钟可处理新增上百万条元数据，且可以动态扩展到多个对象存储元数据管理节点。

可选的，所涉及对象存储API供对象存储应用调用；对象存储API包括对象的上传、下载、更新、更名、查询功能，对象存储API还包括连接池功能，使对象存储应用调用API时简单高效。

可选的，所涉及对象存储客户端可以有很多个，对象存储服务端支持成千上万的对象存储客户端并发访问。

可选的，所涉及对象存储元数据节点包含所有对象存储节点所有对象的元数据，存储架构和平台还支持利用其它分布式数据库进行对象存储元数据存取。

本发明的一种基于CMSP和KUDU的分布式对象存储架构和平台，与现有技术相比具有的有益效果是：

本发明提供了一种基于CMSP和KUDU的分布式对象存储架构和平台，在成熟的CMSP中间件和分布式数据库KUDU基础上，增加对象存储服务，可以以较低成本在保持高可靠的情况下支持对象存储从PB到EB甚至ZB级的平滑扩展，并实现更高的性能。

附图说明

附图1是本发明的结构原理流程框图。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清查、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下获得的所有实施例,都在本发明的保护范围之内。

实施例一：

参考附图1，本实施例提出一种基于CMSP和KUDU的分布式对象存储架构和平台，包括对象存储服务端和对象存储客户端。

对象存储服务端包括对象存储节点、对象存储管理节点、对象存储元数据节点、对象存储元数据管理节点四部分，若干个对象存储元数据节点组成对象存储元数据集群。

对象存储客户端包括一组对象存储API。

对象存储节点、对象存储管理节点、对象存储元数据管理节点三部分分别基于CMSP实现，对象存储元数据节点基于KUDU实现。

对象存储应用通过对象存储API与对象存储管理节点、对象存储元数据集群相连，并最终连接到某个具体的对象存储节点，通过该具体的对象存储节点进行对象的存储、获取、更新、命名或删除操作。

结合附图1，本实施例以三个对象存储节点、一组对象存储API包含四个对象存储API为例。

在本实施例中，所涉及对象存储节点是实际的对象存储服务器，每个对象存储节点包括至少一个Topic、至少一个容器和一组对象存储服务。

至少一个Topic用于缓存对象存储客户端发过来待存的对象数据，还可根据需求配置若干Topic用于复制缓存的对象数据，复制功能利用CMSP的复制功能实现，复制的缓存对象数据可发送到其它对象存储节点进行备份，其中，一个对象可以有多个副本，并可异地存储，以保证对象存储的高可用，发送功能利用CMSP的发送功能实现。

至少一个容器用于实际存储对象数据，容器可为一个文件系统文件、一个逻辑卷、一块裸盘、一个LUN、一块内存等不同的介质，对象数据可靠地写入容器中，即使服务器发生掉电故障，已写入的对象数据也不会丢失(不包括易失的内存容器)；对象写入容器时，可以不依赖操作系统的文件系统，采用非缓冲方式直接写入容器中，性能更高且可靠，对内存的需求也很少。

一组对象存储服务包括容器的创建、增加、删除、监控，包括对象的存储、获取、更新、更名、删除、判断对象是否存在、元数据生成各项服务。

在本实施例中，所涉及对象存储节点基于CMSP实现；每个对象存储节点可支持PB级存储，对象存储节点在逻辑上独立，对象存储平台由若干个对象存储节点组成，对象存储节点数目可线性动态扩展到上万个，也可以根据需要动态减少。

在本实施例中，所涉及对象存储管理节点基于CMSP实现；对象存储管理节点提供对象存储节点的注册功能，给对象存储客户端提供对象路由功能，通过对象存储管理节点对象存储客户端不需要关心对象具体存储在哪个对象存储节点上，少部分对象存储节点失效不会影响对象存储客户端操作。

在本实施例中，所涉及对象存储元数据节点包含所有对象存储节点所有对象的元数据，具体是通过kudu分布式数据库实现的，对象存储元数据存储于kudu中。kudu可以存储上万亿条对象存储元数据信息，且具备高可靠性、高可用性和高性能。利用kudu管理元数据克服了Hadoop管理元数据的不足，利用普通的硬件和不需要太多的内存就可高性能地支持EB级甚至ZB级的对象存储的元数据管理。

在本实施例中，所涉及对象存储元数据管理节点基于CMSP实现；对象存储元数据管理节点是将来自各个对象存储节点的元数据实时写入对象存储元数据节点集群中。对象存储元数据管理节点具备极高的性能，每个节点每秒钟可处理新增上百万条元数据，且可以动态扩展到多个对象存储元数据管理节点。

在本实施例中，所涉及对象存储API供对象存储应用调用；对象存储API包括对象的上传、下载、更新、更名、查询功能，对象存储API还包括连接池功能，使对象存储应用调用API时简单高效。

在本实施例中，所涉及对象存储客户端可以有很多个，对象存储服务端支持成千上万的对象存储客户端并发访问。

在本实施例中，所涉及对象存储元数据节点包含所有对象存储节点所有对象的元数据，存储架构和平台还支持利用其它分布式数据库进行对象存储元数据存取。

本发明提供了一种基于CMSP和KUDU的分布式对象存储架构和平台，在成熟的CMSP中间件和分布式数据库KUDU基础上，增加对象存储服务，可以以较低成本在保持高可靠的情况下支持对象存储从PB到EB甚至ZB级的平滑扩展，并实现更高的性能。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个〃····〃”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

最后需要说明的是：以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容，并不用于限制本发明的保护范围，本发明的技术方案不限制于上述具体实施方式内。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (6)

1.一种基于CMSP和KUDU的分布式对象存储架构和平台，其特征在于,包括对象存储服务端和对象存储客户端；

所述对象存储服务端包括对象存储节点、对象存储管理节点、对象存储元数据节点、对象存储元数据管理节点四部分，若干个对象存储元数据节点组成对象存储元数据集群，对象存储节点是实际的对象存储服务器，每个对象存储节点包括至少一个Topic、至少一个容器和一组对象存储服务，其中：至少一个Topic用于缓存对象存储客户端发过来待存的对象数据，还可根据需求配置若干Topic用于复制缓存的对象数据，复制功能利用CMSP的复制功能实现，复制的缓存对象数据可发送到其它对象存储节点进行备份，其中，一个对象可以有多个副本，并可异地存储，以保证对象存储的高可用，发送功能利用CMSP的发送功能实现；至少一个容器用于实际存储对象数据，容器是一个文件系统文件或一个逻辑卷或一块裸盘或一个LUN或一块内存，对象写入容器时，可以不依赖操作系统的文件系统，采用非缓冲方式直接写入容器中；一组对象存储服务包括容器的创建、增加、删除、监控，包括对象的存储、获取、更新、更名、删除、判断对象是否存在、元数据生成各项服务；

所述对象存储客户端包括一组对象存储API；

所述对象存储节点、对象存储管理节点、对象存储元数据管理节点三部分分别基于CMSP实现，所述对象存储元数据节点基于KUDU实现；实现过程中：每个对象存储节点可支持PB级存储，对象存储节点在逻辑上独立，对象存储平台由若干个对象存储节点组成，对象存储节点数目可线性动态扩展到上万个，也可以根据需要动态减少；对象存储管理节点提供对象存储节点的注册功能，给对象存储客户端提供对象路由功能，通过对象存储管理节点对象存储客户端不需要关心对象具体存储在哪个对象存储节点上，少部分对象存储节点失效不会影响对象存储客户端操作；

对象存储应用通过对象存储API与对象存储管理节点、对象存储元数据集群相连，并最终连接到某个具体的对象存储节点，通过该具体的对象存储节点进行对象的存储、获取、更新、命名或删除操作。

2.根据权利要求1所述的一种基于CMSP和KUDU的分布式对象存储架构和平台，其特征在于，对象存储元数据节点包含所有对象存储节点所有对象的元数据，具体是通过kudu分布式数据库实现的，对象存储元数据存储于kudu中。

3.根据权利要求2所述的一种基于CMSP和KUDU的分布式对象存储架构和平台，其特征在于，对象存储元数据管理节点基于CMSP实现；对象存储元数据管理节点是将来自各个对象存储节点的元数据实时写入对象存储元数据节点集群中。

4.根据权利要求1所述的一种基于CMSP和KUDU的分布式对象存储架构和平台，其特征在于，对象存储API供对象存储应用调用；对象存储API包括对象的上传、下载、更新、更名、查询功能，对象存储API还包括连接池功能，使对象存储应用调用API时简单高效。

5.根据权利要求1或4所述的一种基于CMSP和KUDU的分布式对象存储架构和平台，其特征在于，对象存储客户端可以有很多个，对象存储服务端支持成千上万的对象存储客户端并发访问。

6.根据权利要求1所述的一种基于CMSP和KUDU的分布式对象存储架构和平台，其特征在于，对象存储元数据节点包含所有对象存储节点所有对象的元数据，存储架构和平台还支持利用其它分布式数据库进行对象存储元数据存取。

Images