CN109033250A - 一种支持大数据文件访问服务的高可用性对象存储方法 - Google Patents

Abstract

本发明提供了一种支持大数据文件访问服务的高可用性对象存储方法，包括：通过数据协议模块接口管理对象存储需要存储的对象可用Hadoop文件系统，实现在CephFS上hadoop与对象存储服务的支持，使得用户通过所述数据协议模块接口可以访问对象存储服务存储的数据。本发明将Ceph存储系统作为Hadoop的后台存储，充分利用Hadoop分布式框架的高效性等特性支持大数据存储访问服务，更好地弥补文件系统的弊端。同时能在对象存储节点故障时，利用CTDB管理多网关对象存储服务，使集群中数据不丢失，确保业务能够正常稳定运行。

Description

一种支持大数据文件访问服务的高可用性对象存储方法

技术领域

本发明属于云存储及大数据领域，具体涉及一种支持大数据文件访问服务的高可用性对象存储方法。

背景技术

Ceph是一种高性能、高可靠性、高可扩展性的分布式存储系统，独一无二地在一套系统中同时提供三种接口：基于文件的接口，基于块设备的接口以及基于对象的接口。其中Object接口有原生的API，而且兼容Swift和S3的API。在文件接口上，可基于Ceph系统运行Hadoop处理业务和数据。当Hadoop利用Ceph作为存储后端时，可将Ceph强大的分布式存储能力与Hadoop中MapReduce强大的并行任务处理能力相融合。若同时结合HBASE面向列的非结构化数据库，便可实现能够提供更高可靠性、更强性能、更大容量利用率以及更便捷的大数据平台。

集群存储是面向文件级别的存储系统，如果在存储海量数据的情况下，必然会产生大量的数据文件。在传统的文件存储系统中，由于其自身的限制，当文件系统中存储的数据越来越多时，文件系统目录的深度、宽度会不断增大，导致元数据读写管理的效率以及数据读写性能不断降低，从而可能在文件系统出现数据不流转等问题，对系统造成障碍堵塞的状况。

为了防止这种情况的发生，我们使用基于Ceph的对象存储系统对数据进行存储，利用对象存储服务高安全与高可靠性、外加其随时随地可访问等特性解决海量数据存储问题。

但在原有的Ceph分布式集群存储系统中已经配置了非面向对象存储的数据类型。随着集群业务的不断增长，当数据量足够大时，系统不能将已有数据直接转化成面向对象的数据类型，这使原有数据和对象存储的数据相互分离，同时不能基于Ceph利用Hadoop的处理能力对数据进行挖掘分析。

我们在对分布式存储系统进行测试时发现，大规模的集群存储系统对数据的故障性处理设计要求很高，不论是网络故障、磁盘故障还是电源故障。通常集群中会加入一些技术来管理保护系统，使业务能稳定运转，防止设备在工作过程出现不确定因素，造成设备中的数据业务停止或者数据丢失。在客户使用系统时，一旦无法保证业务稳定，不论是由于设计上的失误、人为操作、或者其他的意外情况，都有可能对用户造成很大的损失。

发明内容

本发明的目的是提供一种支持大数据文件访问服务的高可用性对象存储方法，实现从Hadoop文件系统到Ceph对象存储集群的透明访问，使得Hadoop平台可以支持海量数据的存储与处理服务。

本发明的实施例提供了一种支持大数据文件访问服务的高可用性对象存储方法，其特征在于，包括：通过数据协议模块接口管理对象存储需要存储的对象可用Hadoop文件系统，实现在CephFS上hadoop与对象存储服务的支持，使得用户通过数据协议模块接口可以访问对象存储服务存储的数据。

进一步地，该方法还包括：

通过对象服务函数接口管理进程，用于设备出现故障时，提高系统的容错性。

与现有技术相比本发明的有益效果是：

1)实现从Hadoop文件系统到Ceph对象存储系统的透明访问服务接口，使Hadoop能够高效地支持海量数据的存储服务，同时可支持使用Hadoop平台上MapReduce强大的并行任务处理能力以对象类型存储的海量数据进行挖掘分析。

2)实现支持多网关管理的高可用性对象存储方法，在对象存储网关故障或节点故障时，利用高可用的管理技术确保护系统的正常运行，防止设备出现不确定因素而造成的存储系统中数据丢失的现象。

附图说明

图1是本发明一实施例流程图；

图2是本发明另一实施例流程图；

图3是本发明的应用框图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

本实施例中所使用的缩略语定义如下：

本实施例通过设计数据协议模块接口将对象存储需要存储的对象可用Hadoop文件系统进行管理中，实现在CephFS上hadoop与对象存储服务的支持，使得用户通过数据协议模块可以访问对象存储服务存储的数据。并在设备出现故障时，设计对象服务函数接口管理进程，提高系统的容错性。即在Hadoop平台上，使用Ceph分布式存储系统作为其底层存储系统，在原有的Ceph文件系统上设计数据协议模块接口，将Hadoop中的数据协议层与对象存储池中的数据进行连接，实现Hadoop文件系统对于对象存储的全方面透明访问，可以对数据通过文件系统完成对象存储客户端所有操作，例如对象存储服务上传、下载以及删除等所有功能，并能将ceph中的数据利用hadoop传输到对象存储服务上。并在多网关对象存储服务上设计函数接口控制radosgw进程，在节点故障时，可自动使对象存储服务转移到活跃的monitor节点，保障系统的稳定性和可靠性，完成真正意义两种系统的服务连接。

一般的存储系统都是相应业务的单一服务，但是由于系统之间的各种差异性的特性，各自的特性服务不能相互融合，使自身缺点不能充分弥补，本发明能够弥补此问题的存在，完成文件和对象存储两种系统服务融合。本发明是基于Ceph分布式存储系统，使用户可以通过Hadoop平台实现对象存储的透明访问，弥补在CephFS上Hadoop文件系统无法高效兼容访问多对象存储层技术的不足。

本发明通过将Ceph存储系统作为Hadoop的后台存储，充分利用Hadoop分布式框架的高效性等特性支持大数据存储访问服务，更好地弥补了文件系统的弊端。同时能在对象存储节点故障时，利用CTDB管理多网关对象存储服务，使集群中数据不丢失，确保业务能够正常稳定运行。

参图1、图2所示，Hadoop平台上基于Ceph的对象存储处理流程如下：

第一步启动对象存储网关rgw，在Ceph集群所有monitor节点上启动对象存储网关。

(1)配置radosgw服务，将monitor所在节点需要在三个节点的conf文件中分别添加配置.

(2)配置hosts文件，将所有radosgw服务端节点的信息都写入到hosts文件。

(3)创建并修改各节点的集群节点CTDB中的nodes文件，添加接口节点集群的内部网络IP，创建并修改各接口节点公网IP文件以及客户端进行访问的虚拟IP，用户通过该IP访问radosgw服务方可实现高可用性。

(4)修改所有接口节点上CTDB配置文件中的相关配置CTDB_MANAGES_RADOSGW＝yes。

(5)修改所有接口节点上的function函数ctdb_compat_managed_service，并设计连接接口的函数，使CTDB服务于对象存储网关，在所有MON节点上启动CTDB进程。

第二步配置Hadoop与CephFS连接，通过Hadoop和Hbase配置文件进行设置，例如fs.default.name的value、ceph.data.pools的value、ceph.replication的value属性值以及map-reduce配置等，实现将Ceph作为Hadoop底层文件系统的存储方案。接着再通过Hadoop命令行发出指令。

第三步如果服务是S3，则经过本发明中的S3数据协议模块获取配置文件，再到aws-java-sdk生成符合S3的协议，用于向rgw网关发送响应命令。

第四步如果服务是Swift，则经过本发明的swift数据协议模块和hadoop-openstack获取配置，再到openstack-sdk生成符合Swift协议的命令，最后发送到rgw。

为了实现从Hadoop文件系统到Ceph对象存储集群的透明访问，使得Hadoop平台可以支持海量数据的存储与处理服务，本发明设计了基于Ceph对象存储方法支持Hadoop的文件服务接口，同时为了提高数据存储的高可用性，利用CTDB服务支持多网关存储访问模式，为多个节点上的应用提供可靠的传输通道。

参图3所示，在Ceph存储系统上，Hadoop支持Ceph作为Hadoop底层文件存储系统。在应用基于Ceph上多网关对象存储服务时，通过Hadoop对接Ceph中的1ibCephFS接口，分布式CephFS文件系统中的数据可直接利用Hadoop存储在对象存储服务上。对象存储服务上的数据也能直接在文件系统client上进行数据的分析和挖掘。

在Ceph系统中，对象存储网关充当协议转换角色，负责将Swift和S3协议的操作转化为系统内通信接口的调用，实现对存储模块的访问。客户端通过任一网关都可访问对象存储系统。但一个客户端只能配置一个网关地址，若此对象存储网关挂死，则此客户端无法访问对象存储系统，存在单点故障。在多网关对象存储服务出现故障时，利用CTDB管理对象存储网关radosgw进程，可以实现对象存储网关的高可用性。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (2)

1.一种支持大数据文件访问服务的高可用性对象存储方法，其特征在于，包括：通过数据协议模块接口管理对象存储需要存储的对象可用Hadoop文件系统，实现在CephFS上hadoop与对象存储服务的支持，使得用户通过所述数据协议模块接口可以访问对象存储服务存储的数据。

2.根据权利要求1所述的一种支持大数据文件访问服务的高可用性对象存储方法，其特征在于，还包括：

通过对象服务函数接口管理进程，用于设备出现故障时，提高系统的容错性。