CN103067488A - 一种统一存储的实现方法 - Google Patents

Abstract

本发明适用于存储技术领域，提供了一种统一存储的实现方法，包括以下步骤：智能调度模块接收来自文件访问协议客户端和/或块访问客户端发送的命令和/或数据；智能调度模块对所述数据自动实行调度和备份或将所述数据提交到数据存储模块按保存策略进行保存，或者所述智能调度模块执行所述命令。本发明不仅做到了块协议和文件协议的统一，也做到了可自动分层，以及对级联的可读写快照的支持来给虚拟桌面架构之类的应用提供便利；具备智能地进行归档的存储能力。另外，通过采用分布式架构，系统由普通商用服务器组成，以较低的成本却可以获得很好的横向扩展性，可以适用于大规模云计算环境。

Description

一种统一存储的实现方法

技术领域

本发明属于存储技术领域，尤其涉及一种统一存储的实现方法。

背景技术

SAN是通过网线连接的磁盘阵列，具备磁盘阵列的所有主要特征：高容量、高效能、高可靠。SAN是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用作SAN的接入点。SAN中将特殊交换机当作连接设备。它们看起来很像常规的以太网络交换机，是SAN中的连通点。SAN系统可以通过块设备访问协议（SCSI）直接当作块设备使用，也可以通过SAN文件系统访问。

NAS是一种采用直接与网络介质相连的特殊设备实现数据存储的机制。由于这些设备都分配有IP地址，所以客户机通过充当数据网关的服务器可以对其进行存取访问，甚至在某些情况下，不需要任何中间介质客户机也可以直接访问这些设备。文件共享(即文件服务器)是NAS最基本的应用。通过TCP/IP协议找到NAS网络存储器设备，并在它的共享目录中存储公用文件。

SAN和NAS作为两类不同类型的存储系统之前都是作为不同的系统出售并被使用。但是，从最近几年开始不少存储客户逐渐希望他们购置的存储系统既能够当作SAN也能够当作NAS使用。这样的需求来自于企业业务的变化：随着信息化技术的推进以及各种数据爆炸式增长，大部分企业的业务数据不在仅仅是结构化数据或者非结构化数据，而是两者混而有之。同时购置SAN和NAS存储系统不仅成本高，还会造成资源浪费，维护复杂。

虽然，当前比较知名的商业统一存储产品包括EMC公司的VNX系列产品，Netapp公司的FAS系列产品等。但此类产品主要还是采用集中式的架构，通过整合之前SAN和NAS的软件系统形成一个统一的整合软件平台，虽然达到既支持SAN又支持NAS访问协议和接口。但是该统一存储技术只是将文件访问协议和块访问协议进行了简单的集成和组合，且主要采用集中式架构。以此基础形成的统一存储管理器并不能够满足企业混合存储需求，也不能够充分利用已有的存储特性，并不具备良好的横向扩展性，缺少足够的灵活性以满足公司存储需求的变化。

发明内容

本发明的目的在于提供一种统一存储的实现方法，旨在解决现有的存储技术只是将文件访问协议和块访问协议进行了简单的集成和组合，且主要采用集中式架构；以此基础形成的统一存储管理器并不能够满足企业混合存储需求，也不能够充分利用已有的存储特性，并不具备良好的横向扩展性，缺少足够的灵活性以满足公司存储需求的变化的问题。

本发明是这样实现的，一种统一存储的实现方法，所述方法包括以下步骤：

智能调度模块接收来自文件访问协议客户端和/或块访问客户端发送的命令和/或数据；

智能调度模块对所述数据自动实行调度和备份或将所述数据提交到数据存储模块按保存策略进行保存，或者所述智能调度模块执行所述命令。

在本发明中，本发明提出的基于分布式开放架构的统一存储的实现方法，能够同时提供文件和块访问的存储系统。块访问通过以太网承载的iSCSI接口来实现，基于文件的访问是通过以太网上的NFS/CIFS标准网络文件系统协议来访问存储系统上的文件系统。本发明通过分布式文件系统的客户端与nfs服务器端结合，形成了NAS与SAN相结合的存储；通过分布式文件系统的客户端与iscsi访问协议相结合，为相关应用提供了虚拟存储设备；通过对数据的分块和备份，所形成的聚合带宽即满足了系统的性能要求也满足了数据的安全要求。本发明不仅做到了块协议和文件协议的统一，也做到了可自动分层，以及对级联的可读写快照的支持来给虚拟桌面架构之类的应用提供便利；具备智能地进行归档的存储能力。另外，通过采用分布式架构，系统由普通商用服务器组成，以较低的成本却可以获得很好的横向扩展性，可以适用于大规模云计算环境。

附图说明

图1是本发明实施例提供的统一存储的实现方法的实现流程示意图。

图2是本发明实施例提供的统一存储的实现方法的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，为本发明实施例提供的统一存储的实现方法的实现流程，其主要包括以下步骤：

在步骤S101中，智能调度模块接收来自文件访问协议客户端和/或块访问客户端发送的命令和/或数据；

在步骤S102中，智能调度模块对所述数据自动实行调度和备份或将所述数据提交到数据存储模块按保存策略进行保存，或者所述智能调度模块执行所述命令。

作为本发明一实施例，文件访问协议客户端为相关应用提供存储服务的接口，用于接收相关应用数据，使用文件访问协议通过网络将数据提交到文件访问协议服务器端；文件访问协议服务器端接收文件访问协议客户端发送的数据，并将所述数据传递给分布式文件系统客户端；分布式文件系统客户端接收文件访问协议服务器端发送的数据，并将所述数据传递给智能调度模块，智能调度模块接收分布式文件系统客户端发送的数据，智能调度模块对所述数据自动实行调度和备份或将所述数据提交到数据存储模块按保存策略进行保存。

作为本发明另一实施例，文件访问协议客户端向文件访问协议服务器端发出请求，其中，该请求一般包括新建、删除、修改、查找文件和文件夹），文件访问协议服务器端处理文件访问协议客户端发出的请求，并将该请求传递给分布式文件系统客户端，分布式文件系统客户端处理该请求，并将该请求传递给智能调度模块，智能调度模块根据所述请求向数据存储模块发出控制命令，数据存储模块根据所述控制命令执行相应的操作。

作为本发明另一实施例，分布式文件系统客户端接收智能调度模块从数据存储模块中获取的数据，并将所述数据返回至文件访问协议服务器端，文件访问协议服务器端将该数据返回给文件访问协议客户端。

作为本发明另一实施例，块访问客户端为相关应用提供存储服务的接口，用于接收相关应用的块操作指令，如创建分区、格式化分区、删除分区等指令；通过iscsi协议提交该指令到块访问服务器端，块访问服务器端接收并执行块访问客户端提交的块操作指令，并将块访问客户端提交的块操作指令传递给镜像管理模块，镜像管理模块接收并执行块访问服务器端提交的块操作指令，并将所述块操作指令传递给智能调度模块，所述智能调度模块向数据存储模块发出所述块操作指令，数据存储模块根据所述块操作指令执行相应的操作。

在本发明实施例中，数据存储模块对外提供存储空间，对智能调度模块发出的请求执行相应的操作。

请参阅图2，

创建文件夹的实现流程如下：

文件访问协议客户端通过网络使用文件访问协议发送文件夹创建命令到文件访问协议服务器端；

文件访问协议服务器端将所述命令提交到分布式文件系统客户端；

分布式文件系统客户端将所述命令提交到智能调度模块；

智能调度模块根据备份、分块、定位策略，产生对应的命令，并向数据存储模块发出所述命令；

数据存储模块根据所述命令执行创建文件夹的操作。

创建文件的实现流程如下：

文件访问协议客户端通过网络使用文件访问协议发送文件创建命令到文件访问协议服务器端；

文件访问协议服务器端将命令提交到分布式文件系统客户端；

分布式文件系统客户端将命令提交到智能调度模块；

智能调度模块根据备份、分块、定位策略，产生对应的命令，并向数据存储模块发出所述命令；

数据存储模块根据所述命令执行创建文件的操作。

创建分区的实现流程如下：

块访问客户端通过网络使用文件访问协议发送创建分区的命令到块访问服务器端；

块访问服务器端将命令提交到镜像管理模块；

镜像管理模块将命令提交到智能调度模块；

智能调度模块将命令提交到数据存储模块；

数据存储模块根据所述命令执行创建分区的操作。

格式化分区的实现流程如下：

块访问客户端通过网络使用文件访问协议发送格式化分区的命令到块访问服务器端；

块访问服务器端将命令提交到镜像管理模块；

镜像管理模块将命令提交到智能调度模块；

智能调度模块将命令提交到数据存储模块；

数据存储模块根据所述命令执行格式化分区的操作。

在本发明实施例中，利用开源项目ceph的rados分布式对象存储技术，虚拟化底层存储设备，对外提供一致的统一存储，对外既提供基于文件的访问方式，也提供基于块的访问方式。分布式文件系统ceph主要分为三部分：客户端，每个客户端都为主机和进程提供了类POXIS的文件访问接口；OSD（对象存储的设备）集群，用于存储全部的数据和元数据；元数据服务器集群，管理命名空间（包括全部文件和目录），并且协调全局数据的一致性和安全性。另外监视器负责维护系统全局crush map映射表。

文件被划分为多个等大小的对象，默认大小为4MB，最后一个对象除外，对每个对象名（所属文件名和对象序号）进行hash取值，得到该对象的placementgroup值，每个不同的osd所在的数据节点默认被划分为100个pg，根据该对象的placement group值可以得到该对象应该被存放的数据节点。在ceph文件系统之上利用NFS server可以将分布式文件系统以NFS访问协议的方式输出。这样，用户就可以把系统当成一个高性能的NAS存储。

每个rbd镜像由底层的多个分布于不同机器的object组成，在创建rbd镜像时指定镜像大小、备份数等信息，每个object的默认大小为4MB，object大小可变，只需为4MB的整数倍即可，rbd image在内部自动实现数据的定位和备份，对外作为独立的单个镜像文件单独的rbd镜像构成独立的block device虚拟磁盘，相关应用可对虚拟磁盘进行格式化为不同文件系统，并通过iscsi协议访问虚拟磁盘。这样，用户就可以把系统当成一个高性能的SAN存储。

综上所述，本发明提出的基于分布式开放架构的统一存储的实现方法，能够同时提供文件和块访问的存储系统。块访问通过以太网承载的iSCSI接口来实现，基于文件的访问是通过以太网上的NFS/CIFS标准网络文件系统协议来访问存储系统上的文件系统。本发明通过分布式文件系统的客户端与nfs服务器端结合，形成了NAS与SAN相结合的存储；通过分布式文件系统的客户端与iscsi访问协议相结合，为相关应用提供了虚拟存储设备；通过对数据的分块和备份，所形成的聚合带宽即满足了系统的性能要求也满足了数据的安全要求。本发明不仅做到了块协议和文件协议的统一，也做到了可自动分层，以及对级联的可读写快照的支持来给虚拟桌面架构之类的应用提供便利；具备智能地进行归档的存储能力。另外，通过采用分布式架构，系统由普通商用服务器组成，以较低的成本却可以获得很好的横向扩展性，可以适用于大规模云计算环境。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种统一存储的实现方法，其特征在于，所述方法包括以下步骤：

智能调度模块接收来自文件访问协议客户端和/或块访问客户端发送的命令和/或数据；

智能调度模块对所述数据自动实行调度和备份或将所述数据提交到数据存储模块按保存策略进行保存，或者所述智能调度模块执行所述命令。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

文件访问协议客户端为相关应用提供存储服务的接口，用于接收相关应用数据，使用文件访问协议通过网络将数据提交到文件访问协议服务器端；文件访问协议服务器端接收文件访问协议客户端发送的数据，并将所述数据传递给分布式文件系统客户端；分布式文件系统客户端接收文件访问协议服务器端发送的数据，并将所述数据传递给智能调度模块，智能调度模块接收分布式文件系统客户端发送的数据，智能调度模块对所述数据自动实行调度和备份或将所述数据提交到数据存储模块按保存策略进行保存。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

文件访问协议客户端向文件访问协议服务器端发出请求，文件访问协议服务器端处理文件访问协议客户端发出的请求，并将该请求传递给分布式文件系统客户端，分布式文件系统客户端处理该请求，并将该请求传递给智能调度模块，智能调度模块根据所述请求向数据存储模块发出控制命令，数据存储模块根据所述控制命令执行相应的操作。

4.如权利要求3所述的方法，其特征在于，所述请求包括新建、删除、修改、查找文件和文件夹请求。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

分布式文件系统客户端接收智能调度模块从数据存储模块中获取的数据，并将所述数据返回至文件访问协议服务器端，文件访问协议服务器端将该数据返回给文件访问协议客户端。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

块访问客户端为相关应用提供存储服务的接口，用于接收相关应用的块操作指令，通过iscsi协议提交该指令到块访问服务器端，块访问服务器端接收并执行块访问客户端提交的块操作指令，并将块访问客户端提交的块操作指令传递给镜像管理模块，镜像管理模块接收并执行块访问服务器端提交的块操作指令，并将所述块操作指令传递给智能调度模块，所述智能调度模块向数据存储模块发出所述块操作指令，数据存储模块根据所述块操作指令执行相应的操作。

7.如权利要求6所述的方法，其特征在于，所述块操作指令包括：创建分区、格式化分区、删除分区指令。

8.如权利要求1所述的方法，其特征在于，所述智能调度模块执行所述命令的步骤，具体为：

智能调度模块根据备份、分块、定位策略，产生对应的命令，并向数据存储模块发出所述命令。

Images