CN109327332A - 一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法 - Google Patents

Abstract

本发明提供一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法，利用LIO的targetcli与python‑rtslib接口来设计与开发配置iSCSI GateWay的管理模块。能够适用于LUN规模较大的场景，且在iSCSI GateWay的选择、target的创建、负载均衡等方面更加灵活，提出了新的组织架构及其实现方法，避免了集群中的几个节点成为整个集群的瓶颈，以及很多个LUN共享一个session的资源造成读写的瓶颈问题，解决了现有方案中存在的性能瓶颈问题，优化了大规模LUN场景下的性能，同时支持I/O的故障迁移和负载均衡，具备高性能、高可靠性以及高可扩展性。

Description

一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法

技术领域

本发明属于云存储技术领域，尤其涉及一种Ceph云存储下基于LIO的iSCSIGateWay高可用实现方法。

背景技术

随着Ceph的商业化，一些企业开始利用Ceph来给客户提供一些替代存储区域网络的解决方案，希望利用Ceph的高可用性、高可扩展性来提供一个大规模、低成本的通用存储。Ceph在应用于这种场景时，还存在一些兼容性问题：Ceph提供的接口并不支持SCSI标准的块接口，因此无法直接兼容VMware、Windows以及Solaris等采用标准SCSI接口的设备。

为解决上述技术问题，业内提出了iSCSI的解决方案以扩大Ceph的应用，采用架设iSCSI GateWay的方式来为Ceph提供iSCSI的访问接口，Ceph开源社区也是采用这种方案。

iSCSI GateWay在iSCSI中是作为服务端的，所以它应当是iSCSI Target节点。目前，社区首选的是使用LIO及TCMU作为iSCSI Target的选型，并配合TCMU-Runner来完成Ceph中RBD块设备的iSCSI支持。社区还提供了ceph-iscsi-cli、ceph-iscsi-config两个工具相互配合来创建配置iSCSI GateWay。

目前社区提供的ceph-iscsi-cli、ceph-iscsi-config两个工具还不完善，采用这两个工具的方案存在一下不足：

1、在创建iSCSI GateWay的时候只能选择2-4个节点作为网关节点，在集群庞大的时候，这几个节点将会成为集群iSCSI访问的性能瓶颈。如图1所示，是使用ceph-iscsi-cli来配置iSCSI GateWay的架构组织，其包含很多了节点，却只能选择其中2-4个，图中场景选择了两个作为网关，并且在选中的节点中只能创建一个Target，所有的LUN都将放在这一个Target下。没有选中的节点，仅仅部署了Ceph，当LUN访问需求增大，网关数量少和Target数量将成为性能瓶颈，不能充分发挥其他节点的资源优势。

2、当选择了特定的节点创建iSCSI GateWay的时候，整个iSCSI GateWay节点组成的网关集群，只能创建一个Target，Target下只存在一个有效的TPG，而一个Target下目前只能创建256个LUN。

3、当initiator与target建立连接，连接initiator和target的一组TCP连接构成一个session。一个initiator与target建立连接以后，它能够访问到的LUN都会挂载到客户端下，当客户端对这些LUN进行读写访问的时候，它们会共享这一个session的资源，这样同样存在性能的瓶颈。

4、对LUN的owner的选择，过于简单，仅仅考虑节点的owner的个数，不能很好的实现负载均衡。

5、只适用于LUN数目较少的场景，对于LUN数目较大的时候存在性能瓶颈。

发明内容

针对目前使用ceph-iscsi-cli与ceph-iscsi-config来配置iscsi GateWay高可用的方案存在着适用场景集群规模较小、性能在较多方面存在瓶颈的不足，本发明提供一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法。

本发明采用如下技术方案：

在一些可选的实施例中，提供一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法，利用LIO的targetcli与python-rtslib接口来设计与开发配置iSCSI GateWay的管理模块，管理模块配置iSCSI GateWay的过程包括：

新增一块LUN，为该LUN创建后端存储，将Ceph中的块设备作为该LUN的后端存储；

在Ceph集群中创建RBD，开启RBD的exclusive-lock；

利用LIO的targetcli或python-rtslib接口，将创建的RBD添加到TCMU的后端存储库中，并为后端存储块设备创建ALUA端口组，并根据ALUA的规则配置参数；

默认使用整个Ceph集群作为网关集群，Ceph集群中的每个节点都可以在Schedule模块的调度下创建target，成为iSCSI GateWay，在所述网关集群中创建target；

在target下创建tpg，tpg数量为副本数数量，并配置tpg；

将LUN添加到target下，并配置端口组。

在一些可选的实施例中，所述为后端存储块设备创建的ALUA端口组的名称分别为AO和ANO。

在一些可选的实施例中，在所述网关集群中创建target的过程包括：由负载均衡算法在所述网关集群中选择节点，节点的个数由用户指定的高可用副本数来决定；在选出的节点上创建iqn号相同的target。

在一些可选的实施例中，所述在target下创建tpg，tpg数量为副本数数量，并配置tpg的过程中，同一个target同时存在几个节点上，对于某一节点上的target，tpg有效状态为enable的只有一个，其余都是无效状态，无效状态的tpg用于标识对端，即标识同一个target其他的节点的IP。

在一些可选的实施例中，所述将LUN添加到target下，并配置端口组的过程包括：负载均衡模块根据负载均衡算法，在包含target的几台节点上选出最优节点；将LUN添加到iqn号相同的target下；被选择出的最优节点上的target与最优节点的有效tpg，在挂载LUN的时候设置LUN的端口状态为AO，其他节点上的target在挂载LUN的时候设置LUN的端口状态为ANO。

在一些可选的实施例中，当新增一个LUN到已经存在的指定target下时，通过查询数据库的方式获得所述已经存在的指定target的位置。

在一些可选的实施例中，所述的一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法，还包括：将配置文件通过调用Ceph提供的API下压保存到默认存储池rbd。

本发明所带来的有益效果：

1、在iSCSI GateWay的选择、target的创建、负载均衡等方面更加灵活，避免了集群中的几个节点成为整个集群的瓶颈，以及很多个LUN共享一个session的资源造成读写的瓶颈问题；

2、能够选择集群中的任意节点作为网关节点，并且能够创建并管理多个target，在负载均衡上考虑了target的个数、节点的LUN的owner个数、节点的CPU使用率、CPU内存剩余量、节点的IPOS、节点的吞吐量、节点的带宽等因素，最终使其适用于LUN数量较大的场景。

3、在解决了现有方案中存在的性能瓶颈问题，优化了大规模LUN场景下的性能的同时，支持I/O的故障迁移和负载均衡，具备高性能、高可靠性以及高可扩展性。

附图说明

图1是现有的方案iSCSI GateWay中Target与LUN、集群节点的组织结构；

图2是本发明所采用的架构组织方式；

图3是本发明高可用配置的原理；

图4是本发明的流程示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。

本发明与社区现有的方案中，都选择采用LIO与TCMU作为后端Target的选型。不采用ceph-iscsi-cli等工具进行配置，优化其iSCSI GateWay的组织架构，提出了一种基于LIO及其基本管理工具targetcli、python-rtslib的实现方法。

在一些说明性的实施例中，提供一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法，本实施例介绍在一个集群中，创建Target与LUN的过程，以说明本发明iSCSIGateWay中节点、Target、LUN、负载均衡、高可用等组织架构。基于Ceph的云存储包含多个节点，通过架设iSCSI GateWay的方式来为Ceph提供iSCSI的访问接口。

实现负载均衡模块。负载均衡模块能够综合考虑节点的target的个数、LUN的owner个数、节点的CPU使用率、CPU内存剩余量、节点的IPOS、节点的吞吐量、节点的带宽等因素。建立评价指标模型，对这些指标可以使用默认权重，也可以由用户配置权重，从而允许用户配置负载均衡。

对于整个集群的节点来说，都是iSCSI GateWay的网关节点，都可以通过调度模块以及负载均衡模块的选择而创建Target。并且iSCSI GateWay的组织管理架构形式有以下特征：每个节点都可以创建很多个Target，关于高可用则是以Target为单位进行保证，即在创建Target过程中，可以决定创建Target的副本数，且副本处于不同的节点上，具体位于那些节点则由负载均衡模块决定。

如图4所示，利用LIO的targetcli与python-rtslib接口来设计与开发配置iSCSIGateWay的管理模块，管理模块配置iSCSI GateWay的过程包括：

101：用户需要新增一块LUN，为该LUN创建后端存储，这里将Ceph中的块设备作为该LUN的后端存储。

102：在Ceph集群中创建RBD，开启RBD的exclusive-lock以及其他的一些特性，以支持后面的高可用配置等。

103：利用LIO的targetcli或python-rtslib接口，将RBD添加到后端存储块设备中，即将创建的RBD添加到TCMU的后端存储库中。

并为后端存储块设备创建ALUA端口组，分别创建两个名为AO和ANO的端口组，AO是指Active/optimized，ANO是指Active/unoptimized。

并根据ALUA的规则配置参数，使得AO端口组为主动优化状态，ANO为主动非优化状态。

LIO，即Linux-IO是Linux里面一个标准、开源的SCSI Target子系统。

TCMU，是通过用户态驱动实现技术把SCSI命令从LIO Core透传到用户空间，使得可以在用户空间实现各种Target驱动。

RBD，是促进基于块的存储软件开源Ceph分布式存储系统中的数据。

104：默认使用整个Ceph集群作为网关集群，即Ceph集群中的所有节点作为网关集群，也可以指定特定的节点作为网关集群，并且不限制个数。不再专门在Ceph集群中选择iSCSI GateWay网关节点。

Ceph集群中的每个节点都可以在Schedule模块的调度下创建target，成为iSCSIGateWay。这样虽然管理上难度增大，但是不会让网关集群成为整个集群的瓶颈，也能充分发挥每个节点的资源。

在网关集群中创建target，具体过程包括：

首先，由负载均衡算法在所述网关集群中选择节点，节点的个数由用户指定的高可用副本数来决定；

然后，在选出的节点上创建iqn号相同的target，即选出副本数量的节点后，在这几个节点上创建一个target，分别在每个节点上创建，iqn号相同即可。

其中，如图2所示，图中展现的是副本数量为2的场景下，由负载均衡算法在网关集群中选择目前评价指标下较好的2个节点。选出副本数量的节点后，在这2个节点上创建一个target，例如，对于target1，在节点1、节点2上都创建了，它们两个节点上的target1的iqn号相同，以标识他们是同一个target。并且，本发明对于一个节点target的数量不做限制，当再次创建target时，根据负载均衡算法，一个节点上是可以创建不同target的，例如图3中的节点3，创建了4个Target。

然而，现有方案在每个网关节点上创建同一个target，且整个网关只有这一个target。

105：在target下创建tpg，tpg数量为副本数数量，并配置tpg。

例如portals。同一个target同时存在几个节点上，对于某一节点上的target，tpg有效状态为enable的只有一个，其余都是无效状态，无效状态的tpg用于标识对端，即标识同一个target其他的节点的IP。

如图2所示，对于节点1上的target1，创建两个tpg，分别是TPG1、TPG2。TPG1状态为enable，其portals添加节点1的IP与端口；TPG2状态为diables，其portals添加节点2的IP与端口，以标识节点1的target1的对端在节点2。对于节点2，同样创建TPG1、TPG2。TPG1状态为disable，其portals添加节点1的IP与端口；TPG2状态为enables，其portals添加节点2的IP与端口，以标识节点2的target1的对端在节点1。

Portals是reactjs16提供的官方解决方案,使得组件可以脱离父组件层级挂载在DOM树的任何位置。

106：将LUN添加到目标target下，并配置端口组，具体包括：

首先，负载均衡模块根据负载均衡算法，在包含这个target的几台节点上再选出最优节点。

然后，将LUN添加到iqn号相同的target下，即将某一个LUN添加到一个target下，将该LUN添加到iqn号相同的target下，iqn号相同的target，即同一个的target，iqn号相同的target可以处于几台节点上。

最后，被选择出的最优节点上的target与最优节点的有效tpg，在挂载LUN的时候设置LUN的端口状态为AO，其他节点上的target在挂载LUN的时候设置LUN的端口状态为ANO。

如图2所示，负载均衡算法选择了节点1为最优节点。被选择的最优节点1，其下的target1有效tpg为TPG1，添加该LUN到TPG1，并设置TPG1下该LUN端口组状态为AO。节点2下的有效tpg是TPG2，对于该LUN来说其不是最优节点，则将该LUN添加到TPG2下，并设置该TPG2下的该LUN的端口组为ANO。

步骤106中为ALUA多路径机制的配置过程中，通过ALUA多路径机制，实现了高可用，如图3所示，为ALUA多路径保证高可用的原理图，其还需要配合initiator端的多路径软件配合来实现高可用。

当新增一个LUN到已经存在的指定target下时，通过查询数据库的方式获得所述已经存在的指定target的位置，即存在于哪些节点上，在将新的RBD添加到后端存储之后，直接执行步骤106。

107：将配置文件通过调用Ceph提供的API下压保存到默认存储池rbd，此rbd指的是默认存储的名字。对于每次操作，最后都需要将相关的配置保存，本发明采用将配置文件下压到Ceph存储池中进行保存，能够充分利用Ceph的可靠性保证配置文件不丢失。

对于某节点发生了错误或者不可用，本发明通过ALUA机制保证了集群的高可用。当需要将整个节点进行迁移时候，可以从Ceph中取出配置文件并解析，然后根据配置文件进行恢复。

本实施例介绍在一个Ceph集群中，创建Target与LUN的过程，以说明本发明iSCSIGateWay中节点、Target、LUN、负载均衡、高可用等组织架构。完整的系统还包含删除、迁移等操作，本实施例不再展开。通过本实施例，介绍了本发明中Ceph的云存储下基于LIO的iSCSI GateWay及其高可用的新的配置方法，以及该方法中iSCSI GateWay的架构组织，包括网关、Target、LUN、负载均衡等方面。相比Ceph社区方案中因架构组织存在的问题导致的性能瓶颈，该方案的架构组织使其能够适应LUN规模较大的场景。并且通过新的方法来配置iSCSI Gateway，不再使用社区的ceph-iscsi-cli等工具。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

Claims (7)

1.一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法，其特征在于，利用LIO的targetcli与python-rtslib接口来设计与开发配置iSCSI GateWay的管理模块，管理模块配置iSCSI GateWay的过程包括：

新增一块LUN，为该LUN创建后端存储，将Ceph中的块设备作为该LUN的后端存储；

在Ceph集群中创建RBD，开启RBD的exclusive-lock；

利用LIO的targetcli或python-rtslib接口，将创建的RBD添加到TCMU的后端存储库中，并为后端存储块设备创建ALUA端口组，并根据ALUA的规则配置参数；

默认使用整个Ceph集群作为网关集群，Ceph集群中的每个节点都可以在Schedule模块的调度下创建target，成为iSCSI GateWay，在所述网关集群中创建target；

在target下创建tpg，tpg数量为副本数数量，并配置tpg；

将LUN添加到target下，并配置端口组。

2.根据权利要求1所述的一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法，其特征在于，所述为后端存储块设备创建的ALUA端口组的名称分别为AO和ANO。

3.根据权利要求2所述的一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法，其特征在于，在所述网关集群中创建target的过程包括：

由负载均衡算法在所述网关集群中选择节点，节点的个数由用户指定的高可用副本数来决定；

在选出的节点上创建iqn号相同的target。

4.根据权利要求3所述的一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法，其特征在于，所述在target下创建tpg，tpg数量为副本数数量，并配置tpg的过程中，同一个target同时存在几个节点上，对于某一节点上的target，tpg有效状态为enable的只有一个，其余都是无效状态，无效状态的tpg用于标识对端，即标识同一个target其他的节点的IP。

5.根据权利要求4所述的一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法，其特征在于，所述将LUN添加到target下，并配置端口组的过程包括：

负载均衡模块根据负载均衡算法，在包含target的几台节点上选出最优节点；

将LUN添加到iqn号相同的target下；

被选择出的最优节点上的target与最优节点的有效tpg，在挂载LUN的时候设置LUN的端口状态为AO，其他节点上的target在挂载LUN的时候设置LUN的端口状态为ANO。

6.根据权利要求5所述的一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法，其特征在于，还包括：当新增一个LUN到已经存在的指定target下时，通过查询数据库的方式获得所述已经存在的指定target的位置。

7.根据权利要求6所述的一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法，其特征在于，还包括：将配置文件通过调用Ceph提供的API下压保存到默认存储池rbd。