CN114265702A

CN114265702A - 一种iSCSI服务负载均衡方法、装置、设备及介质

Info

Publication number: CN114265702A
Application number: CN202210194947.5A
Authority: CN
Inventors: 李梦龙; 穆向东
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2022-03-02
Filing date: 2022-03-02
Publication date: 2022-04-01
Anticipated expiration: 2042-03-02
Also published as: CN114265702B; WO2023165499A1

Abstract

本发明提出了一种iSCSI服务负载均衡方法，包括：将卷均匀分布至不同目标对象中；获取可用存储节点所在机柜信息以及可用存储节点中可用卷信息，根据获取的可用存储节点所在机柜信息以及可用存储节点中可用卷信息确定当前存储任务对应的待访问的存储节点，使得当前存储任务均匀分配至多个机柜中的不同可用存储节点的可用卷；将确定的待访问的存储节点返回给客户端供用户使用，本发明还提出了一种iSCSI服务负载均衡装置、设备及介质，有效地提高了iSCSI服务负载均衡的可靠性，降低存储节点选择的成本，提高了选择效率。

Description

一种iSCSI服务负载均衡方法、装置、设备及介质

技术领域

本发明涉及iSCSI服务领域，尤其是涉及一种iSCSI服务负载均衡方法、装置、设备及介质。

背景技术

在iSCSI存储服务中，卷一般分布在不同存储节点中的目标对象中，但是在存储服务中一般是随机选择存储节点或随机选择卷，使得服务负载不够均衡。

为了使得服务负载均衡，现有技术中，用户可以在非常熟悉存储环境的情况下，手动选择不同存储节点，但是用户并不清楚选择哪些存储节点，可以使得存储集群iSCSI（互联网小型计算机系统接口）服务提供的卷可以均衡的分布在不同的rack（机柜）、存储节点和target（目标对象）上，而且，手动选择的方式效率低下、时间成本高，可靠性也不高。

发明内容

本发明为了解决现有技术中存在的问题，创新提出了一种iSCSI服务负载均衡方法、装置、设备及介质，有效解决由于手动选择存储节点造成效率低、成本高，且可靠性差的问题，有效地提高了iSCSI服务负载均衡的可靠性，降低存储节点选择的成本，提高了选择效率。

本发明第一方面提供了一种iSCSI服务负载均衡方法，包括：

将卷均匀分布至不同目标对象中；

获取可用存储节点所在机柜信息以及可用存储节点中可用卷信息，根据获取的可用存储节点所在机柜信息以及可用存储节点中可用卷信息确定当前存储任务对应的待访问的存储节点，使得当前存储任务均匀分配至多个机柜中的不同可用存储节点的可用卷；

将确定的待访问的存储节点返回给客户端供用户使用。

可选地，将卷均匀分布至不同目标对象中具体包括：

在每个可用存储节点对应的iSCSI服务上创建多个目标对象以及多个线程，每个线程独立对应目标对象上的可用卷；

通过卷标识对目标对象标识进行取余，使得卷均匀分布在不同的目标对象上。

进一步地，目标对象的数量与线程的数量对应相同，且线程与目标对象一一对应绑定。

可选地，获取可用存储节点所在机柜信息以及可用存储节点中可用卷信息，根据获取的可用存储节点所在机柜信息以及可用存储节点中可用卷信息确定当前存储任务对应的待访问的存储节点具体包括：

获取可用存储节点所在机柜信息以及可用存储节点中可用卷信息；

根据可用存储节点中可用卷信息，对可用存储节点进行排列；

根据用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜信息确定出需要访问可用卷列表的轮数，依次轮询所有可用存储节点对应的机柜，每轮在当前轮询的一个机柜中选择一个当前轮询的机柜中排列顺序在前的可用存储节点中的一个可用卷，直至用户当前存储任务完成。

进一步地，根据可用存储节点中可用卷信息，对可用存储节点进行排列具体是：

根据可用存储节点中可用卷数量信息，对可用存储节点进行升序排列。

可选地，根据用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜信息确定出需要访问可用卷列表的轮数具体是：

将用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜数量信息进行除法运算，如果存在余数，需要访问可用卷列表的轮数为用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜数量信息的商+1；如果不存在余数，需要访问可用卷列表的轮数为用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜数量信息的商。

可选地，将确定的待访问的存储节点返回给客户端供用户使用具体是：将确定的待访问的存储节点按照可用存储节点中可用卷信息进行排列，并生成存储节点链表，将生成的存储节点链表统一返回给客户端供用户使用。

本发明第二方面提供了一种iSCSI服务负载均衡装置，包括：

分布模块，将卷均匀分布至不同目标对象中；

确定模块，获取可用存储节点所在机柜信息以及可用存储节点中可用卷信息，根据获取的可用存储节点所在机柜信息以及可用存储节点中可用卷信息确定当前存储任务对应的待访问的存储节点，使得当前存储任务均匀分配至多个机柜中的不同可用存储节点的可用卷；

返回模块，将确定的待访问的存储节点返回给客户端供用户使用。

本发明第三方面提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如本发明第一方面所述的一种iSCSI服务负载均衡方法的步骤。

本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述的一种iSCSI服务负载均衡方法的步骤。

本发明采用的技术方案包括以下技术效果：

1、本发明将卷均匀分布至不同目标对象中，根据获取的可用存储节点所在机柜信息以及可用存储节点中可用卷信息确定当前存储任务对应的待访问的存储节点；使得当前存储任务均匀分配至多个机柜中的不同可用存储节点的可用卷，有效解决由于手动选择存储节点造成效率低、成本高，且可靠性差的问题，有效地提高了iSCSI服务负载均衡的可靠性，降低存储节点选择的成本，提高了选择效率。

2、本发明技术方案中每个可用存储节点中创建的目标对象的数量与线程的数量对应相同，且线程与目标对象一一对应绑定，不仅使得卷会均衡的分布在不同存储节点与目标对象上，而且充分利用并发访问卷的存储IO性能。

3、本发明技术方案中根据可用存储节点中可用卷信息，对可用存储节点进行排列；根据用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜信息确定出需要访问可用卷列表的轮数，依次轮询所有可用存储节点对应的机柜，每轮在当前轮询的一个机柜中选择一个当前轮询的机柜中排列顺序在前的可用存储节点中的一个可用卷，直至用户当前存储任务完成，使得在用户大规模访问存储集群时，存储IO可以相对均匀的分布到不同的rack、存储节点和target上。

4、本发明技术方案中将确定的待访问的存储节点按照可用存储节点中可用卷信息进行排列，并生成存储节点链表，将生成的存储节点链表统一返回给客户端供用户使用，便于用户一次性接收所有的当前存储任务对应的可用存储节点，提高了返回效率以及用户体验。

应当理解的是以上的一般描述以及后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见的，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方案中实施例一方法的流程示意图；

图2为本发明方案中实施例一方法中步骤S1的流程示意图；

图3为本发明方案中实施例一方法中机柜（rack）、存储节点、目标对象（target）、卷（lun）的结构示意图；

图4为本发明方案中实施例一方法中步骤S2的流程示意图；

图5为本发明方案中实施例二装置的结构示意图；

图6为本发明方案中实施例三设备的结构示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

实施例一

如图1所示，本发明提供了一种iSCSI服务负载均衡方法，包括：

S1，将卷均匀分布至不同目标对象中；

S2，获取可用存储节点所在机柜信息以及可用存储节点中可用卷信息，根据获取的可用存储节点所在机柜信息以及可用存储节点中可用卷信息确定当前存储任务对应的待访问的存储节点，使得当前存储任务均匀分配至多个机柜中的不同可用存储节点的可用卷；

S3，将确定的待访问的存储节点返回给客户端供用户使用。

其中，如图2-图3所示，步骤S1具体包括：

S11，在每个可用存储节点对应的iSCSI服务上创建多个目标对象以及多个线程，每个线程独立对应目标对象上的可用卷；

S12，通过卷标识对目标对象标识进行取余，使得卷均匀分布在不同的目标对象上。

其中，在步骤S11中，目标对象的数量与线程的数量对应相同，且线程与目标对象一一对应绑定。首先在TGT服务（一种iSCSI服务，即图3中的tgtd）上创建8个target（目标对象）。TGT服务中默认8个线程，每个线程可以独立的访问对应target上的卷（线程1仅可以访问target1中的lun，依次类推），并发访问卷存储IO性能。

在步骤S12中，卷均匀分布到不同target上。每个target都有一个tid来标识target，每个卷也都有一个lun_id来标识不同的卷，通过lun_id % tid，即通过卷标识对目标对象标识进行取余，可以使得卷分布在不同的target上，其中tid和lun_id都可以重复利用。

如图4所示，步骤S2具体包括：

S21，获取可用存储节点所在机柜信息以及可用存储节点中可用卷信息；

S22，根据可用存储节点中可用卷信息，对可用存储节点进行排列；

S23，根据用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜信息确定出需要访问可用卷列表的轮数，依次轮询所有可用存储节点对应的机柜，每轮在当前轮询的一个机柜中选择一个当前轮询的机柜中排列顺序在前的可用存储节点中的一个可用卷，直至用户当前存储任务完成，使得当前存储任务均匀分配至多个机柜中的不同可用存储节点的可用卷。

其中，在步骤S21中，从MON服务进程（监控服务进程）获取可用存储节点（即处于工作状态的存储节点）所在机柜信息rackid以及可用存储节点中可用卷的数量信息。

在步骤S22中，根据可用存储节点中可用卷信息，对可用存储节点进行排列具体是：根据可用存储节点中可用卷数量信息，对可用存储节点进行升序排列，可用存储节点中可用卷数量越少，可用存储节点的排列顺序越靠前。举例说明，例如存储节点1中可用lun数量为12个，存储节点2中可用lun数量为11个，存储节点3中可用lun数量为14个，存储节点4中可用lun数量为13个，存储节点1、存储节点2、存储节点3、存储节点4均为可用存储节点，根据可用存储节点中可用卷数量信息，对可用存储节点进行升序排列为：存储节点2、存储节点1、存储节点4、存储节点3。便于步骤S23中，根据同一机柜中的多个可用存储节点的排列顺序，确定当前存储任务中当前轮次当前轮询机柜中进行多个可用存储节点的优先选择。

在步骤S23中，根据用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜信息确定出需要访问可用卷列表的轮数具体是：

将用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜数量信息进行除法运算，如果存在余数，需要访问可用卷列表的轮数为用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜数量信息的商+1；如果不存在余数，需要访问可用卷列表的轮数为用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜数量信息的商。举例说明，如果用户当前存储任务需要的可用存储节点数目为12，可用存储节点对应的机柜数量信息为2个，则需要访问可用卷列表的轮数为12/2=6次，即轮询可用卷列表6次，即可完成用户当前存储任务；如果用户当前存储任务需要的可用存储节点数目为12，可用存储节点对应的机柜数量信息为5个，则需要访问可用卷列表的轮数为12/5=2⋯⋯2，即轮询可用卷列表2+1=3次，即可完成用户当前存储任务。

确定好当前存储任务需要访问可用卷列表的轮数后，依次轮询所有可用存储节点对应的机柜，每轮在当前轮询的一个机柜中选择一个当前轮询的机柜中排列顺序在前的可用存储节点（包括可用卷数量少的可用存储节点优先被访问）中的一个可用卷，直至用户当前存储任务完成，使得当前存储任务均匀分配至多个机柜中的不同可用存储节点的可用卷。

进一步地，为了使得当前存储任务均匀分配至多个机柜中的不同可用存储节点中的不同目标对象的可用卷，同一个可用存储节点中可用卷的选择顺序也可以按照目标对象包含可用卷数量的排序进行选择，还可以按照其他顺序进行选择，本发明在此不做限制。按照目标对象的排序进行选择即首先根据每个可用存储节点中的可用目标对象中可用卷数量信息，对可用目标对象进行升序排列，可用目标对象中可用卷数量越少，可用目标对象的排列顺序越靠前。举例说明，例如target1中可用lun数量为2个，target2中可用lun数量为1个，target3中可用lun数量为4个，target4中可用lun数量为3个，根据可用存储节点中可用卷数量信息，对可用存储节点进行升序排列为：target2、target1、target4、target3。每轮在当前轮询的一个机柜中选择一个当前轮询的机柜中排列顺序在前的可用存储节点（包括可用卷数量少的可用存储节点优先被访问）中一个排列顺序在前的可用目标对象（包括可用卷数量少的可用目标对象优先被访问）中的一个可用卷，直至用户当前存储任务完成，使得当前存储任务均匀分配至多个机柜中的不同可用存储节点中不同目标对象中的可用卷。

优选地，每个机柜可以建立一个轮询链表，轮询链表将获取的rackid，为下标生成一个hash表，记录该机柜的已轮询次数。进一步地，每个机柜的已轮询次数相同，且与当前存储任务需要访问可用卷列表的轮数相同。特殊情况下，至少一个机柜的已轮询次数与当前存储任务需要访问可用卷列表的轮数相同，且与当前存储任务需要访问可用卷列表的轮数相同的机柜的已轮询次数为可用存储节点对应的所有机柜中已轮询次数中最小值，以保证当前存储任务均匀分配至多个机柜中的不同可用存储节点的可用卷。

在步骤S3中，将确定的待访问的存储节点返回给客户端供用户使用具体是：将确定的待访问的存储节点按照可用存储节点中可用卷信息进行排列，并生成存储节点链表，将生成的存储节点链表统一返回给客户端initiator供用户使用。

生成存储节点链表可以是单向链表，即确定的待访问的可用存储节点之间为单向访问，也可以是双向链表，即确定的待访问的可用存储节点之间为双向访问。

本发明将卷均匀分布至不同目标对象中，根据获取的可用存储节点所在机柜信息以及可用存储节点中可用卷信息确定当前存储任务对应的待访问的存储节点；使得当前存储任务均匀分配至多个机柜中的不同可用存储节点的可用卷，有效解决由于手动选择存储节点造成效率低、成本高，且可靠性差的问题，有效地提高了iSCSI服务负载均衡的可靠性，降低存储节点选择的成本，提高了选择效率。

本发明技术方案中每个可用存储节点中创建的目标对象的数量与线程的数量对应相同，且线程与目标对象一一对应绑定，不仅使得卷会均衡的分布在不同存储节点与目标对象上，而且充分利用并发访问卷的存储IO性能。

本发明技术方案中根据可用存储节点中可用卷信息，对可用存储节点进行排列；根据用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜信息确定出需要访问可用卷列表的轮数，依次轮询所有可用存储节点对应的机柜，每轮在当前轮询的一个机柜中选择一个当前轮询的机柜中排列顺序在前的可用存储节点中的一个可用卷，直至用户当前存储任务完成，使得在用户大规模访问存储集群时，存储IO可以相对均匀的分布到不同的rack、存储节点和target上。

本发明技术方案中将确定的待访问的存储节点按照可用存储节点中可用卷信息进行排列，并生成存储节点链表，将生成的存储节点链表统一返回给客户端供用户使用，便于用户一次性接收所有的当前存储任务对应的可用存储节点，提高了返回效率以及用户体验。

实施例二

如图5所示，本发明技术方案还提供了一种iSCSI服务负载均衡装置，包括：

分布模块101，将卷均匀分布至不同目标对象中；

确定模块102，获取可用存储节点所在机柜信息以及可用存储节点中可用卷信息，根据获取的可用存储节点所在机柜信息以及可用存储节点中可用卷信息确定当前存储任务对应的待访问的存储节点，使得当前存储任务均匀分配至多个机柜中的不同可用存储节点的可用卷；

返回模块103，将确定的待访问的存储节点返回给客户端供用户使用，使得当前存储任务均匀分配至多个机柜中的不同可用存储节点的可用卷。

实施例三

如图6所示，本发明技术方案还提供了一种电子设备，包括：存储器201，用于存储计算机程序；处理器202，用于执行所述计算机程序时实现如实施例一中的一种iSCSI服务负载均衡方法的步骤。

本申请实施例中的存储器201用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。可以理解，存储器201可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagneticrandom access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous StaticRandom Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous DynamicRandom Access Memory)、增强型同步动态随机存取存储器(ESDRAM，EnhancedSynchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器201旨在包括但不限于这些和任意其它适合类型的存储器。

上述本申请实施例揭示的方法可以应用于处理器202中，或者由处理器202实现。处理器202可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器202中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器202可以是通用处理器、DSP（Digital Signal Processing，即指能够实现数字信号处理技术的芯片），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器202可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器201，处理器202读取存储器201中的程序，结合其硬件完成前述方法的步骤。处理器202执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。

实施例四

本发明技术方案还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一中的一种iSCSI服务负载均衡方法的步骤。

例如包括存储计算机程序的存储器201，上述计算机程序可由处理器202执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、FlashMemory、磁表面存储器、光盘、或CD-ROM等存储器。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种iSCSI服务负载均衡方法，其特征是，包括：

将卷均匀分布至不同目标对象中；

将确定的待访问的存储节点返回给客户端供用户使用。

2.根据权利要求1所述的iSCSI服务负载均衡方法，其特征是，将卷均匀分布至不同目标对象中具体包括：

3.根据权利要求2所述的iSCSI服务负载均衡方法，其特征是，目标对象的数量与线程的数量对应相同，且线程与目标对象一一对应绑定。

4.根据权利要求1所述的iSCSI服务负载均衡方法，其特征是，获取可用存储节点所在机柜信息以及可用存储节点中可用卷信息，根据获取的可用存储节点所在机柜信息以及可用存储节点中可用卷信息确定当前存储任务对应的待访问的存储节点具体包括：

5.根据权利要求4所述的iSCSI服务负载均衡方法，其特征是，根据可用存储节点中可用卷信息，对可用存储节点进行排列具体是：

6.根据权利要求4所述的iSCSI服务负载均衡方法，其特征是，根据用户当前存储任务需要的可用存储节点数目与可用存储节点对应的机柜信息确定出需要访问可用卷列表的轮数具体是：

7.根据权利要求1-6任意一项所述的iSCSI服务负载均衡方法，其特征是，将确定的待访问的存储节点返回给客户端供用户使用具体是：将确定的待访问的存储节点按照可用存储节点中可用卷信息进行排列，并生成存储节点链表，将生成的存储节点链表统一返回给客户端供用户使用。

8.一种iSCSI服务负载均衡装置，其特征是，包括：

分布模块，将卷均匀分布至不同目标对象中；

9.一种电子设备，其特征是，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的一种iSCSI服务负载均衡方法的步骤。

10.一种计算机可读存储介质，其特征是，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种iSCSI服务负载均衡方法的步骤。