CN115373843A - 一种动态预判最优路径设备的方法、装置、及介质 - Google Patents
一种动态预判最优路径设备的方法、装置、及介质 Download PDFInfo
- Publication number
- CN115373843A CN115373843A CN202211001596.8A CN202211001596A CN115373843A CN 115373843 A CN115373843 A CN 115373843A CN 202211001596 A CN202211001596 A CN 202211001596A CN 115373843 A CN115373843 A CN 115373843A
- Authority
- CN
- China
- Prior art keywords
- path
- equipment
- information
- target
- optimal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000007619 statistical method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims description 26
- 241001522296 Erithacus rubecula Species 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
Abstract
本发明涉及数据访问技术领域，尤其涉及一种动态预判最优路径设备的方法、装置、及介质。所述方法包括：实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系；响应于主机端生成对某一多路径设备的待处理IO任务，则获取待处理IO任务的IO信息；将IO信息与某一多路径设备对应的IO信息和最优路径设备对应关系匹配以确定目标最优路径设备；由主机端将待处理IO任务通过目标最优路径设备下发到存储端。本发明的方案通过对多路径设备的实时统计分析生成IO信息和最优路径设备对应关系，只需利用IO信息即可匹配到目标最优路径设备，节省路径选择的时间，降低IO延时、提高IO处理效率。
Description
技术领域
本发明涉及数据访问技术领域，尤其涉及一种动态预判最优路径设备的方法、装置、及介质。
背景技术
多路径是指服务器与存储设备之间的多条传输层物理连接，为网络存储系统提供更高的可用性和性能优势。多路径软件是指安装在服务器端，可以将同一个卷的多个设备聚合成一个设备的软件。多路径软件的高可用性体现在：服务器与存储设备之间任意一条路径出现故障，IO请求可以通过其它路径发送。避免因单点故障导致的服务器到存储设备之间的数据访问中断。多路径软件的高吞吐率性能优势体现在：服务器到存储设备的IO请求可以同时通过多条路径并发发送，提高服务器数据访问的IO吞吐率。
如图1和图2所示，当前多路径软件的路径选择策略大致如下：如果IO的起始位置为20M，大小为512KB，那么根据segment的划分，此IO属于L1，L1对应的镜像关系是Domain1。Domain1的主节点是Node1，Node1连接服务器(主机)的路径设备是sdb和sdc。在sdb和sdc使用路径选择算法得到最优路径设备，此IO就通过该设备下发到存储。上述路径选择的过程是在IO发生时进行的，具有一定的滞后性，未能提前计算每个IO位置上的最优路径，导致路径选择的效率较低，因而继续改进。
发明内容
有鉴于此，有必要针对以上技术问题，提供一种动态预判最优路径设备的方法、装置、及介质。
根据本发明的第一方面，提供了一种动态预判最优路径设备的方法，所述方法包括：
实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系；
响应于主机端生成对某一多路径设备的待处理IO任务，则获取所述待处理IO任务的IO信息；
将所述IO信息与所述某一多路径设备对应的所述IO信息和最优路径设备对应关系匹配以确定目标最优路径设备；
由主机端将所述待处理IO任务通过所述目标最优路径设备下发到存储端。
在一些实施例中，所述实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系，包括：
对每个多路径设备执行以下操作：
获取多路径设备包括的所有节点、每个节点对应的位置范围以及每个节点包括的若干路径设备；
基于预设路径选择算法和路径信息对应关系为目标路径算法匹配对应的目标路径信息，其中，所述预设路径选择算法和路径信息对应关系包括：round robin算法对应路径设备名称、路径设备排序，queue length算法对应路径设备名称、路径设备未处理IO个数，service time算法对应路径设备名称、路径设备未处理IO个数、路径设备吞吐量；
基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，其中，所述最优路径设备为依据所述目标路径信息从节点包括的若干路径设备中选取的一个。
在一些实施例中，所述基于预设路径选择算法和路径信息对应关系为目标路径算法匹配对应的目标路径信息，包括：
响应于目标路径算法为round robin算法，则目标路径信息为路径设备名称、路径设备排序；
响应于目标路径算法为queue length算法，则目标路径信息为路径设备名称、路径设备未处理IO个数；
响应于目标路径算法为service time算法，则目标路径信息为路径设备名称、路径设备未处理IO个数、路径设备吞吐量。
在一些实施例中，所述基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，包括：
响应于目标路径信息为路径设备名称、路径设备排序，则将每个节点所包括的所有路径设备中排序在最前端的一个选取为最优路径设备；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称生成IO位置范围和最优路径设备对应关系。
在一些实施例中，所述基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，还包括：
响应于目标路径信息为路径设备名称、路径设备未处理IO个数，则将每个节点所包括的所有路径设备中未处理IO个数最少的一个选取为最优路径设备；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称生成IO位置范围和最优路径设备对应关系。
在一些实施例中，所述基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，还包括：
响应于目标路径信息为路径设备名称、路径设备未处理IO个数、路径设备吞吐量，则基于以下规则从每个节点所包括的所有路径设备中选取一个作为最优路径设备：
响应于各个路径设备的路径设备未处理IO个数均相同，则选取路径设备吞吐量最大的一个作为最优路径设备；
响应于各个路径设备的路径设备吞吐量均相同，则选取路径设备未处理IO个数最小的一个作为最优路径设备；
响应于各个路径设备的路径设备未处理IO个数、路径设备吞吐量均不相同，则将路径设备未处理IO个数和IO大小之和与路径设备吞吐量比值中最小的一个作为最优路径设备，并计算最优路径设备对应的IO大小范围；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称、IO大小范围生成IO位置范围、IO大小范围和最优路径设备对应关系。
在一些实施例中，所述将所述IO信息与所述某一多路径设备对应的所述IO信息和最优路径设备对应关系匹配以确定目标最优路径设备，包括：
响应于目标路径算法为round robin算法或queue length算法，则所述IO信息为IO位置，将与所述待处理IO任务的IO位置匹配的IO范围对应的最优路径设备作为目标最优路径设备；
响应于目标路径算法为service time算法，则所述IO信息为IO位置和IO大小，将与所述待处理IO任务的IO位置、IO大小均匹配的IO位置范围、IO大小范围对应的最优路径设备作为目标最优路径设备。
根据本发明的第二方面，提供了一种动态预判最优路径设备的装置，所述装置包括：
统计分析模块，配置用于实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系；
获取模块，配置用于响应于主机端生成对某一多路径设备的待处理IO任务，则获取所述待处理IO任务的IO信息；
匹配模块，配置用于将所述IO信息与所述某一多路径设备对应的所述IO信息和最优路径设备对应关系匹配以确定目标最优路径设备；
下发模块，配置用于由主机端将所述待处理IO任务通过所述目标最优路径设备下发到存储端。
根据本发明的第三方面，还提供了一种计算机，该计算机包括：
至少一个处理器；以及
存储器，存储器存储有可在处理器上运行的计算机程序，处理器执行程序时执行前述的动态预判最优路径设备的方法。
根据本发明的第四方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时执行前述的动态预判最优路径设备的方法。
上述一种动态预判最优路径设备的方法，通过实时对每个多路径设备进行信息统计分析以生成与每个多路径设备对应的IO信息和最优路径设备对应关系，当主机端产生IO任务时，将IO信息与IO信息和最优路径设备对应关系匹配从而快速确定目标最优路径设备，节省路径选择的时间，降低IO延时，显著提高IO处理效率。
此外，本发明还提供了一种动态预判最优路径设备的装置、一种计算机和一种计算机可读存储介质，同样能实现上述技术效果，这里不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为现有服务器与存储集群联网示意图；
图2为现有主机与存储形成的循环镜像对示意图；
图3为本发明的一个实施例提供的一种动态预判最优路径设备的方法的流程图；
图4A为发现存储上target的命令示代码意图；
图4B为登录target的命令代码示意图；
图4C为查看已建立的链路的命令代码示意图；
图5为本发明另一个实施例提供的一种动态预判最优路径设备的装置的结构示意图；
图6为本发明另一个实施例中计算机的内部结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
为了便于理解本发明的方案，首先对现有的服务器与存储之间形成连接关系，对多路径软件、路径设备选择策略、循环镜像对、路径设备、多路径设备等技术名词进行解释说明。
DM-multipath：Linux平台基于Device Mapper技术的多路径软件解决方案。
path selector：多路径软件的路径设备选择策略。
sdX：路径设备，卷映射到主机后，每条链路将卷映射成一个路径设备。
dm-X：多路径设备。DM-multipath将多个路径设备聚合一个多路径设备。
多路径软件的主要功能包括故障转移、故障恢复和负载均衡：
故障转移，可以处理包括HBA故障、链路故障、存储控制器故障在内的多种路径故障。
故障恢复，对于支持热拔插的系统，服务器与存储之间的链路断开会导致SCSI设备被删除，相应的在链路恢复后会触发重新创建SCSI设备，对于这种场景可以立即感知到路径恢复；对于不支持热拔插的系统(低版本的Linux)，可以通过周期探测来感知路径恢复。
负载均衡，负载均衡是多路径软件除了故障转移外最重要的一个特性，通过负载均衡技术，多路径软件能够充分利用多条链路的带宽，提高系统整体的吞吐能力。负载均衡的路径范围为pathgroup。
路径设备选择策略：假如服务器与存储之间有4条链路，那么存储上的每个卷映射到服务器后，服务器上都可以看到4个设备，名称一般为sdX(例如/dev/sdb)。多路径软件会将这4个设备聚合成一个多路径设备，名称一般为dm-X(例如/dev/dm-0)。多路径软件的路径设备选择策略，是指服务器上应用程序对多路径设备dm-X进行IO操作时，多路径软件按照一定的方法从多个设备sdX中选择一个设备，然后下发IO。Windows和Linux平台的多路径软件选择策略大致相同，最主要的选择策略有三种，分别是round-robin、queue-length和service-time。round robin：优先在最优路径组内所有有效路径设备上轮询发送IO。如果最优路径组内无可用路径设备，则在非最优路径组内有效路径设备上轮询发送IO。leastqueue depth：优先将IO发送到最优路径组上当前未完成的IO请求最少的路径设备上。service-tim：将IO发送到服务时间最短的路径上。
循环镜像对：参照图2所示，存储上的每个卷是以Segment粒度(32M)划分为4个L：L1：{[0,32M),[128M,160M),…},L2：{[32M,64M),[160M,192M),…},L3：{[64M,96M),[192M,224M),…},L4：{[96M,128M),[224M,256M),…}。1个IO Group中的4个控制器划分为4组镜像关系：Domain1：(Node1,Node2)；Domain2：(Node2,Node3)；Domain3：(Node3,Node4)；Domain4：(Node4,Node1)。当IO发生时，根据IO的位置筛选出一组路径组，再在这组路径中使用路径选择策略得到最优路径。举例如下：如果IO的起始位置为20M,大小为512KB，那么根据segment的划分，此IO属于L1，L1对应的镜像关系是Domain1。
在一个实施例中，请参照图3所示，本发明提供了一种动态预判最优路径设备的方法100，具体来说，所述方法包括以下步骤：
步骤101，实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系；
步骤102，响应于主机端生成对某一多路径设备的待处理IO任务，则获取所述待处理IO任务的IO信息；
步骤103，将所述IO信息与所述某一多路径设备对应的所述IO信息和最优路径设备对应关系匹配以确定目标最优路径设备；
步骤104，由主机端将所述待处理IO任务通过所述目标最优路径设备下发到存储端。
上述一种动态预判最优路径设备的方法，通过实时对每个多路径设备进行信息统计分析以生成与每个多路径设备对应的IO信息和最优路径设备对应关系，当主机端产生IO任务时，将IO信息与IO信息和最优路径设备对应关系匹配从而快速确定目标最优路径设备，节省路径选择的时间，降低IO延时，显著提高IO处理效率。
在一些实施例中，前述步骤101，实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系，包括：
对每个多路径设备执行以下操作：
获取多路径设备包括的所有节点、每个节点对应的位置范围以及每个节点包括的若干路径设备；
基于预设路径选择算法和路径信息对应关系为目标路径算法匹配对应的目标路径信息，其中，所述预设路径选择算法和路径信息对应关系包括：round robin算法对应路径设备名称、路径设备排序，queue length算法对应路径设备名称、路径设备未处理IO个数，service time算法对应路径设备名称、路径设备未处理IO个数、路径设备吞吐量；
基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，其中，所述最优路径设备为依据所述目标路径信息从节点包括的若干路径设备中选取的一个。
在一些实施例中，所述基于预设路径选择算法和路径信息对应关系为目标路径算法匹配对应的目标路径信息，包括：
响应于目标路径算法为round robin算法，则目标路径信息为路径设备名称、路径设备排序；
响应于目标路径算法为queue length算法，则目标路径信息为路径设备名称、路径设备未处理IO个数；
响应于目标路径算法为service time算法，则目标路径信息为路径设备名称、路径设备未处理IO个数、路径设备吞吐量。
在一些实施例中，所述基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，包括：
响应于目标路径信息为路径设备名称、路径设备排序，则将每个节点所包括的所有路径设备中排序在最前端的一个选取为最优路径设备；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称生成IO位置范围和最优路径设备对应关系。
在一些实施例中，所述基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，还包括：
响应于目标路径信息为路径设备名称、路径设备未处理IO个数，则将每个节点所包括的所有路径设备中未处理IO个数最少的一个选取为最优路径设备；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称生成IO位置范围和最优路径设备对应关系。
在一些实施例中，所述基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，还包括：
响应于目标路径信息为路径设备名称、路径设备未处理IO个数、路径设备吞吐量，则基于以下规则从每个节点所包括的所有路径设备中选取一个作为最优路径设备：
响应于各个路径设备的路径设备未处理IO个数均相同，则选取路径设备吞吐量最大的一个作为最优路径设备；
响应于各个路径设备的路径设备吞吐量均相同，则选取路径设备未处理IO个数最小的一个作为最优路径设备；
响应于各个路径设备的路径设备未处理IO个数、路径设备吞吐量均不相同，则将路径设备未处理IO个数和IO大小之和与路径设备吞吐量比值中最小的一个作为最优路径设备，并计算最优路径设备对应的IO大小范围；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称、IO大小范围生成IO位置范围、IO大小范围和最优路径设备对应关系。
在一些实施例中，前述步骤103，,将所述IO信息与所述某一多路径设备对应的所述IO信息和最优路径设备对应关系匹配以确定目标最优路径设备，包括：
响应于目标路径算法为round robin算法或queue length算法，则所述IO信息为IO位置，将与所述待处理IO任务的IO位置匹配的IO范围对应的最优路径设备作为目标最优路径设备；
响应于目标路径算法为service time算法，则所述IO信息为IO位置和IO大小，将与所述待处理IO任务的IO位置、IO大小均匹配的IO位置范围、IO大小范围对应的最优路径设备作为目标最优路径设备。
在又一个实施例中，为了便于理解本发明的方案，本方案的原理是针对每一种路径选择算法，实时动态计算当发生不同位置和大小的IO时该路径选择算法下的最优路径，以便当IO到达时直接给出最优路径，而不用经过大量判断得到最优路径。本实施例提供了又一种动态预判最优路径设备的方法，具体包括：首先，实时统计每个node上的有效路径，即可用路径。其次，针对不同路径选择算法，预测出不同结果。对于round robin算法，最优路径是轮休的，预测结果为{IO位置：sdX}。对于queue length算法，最优路径与未完成的IO个数先关，预测结果也为{IO位置：sdX}。对于service time算法，最优路径与吞吐量和待处理的IO大小有关，预测结果不但与IO位置有关，还与IO的大小有关。最后，当IO发生时，根据上一步的预测结果直接给出最优路径，并再次统计最优路径，以达到实时统计的目的。
下面以图2所示的循环镜像对为例详细说明说明本发明的方案，本发明技术实施前的准备工作可以参考如下步骤执行：
步骤一，映射卷和建立链路。
登录存储系统通过命令或可视化界面创建主机和卷。注意，这里的主机是存储系统上的概念，与真实的服务器一一对应。对于iSCSI链路，创建主机时需填写服务器的IQN信息。对于FC链路，需填写服务器的WWPN信息。这里假设链路类型为iSCSI协议。请参照图4A所示，登录服务器通过iscsadm命令建立与存储系统的链路，链路一般是多条。请参照图4B所示，通过iscsiadm-m node-T${target_iqn}-p${target_ip}--login登录target。请参照图4C所示，通过iscsiadm-m session可以查看已建立的链路。
步骤二，发现设备和聚合多路径。
登录服务器，通过扫描命令，可在目录/dev/disk/by-path/发现路径设备，假如链路存在四条，那么每个卷对应四个路径设备，例如：/dev/sdb、/dev/sdc、/dev/sdd和/dev/sde。其中，扫描命令的代码参考如下：
echo'---'>/sys/class/scsi_host/${hostName}/device/scsi_host/${hostName}/scan
登录服务器，通过命令systemctl start multipathd启动多路径软件，multipathd自动会将具有相同的wwid的设备聚合成一个多路径设备，例如：/dev/dm-0。汇总信息得到路径设备和多路径设备信息如表1所示。
表1多路径设备和路径设备
该动态预判最优路径设备的方法实施可以参考如下步骤执行：
步骤一，实时统计每条路径设备上的信息，每种路径选择算法，需要统计的路径设备信息各有不同。
请参照表2所示，对于round robin算法需要统计的信息包括，每个Node的路径设备、每个Node的路径设备的排序。路径设备是通过双向链表进行排列的，排在前面路径设备将会在下次路径选择被选中，一旦选中，将会排到队尾。
表2round robin算法统计信息
| 节点命令 | 路径设备排序 |
| Node1 | sdb<->sdc |
| Node2 | sdd<->sde |
| Node3 | sdf<->sdg |
| Node4 | sdh<->sdi |
请参照表3所示，对于service time算法需要统计的信息包括，每个Node的路径设备、每条路径设备的吞吐量、每条路径设备上尚未完成的IO大小。下次IO路径的选择将会根据吞吐量、尚未完成的IO大小以及本次IO的大小进行计算，最终决定最优路径。
表3queue length算法统计信息
请参照表4所示，对于service time算法需要统计的信息包括，每个Node的路径设备、每条路径设备的吞吐量、每条路径设备上尚未完成的IO大小。下次IO路径的选择将会根据吞吐量、尚未完成的IO大小以及本次IO的大小进行计算，最终决定最优路径。
表4service time算法统计信息
步骤二，根据统计信息预测round robin的最优路径。
对于round robin算法，根据表2进行预测。Node1的两条路径设备，sdb在前，所以下次IO如果需要Node1处理，则选择sdb。同理，如果需要Node2处理的IO则选择sdd，如果需要Node3处理的IO则选择sdf，如果需要Node4处理的IO则选择sdh。假如一个新的IO发生，IO位置为124M(因为124＝3*32+28)，那么IO属于L4，L4对应Domain4，Domain4的主Node为Node4，所以该IO选择路径设备sdh下发到存储。
步骤三，根据统计信息预测queue length的最优路径。
对于queue length算法，根据表3进行预测。Node1的两条路径设备，sdb上尚未完成IO少于sdc，所以下次IO如果需要Node1处理，则选择sdb。同理，如果需要Node2处理的IO则选择sdd(因为1<2)，如果需要Node3处理的IO则选择sdg(因为6<7)，如果需要Node4处理的IO则选择sdi(因为2<3)。假如一个新的IO发生，IO位置为200M(因为200＝6*32+8)，那么IO属于L3，L3对应Domain3，Domain3的主Node为Node3，所以该IO选择路径设备sdg下发到存储。
步骤四，根据统计信息预测service time的最优路径。
对于service time算法，根据表4进行预测。本算法相比较于其他两种算法，预测较为复杂。
考虑Node1下面两个路径设备sdb和sdc，吞吐量为1和2，尚未完成IO大小为2048KB和2048KB。假如一个新的IO大小为x，
由此可见，前者恒大于后者，所以该IO选择路径设备sdc。
考虑Node2下面两个路径设备sdd和sde，吞吐量为2和1，尚未完成IO大小为512KB和128KB。假如一个新的IO大小为x，
时，x＝256，由此可见，x∈[0,256)时，后者小于前者，该IO选择路径设备sde。x∈[256,+∞)时，前者小于后者，该IO选择路径设备sdd。
考虑Node3下面两个路径设备sdf和sdh，吞吐量为1和1，尚未完成IO大小为256KB和512KB。假如一个新的IO大小为x，
由此可见，前者恒大于后者，所以该IO选择路径设备sdf。
考虑Node4下面两个路径设备sdh和sdi，吞吐量为5和4，尚未完成IO大小为4096KB和2048KB。假如一个新的IO大小为x，
时，x＝256。由此可见，x∈[0,6144)时，后者小于前者，该IO选择路径设备sdi。x∈[6144,+∞)时，前者小于后者，该IO选择路径设备sdh。假如一个新的IO发生，IO位置为200M(因为250＝7*32+26)，大小为5120KB，那么IO属于L4，L4对应Domain4，Domain4的主Node为Node4，又因为5120∈[0,6144)，所以该IO选择路径设备sdi下发到存储。
上述一种动态预判最优路径设备的方法至少具备以下有益技术效果：通过对最优路径设备的实时预测，节省路径选择的时间，提高IO效率，降低IO延时。
在另一个实施例中，请参照图5所示，本发明还提供了一种动态预判最优路径设备的装置200，所述装置包括：
统计分析模块201，配置用于实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系；
获取模块202，配置用于响应于主机端生成对某一多路径设备的待处理IO任务，则获取所述待处理IO任务的IO信息；
匹配模块203，配置用于将所述IO信息与所述某一多路径设备对应的所述IO信息和最优路径设备对应关系匹配以确定目标最优路径设备；
下发模块204，配置用于由主机端将所述待处理IO任务通过所述目标最优路径设备下发到存储端。
上述一种动态预判最优路径设备的装置，通过实时对每个多路径设备进行信息统计分析以生成与每个多路径设备对应的IO信息和最优路径设备对应关系，当主机端产生IO任务时，将IO信息与IO信息和最优路径设备对应关系匹配从而快速确定目标最优路径设备，节省路径选择的时间，降低IO延时，显著提高IO处理效率。
在一些实施例中，所述统计分析模块201进一步配置用于：
对每个多路径设备执行以下操作：
获取多路径设备包括的所有节点、每个节点对应的位置范围以及每个节点包括的若干路径设备；
基于预设路径选择算法和路径信息对应关系为目标路径算法匹配对应的目标路径信息，其中，所述预设路径选择算法和路径信息对应关系包括：round robin算法对应路径设备名称、路径设备排序，queue length算法对应路径设备名称、路径设备未处理IO个数，service time算法对应路径设备名称、路径设备未处理IO个数、路径设备吞吐量；
基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，其中，所述最优路径设备为依据所述目标路径信息从节点包括的若干路径设备中选取的一个。
在一些实施例中，所述统计分析模块201进一步配置用于：
响应于目标路径算法为round robin算法，则目标路径信息为路径设备名称、路径设备排序；
响应于目标路径算法为queue length算法，则目标路径信息为路径设备名称、路径设备未处理IO个数；
响应于目标路径算法为service time算法，则目标路径信息为路径设备名称、路径设备未处理IO个数、路径设备吞吐量。
在一些实施例中，所述统计分析模块201进一步配置用于：
响应于目标路径信息为路径设备名称、路径设备排序，则将每个节点所包括的所有路径设备中排序在最前端的一个选取为最优路径设备；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称生成IO位置范围和最优路径设备对应关系。
在一些实施例中，所述统计分析模块201进一步配置用于：
响应于目标路径信息为路径设备名称、路径设备未处理IO个数，则将每个节点所包括的所有路径设备中未处理IO个数最少的一个选取为最优路径设备；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称生成IO位置范围和最优路径设备对应关系。
在一些实施例中，所述统计分析模块201进一步配置用于：
响应于目标路径信息为路径设备名称、路径设备未处理IO个数、路径设备吞吐量，则基于以下规则从每个节点所包括的所有路径设备中选取一个作为最优路径设备：
响应于各个路径设备的路径设备未处理IO个数均相同，则选取路径设备吞吐量最大的一个作为最优路径设备；
响应于各个路径设备的路径设备吞吐量均相同，则选取路径设备未处理IO个数最小的一个作为最优路径设备；
响应于各个路径设备的路径设备未处理IO个数、路径设备吞吐量均不相同，则将路径设备未处理IO个数和IO大小之和与路径设备吞吐量比值中最小的一个作为最优路径设备，并计算最优路径设备对应的IO大小范围；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称、IO大小范围生成IO位置范围、IO大小范围和最优路径设备对应关系。
在一些实施例中，所述匹配模块203进一步配置用于：
响应于目标路径算法为round robin算法或queue length算法，则所述IO信息为IO位置，将与所述待处理IO任务的IO位置匹配的IO范围对应的最优路径设备作为目标最优路径设备；
响应于目标路径算法为service time算法，则所述IO信息为IO位置和IO大小，将与所述待处理IO任务的IO位置、IO大小均匹配的IO位置范围、IO大小范围对应的最优路径设备作为目标最优路径设备。
需要说明的是，关于动态预判最优路径设备的装置的具体限定可以参见上文中对动态预判最优路径设备的方法的限定，在此不再赘述。上述动态预判最优路径设备的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机中的处理器中，也可以以软件形式存储于计算机中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
根据本发明的另一方面，提供了一种计算机，该计算机可以是服务器，其内部结构图请参照图6所示。该计算机包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机的处理器用于提供计算和控制能力。该计算机的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机的数据库用于存储数据。该计算机的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时实现以上所述的动态预判最优路径设备的方法，具体来说，所述方法包括以下步骤：
实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系；
响应于主机端生成对某一多路径设备的待处理IO任务，则获取所述待处理IO任务的IO信息；
将所述IO信息与所述某一多路径设备对应的所述IO信息和最优路径设备对应关系匹配以确定目标最优路径设备；
由主机端将所述待处理IO任务通过所述目标最优路径设备下发到存储端。
根据本发明的又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上所述的动态预判最优路径设备的方法，具体来说，包括执行以下步骤：
实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系；
响应于主机端生成对某一多路径设备的待处理IO任务，则获取所述待处理IO任务的IO信息；
将所述IO信息与所述某一多路径设备对应的所述IO信息和最优路径设备对应关系匹配以确定目标最优路径设备；
由主机端将所述待处理IO任务通过所述目标最优路径设备下发到存储端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种动态预判最优路径设备的方法，其特征在于，所述方法包括：
实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系；
响应于主机端生成对某一多路径设备的待处理IO任务，则获取所述待处理IO任务的IO信息；
将所述IO信息与所述某一多路径设备对应的所述IO信息和最优路径设备对应关系匹配以确定目标最优路径设备；
由主机端将所述待处理IO任务通过所述目标最优路径设备下发到存储端。
2.根据权利要求1所述的动态预判最优路径设备的方法，其特征在于，所述实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系，包括：
对每个多路径设备执行以下操作：
获取多路径设备包括的所有节点、每个节点对应的位置范围以及每个节点包括的若干路径设备；
基于预设路径选择算法和路径信息对应关系为目标路径算法匹配对应的目标路径信息，其中，所述预设路径选择算法和路径信息对应关系包括：round robin算法对应路径设备名称、路径设备排序，queue length算法对应路径设备名称、路径设备未处理IO个数，service time算法对应路径设备名称、路径设备未处理IO个数、路径设备吞吐量；
基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，其中，所述最优路径设备为依据所述目标路径信息从节点包括的若干路径设备中选取的一个。
3.根据权利要求2所述的动态预判最优路径设备的方法，其特征在于，所述基于预设路径选择算法和路径信息对应关系为目标路径算法匹配对应的目标路径信息，包括：
响应于目标路径算法为round robin算法，则目标路径信息为路径设备名称、路径设备排序；
响应于目标路径算法为queue length算法，则目标路径信息为路径设备名称、路径设备未处理IO个数；
响应于目标路径算法为service time算法，则目标路径信息为路径设备名称、路径设备未处理IO个数、路径设备吞吐量。
4.根据权利要求2所述的动态预判最优路径设备的方法，其特征在于，所述基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，包括：
响应于目标路径信息为路径设备名称、路径设备排序，则将每个节点所包括的所有路径设备中排序在最前端的一个选取为最优路径设备；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称生成IO位置范围和最优路径设备对应关系。
5.根据权利要求2所述的动态预判最优路径设备的方法，其特征在于，所述基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，还包括：
响应于目标路径信息为路径设备名称、路径设备未处理IO个数，则将每个节点所包括的所有路径设备中未处理IO个数最少的一个选取为最优路径设备；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称生成IO位置范围和最优路径设备对应关系。
6.根据权利要求2所述的动态预判最优路径设备的方法，其特征在于，所述基于所述目标路径信息为每个节点生成IO信息和最优路径设备对应关系，还包括：
响应于目标路径信息为路径设备名称、路径设备未处理IO个数、路径设备吞吐量，则基于以下规则从每个节点所包括的所有路径设备中选取一个作为最优路径设备：
响应于各个路径设备的路径设备未处理IO个数均相同，则选取路径设备吞吐量最大的一个作为最优路径设备；
响应于各个路径设备的路径设备吞吐量均相同，则选取路径设备未处理IO个数最小的一个作为最优路径设备；
响应于各个路径设备的路径设备未处理IO个数、路径设备吞吐量均不相同，则将路径设备未处理IO个数和IO大小之和与路径设备吞吐量比值中最小的一个作为最优路径设备，并计算最优路径设备对应的IO大小范围；
汇总每个节点对应的位置范围、以及为所选取的最优路径对应的路径设备名称、IO大小范围生成IO位置范围、IO大小范围和最优路径设备对应关系。
7.根据权利要求6所述的动态预判最优路径设备的方法，其特征在于，所述将所述IO信息与所述某一多路径设备对应的所述IO信息和最优路径设备对应关系匹配以确定目标最优路径设备，包括：
响应于目标路径算法为round robin算法或queue length算法，则所述IO信息为IO位置，将与所述待处理IO任务的IO位置匹配的IO范围对应的最优路径设备作为目标最优路径设备；
响应于目标路径算法为service time算法，则所述IO信息为IO位置和IO大小，将与所述待处理IO任务的IO位置、IO大小均匹配的IO位置范围、IO大小范围对应的最优路径设备作为目标最优路径设备。
8.一种动态预判最优路径设备的装置，其特征在于，所述装置包括：
统计分析模块，配置用于实时对每个多路径设备进行信息统计分析，以生成与每个多路径设备对应的IO信息和最优路径设备对应关系；
获取模块，配置用于响应于主机端生成对某一多路径设备的待处理IO任务，则获取所述待处理IO任务的IO信息；
匹配模块，配置用于将所述IO信息与所述某一多路径设备对应的所述IO信息和最优路径设备对应关系匹配以确定目标最优路径设备；
下发模块，配置用于由主机端将所述待处理IO任务通过所述目标最优路径设备下发到存储端。
9.一种计算机，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器中运行的计算机程序，所述处理器执行所述程序时执行权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行权利要求1-7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211001596.8A CN115373843A (zh) | 2022-08-19 | 2022-08-19 | 一种动态预判最优路径设备的方法、装置、及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211001596.8A CN115373843A (zh) | 2022-08-19 | 2022-08-19 | 一种动态预判最优路径设备的方法、装置、及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115373843A true CN115373843A (zh) | 2022-11-22 |
Family
ID=84065032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211001596.8A Pending CN115373843A (zh) | 2022-08-19 | 2022-08-19 | 一种动态预判最优路径设备的方法、装置、及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115373843A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116048413A (zh) * | 2023-02-08 | 2023-05-02 | 苏州浪潮智能科技有限公司 | 多路径存储的io请求处理方法、装置、系统及存储介质 |
-
2022
- 2022-08-19 CN CN202211001596.8A patent/CN115373843A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116048413A (zh) * | 2023-02-08 | 2023-05-02 | 苏州浪潮智能科技有限公司 | 多路径存储的io请求处理方法、装置、系统及存储介质 |
| CN116048413B (zh) * | 2023-02-08 | 2023-06-09 | 苏州浪潮智能科技有限公司 | 多路径存储的io请求处理方法、装置、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3754915B1 (en) | Data processing method and apparatus | |
| CN108023812B (zh) | 云计算系统的内容分发方法及装置、计算节点及系统 | |
| WO2017050254A1 (zh) | 热备方法、装置及系统 | |
| CN110365748A (zh) | 业务数据的处理方法和装置、存储介质及电子装置 | |
| CN106959820B (zh) | 一种数据提取方法和系统 | |
| CN110069210B (zh) | 一种存储系统、存储资源的分配方法及装置 | |
| US10164845B2 (en) | Network service aware routers, and applications thereof | |
| US20220318071A1 (en) | Load balancing method and related device | |
| JP4461262B2 (ja) | コンピュータ障害発生時に複数のコンピュータの配列を操作する方法 | |
| CN115373843A (zh) | 一种动态预判最优路径设备的方法、装置、及介质 | |
| US11695856B2 (en) | Scheduling solution configuration method and apparatus, computer readable storage medium thereof, and computer device | |
| JP4309321B2 (ja) | ネットワークシステムの運用管理方法及びストレージ装置 | |
| CN110661836B (zh) | 消息路由方法、装置及系统、存储介质 | |
| CN111880932A (zh) | 一种基于多网口的数据存储方法及装置 | |
| CN110545336A (zh) | Ip地址替换方法、装置、计算机设备和存储介质 | |
| CN113518131B (zh) | 一种网络异常的传输数据容错处理方法、装置及系统 | |
| CN111064636B (zh) | 前置机连接的控制方法、装置、系统、计算机设备 | |
| CN110650312B (zh) | 基于图像监控系统的扩容方法及装置 | |
| CN110764922A (zh) | 一种数据的处理方法、单板和计算机存储介质 | |
| CN110995868A (zh) | 一种负载均衡方法及其装置 | |
| CN113014611B (zh) | 一种负载均衡方法及相关设备 | |
| CN110971872A (zh) | 一种基于分布式集群的视频图像信息采集方法 | |
| US10996864B1 (en) | Aggregating ALUA statuses from multiple arrays | |
| US20210211381A1 (en) | Communication method and related device | |
| CN113535329B (zh) | 一种多租户云中虚拟机的部署方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |