CN117076093B - 一种基于机器学习的存储资源调度方法、装置及存储介质 - Google Patents
一种基于机器学习的存储资源调度方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117076093B CN117076093B CN202311329541.4A CN202311329541A CN117076093B CN 117076093 B CN117076093 B CN 117076093B CN 202311329541 A CN202311329541 A CN 202311329541A CN 117076093 B CN117076093 B CN 117076093B
- Authority
- CN
- China
- Prior art keywords
- user
- storage
- available
- storage volume
- positive example
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000010801 machine learning Methods 0.000 title claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 44
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 235
- 238000012512 characterization method Methods 0.000 claims description 212
- 238000005065 mining Methods 0.000 claims description 102
- 230000000875 corresponding effect Effects 0.000 claims description 95
- 238000005259 measurement Methods 0.000 claims description 92
- 238000004458 analytical method Methods 0.000 claims description 28
- 238000013145 classification model Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 230000002596 correlated effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000969 carrier Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种基于机器学习的存储资源调度方法、装置及存储介质,本公开提出了基于可用容量/带宽/IOPS多维度的存储资源调度算法,基于机器学习进行优化后,可以针对不同业务类型动态调整多维度的权重分配系数,保证在云上复杂场景下可以取得最优的调度效果,调度算法支持用户设置亲和/反亲和规则,提升用户的性能和可用性指标,同时采用了高效的时序预测算法,针对存储资源的未来使用走势进行了预测,可以更好的应对业务突发场景,提高调度准确率。
Description
技术领域
本公开涉及资源调度、数据处理、机器学习领域,并且更具体地,涉及一种基于机器学习的存储资源调度方法、装置及存储介质。
背景技术
随着互联网技术的快速发展,云技术逐步走入人们的生活。云技术通过互联网将遍布在世界各地数据中心的各种资源(计算、存储等)提供给用户使用。其中,较大的数据中心目前已有数十万台服务器,而对如此大规模数据中心的资源进行有效管理和资源调度是学术界和工业界的一大难题。对于云存储技术来说,考虑到故障域的影响,一个或者多个数据中心的数十万台服务器,会按照集群的粒度进行管理,每个存储集群管理几十到数百台服务器。用户在云上申请的存储资源,会按照特定的资源调度算法分配到某一个数据中心的某一个集群中,由该集群提供存储卷给用户使用。一种工业界常用的资源调度算法,是根据集群的可用存储容量进行调度和分配,每次用户申请存储卷时,会将其分配到当前可用存储容量最高的集群中。该调度算法可以很好的均衡多个存储集群间的容量,让所有集群处于相同的容量水位,从而可以最大化的利用所有存储服务器的容量。但是,此类调度算法会有以下问题:
1)每个用户申请的存储卷会有不同的性能需求,包含:带宽需求和IOPS需求。该需求会写入云厂商对用户承诺的SLA中;
2)每个存储集群可提供的带宽和IOPS是固定的,如果集群被分配了超过其处理能力的带宽或者IOPS,集群会针对所有存储卷进行限流;
3)以上算法只基于容量维度去调度存储卷,会导致每个存储集群的带宽和IOPS产生不均衡,很容易出现集群限流,进而影响对用户承诺的SLA指标。
基于以上问题,业界也有一种基于容量/性能等多维度的调度算法,此类算法通常被认为是NP问题,通过启发式算法(例如:遗传算法、模拟退火算法、蚁群算法等)实现。但是此类算法应用于存储场景,仍然存在一些问题:
1)不同用户申请的存储卷,压力模型存在很大的差异,有一些用户属于容量型业务(存储容量大,但是带宽/IOPS很低),有一些用户属于带宽型业务(存储容量小,带宽很高),很难设计出适用于所有模型的通用启发式算法;
2)考虑到云上用户业务的不确定性,存储集群的资源使用情况可能在未来产生性能潮汐现象,只按照当前时刻的集群资源使用情况进行调度容易导致集群限流;
3)某一些用户会有亲和性诉求,希望申请的存储资源可以分配到特定的数据中心,进而提升存储传输效率,启发式算法无法满足此类诉求;某一些用户会有反亲和性诉求,希望申请的特定存储资源可以分配到不同的存储集群中,提升可用性,启发式算法无法满足此类诉求。
因此,如何改善以上问题是需要考虑的技术问题。
发明内容
有鉴于此,本公开实施例至少提供一种基于机器学习的存储资源调度方法、装置及存储介质,已改善上述问题。
根据本公开实施例的一个方面,提供了一种基于机器学习的存储资源调度方法,所述方法包括:获取目标客户端发送的存储资源申请命令,并对所述存储资源申请命令进行申请规则解析,得到亲和规则;获取存储集群列表,并基于所述亲和规则对所述存储集群列表进行过滤,得到过滤存储集群列表;获取所述过滤存储集群列表中的所有存储集群的资源使用信息,所述资源使用信息包括每一存储集群的可用资源量;获取所述目标客户端对应的用户画像信息;针对每一所述存储集群,基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分;将优先级评分最大的存储集群确定为所述目标客户端的最优存储集群,将所述目标客户端对应的存储卷分配到所述最优存储集群。
根据本公开实施例的一个示例,其中,所述可用资源量包括可用容量、可用写带宽和可用写IOPS,所述针对每一所述存储集群,基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分,包括:获取所述存储集群的可用容量在所述过滤存储集群列表中所有的存储集群的可用容量权重占比;获取所述存储集群的可用写带宽在所述过滤存储集群列表中所有的存储集群的可用写带宽权重占比;获取所述存储集群的可用写IOPS在所述过滤存储集群列表中所有的存储集群的可用写IOPS权重占比;基于预设的启发式算法获取所述可用容量权重占比的可用容量固定权重系数、所述可用写带宽权重占比的可用写带宽固定权重系数以及所述可用写IOPS权重占比的可用写IOPS固定权重系数;结合所述用户画像信息对所述可用容量固定权重系数、所述可用写带宽固定权重系数以及所述可用写IOPS固定权重系数进行调整,得到调整后的可用容量动态权重系数、所述可用写带宽动态权重系数以及所述可用写IOPS动态权重系数;基于所述可用容量动态权重系数对所述可用容量权重占比进行加权调节,得到可用容量权重占比调节结果;基于所述可用写带宽动态权重系数对所述可用写带宽权重占比进行加权调节,得到可用写带宽权重占比调节结果;基于所述可用写IOPS动态权重系数对所述可用写IOPS权重占比进行加权调节,得到可用写IOPS权重占比调节结果;将所述可用容量权重占比调节结果、所述可用写带宽权重占比调节结果和所述可用写IOPS权重占比调节结果进行求和,得到所述存储集群的优先级评分。
根据本公开实施例的一个示例,其中,结合所述用户画像信息对所述可用容量固定权重系数、所述可用写带宽固定权重系数以及所述可用写IOPS固定权重系数进行调整,得到调整后的可用容量动态权重系数、所述可用写带宽动态权重系数以及所述可用写IOPS动态权重系数,包括:当所述用户画像信息为容量型用户时,基于预设策略增加所述可用容量固定权重系数,得到所述可用容量动态权重系数;当所述用户画像信息为带宽型用户时,基于预设策略增加所述可用写带宽固定权重系数,得到所述可用写带宽动态权重系数;当所述用户画像信息为IOPS型用户时,基于预设策略增加所述可用写IOPS固定权重系数,得到所述可用写IOPS动态权重系数;其中,所述容量型用户表征用户存储卷申请的资源容量大于第一预设容量,使用的性能资源容量小于第一性能资源容量,同时单GB的带宽低于预设带宽阈值;所述带宽型用户表征用户存储卷申请的资源容量低于第二预设容量,使用的性能资源高于第二性能资源容量,单GB的带宽高于所述预设带宽阈值,同时用户业务偏向于带宽型,请求的平均大小大于32KB;所述IOPS型用户表征用户存储卷申请的资源容量小于所述第二预设容量,使用的性能资源高,使用的性能资源高于第二性能资源容量,单GB的带宽高于所述预设带宽阈值,用户业务偏向于IOPS型,请求的平均大小小于32KB;所述获取所述过滤存储集群列表中的所有存储集群的资源使用信息,所述资源使用信息包括每一存储集群的可用资源量,包括:将所述过滤存储集群列表中的每一存储集群的已知时间序列的资源使用量、需预测的时间序列长度输入预设的时序数据预测算法,进行存储资源利用率预测,得到对应所述需预测的时间序列长度的未来资源使用量;对所述已知时间序列的资源使用量和所述未来资源使用量进行加权求和,得到所述每一存储集群的可用资源量。
根据本公开实施例的一个示例,其中,获取所述目标客户端对应的用户画像信息,包括:获取拟进行用户画像分析的第一用户存储卷信息集;对事先部署的存储卷正示例集和所述第一用户存储卷信息集分别进行存储特征挖掘,得到正示例特征集合和第一用户存储卷信息表征向量;其中,所述存储卷正示例集包括多个用户画像分别对应的不少于一个存储卷正示例,所述正示例特征集合中包括各个所述用户画像分别对应的正示例特征;依据各个所述正示例特征和所述第一用户存储卷信息表征向量间的共性度量结果,对各个所述正示例特征和所述第一用户存储卷信息表征向量进行调整,得到调整后的各个所述正示例特征和调整后的所述第一用户存储卷信息表征向量;依据调整后的各个所述正示例特征和调整后的所述第一用户存储卷信息表征向量间的共性度量结果,对所述第一用户存储卷信息集进行用户画像解析,得到所述第一用户存储卷信息集的用户画像。
根据本公开实施例的一个示例,其中,所述对事先部署的存储卷正示例集和所述第一用户存储卷信息集分别进行存储特征挖掘,得到正示例特征集合和第一用户存储卷信息表征向量,包括:对于各个所述用户画像,基于第一存储特征挖掘网络对所述存储卷正示例集中对应于所述用户画像的不少于一个存储卷正示例进行存储特征挖掘,得到所述用户画像对应的正示例特征;基于第二存储特征挖掘网络对所述第一用户存储卷信息集进行存储特征挖掘,得到所述第一用户存储卷信息表征向量;所述依据各个所述正示例特征和所述第一用户存储卷信息表征向量间的共性度量结果,对各个所述正示例特征和所述第一用户存储卷信息表征向量进行调整,得到调整后的各个所述正示例特征和调整后的所述第一用户存储卷信息表征向量,包括:依据不少于一个所述正示例特征和所述第一用户存储卷信息表征向量间的共性度量结果,对所述第一用户存储卷信息表征向量进行调整,得到调整后的所述第一用户存储卷信息表征向量;对于各个所述正示例特征,依据所述正示例特征和调整前的所述第一用户存储卷信息表征向量间的共性度量结果,对所述正示例特征进行调整,得到调整后的所述正示例特征。
根据本公开实施例的一个示例,其中,所述依据不少于一个所述正示例特征和所述第一用户存储卷信息表征向量间的共性度量结果,对所述第一用户存储卷信息表征向量进行调整,得到调整后的所述第一用户存储卷信息表征向量,包括:依据各个所述正示例特征和所述第一用户存储卷信息表征向量间的共性度量结果,从所述正示例特征集合中确定不少于一个第一目标正示例特征;依据各个所述第一目标正示例特征与所述第一用户存储卷信息表征向量间的共性度量结果,对各个所述第一目标正示例特征进行特征融合,得到第一调整特征;依据所述第一调整特征对所述第一用户存储卷信息表征向量进行调整,得到调整后的所述第一用户存储卷信息表征向量;所述第一用户存储卷信息集的个数为多个;所述依据所述正示例特征和调整前的所述第一用户存储卷信息表征向量间的共性度量结果,对所述正示例特征进行调整,得到调整后的所述正示例特征,包括:依据各个所述第一用户存储卷信息集对应的第一用户存储卷信息表征向量与所述正示例特征间的共性度量结果,确定不少于一个目标用户存储卷信息表征向量;依据各个所述目标用户存储卷信息表征向量与所述正示例特征间的共性度量结果,对各个所述目标用户存储卷信息表征向量进行特征融合,得到第二调整特征;依据所述第二调整特征对所述正示例特征进行调整,得到调整后的所述正示例特征;所述依据调整后的各个所述正示例特征和调整后的所述第一用户存储卷信息表征向量间的共性度量结果,对所述第一用户存储卷信息集进行用户画像解析,得到所述第一用户存储卷信息集的用户画像,包括:从调整后的各个所述正示例特征中,确定与调整后的所述第一用户存储卷信息表征向量共性度量结果最大的第二目标正示例特征;将所述第二目标正示例特征对应的用户画像,确定为所述第一用户存储卷信息集的用户画像。
根据本公开实施例的一个示例,其中,所述第一存储特征挖掘网络和第二存储特征挖掘网络同属于用户画像分类模型,所述方法还包括所述用户画像分类模型的调试过程,包括:获取包含用户画像标记信息的第二用户存储卷信息集;基于所述第一存储特征挖掘网络对事先部署的存储卷正示例集进行存储特征挖掘,得到正示例特征集合;其中,所述存储卷正示例集包括多个用户画像分别对应的不少于一个存储卷正示例,所述正示例特征集合中包括各个所述用户画像分别对应的正示例特征;基于所述第二存储特征挖掘网络对所述第二用户存储卷信息集进行存储特征挖掘,得到所述第二用户存储卷信息集对应的第二用户存储卷信息表征向量;依据各个所述正示例特征和所述第二用户存储卷信息表征向量间的共性度量结果,对各个所述正示例特征和所述第二用户存储卷信息表征向量进行调整,得到调整后的各个所述正示例特征和调整后的所述第二用户存储卷信息表征向量;依据调整后的各个所述正示例特征、调整后的所述第二用户存储卷信息表征向量、以及所述用户画像标记信息,确定误差结果;依据所述误差结果,对所述用户画像分类模型进行迭代优化,得到调试完成的所述用户画像分类模型。
根据本公开实施例的一个示例,其中,所述依据调整后的各个所述正示例特征、调整后的所述第二用户存储卷信息表征向量、以及所述用户画像标记信息,确定误差结果,包括:依据调整后的各个所述正示例特征和调整后的所述第二用户存储卷信息表征向量间的共性度量结果,对所述第二用户存储卷信息集进行用户画像解析,得到所述第二用户存储卷信息集的用户画像;依据所述第二用户存储卷信息集的用户画像和所述用户画像标记信息,确定误差结果;所述依据调整后的各个所述正示例特征、调整后的所述第二用户存储卷信息表征向量、以及所述用户画像标记信息,确定误差结果,包括:确定对应的用户画像与所述用户画像标记信息一致的第一正示例特征、以及对应的用户画像与所述用户画像标记信息不一致的第二正示例特征;依据调整后的所述第一正示例特征与调整后的所述第二用户存储卷信息表征向量间的第一空间距离、以及调整后的所述第二正示例特征与调整后的所述第二用户存储卷信息表征向量间的第二空间距离,确定误差结果;其中,所述误差结果与所述第一空间距离正相关、与所述第二空间距离负相关。
根据本公开实施例的另一方面,提供了一种存储资源调度装置,所述装置包括:命令获取解析模块,用于获取目标客户端发送的存储资源申请命令,并对所述存储资源申请命令进行申请规则解析,得到亲和规则;集群列表过滤模块,用于获取存储集群列表,并基于所述亲和规则对所述存储集群列表进行过滤,得到过滤存储集群列表;资源信息确定模块,用于获取所述过滤存储集群列表中的所有存储集群的资源使用信息,所述资源使用信息包括每一存储集群的可用资源量;用户画像识别模块,用于获取所述目标客户端对应的用户画像信息;存储集群打分模块,用于针对每一所述存储集群,基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分;存储卷分配模块,用于将优先级评分最大的存储集群确定为所述目标客户端的最优存储集群,将所述目标客户端对应的存储卷分配到所述最优存储集群。
根据本公开实施例的又一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以上所述的方法。
本公开的有益效果至少包括:本公开实施例提出了基于可用容量/带宽/IOPS多维度的存储资源调度算法,基于机器学习进行优化后,可以针对不同业务类型动态调整多维度的权重分配系数,保证在云上复杂场景下可以取得最优的调度效果,调度算法支持用户设置亲和/反亲和规则,提升用户的性能和可用性指标,同时采用了高效的时序预测算法,针对存储资源的未来使用走势进行了预测,可以更好的应对业务突发场景,提高调度准确率。另外,在用户画像确定时,采用改进的机器学习算法,在模型训练时,通过依据各个正示例特征和第一用户存储卷信息表征向量间的共性度量结果对各个正示例特征和第一用户存储卷信息表征向量进行调整,可以巩固各正示例特征与第一用户存储卷信息表征向量间的牵涉情况,加强对存储卷正示例和第一用户存储卷信息集的表征,从而依据调整后的正示例特征和调整后的第一用户存储卷信息表征向量间的共性度量结果,对所述第一用户存储卷信息集进行用户画像解析,能够增加第一用户存储卷信息集的画像识别精确性,从而帮助准确调节动态权重系数。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开实施例的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为本公开实施例提供的应用场景的示意图。
图2为本公开实施例提供的存储调度系统的功能架构示意图。
图3为本公开实施例提供的一种基于机器学习的存储资源调度方法的实现流程示意图。
图4为本公开实施例提供的一种存储资源调度装置的组成结构示意图。
图5为本公开实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本公开一部分的实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。为了使本公开的目的、技术方案和优点更加清楚,下面结合附图和实施例对本公开的技术方案进一步详细阐述,所描述的实施例不应视为对本公开的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。除非另有定义,本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开的目的,不是旨在限制本公开。
本公开实施例提供的基于机器学习的存储资源调度方法,可以应用于如图1所示的应用环境中。其中,客户端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。其中,客户端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本公开实施例提供的基于机器学习的存储资源调度方法应用于存储调度系统,该存储调度系统的功能架构请参照图2,包括存储调度系统主要分为两个组件:调度算法组件Scheduler和机器学习算法组件Brain。
调度算法组件主要负责接收用户侧(目标客户端)的申请存储卷的命令(存储资源申请命令),进行亲和/反亲和判定后,进行最终的调度决策,并选择合适的存储集群进行资源调度。该组件包含三个模块:
a)API层:负责接收用户发送的存储资源申请命令,对命令进行解析和处理。
b)亲和/反亲和层:根据用户提供的亲和/反亲和规则,针对存储集群进行过滤,得到可调度的存储集群列表。
c)调度决策层:根据可调度存储集群列表、从DB(存储数据库)中获取集群信息、从Brain获取预测信息,综合决策并得到可分配的最优存储集群。
机器学习算法组件主要负责存储资源的预测、用户画像刻画等,将信息传递给Scheduler做决策辅助。机器学习算法组件包含三个模块:
a)用户画像层:用于解析同一个用户下所有的存储卷,获取用户业务特征,并绑定到特定的画像类型。
b)存储集群容量/性能预测:根据每个存储集群的容量/性能历史数据,预测出集群未来的资源使用情况。
c)存储卷容量/性能预测:根据每个存储卷的容量/性能历史数据,预测出存储卷未来的资源使用情况。
除此之外,存储调度系统会从DB中获取存储集群和存储卷的信息,作为存储调度系统的输入数据,具体包含以下数据:
1)存储集群列表以及每个集群可分配的最大容量/带宽/IOPS。
2)存储卷列表,所属集群,归属的用户等信息。
3)每个存储集群的历史容量/带宽/IOPS监控。
4)每个存储卷的历史容量/带宽/IOPS监控。
下面对本公开实施例提供的基于机器学习的存储资源调度方法进行介绍,请参照图3,该基于机器学习的存储资源调度方法包括以下步骤:
步骤S110,获取目标客户端发送的存储资源申请命令,并对存储资源申请命令进行申请规则解析,得到亲和规则。
本公开实施例中,亲和规则是目标客户端的用户自己定义的规则,包括亲和诉求与反亲和诉求,对于亲和性诉求,表示用户希望申请的存储资源可以分配到特定的数据中心,进而提升存储传输效率;对于反亲和性诉求,表示用户希望申请的特定存储资源可以分配到不同的存储集群中,提升可用性。存储资源申请命令中可以通过标记的方式进行亲和规则表示,如Y代表亲和诉求,N代表反亲和诉求。该步骤可由API层和亲和/反亲和层执行。
步骤S120,获取存储集群列表,并基于亲和规则对存储集群列表进行过滤,得到过滤存储集群列表。
存储集群列表中包含多个存储集群,根据识别得到的亲和规则对存储集群列表进行过滤,得到过滤存储集群列表,例如对于亲和诉求,将不满足特定数据中心制定要求的存储集群进行过滤,剩下的所有存储集群组成过滤存储集群列表。
步骤S130,获取过滤存储集群列表中的所有存储集群的资源使用信息,资源使用信息包括每一存储集群的可用资源量。
对于每一个存储集群,可用资源量包括可用容量、可用写带宽和可用写IOPS等资源量。步骤S130具体可以包括:将过滤存储集群列表中的每一存储集群的已知时间序列(例如过去7天)的资源使用量、需预测的时间序列长度输入预设的时序数据预测算法(例如Prophet算法),进行存储资源利用率预测,得到对应需预测的时间序列长度(例如未来24小时)的未来资源使用量;对已知时间序列的资源使用量和未来资源使用量进行加权求和,得到每一存储集群的可用资源量。换言之,在本发明的存储资源预测场景中,会将存储集群历史7天的资源使用情况作为输入数据,输出未来24小时的资源使用率走势,作为调度决策的参考。调度决策算法中,会将历史24小时的资源情况和预测未来24小时的资源情况进行加权,作为资源的可用量,以进行计算打分。
步骤S140,获取目标客户端对应的用户画像信息。
本公开实施例中,用户画像通过以下方式识别得到:获取目标客户端对应的用户的存储卷名称、存储卷容量、存储卷的平均容量、存储卷的平均带宽、存储卷的平均IOPS以及存储卷的生命周期;基于用户的存储卷名称、存储卷容量、存储卷的平均容量、存储卷的平均带宽、存储卷的平均IOPS以及存储卷的生命周期,提取得到多维用户特征;基于多维用户特征得到用户的用户画像。
在一个具体的实施方式中,步骤S140具体可以包括以下步骤:
步骤S141,获取拟进行用户画像分析的第一用户存储卷信息集。
本公开实施例中,拟进行用户画像分析的第一用户存储卷信息集可以包括用户的存储卷名称、存储卷容量、存储卷的平均容量、存储卷的平均带宽、存储卷的平均IOPS以及存储卷的生命周期中多个或全部。
步骤S142,对事先部署的存储卷正示例集和第一用户存储卷信息集分别进行存储特征挖掘,得到正示例特征集合和第一用户存储卷信息表征向量。
其中,存储卷正示例集包括多个用户画像分别对应的不少于一个存储卷正示例,正示例特征集合中包括各个用户画像分别对应的正示例特征。本公开实施例中,事先部署的存储卷正示例集可以对应多个用户画像标记信息,各个用户画像可以对应不少于一个属于用户画像的存储卷正示例。例如,存储卷正示例集对应的多个用户画像标记信息包括容量型用户、带宽型用户、IOPS型用户,存储卷正示例集中可以包括不少于一个用户画像为容量型用户的存储卷正示例、不少于一个用户画像为带宽型用户的存储卷正示例、以及一种或多种用户画像为IOPS型用户的存储卷正示例。本公开实施例中,存储卷正示例集为支持集,其中不同用户画像分别对应的存储卷正示例可被当做画像分类参照示例,以教授第一用户存储卷信息集进行用户画像解析。
可选地,可以基于机器学习算法(如CNN、RNN、LSTM、Bert)对事先部署的存储卷正示例集和第一用户存储卷信息集分别进行存储特征挖掘,得到正示例特征集合和第一用户存储卷信息表征向量。例如,基于CNN对事先部署的存储卷正示例集和第一用户存储卷信息集分别进行存储特征挖掘,得到正示例特征集合(可以是特征载体集合)和第一用户存储卷信息表征向量。
步骤S143,依据各个正示例特征和第一用户存储卷信息表征向量间的共性度量结果,对各个正示例特征和第一用户存储卷信息表征向量进行调整,得到调整后的各个正示例特征和调整后的第一用户存储卷信息表征向量。
本公开实施例中,共性度量结果是对存储卷正示例和第一用户存储卷信息集之间共性程度的评估结果,存储卷正示例和第一用户存储卷信息集相似性越高,正示例特征和第一用户存储卷信息表征向量间的共性度量结果越大,存储卷正示例和第一用户存储卷信息集相似性越低,正示例特征和第一用户存储卷信息表征向量间的共性度量结果越小。比如,第一用户存储卷信息集为容量型用户用户存储卷信息集,那么存储卷正示例集中的用户画像为容量型用户的存储卷正示例和第一用户存储卷信息集更相似,用户画像为容量型用户的正示例特征和容量型用户的第一用户存储卷信息表征向量间的共性度量结果更大,可选地,各个正示例特征和第一用户存储卷信息表征向量间的共性度量结果确定的方式为计算余弦距离、欧几里得距离、注意力度量等。
步骤S144,依据调整后的各个正示例特征和调整后的第一用户存储卷信息表征向量间的共性度量结果,对第一用户存储卷信息集进行用户画像解析,得到第一用户存储卷信息集的用户画像。
本公开实施例可以基于任意可行的方案依据调整后的各个正示例特征和调整后的第一用户存储卷信息表征向量间的共性度量结果,对第一用户存储卷信息集进行用户画像解析,可选地,可以对调整后的各个正示例特征基于共性度量结果大小进行评估,确定与调整后的第一用户存储卷信息表征向量共性度量结果最大的第二目标正示例特征;将第二目标正示例特征对应的用户画像确定为第一用户存储卷信息集的用户画像。或者,可选地,可以依据一共性度量结果阈值,在和调整后的第一用户存储卷信息表征向量共性度量结果间的共性度量结果大于共性度量结果阈值的不少于一个正示例特征中,确定一第三目标正示例特征,将第三目标正示例特征对应的用户画像作为第一用户存储卷信息集的用户画像。
本公开实施例采用正示例特征和第一用户存储卷信息表征向量间的共性度量结果对正示例特征和第一用户存储卷信息表征向量进行调整后,再依据调整后的正示例特征和调整后的第一用户存储卷信息表征向量间的共性度量结果,对第一用户存储卷信息集进行用户画像解析,如此能巩固各正示例特征与第一用户存储卷信息表征向量间的牵涉情况,加强对存储卷正示例和第一用户存储卷信息集的表征,进而能够增加第一用户存储卷信息集的画像识别精确性。
作为一种实施方式,步骤S142对事先部署的存储卷正示例集和第一用户存储卷信息集分别进行存储特征挖掘,得到正示例特征集合和第一用户存储卷信息表征向量,可以包括:
步骤S1421,对于各个用户画像,基于第一存储特征挖掘网络对存储卷正示例集中对应于用户画像的不少于一个存储卷正示例进行存储特征挖掘,得到用户画像对应的正示例特征。
本公开实施例中,第一存储特征挖掘网络为调试完成的存储特征挖掘网络,第一存储特征挖掘网络用于挖掘用户存储卷信息集的特征。存储特征挖掘网络是用户画像解析分类时的存储特征挖掘模块,存储特征挖掘网络可以将用户存储卷信息集进行特征挖掘得到特征图。可选地,在用户画像对应一个存储卷正示例时,可以将在存储卷正示例中挖掘到的用户存储卷信息表征向量确定为用户画像对应的正示例特征。
可选地,如果一用户画像对应多个存储卷正示例时,可以对多个存储卷正示例先进行整合,然后再进行存储特征挖掘,获得用户画像对应的正示例特征;可选地,如果一用户画像对应多个存储卷正示例时,还可以分别挖掘各个存储卷正示例的特征,再将各特征进行整合,获得用户画像对应的正示例特征。整合的方式可以为特征拼接、相加或相连,具体根据实际情况进行适应性选择。
步骤S1422,基于第二存储特征挖掘网络对第一用户存储卷信息集进行存储特征挖掘,得到第一用户存储卷信息表征向量。
可选地,第二存储特征挖掘网络与第一存储特征挖掘网络为一致的存储特征挖掘网络,同时它们的权值是共享的。具体应用中,存储卷正示例集和第一用户存储卷信息集分别加载到对应的存储特征挖掘网络,分别获得正示例特征集合和第一用户存储卷信息表征向量。本公开实施例中,对于各个用户画像,基于第一存储特征挖掘网络对存储卷正示例集中对应于用户画像的不少于一个存储卷正示例进行存储特征挖掘,得到用户画像对应的正示例特征;基于第二存储特征挖掘网络对第一用户存储卷信息集进行存储特征挖掘,得到第一用户存储卷信息表征向量。基于此,基于两个存储特征挖掘网络分别获取正示例特征和第一用户存储卷信息表征向量,帮助分别学习正示例特征和第一用户存储卷信息表征向量,以加强用户画像分类识别时对存储卷正示例和第一用户存储卷信息集的表征,从而能增加用户存储卷信息集画像识别的精确性。
作为一种实施方式,步骤S144依据调整后的各个正示例特征和调整后的第一用户存储卷信息表征向量间的共性度量结果,对第一用户存储卷信息集进行用户画像解析,得到第一用户存储卷信息集的用户画像,具体包括:
步骤S1441,在调整后的各个正示例特征中确定和调整后的第一用户存储卷信息表征向量共性度量结果最大的第二目标正示例特征。
步骤S1442,将第二目标正示例特征对应的用户画像作为第一用户存储卷信息集的用户画像。
本公开实施例中,正示例特征对应注释用户画像标记信息(即标记是何用户画像的信息,可以为一个标签),用户画像标记信息用于确定正示例特征对应的用户画像。可选地,根据和第一用户存储卷信息表征向量共性度量结果最大的调整后的正示例特征的用户画像标记信息,得到第一用户存储卷信息集的用户画像。
以上依据确定和第一用户存储卷信息表征向量共性度量结果最大的调整后的正示例特征的用户画像,能获得第一用户存储卷信息集中置信度最高的用户画像,增加用户存储卷信息集分类识别的精确性。
作为另一个实施例,本公开实施例在获取用户画像时,包括:
步骤S241,获取拟进行用户画像分析的第一用户存储卷信息集。
步骤S242,对事先部署的存储卷正示例集和第一用户存储卷信息集分别进行存储特征挖掘,得到正示例特征集合和第一用户存储卷信息表征向量。其中,存储卷正示例集包括多个用户画像分别对应的不少于一个存储卷正示例,正示例特征集合中包括各个用户画像分别对应的正示例特征。
步骤S243,依据不少于一个正示例特征和第一用户存储卷信息表征向量间的共性度量结果,对第一用户存储卷信息表征向量进行调整,得到调整后的第一用户存储卷信息表征向量。
步骤S244,对于各个正示例特征,依据正示例特征和调整前的第一用户存储卷信息表征向量间的共性度量结果,对正示例特征进行调整,得到调整后的正示例特征。
步骤S245,依据调整后的各个正示例特征和调整后的第一用户存储卷信息表征向量间的共性度量结果,对第一用户存储卷信息集进行用户画像解析,得到第一用户存储卷信息集的用户画像。
本公开实施例依据不少于一个正示例特征和第一用户存储卷信息表征向量间的共性度量结果,对第一用户存储卷信息表征向量进行调整,得到调整后的第一用户存储卷信息表征向量;对于各个正示例特征,依据正示例特征和调整前的第一用户存储卷信息表征向量间的共性度量结果对正示例特征进行调整,得到调整后的正示例特征。基于此,可以巩固各正示例特征与第一用户存储卷信息表征向量间的牵涉情况,加强对存储卷正示例和第一用户存储卷信息集的表征,从而可以提高用户存储卷信息集分类的精确性。
作为一种实施方式,步骤S243依据不少于一个正示例特征和第一用户存储卷信息表征向量间的共性度量结果,对第一用户存储卷信息表征向量进行调整,得到调整后的第一用户存储卷信息表征向量,具体包括:
步骤S2431,依据各个正示例特征和第一用户存储卷信息表征向量间的共性度量结果,从正示例特征集合中确定不少于一个第一目标正示例特征。
可选地,可以根据实际情况依据共性度量结果确定不少于一个第一目标正示例特征,比如选择和第一用户存储卷信息表征向量共性度量结果最大的不少于一个第一目标正示例特征,或者选择共性度量结果大于阈值的不少于一个第一目标正示例特征。
步骤S2432,依据各个第一目标正示例特征与第一用户存储卷信息表征向量间的共性度量结果,对各个第一目标正示例特征进行特征融合,得到第一调整特征。
本公开实施例中,针对每一个第一目标正示例特征,可以将第一目标正示例特征与第一用户存储卷信息表征向量间的共性度量结果确定为第一目标正示例特征的权值,依据各个第一目标正示例特征的权值对各个第一目标正示例特征进行特征融合(容易理解,采用对应的权值进行加权求和),得到第一调整特征(即加权求和的结果)。和第一用户存储卷信息表征向量间的共性度量结果越大的第一目标正示例特征,确定第一调整特征时拥有更大的权值,反之越小。
可选地,获取第一目标正示例特征和第一用户存储卷信息表征向量间的共性度量结果;针对第一用户存储卷信息表征向量,将各个第一目标正示例特征依据与第一用户存储卷信息表征向量的共性度量结果大小排序。确定一筛选值P,确定共性度量结果靠前的P个第一目标正示例特征,对P个第一目标正示例特征进行特征融合,得到第一调整特征Qx,其中,P≥1。
步骤S2433,依据第一调整特征对第一用户存储卷信息表征向量进行调整,得到调整后的第一用户存储卷信息表征向量。
具体地,依据第一调整特征Qx对第一用户存储卷信息表征向量Qi进行调整,得到调整后的第一用户存储卷信息表征向量Qj,作为一种实施方式,获取调整后的第一用户存储卷信息表征向量Qj的过程可以参考以下公式:
Qj=Qi+Qx
本公开以上实施方式,依据各个正示例特征和第一用户存储卷信息表征向量间的共性度量结果,在正示例特征集合中确定不少于一个第一目标正示例特征;依据各个第一目标正示例特征与第一用户存储卷信息表征向量间的共性度量结果,对各个第一目标正示例特征进行特征融合,得到第一调整特征;依据第一调整特征对第一用户存储卷信息表征向量进行调整,得到调整后的第一用户存储卷信息表征向量。基于此,在确定第一调整特征时,与第一用户存储卷信息表征向量间的共性度量结果越大的第一目标正示例特征权值越大;和第一用户存储卷信息表征向量间的共性度量结果越小的第一目标正示例特征权值越小。那么,在依据第一调整特征对第一用户存储卷信息表征向量进行调整时,和第一用户存储卷信息表征向量间的共性度量结果越大的第一目标正示例特征,其影响越大,和第一用户存储卷信息表征向量间的共性度量结果越小的第一目标正示例特征,其影响越小。基于此,可以强化与调整前的第一用户存储卷信息表征向量间的共性度量结果较大的第一目标正示例特征与调整后的第一用户存储卷信息表征向量间的相关性,同时淡化与调整前的第一用户存储卷信息表征向量间的共性度量结果较小的第一目标正示例特征与调整后的第一用户存储卷信息表征向量间的相关性,换言之,能巩固各正示例特征与第一用户存储卷信息表征向量间的牵涉情况(产生联系的相关性评价指标),能加强用户画像识别时对第一用户存储卷信息集的表征,增加用户存储卷信息集用户画像识别的精确性。
作为一种实施方式,第一用户存储卷信息集的个数为多个,那么步骤S244中的依据正示例特征和调整前的第一用户存储卷信息表征向量间的共性度量结果,对正示例特征进行调整,得到调整后的正示例特征,具体包括:
步骤S2441,依据各个第一用户存储卷信息集对应的第一用户存储卷信息表征向量与正示例特征间的共性度量结果,确定不少于一个目标用户存储卷信息表征向量。
可选地,可以依据实际需要基于共性度量结果确定不少于一个第一目标用户存储卷信息表征向量,比如选择和正示例特征共性度量结果最大的不少于一个第一目标用户存储卷信息表征向量,或者选择共性度量结果大于阈值的不少于一个第一目标用户存储卷信息表征向量。
步骤S2442,依据各个目标用户存储卷信息表征向量与正示例特征间的共性度量结果,对各个目标用户存储卷信息表征向量进行特征融合,得到第二调整特征。
本公开实施例中,对于各个目标用户存储卷信息表征向量,将该目标用户存储卷信息表征向量与正示例特征间的共性度量结果确定为目标用户存储卷信息表征向量的权值,依据目标用户存储卷信息表征向量的权值对各目标用户存储卷信息表征向量进行特征融合(即按照对应的权值进行加权求和),得到第二调整特征(加权求和的结果),其中,和正示例特征间的共性度量结果越大的目标用户存储卷信息表征向量,在确定第二调整特征时权值越大,和正示例特征间的共性度量结果越小的目标用户存储卷信息集正示例特征,确定第二调整特征时权值越小。可选地,获取各个目标用户存储卷信息表征向量和正示例特征间的共性度量结果;对于正示例特征,将各个目标用户存储卷信息表征向量依据与正示例特征的共性度量结果大小排序。假定一阈值S,确定共性度量结果排序靠前的S个目标用户存储卷信息表征向量,对S个目标用户存储卷信息表征向量进行特征融合,得到第二调整特征,S≥1。
步骤S2443,依据第二调整特征对正示例特征进行调整,得到调整后的正示例特征。
例如,依据第二调整特征Fx,对正示例特征Fi进行调整,得到调整后的正示例特征Fj,例如基于以下公式获取调整后的正示例特征Fj:
Fj=Fi+Fx
本公开以上实施例依据各个第一用户存储卷信息集对应的第一用户存储卷信息表征向量与正示例特征间的共性度量结果,确定不少于一个目标用户存储卷信息表征向量;依据各个目标用户存储卷信息表征向量与正示例特征间的共性度量结果,对各个目标用户存储卷信息表征向量进行特征融合,得到第二调整特征。基于此,确定第二调整特征时,和正示例特征间的共性度量结果越大的目标用户存储卷信息表征向量权值越大,和正示例特征间的共性度量结果越小的目标用户存储卷信息表征向量权值越小,则在依据第二调整特征对正示例特征进行调整时,和正示例特征间的共性度量结果越大的目标用户存储卷信息表征向量,受到影响越大,和正示例特征间的共性度量结果越小的目标用户存储卷信息表征向量,收到影响越小。那么,可巩固和调整前特征间的共性度量结果较大的目标用户存储卷信息表征向量与调整后的正示例特征间的相关性,以及淡化与调整前的正示例特征间的共性度量结果较小的目标用户存储卷信息表征向量与调整后的正示例特征间的相关性,换言之能巩固各正示例特征与第一用户存储卷信息表征向量间的牵涉情况,以加强用户画像识别时对存储卷正示例的表征也更深入,增加用户存储卷信息集用户画像识别的精确性。
可以理解,以上提及可以使用机器学习算法(如深度神经网络)进行方法的实现,本公开提供一种用户画像分类模型,下面介绍该用户画像分类模型的调试方法,用户画像分类模型包括第一存储特征挖掘网络和第二存储特征挖掘网络,具体可以包括以下步骤:
步骤T10,获取包含用户画像标记信息的第二用户存储卷信息集。
本公开实施例中,包含用户画像标记信息的第二用户存储卷信息集形式参照第一用户存储卷信息集。可选地,各个第二用户存储卷信息集对应的用户画像标记信息可人工标注或者自动标注。用户画像标记信息表征用户画像的类型,可以为一个标签,比如一个容量型用户对应的第二用户存储卷信息集,第二用户存储卷信息集用户画像标记信息为容量型用户。
步骤T20,基于第一存储特征挖掘网络对事先部署的存储卷正示例集进行存储特征挖掘,得到正示例特征集合。
其中,存储卷正示例集包括多个用户画像分别对应的不少于一个存储卷正示例,正示例特征集合中包括各个用户画像分别对应的正示例特征。
可选地,在用户画像对应一个存储卷正示例时,可以将从该存储卷正示例中挖掘到的用户存储卷信息表征向量,作为该用户画像对应的正示例特征,例如:存储卷正示例集中,当容量型用户这一用户画像只有一个对应的容量型用户用户存储卷信息集,就将这一个容量型用户用户存储卷信息集挖掘到的用户存储卷信息表征向量作为容量型用户这一用户画像对应的正示例特征。
可选地,如果一用户画像对应多个存储卷正示例时,可以对多个存储卷正示例先进行整合,然后进行存储特征挖掘得到该用户画像对应的正示例特征;可选地,如果一用户画像对应多个存储卷正示例时,还可以分别挖掘各个存储卷正示例的特征,进行整合后获得用户画像对应的正示例特征。比如存储卷正示例集中,如果容量型用户这一用户画像有多个对应的容量型用户用户存储卷信息集,则将多个容量型用户用户存储卷信息集整合为成一个容量型用户用户存储卷信息集,接着对这一个容量型用户用户存储卷信息集进行存储特征挖掘得到该用户画像对应的正示例特征;或者,分别挖掘多个容量型用户用户存储卷信息集的用户存储卷信息表征向量,将多个特征整合得到容量型用户这一用户画像对应的正示例特征。
将存储卷正示例集输入第一存储特征挖掘网络中进行存储特征挖掘,第一存储特征挖掘网络可以为初始网络或预训练网络;存储卷正示例集具有多种用户存储卷信息集用户画像类型的用户存储卷信息集样例,每个用户存储卷信息集样例都注释对应的用户存储卷信息集用户画像类型。本公开实施例中,存储卷正示例集输入到第一存储特征挖掘网络中的初始存储特征挖掘单元,得到初始存储特征挖掘单元为每个存储卷正示例挖掘的基础特征载体(特征载体可以为承载特征信息的向量、矩阵或张量,具体根据实际需要选择),整合以获得基础特征载体集合,初始存储特征挖掘单元用于在用户存储卷信息集中挖掘用户存储卷信息表征向量,初始存储特征挖掘单元包括有滤波器、降采样算子、升维算子等算子。进一步地,将初始存储特征挖掘单元得到的基础特征载体集合加载到初始存储特征挖掘网络的标准化单元,基于标准化单元对基础特征载体集合中的各基础特征载体进行标准化操作,得到标准化单元输出的各标准化特征载体。标准化操作可以克服来源不一致的用户存储卷信息集样例在初始存储特征挖掘单元的存储特征挖掘后的差别,将基础特征载体集合中各基础特征载体调节到固定的数值区间。
步骤T30,基于第二存储特征挖掘网络对第二用户存储卷信息集进行存储特征挖掘,得到第二用户存储卷信息集对应的第二用户存储卷信息表征向量。
可选地,第二存储特征挖掘网络与第一存储特征挖掘网络的权值为共享的,帮助精简存储特征挖掘网络的硬件开销,同时有利于特征对比,且挺高网络的泛化性减少过拟合。
步骤T40,依据各个正示例特征和第二用户存储卷信息表征向量间的共性度量结果,对各个正示例特征和第二用户存储卷信息表征向量进行调整,得到调整后的各个正示例特征和调整后的第二用户存储卷信息表征向量。
步骤T50,依据调整后的各个正示例特征、调整后的第二用户存储卷信息表征向量以及用户画像标记信息确定误差结果。
本公开实施例中,确定误差结果的方式可以采用任意可行的误差函数,如交叉熵函数。
步骤T60,依据误差结果对用户画像分类模型进行迭代优化,得到调试完成的用户画像分类模型。
本公开实施例中,在误差结果不符合收敛要求(如误差小于预设误差、调试轮次达到预设次数、精度达到预设精度等)时,基于梯度下降算法对第一存储特征挖掘网络和第二存储特征挖掘网络的网络可学习变量(即权值、偏置、超参等参变量)进行调整,得到调整后的第一存储特征挖掘网络和第二存储特征挖掘网络;在误差结果符合收敛要求或对第一存储特征挖掘网络和第二存储特征挖掘网络的网络可学习变量进行调整的次数满足次数阈值时,将当次第一存储特征挖掘网络和第二存储特征挖掘网络确定为调试完成的第一存储特征挖掘网络和第二存储特征挖掘网络。可选地,可以依据误差结果对第一存储特征挖掘网络的网络可学习变量、第二存储特征挖掘网络的网络可学习变量进行迭代优化,得到调试完成的用户画像分类模型。
基于此,对第一存储特征挖掘网络和第二存储特征挖掘网络进行调试时,不仅依据各个正示例特征和第二用户存储卷信息表征向量间的共性度量结果对各个正示例特征和第二用户存储卷信息表征向量进行调整,巩固各正示例特征与第二用户存储卷信息表征向量间的牵涉情况,加强对存储卷正示例和第二用户存储卷信息集的表征,从而依据调整后的正示例特征和调整后的第二用户存储卷信息表征向量间的共性度量结果,对第二用户存储卷信息集进行用户画像解析,能够增加第二用户存储卷信息集的画像识别精确性;同时,因为对第一存储特征挖掘网络的网络可学习变量和第二存储特征挖掘网络的网络可学习变量进行调整所依据的误差结果,是依据调整后的正示例特征、调整后的第二用户存储卷信息表征向量以及第二用户存储卷信息集的用户画像标记信息确定的,能够增加调试完成的第一存储特征挖掘网络对正示例特征的表征效果和第二存储特征挖掘网络对用户存储卷信息表征向量的表征效果,增加调试完成的用户画像分类模型对用户存储卷信息集进行用户画像解析的精确性。
作为一种实施方式,步骤T50依据调整后的各个正示例特征、调整后的第二用户存储卷信息表征向量以及用户画像标记信息确定误差结果,具体包括:
步骤T51,依据调整后的各个正示例特征和调整后的第二用户存储卷信息表征向量间的共性度量结果,对第二用户存储卷信息集进行用户画像解析,得到第二用户存储卷信息集的用户画像。
可选地,获取和调整后的第二用户存储卷信息表征向量共性度量结果最大的调整后的正示例特征对应的用户画像标记信息,基于用户画像标记信息确定第二用户存储卷信息集的用户画像。
可选地,可以依据调整后的第二用户存储卷信息表征向量和调整后的正示例特征,基于分类器确定第二用户存储卷信息集的用户画像。
步骤T52,依据第二用户存储卷信息集的用户画像和用户画像标记信息,确定误差结果。
依据预估的第二用户存储卷信息集的用户画像,将预估的用户画像与第二用户存储卷信息集的用户画像标记信息进行对比,确定误差结果,可选地,将第二用户存储卷信息集作为存储特征挖掘网络的输入,通过仿射网络(FC)输出预估的第二用户存储卷信息集的用户画像,依据用户画像与第二用户存储卷信息集的用户画像标记信息建立交叉熵误差,进行用户画像解析调试。
可选地,可依据误差结果对第一存储特征挖掘网络的网络可学习变量、第二存储特征挖掘网络的网络可学习变量和分类网络(如softmax)的参变量进行迭代优化,得到调试完成的用户画像分类模型。
以上依据调整后的各个正示例特征和调整后的第二用户存储卷信息表征向量间的共性度量结果对第二用户存储卷信息集进行用户画像解析,得到第二用户存储卷信息集的用户画像;依据第二用户存储卷信息集的用户画像和第二用户存储卷信息集的用户画像标记信息,确定误差结果。基于此,在对用户画像分类模型进行调试时,依据误差结果对第一存储特征挖掘网络的网络可学习变量和第二存储特征挖掘网络的网络可学习变量进行调整,能够增加第一存储特征挖掘网络对正示例特征的表征效果以及第二存储特征挖掘网络对用户存储卷信息表征向量的表征效果,令预估的用户画像与第二用户存储卷信息集的用户画像标记信息逐渐相同,增加调试完成的用户画像分类模型进行用户存储卷信息集用户画像识别的精确性。
作为一种实施方式,步骤T50中依据调整后的各个正示例特征、调整后的第二用户存储卷信息表征向量以及用户画像标记信息确定误差结果,包括:
步骤T51’,确定对应的用户画像与用户画像标记信息一致的第一正示例特征、以及对应的用户画像与用户画像标记信息不一致的第二正示例特征。
例如,如果用户画像标记信息为IOPS型用户,确定对应的用户画像为IOPS型用户的正示例特征为第一正示例特征,确定对应的用户画像不为IOPS型用户的正示例特征为第二正示例特征。
步骤T52’,依据调整后的第一正示例特征与调整后的第二用户存储卷信息表征向量间的第一空间距离以及调整后的第二正示例特征与调整后的第二用户存储卷信息表征向量间的第二空间距离,确定误差结果;其中,误差结果与第一空间距离正相关、且与第二空间距离负相关。
可选地,第一正示例特征包括第一正示例向量,第二正示例特征包括第二正示例向量,第二用户存储卷信息表征向量包括搜索向量,依据调整后的第一正示例向量与调整后的搜索向量,确定第一空间距离;依据调整后的第二正示例向量与调整后的搜索向量确定第二空间距离。本公开实施例中,第一空间距离和第二空间距离例如为欧几里得距离。
可选地,获取调整后的各个正示例向量(第一正示例向量和第二正示例向量)和调整后的第二用户存储卷信息表征向量对应的搜索向量后,确定调整后的正示例向量和调整后的搜索向量间的误差结果;依据误差结果对第一存储特征挖掘网络的网络可学习变量和第二存储特征挖掘网络的网络可学习变量进行迭代优化,优化调整后的各正示例向量和调整后的搜索向量间的空间距离,针对对应的用户画像和第二用户存储卷信息集的用户画像指示信息一致的第一正示例向量,搜索向量和第一正示例向量间的空间距离更近,针对对应的用户画像和第二用户存储卷信息集的用户画像指示信息不一致的第二正示例向量,搜索向量和第二正示例向量间的空间距离更远。
以上确定对应的用户画像与用户画像标记信息一致的第一正示例特征和对应的用户画像与用户画像标记信息不一致的第二正示例特征;依据第一正示例特征与调整后的第二用户存储卷信息表征向量间的第一空间距离和第二正示例特征与调整后的第二用户存储卷信息表征向量间的第二空间距离确定误差结果,基于此,能够通过对应的用户画像的结果对各个正示例特征与第二用户存储卷信息表征向量间的空间距离进行调整,以令调试完成的存储特征挖掘网络的精度更高。
步骤S150,针对每一存储集群,基于存储集群对应的可用资源量和用户画像信息计算存储集群的优先级评分。
可以理解,优先级评分越高,越适于作为存储资源申请命令的目标存储集群,具体的,步骤S150可以包括:
步骤S151,获取存储集群的可用容量在过滤存储集群列表中所有的存储集群的可用容量权重占比。
具体地,可以通过以下公式计算得到:
其中,Ci为第i个存储集群的可用容量大小,为第i个存储集群的可用容量在过滤存储集群列表中所有的存储集群的可用容量权重占比。
步骤S152,获取存储集群的可用写带宽在过滤存储集群列表中所有的存储集群的可用写带宽权重占比。
具体地,可以通过以下公式计算得到:
其中,为第i个存储集群的可用写带宽,/>为第i个存储集群的可用写带宽在过滤存储集群列表中所有的存储集群的可用写带宽权重占比。
步骤S153,获取存储集群的可用写IOPS在过滤存储集群列表中所有的存储集群的可用写IOPS权重占比。
具体地,可以通过以下公式计算得到:
其中,为第i个存储集群的可用写IOPS,/>为第i个存储集群的可用写IOPS在过滤存储集群列表中所有的存储集群的可用写IOPS权重占比。
步骤S154,基于预设的启发式算法获取可用容量权重占比的可用容量固定权重系数、可用写带宽权重占比的可用写带宽固定权重系数以及可用写IOPS权重占比的可用写IOPS固定权重系数。
固定权重系数为事先设置的一个权重系数,具体数值根据实际需要进行设定。设可用容量固定权重系数为α,可用写带宽固定权重系数为β,可用写IOPS固定权重系数为γ。
步骤S155,结合用户画像信息对可用容量固定权重系数、可用写带宽固定权重系数以及可用写IOPS固定权重系数进行调整,得到调整后的可用容量动态权重系数、可用写带宽动态权重系数以及可用写IOPS动态权重系数。
具体地,本公开实施例采用了动态权重系数的方式,结合用户画像针对权重系数进行微调,用户画像会将不同用户分为多种类型,例如包含容量型用户、带宽型用户、IOPS型用户,例如,本公开实施例基于用户画像分类模型根据不同用户的存储卷的使用情况,识别用户特征,并匹配到不同的用户画像上。步骤S155在实施过程中,当用户画像信息为容量型用户时,基于预设策略(例如增加一个预设的数值,或者提高预设的百分比)增加可用容量固定权重系数,得到可用容量动态权重系数;当用户画像信息为带宽型用户时,基于预设策略增加可用写带宽固定权重系数,得到可用写带宽动态权重系数;当用户画像信息为IOPS型用户时,基于预设策略增加可用写IOPS固定权重系数,得到可用写IOPS动态权重系数;其中,容量型用户表征用户存储卷申请的资源容量大于第一预设容量,使用的性能资源容量小于第一性能资源容量,同时单GB的带宽低于预设带宽阈值;带宽型用户表征用户存储卷申请的资源容量低于第二预设容量,使用的性能资源高于第二性能资源容量,单GB的带宽高于预设带宽阈值,同时用户业务偏向于带宽型,请求的平均大小大于32KB;IOPS型用户表征用户存储卷申请的资源容量小于第二预设容量,使用的性能资源高,使用的性能资源高于第二性能资源容量,单GB的带宽高于预设带宽阈值,用户业务偏向于IOPS型,请求的平均大小小于32KB。
由上可知,本公开实施例预定义了以下几种用户画像:
1)容量型用户:表示用户存储卷申请的容量资源高(超过),但是使用的性能资源低,单GB的带宽低于特定阈值。此类画像调度时需要调高容量系数α。
2)带宽型用户:表示用户存储卷申请的容量资源低,但是性能资源高,单GB的带宽高于阈值。且用户业务偏向于带宽型,请求的平均大小大于32KB。此类画像调度时需要调高带宽系数β。
3)IOPS型用户:表示用户存储卷申请的容量资源低,但是性能资源高,单GB的带宽高于阈值。且用户业务偏向于IOPS型,请求的平均大小小于32KB。此类画像调度时需要调高IOPS系数γ。
4)短生命周期型用户:表示用户存储卷的生命周期很短,存储卷申请后短时间内会被删除。此类用户画像调度时需要尽可能的分布到多个存储集群中,避免大量创建/删除导致的资源不均衡问题。
通过以上动态权重调节方式,可以更合理的利用存储的多维度资源,提高资源的整体利用率。
步骤S156,基于可用容量动态权重系数对可用容量权重占比进行加权调节,得到可用容量权重占比调节结果。
步骤S157,基于可用写带宽动态权重系数对可用写带宽权重占比进行加权调节,得到可用写带宽权重占比调节结果。
步骤S158,基于可用写IOPS动态权重系数对可用写IOPS权重占比进行加权调节,得到可用写IOPS权重占比调节结果。
步骤S159,将可用容量权重占比调节结果、可用写带宽权重占比调节结果和可用写IOPS权重占比调节结果进行求和,得到存储集群的优先级评分。
其中,。
在一个实施方式中,获取过滤存储集群列表中的所有存储集群的资源使用信息,资源使用信息包括每一存储集群的可用资源量,包括:
步骤S160,将优先级评分最大的存储集群确定为目标客户端的最优存储集群,将目标客户端对应的存储卷分配到最优存储集群。
综上,本公开实施例提出了基于可用容量/带宽/IOPS多维度的存储资源调度算法,基于机器学习进行优化后,可以针对不同业务类型动态调整多维度的权重分配系数,保证在云上复杂场景下可以取得最优的调度效果,调度算法支持用户设置亲和/反亲和规则,提升用户的性能和可用性指标,同时采用了高效的时序预测算法,针对存储资源的未来使用走势进行了预测,可以更好的应对业务突发场景,提高调度准确率。
另外,在用户画像确定时,采用改进的机器学习算法,在模型训练时,通过依据各个正示例特征和第一用户存储卷信息表征向量间的共性度量结果对各个正示例特征和第一用户存储卷信息表征向量进行调整,可以巩固各正示例特征与第一用户存储卷信息表征向量间的牵涉情况,加强对存储卷正示例和第一用户存储卷信息集的表征,从而依据调整后的正示例特征和调整后的第一用户存储卷信息表征向量间的共性度量结果,对所述第一用户存储卷信息集进行用户画像解析,能够增加第一用户存储卷信息集的画像识别精确性,从而帮助准确调节动态权重系数。
基于同样的发明构思,本公开实施例还提供了一种用于实现上述所涉及的基于机器学习的存储资源调度方法的存储资源调度装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个存储资源调度装置实施例中的具体限定可以参见上文中对于基于机器学习的存储资源调度方法的限定,在此不再赘述。在一个实施例中,如图4所示,提供了一种存储资源调度装置300,包括:
命令获取解析模块310,用于获取目标客户端发送的存储资源申请命令,并对所述存储资源申请命令进行申请规则解析,得到亲和规则;
集群列表过滤模块320,用于获取存储集群列表,并基于所述亲和规则对所述存储集群列表进行过滤,得到过滤存储集群列表;
资源信息确定模块330,用于获取所述过滤存储集群列表中的所有存储集群的资源使用信息,所述资源使用信息包括每一存储集群的可用资源量;
用户画像识别模块340,用于获取所述目标客户端对应的用户画像信息;
存储集群打分模块350,用于针对每一所述存储集群,基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分;
存储卷分配模块360,用于将优先级评分最大的存储集群确定为所述目标客户端的最优存储集群,将所述目标客户端对应的存储卷分配到所述最优存储集群。
上述存储资源调度装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,本公开还提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于机器学习的存储资源调度方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本公开所涉及的对象信息(包括但不限于对象的设备信息、对应的个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经对象授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random AccessMemory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
Claims (8)
1.一种基于机器学习的存储资源调度方法,其特征在于,所述方法包括:
获取目标客户端发送的存储资源申请命令,并对所述存储资源申请命令进行申请规则解析,得到亲和规则;
获取存储集群列表,并基于所述亲和规则对所述存储集群列表进行过滤,得到过滤存储集群列表;
获取所述过滤存储集群列表中的所有存储集群的资源使用信息,所述资源使用信息包括每一存储集群的可用资源量;
获取所述目标客户端对应的用户画像信息;
针对每一所述存储集群,基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分;
将优先级评分最大的存储集群确定为所述目标客户端的最优存储集群,将所述目标客户端对应的存储卷分配到所述最优存储集群;
其中,所述可用资源量包括可用容量、可用写带宽和可用写IOPS,所述针对每一所述存储集群,基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分,包括:
获取所述存储集群的可用容量在所述过滤存储集群列表中所有的存储集群的可用容量权重占比;
获取所述存储集群的可用写带宽在所述过滤存储集群列表中所有的存储集群的可用写带宽权重占比;
获取所述存储集群的可用写IOPS在所述过滤存储集群列表中所有的存储集群的可用写IOPS权重占比;
基于预设的启发式算法获取所述可用容量权重占比的可用容量固定权重系数、所述可用写带宽权重占比的可用写带宽固定权重系数以及所述可用写IOPS权重占比的可用写IOPS固定权重系数;
结合所述用户画像信息对所述可用容量固定权重系数、所述可用写带宽固定权重系数以及所述可用写IOPS固定权重系数进行调整,得到调整后的可用容量动态权重系数、所述可用写带宽动态权重系数以及所述可用写IOPS动态权重系数;
基于所述可用容量动态权重系数对所述可用容量权重占比进行加权调节,得到可用容量权重占比调节结果;
基于所述可用写带宽动态权重系数对所述可用写带宽权重占比进行加权调节,得到可用写带宽权重占比调节结果;
基于所述可用写IOPS动态权重系数对所述可用写IOPS权重占比进行加权调节,得到可用写IOPS权重占比调节结果;
将所述可用容量权重占比调节结果、所述可用写带宽权重占比调节结果和所述可用写IOPS权重占比调节结果进行求和,得到所述存储集群的优先级评分;
其中,结合所述用户画像信息对所述可用容量固定权重系数、所述可用写带宽固定权重系数以及所述可用写IOPS固定权重系数进行调整,得到调整后的可用容量动态权重系数、所述可用写带宽动态权重系数以及所述可用写IOPS动态权重系数,包括:
当所述用户画像信息为容量型用户时,基于预设策略增加所述可用容量固定权重系数,得到所述可用容量动态权重系数;
当所述用户画像信息为带宽型用户时,基于预设策略增加所述可用写带宽固定权重系数,得到所述可用写带宽动态权重系数;
当所述用户画像信息为IOPS型用户时,基于预设策略增加所述可用写IOPS固定权重系数,得到所述可用写IOPS动态权重系数;
其中,所述容量型用户表征用户存储卷申请的资源容量大于第一预设容量,使用的性能资源容量小于第一性能资源容量,同时单GB的带宽低于预设带宽阈值;所述带宽型用户表征用户存储卷申请的资源容量低于第二预设容量,使用的性能资源高于第二性能资源容量,单GB的带宽高于所述预设带宽阈值,同时用户业务偏向于带宽型,请求的平均大小大于32KB;所述IOPS型用户表征用户存储卷申请的资源容量小于所述第二预设容量,使用的性能资源高,使用的性能资源高于第二性能资源容量,单GB的带宽高于所述预设带宽阈值,用户业务偏向于IOPS型,请求的平均大小小于32KB;
所述获取所述过滤存储集群列表中的所有存储集群的资源使用信息,所述资源使用信息包括每一存储集群的可用资源量,包括:
将所述过滤存储集群列表中的每一存储集群的已知时间序列的资源使用量、需预测的时间序列长度输入预设的时序数据预测算法,进行存储资源利用率预测,得到对应所述需预测的时间序列长度的未来资源使用量;
对所述已知时间序列的资源使用量和所述未来资源使用量进行加权求和,得到所述每一存储集群的可用资源量。
2.根据权利要求1所述的方法,其特征在于,获取所述目标客户端对应的用户画像信息,包括:
获取拟进行用户画像分析的第一用户存储卷信息集;
对事先部署的存储卷正示例集和所述第一用户存储卷信息集分别进行存储特征挖掘,得到正示例特征集合和第一用户存储卷信息表征向量;其中,所述存储卷正示例集包括多个用户画像分别对应的不少于一个存储卷正示例,所述正示例特征集合中包括各个所述用户画像分别对应的正示例特征;
依据各个所述正示例特征和所述第一用户存储卷信息表征向量间的共性度量结果,对各个所述正示例特征和所述第一用户存储卷信息表征向量进行调整,得到调整后的各个所述正示例特征和调整后的所述第一用户存储卷信息表征向量;
依据调整后的各个所述正示例特征和调整后的所述第一用户存储卷信息表征向量间的共性度量结果,对所述第一用户存储卷信息集进行用户画像解析,得到所述第一用户存储卷信息集的用户画像。
3.根据权利要求2所述的方法,其特征在于,所述对事先部署的存储卷正示例集和所述第一用户存储卷信息集分别进行存储特征挖掘,得到正示例特征集合和第一用户存储卷信息表征向量,包括:
对于各个所述用户画像,基于第一存储特征挖掘网络对所述存储卷正示例集中对应于所述用户画像的不少于一个存储卷正示例进行存储特征挖掘,得到所述用户画像对应的正示例特征;
基于第二存储特征挖掘网络对所述第一用户存储卷信息集进行存储特征挖掘,得到所述第一用户存储卷信息表征向量;
所述依据各个所述正示例特征和所述第一用户存储卷信息表征向量间的共性度量结果,对各个所述正示例特征和所述第一用户存储卷信息表征向量进行调整,得到调整后的各个所述正示例特征和调整后的所述第一用户存储卷信息表征向量,包括:
依据不少于一个所述正示例特征和所述第一用户存储卷信息表征向量间的共性度量结果,对所述第一用户存储卷信息表征向量进行调整,得到调整后的所述第一用户存储卷信息表征向量;
对于各个所述正示例特征,依据所述正示例特征和调整前的所述第一用户存储卷信息表征向量间的共性度量结果,对所述正示例特征进行调整,得到调整后的所述正示例特征。
4.根据权利要求3所述的方法,其特征在于,所述依据不少于一个所述正示例特征和所述第一用户存储卷信息表征向量间的共性度量结果,对所述第一用户存储卷信息表征向量进行调整,得到调整后的所述第一用户存储卷信息表征向量,包括:
依据各个所述正示例特征和所述第一用户存储卷信息表征向量间的共性度量结果,从所述正示例特征集合中确定不少于一个第一目标正示例特征;
依据各个所述第一目标正示例特征与所述第一用户存储卷信息表征向量间的共性度量结果,对各个所述第一目标正示例特征进行特征融合,得到第一调整特征;
依据所述第一调整特征对所述第一用户存储卷信息表征向量进行调整,得到调整后的所述第一用户存储卷信息表征向量;
所述第一用户存储卷信息集的个数为多个;所述依据所述正示例特征和调整前的所述第一用户存储卷信息表征向量间的共性度量结果,对所述正示例特征进行调整,得到调整后的所述正示例特征,包括:
依据各个所述第一用户存储卷信息集对应的第一用户存储卷信息表征向量与所述正示例特征间的共性度量结果,确定不少于一个目标用户存储卷信息表征向量;
依据各个所述目标用户存储卷信息表征向量与所述正示例特征间的共性度量结果,对各个所述目标用户存储卷信息表征向量进行特征融合,得到第二调整特征;
依据所述第二调整特征对所述正示例特征进行调整,得到调整后的所述正示例特征;
所述依据调整后的各个所述正示例特征和调整后的所述第一用户存储卷信息表征向量间的共性度量结果,对所述第一用户存储卷信息集进行用户画像解析,得到所述第一用户存储卷信息集的用户画像,包括:
从调整后的各个所述正示例特征中,确定与调整后的所述第一用户存储卷信息表征向量共性度量结果最大的第二目标正示例特征;
将所述第二目标正示例特征对应的用户画像,确定为所述第一用户存储卷信息集的用户画像。
5.根据权利要求4所述的方法,其特征在于,所述第一存储特征挖掘网络和第二存储特征挖掘网络同属于用户画像分类模型,所述方法还包括所述用户画像分类模型的调试过程,包括:
获取包含用户画像标记信息的第二用户存储卷信息集;
基于所述第一存储特征挖掘网络对事先部署的存储卷正示例集进行存储特征挖掘,得到正示例特征集合;其中,所述存储卷正示例集包括多个用户画像分别对应的不少于一个存储卷正示例,所述正示例特征集合中包括各个所述用户画像分别对应的正示例特征;
基于所述第二存储特征挖掘网络对所述第二用户存储卷信息集进行存储特征挖掘,得到所述第二用户存储卷信息集对应的第二用户存储卷信息表征向量;
依据各个所述正示例特征和所述第二用户存储卷信息表征向量间的共性度量结果,对各个所述正示例特征和所述第二用户存储卷信息表征向量进行调整,得到调整后的各个所述正示例特征和调整后的所述第二用户存储卷信息表征向量;
依据调整后的各个所述正示例特征、调整后的所述第二用户存储卷信息表征向量、以及所述用户画像标记信息,确定误差结果;
依据所述误差结果,对所述用户画像分类模型进行迭代优化,得到调试完成的所述用户画像分类模型。
6.根据权利要求5所述的方法,其特征在于,所述依据调整后的各个所述正示例特征、调整后的所述第二用户存储卷信息表征向量、以及所述用户画像标记信息,确定误差结果,包括:
依据调整后的各个所述正示例特征和调整后的所述第二用户存储卷信息表征向量间的共性度量结果,对所述第二用户存储卷信息集进行用户画像解析,得到所述第二用户存储卷信息集的用户画像;
依据所述第二用户存储卷信息集的用户画像和所述用户画像标记信息,确定误差结果;
所述依据调整后的各个所述正示例特征、调整后的所述第二用户存储卷信息表征向量、以及所述用户画像标记信息,确定误差结果,包括:
确定对应的用户画像与所述用户画像标记信息一致的第一正示例特征、以及对应的用户画像与所述用户画像标记信息不一致的第二正示例特征;
依据调整后的所述第一正示例特征与调整后的所述第二用户存储卷信息表征向量间的第一空间距离、以及调整后的所述第二正示例特征与调整后的所述第二用户存储卷信息表征向量间的第二空间距离,确定误差结果;其中,所述误差结果与所述第一空间距离正相关、与所述第二空间距离负相关。
7.一种存储资源调度装置,其特征在于,所述装置包括:
命令获取解析模块,用于获取目标客户端发送的存储资源申请命令,并对所述存储资源申请命令进行申请规则解析,得到亲和规则;
集群列表过滤模块,用于获取存储集群列表,并基于所述亲和规则对所述存储集群列表进行过滤,得到过滤存储集群列表;
资源信息确定模块,用于获取所述过滤存储集群列表中的所有存储集群的资源使用信息,所述资源使用信息包括每一存储集群的可用资源量;
用户画像识别模块,用于获取所述目标客户端对应的用户画像信息;
存储集群打分模块,用于针对每一所述存储集群,基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分;
其中,所述可用资源量包括可用容量、可用写带宽和可用写IOPS,所述针对每一所述存储集群,基于所述存储集群对应的可用资源量和用户画像信息计算所述存储集群的优先级评分,包括:
获取所述存储集群的可用容量在所述过滤存储集群列表中所有的存储集群的可用容量权重占比;
获取所述存储集群的可用写带宽在所述过滤存储集群列表中所有的存储集群的可用写带宽权重占比;
获取所述存储集群的可用写IOPS在所述过滤存储集群列表中所有的存储集群的可用写IOPS权重占比;
基于预设的启发式算法获取所述可用容量权重占比的可用容量固定权重系数、所述可用写带宽权重占比的可用写带宽固定权重系数以及所述可用写IOPS权重占比的可用写IOPS固定权重系数;
结合所述用户画像信息对所述可用容量固定权重系数、所述可用写带宽固定权重系数以及所述可用写IOPS固定权重系数进行调整,得到调整后的可用容量动态权重系数、所述可用写带宽动态权重系数以及所述可用写IOPS动态权重系数;
基于所述可用容量动态权重系数对所述可用容量权重占比进行加权调节,得到可用容量权重占比调节结果;
基于所述可用写带宽动态权重系数对所述可用写带宽权重占比进行加权调节,得到可用写带宽权重占比调节结果;
基于所述可用写IOPS动态权重系数对所述可用写IOPS权重占比进行加权调节,得到可用写IOPS权重占比调节结果;
将所述可用容量权重占比调节结果、所述可用写带宽权重占比调节结果和所述可用写IOPS权重占比调节结果进行求和,得到所述存储集群的优先级评分;
其中,结合所述用户画像信息对所述可用容量固定权重系数、所述可用写带宽固定权重系数以及所述可用写IOPS固定权重系数进行调整,得到调整后的可用容量动态权重系数、所述可用写带宽动态权重系数以及所述可用写IOPS动态权重系数,包括:
当所述用户画像信息为容量型用户时,基于预设策略增加所述可用容量固定权重系数,得到所述可用容量动态权重系数;
当所述用户画像信息为带宽型用户时,基于预设策略增加所述可用写带宽固定权重系数,得到所述可用写带宽动态权重系数;
当所述用户画像信息为IOPS型用户时,基于预设策略增加所述可用写IOPS固定权重系数,得到所述可用写IOPS动态权重系数;
其中,所述容量型用户表征用户存储卷申请的资源容量大于第一预设容量,使用的性能资源容量小于第一性能资源容量,同时单GB的带宽低于预设带宽阈值;所述带宽型用户表征用户存储卷申请的资源容量低于第二预设容量,使用的性能资源高于第二性能资源容量,单GB的带宽高于所述预设带宽阈值,同时用户业务偏向于带宽型,请求的平均大小大于32KB;所述IOPS型用户表征用户存储卷申请的资源容量小于所述第二预设容量,使用的性能资源高,使用的性能资源高于第二性能资源容量,单GB的带宽高于所述预设带宽阈值,用户业务偏向于IOPS型,请求的平均大小小于32KB;
所述获取所述过滤存储集群列表中的所有存储集群的资源使用信息,所述资源使用信息包括每一存储集群的可用资源量,包括:
将所述过滤存储集群列表中的每一存储集群的已知时间序列的资源使用量、需预测的时间序列长度输入预设的时序数据预测算法,进行存储资源利用率预测,得到对应所述需预测的时间序列长度的未来资源使用量;
对所述已知时间序列的资源使用量和所述未来资源使用量进行加权求和,得到所述每一存储集群的可用资源量;
存储卷分配模块,用于将优先级评分最大的存储集群确定为所述目标客户端的最优存储集群,将所述目标客户端对应的存储卷分配到所述最优存储集群。
8.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1~6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311329541.4A CN117076093B (zh) | 2023-10-16 | 2023-10-16 | 一种基于机器学习的存储资源调度方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311329541.4A CN117076093B (zh) | 2023-10-16 | 2023-10-16 | 一种基于机器学习的存储资源调度方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117076093A CN117076093A (zh) | 2023-11-17 |
CN117076093B true CN117076093B (zh) | 2024-01-05 |
Family
ID=88719831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311329541.4A Active CN117076093B (zh) | 2023-10-16 | 2023-10-16 | 一种基于机器学习的存储资源调度方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117076093B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105516242A (zh) * | 2015-11-23 | 2016-04-20 | 华为技术有限公司 | 一种存储资源分配方法及存储资源分配系统 |
AU2021102569A4 (en) * | 2021-05-14 | 2021-07-01 | Meenakshi Bist | Intelligent Cloud Bursting Scheduling using Machine Learning. |
CN114816241A (zh) * | 2022-03-30 | 2022-07-29 | 北京奇艺世纪科技有限公司 | 分布式存储集群的磁盘分配方法、装置及分布式存储集群 |
CN115423353A (zh) * | 2022-09-26 | 2022-12-02 | 国网浙江余姚市供电有限公司 | 配电网资源的消纳调度方法、装置、电子设备及存储介质 |
CN115543761A (zh) * | 2022-11-28 | 2022-12-30 | 苏州浪潮智能科技有限公司 | 一种支持iops突发的方法、装置、电子设备及可读存储介质 |
CN115756726A (zh) * | 2022-10-14 | 2023-03-07 | 南京烽火星空通信发展有限公司 | 一种应用于云平台的容器本地存储智能调度与分配方法 |
-
2023
- 2023-10-16 CN CN202311329541.4A patent/CN117076093B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105516242A (zh) * | 2015-11-23 | 2016-04-20 | 华为技术有限公司 | 一种存储资源分配方法及存储资源分配系统 |
AU2021102569A4 (en) * | 2021-05-14 | 2021-07-01 | Meenakshi Bist | Intelligent Cloud Bursting Scheduling using Machine Learning. |
CN114816241A (zh) * | 2022-03-30 | 2022-07-29 | 北京奇艺世纪科技有限公司 | 分布式存储集群的磁盘分配方法、装置及分布式存储集群 |
CN115423353A (zh) * | 2022-09-26 | 2022-12-02 | 国网浙江余姚市供电有限公司 | 配电网资源的消纳调度方法、装置、电子设备及存储介质 |
CN115756726A (zh) * | 2022-10-14 | 2023-03-07 | 南京烽火星空通信发展有限公司 | 一种应用于云平台的容器本地存储智能调度与分配方法 |
CN115543761A (zh) * | 2022-11-28 | 2022-12-30 | 苏州浪潮智能科技有限公司 | 一种支持iops突发的方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117076093A (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10620839B2 (en) | Storage pool capacity management | |
CN107622326B (zh) | 用户分类、可用资源预测方法、装置及设备 | |
CN108932257A (zh) | 多维度数据的查询方法及装置 | |
US11481659B1 (en) | Hyperparameter optimization using fairness constraints | |
CN111310784B (zh) | 资源数据的处理方法及装置 | |
CN106202092A (zh) | 数据处理的方法及系统 | |
CN111176578B (zh) | 一种对象聚合方法、装置、设备及可读存储介质 | |
CN114610475A (zh) | 一种智能资源编排模型的训练方法 | |
CN117271100B (zh) | 算法芯片集群调度方法、装置、计算机设备和存储介质 | |
CN117076093B (zh) | 一种基于机器学习的存储资源调度方法、装置及存储介质 | |
CN116894721A (zh) | 一种指标预测方法、装置、计算机设备 | |
CN117435130A (zh) | 金融数据存储方法、装置、计算机设备和存储介质 | |
CN116737373A (zh) | 负载均衡方法、装置、计算机设备、存储介质 | |
US9298505B2 (en) | Time and space-deterministic task scheduling apparatus and method using multi-dimensional scheme | |
CN115994029A (zh) | 容器资源调度方法及装置 | |
CN115499513A (zh) | 数据请求的处理方法、装置、计算机设备和存储介质 | |
CN114138444A (zh) | 一种任务调度方法、装置、设备、存储介质及程序产品 | |
CN108280224A (zh) | 万级维度数据生成方法、装置、设备以及存储介质 | |
CN113126908A (zh) | 被配置为支持多流的存储装置及其操作方法 | |
CN116107761B (zh) | 性能调优方法、系统、电子设备及可读存储介质 | |
CN111737190A (zh) | 嵌入式系统的动态软硬件协同方法、嵌入式系统 | |
CN116629386B (zh) | 模型训练方法及装置 | |
US20230418467A1 (en) | System and method for reduction of data transmission in dynamic systems using inference model | |
US11604698B2 (en) | Method and process for automatic determination of file/object value using meta-information | |
CN116739659A (zh) | 卡片激励信息处理方法、装置、设备、介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |