CN111090401B - 存储设备性能预测方法及装置 - Google Patents

存储设备性能预测方法及装置 Download PDF

Info

Publication number
CN111090401B
CN111090401B CN202010205116.4A CN202010205116A CN111090401B CN 111090401 B CN111090401 B CN 111090401B CN 202010205116 A CN202010205116 A CN 202010205116A CN 111090401 B CN111090401 B CN 111090401B
Authority
CN
China
Prior art keywords
scheduling
storage
storage access
performance prediction
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010205116.4A
Other languages
English (en)
Other versions
CN111090401A (zh
Inventor
杨贻宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Feiqi Network Technology Co ltd
Original Assignee
Shanghai Feiqi Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feiqi Network Technology Co ltd filed Critical Shanghai Feiqi Network Technology Co ltd
Priority to CN202010205116.4A priority Critical patent/CN111090401B/zh
Publication of CN111090401A publication Critical patent/CN111090401A/zh
Application granted granted Critical
Publication of CN111090401B publication Critical patent/CN111090401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本申请实施例提供一种存储设备性能预测方法及装置,通过在模型训练过程中结合当前访问的存储数据块的特征信息,并且进一步考虑到全部的工作负载特征以学习每次存储访问请求的相似访问模式。此外,在每次存储访问请求的模拟服务时间中通过剔除其中的请求等待时间进行模型训练,可以避免由于一些突发的存储访问请求的累积导致对后续的存储访问请求产生长期影响而导致在模型训练过程中错误地学习这些特征的情况,进而提高性能预测精度和存储设备资源的动态规划的准确性。

Description

存储设备性能预测方法及装置
技术领域
本申请涉及大数据存储技术领域,具体而言,涉及一种存储设备性能预测方法及装置。
背景技术
存储设备的性能预测精度关系到后续存储设备资源的动态规划准确性,当前针对每个存储访问请求的响应时间与其预测值的相对误差较大,经本申请发明人研究发现,传统的性能预测方案中通常没有考虑到当前访问的存储数据块的时间局域性,并且往往可能由于一些突发的存储访问请求的累积导致对后续的存储访问请求产生长期影响,导致在模型训练过程中错误地学习了这些特征,从而严重降低了性能预测精度。
发明内容
有鉴于此,本申请的目的在于提供一种存储设备性能预测方法及装置,通过在模型训练过程中结合当前访问的存储数据块的特征信息,并且进一步考虑到全部的工作负载特征以学习每次存储访问请求的相似访问模式,此外在每次存储访问请求的模拟服务时间中通过剔除其中请求等待时间进行模型训练,可以避免由于一些突发的存储访问请求的累积导致对后续的存储访问请求产生长期影响而导致在模型训练过程中错误地学习这些特征的情况,进而提高性能预测精度和存储设备资源的动态规划的准确性。
根据本申请的第一方面,提供一种存储设备性能预测方法,应用于服务器,所述服务器与待测存储设备通信连接,所述方法包括:
提取不同存储访问请求所对应的训练样本,所述训练样本包括基于所述存储访问请求提取出的训练特征向量以及每个训练特征向量所对应的模拟服务时间,其中,所述训练特征向量包括该存储访问请求的访问特征信息,所述访问特征信息包括在预设时间段内访问的存储数据块的特征信息以及该存储访问请求对应的工作负载特征,所述模拟服务时间为模拟响应时间中已剔除请求等待时间后的剩余时间;
根据所述不同存储访问请求所对应的训练样本训练分类回归树模型,得到存储设备性能预测模型;
当向每个待测存储设备发送存储访问请求时,根据所述存储设备性能预测模型对每个存储访问请求的请求服务时间进行预测,根据预测获得的每个存储访问请求的请求服务时间对每个待测存储设备的存储资源进行调度。
在第一方面的一种可能实施方式中,所述提取不同存储访问请求所对应的训练样本的步骤,包括:
从所述存储访问请求中获得存储访问信息,并提取所述存储访问信息中不同存储访问类别所对应的存储特征信息;
从所述存储特征信息中查找在预设时间段内访问的存储数据块的特征信息以及该存储访问请求对应的工作负载特征,所述存储数据块的特征信息通过LRU栈结构进行缓存;
根据所述不同存储访问类别所对应的存储特征信息进行模拟请求响应,得到模拟响应时间,并将模拟响应时间中剔除请求等待时间后得到所述训练特征向量的模拟服务时间。
在第一方面的一种可能实施方式中,所述根据所述不同存储访问类别所对应的存储特征信息进行模拟请求响应,得到模拟响应时间的步骤,包括:
将所述不同存储访问类别所对应的存储特征信息输入到对应的存储访问类别的模拟存储模型中,获取所述存储特征信息对应的模拟响应特征信息;
确定所述模拟响应特征信息中每个模拟响应节点以及与所述模拟响应节点相关联的模拟响应节点组成的第一模拟响应通道,并确定所述第一模拟响应通道中所有模拟响应节点值的平均值;
确定第二模拟响应通道中所有模拟响应节点值的平均值,和第三模拟响应通道中所有模拟响应节点值的平均值;其中,所述第二模拟响应通道与所述第一模拟响应通道相关联且位于所述第一模拟响应通道的同一业务位置,所述第三模拟响应通道与所述第一模拟响应通道相关联且位于所述第一模拟响应通道的不同业务位置,所述第一模拟响应通道与所述第二模拟响应通道以及所述第三模拟响应通道包含相同个数的模拟响应节点;
计算所述第二模拟响应通道中所有模拟响应节点值平均值与所述第一模拟响应通道中所有模拟响应节点值的平均值的差值,以及计算所述第三模拟响应通道中所有模拟响应节点值平均值与所述第一模拟响应通道中所有模拟响应节点值的平均值的差值,并将计算得到的最大的差值作为所述模拟响应节点的梯度值;
根据所述模拟响应特征信息中每个模拟响应节点的梯度值,确定多个聚类模拟响应通道,并根据所述多个聚类模拟响应通道的模拟响应节点平均值,得到所述模拟响应时间。
在第一方面的一种可能实施方式中,所述根据所述不同存储访问请求所对应的训练样本训练分类回归树模型,得到存储设备性能预测模型的步骤,包括:
将所述训练样本输入所述分类回归树模型中,通过所述分类回归树模型预测每个存储访问请求在存储访问过程中的性能预测变化信息,并根据所述每个存储访问请求的性能预测变化信息确定预设预测类别区间对应的类别性能预测范围后,获取该类别性能预测范围内的所有性能预测标签,得到各存储访问请求的性能预测标签匹配序列;
根据各存储访问请求的性能预测标签匹配序列获取各存储访问请求关联的标签分类信息,从所述每个存储访问请求的标签分类信息中提取出标签分类特征信息,根据提取出来的所述标签分类特征信息在每个存储访问请求标签分类信息中的匹配分类,得到每个标签分类特征信息所对应的决策树模型,其中,所述标签分类特征信息包括请求服务时间;
记录从每个存储访问请求所反馈的标签分类信息提取出来的标签分类特征信息以及标签分类特征信息的决策树模型,构建各存储访问请求的决策结果;
按照所述决策结果中支撑度级别从高到低的顺序,依次将标签分类特征信息与设定范围内的性能预测标签匹配序列中的各个性能预测标签进行匹配,直到决策结果中的任一标签分类特征信息与每个存储访问请求的性能预测标签匹配序列中的性能预测标签匹配时,记录匹配结果;
根据所述匹配结果训练得到所述存储设备性能预测模型。
在第一方面的一种可能实施方式中,所述根据所述匹配结果训练得到所述存储设备性能预测模型的步骤,包括:
根据所述匹配结果中匹配到的标签分类特征信息与理论标签分类特征信息的差异,计算出该标签分类特征信息的修正损失参数,并根据所述修正损失参数确定每个标签分类特征信息的修正策略;
从确定的每个标签分类特征信息的修正策略中提取多个可选定的第一特征向量和每个所述第一特征向量的可选定修正节点;
从所述多个可选定的第一特征向量中筛选出多个与预设的第二特征向量相同的多个特征向量作为多个第三特征向量,所述第二特征向量为所述分类回归树模型中的多个决策树节点输出的标记特征向量,所述决策树节点包括:多个标记特征节点、多个修正节点和多个更新节点,所述修正节点为所述标记特征节点对应的修正节点,所述更新节点为所述标记特征节点对应的更新节点;
将所述多个第三特征向量的可选定修正节点和所述多个修正节点输入到每个存储访问请求与所述标签分类特征信息的关联模型中进行计算,获得修正结果,并将所述修正策略的多个可选定的第一特征向量的向量值乘以所述修正结果,获得每个标签分类特征信息的模型更新参数;
根据每个标签分类特征信息的模型更新参数更新所述分类回归树模型,训练得到所述存储设备性能预测模型。
在第一方面的一种可能实施方式中,所述根据预测获得的每个存储访问请求的请求服务时间对每个待测存储设备的存储资源进行调度的步骤,包括:
根据所述预测获得的每个存储访问请求的请求服务时间确定针对每个当前待测存储设备的存储资源的调度分组序列;
按照所述调度分组序列中每个调度分组的调度类型和调度对象分别对所述存储资源进行调度。
在第一方面的一种可能实施方式中,所述按照所述调度分组序列中每个调度分组的调度类型和调度对象分别对所述存储资源进行调度的步骤,包括:
根据每个调度分组的调度对象对多个调度分组进行聚类,得到多个分组聚类,其中,每个分组聚类与一种调度类型相对应;
针对每一分组聚类,生成当前分组聚类下的各个调度分组对应的调度进程,并针对每一分组聚类,将在不同调度进程中具有相同调度行为和调度源的调度分组归为一类,当该类调度分组中的调度资源数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个调度进程在所属调度进程中的目标调度进程进行合并,获得第一目标调度进程;
或者,将在所属调度进程中只出现一次,且在不同调度进程中具有相同调度类型和目标调度进程的进程归为一类,当该类调度分组中的调度资源数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个进程在所属调度进程中的目标调度进程进行合并,获得第一目标调度进程;
或者,将在所述调度进程中只出现一次,且在不同调度进程中具有相同调度类型和目标调度进程的调度分组归为一类,当该类调度分组中的调度分组数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个调度分组在所述调度进程中的目标调度进程进行合并,获得第一目标调度进程;
根据所述第一目标调度进程确定当前分组聚类中的主调度进程,并将所述当前分组聚类中的其它调度分组确定为从调度进程;
根据所述当前分组聚类中的主调度进程和从调度进程的调度顺序分别对所述存储资源进行调度。
根据本申请的第二方面,提供一种存储设备性能预测装置,应用于服务器,所述服务器与待测存储设备通信连接,所述装置包括:
提取模块,用于提取不同存储访问请求所对应的训练样本,所述训练样本包括基于所述存储访问请求提取出的训练特征向量以及每个训练特征向量所对应的模拟服务时间,其中,所述训练特征向量包括该存储访问请求的访问特征信息,所述访问特征信息包括在预设时间段内访问的存储数据块的特征信息以及该存储访问请求对应的工作负载特征,所述模拟服务时间为模拟响应时间中已剔除请求等待时间后的剩余时间;
训练模块,用于根据所述不同存储访问请求所对应的训练样本训练分类回归树模型,得到存储设备性能预测模型;
预测模块,用于当向每个待测存储设备发送存储访问请求时,根据所述存储设备性能预测模型对每个存储访问请求的请求服务时间进行预测,根据预测获得的每个存储访问请求的请求服务时间对每个待测存储设备的存储资源进行调度。
根据本申请的第三方面,提供一种服务器,所述服务器包括机器可读存储介质及处理器,所述机器可读存储介质存储有机器可执行指令,所述处理器在执行所述机器可执行指令时,该服务器实现前述的存储设备性能预测方法。
根据本申请的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,当所述计算机可执行指令被执行时,实现前述的存储设备性能预测方法。
基于上述任一方面,本申请通过在模型训练过程中结合当前访问的存储数据块的特征信息,并且进一步考虑到全部的工作负载特征以学习每次存储访问请求的相似访问模式。此外,在每次存储访问请求的模拟服务时间中通过剔除其中的请求等待时间进行模型训练,可以避免由于一些突发的存储访问请求的累积导致对后续的存储访问请求产生长期影响而导致在模型训练过程中错误地学习这些特征的情况,进而提高性能预测精度和存储设备资源的动态规划的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的存储系统的应用场景示意图;
图2示出了本申请实施例所提供的存储设备性能预测方法的流程示意图;
图3示出了图2中所示的步骤S110的子步骤流程示意图;
图4示出了图2中所示的步骤S120的子步骤流程示意图;
图5示出了图2中所示的步骤S130的子步骤流程示意图;
图6示出了本申请实施例所提供的存储设备性能预测装置的功能模块示意图;
图7示出了本申请实施例所提供的用于实现上述的存储设备性能预测方法的服务器的组件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其它操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例,都属于本申请保护的范围。
图1示出了本申请实施例所提供的文件分块存储系统10的应用场景示意图。本实施例中,文件分块存储系统10可以包括服务器100以及与服务器100通信连接的待测存储设备200。在其它可行的实施例中,该存储系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
在一些实施例中,服务器100可以是单个服务器,也可以是一个服务器组。服务器组可以是集中式的,也可以是分布式的(例如,服务器100可以是分布式系统)。在一些实施例中,服务器100相对于待测存储设备200,可以是本地的、也可以是远程的。例如,服务器100可以经由网络访问存储在待测存储设备200以及数据库、或其任意组合中的信息。作为另一示例,服务器100可以直接连接到待测存储设备200和数据库中的至少一个,以访问其中存储的信息和/或数据。在一些实施例中,服务器100可以在云平台上实现;仅作为示例,云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等,或者它们的任意组合。
在一些实施例中,服务器100可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据,以执行本申请中描述的一个或多个功能。处理器可以包括一个或多个处理核(例如,单核处理器或多核处理器)。
前述的数据库可以存储数据和/或指令。在一些实施例中,数据库可以存储向待测存储设备200分配的数据。在一些实施例中,数据库可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中,数据库可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器等,或其任意组合。
在一些实施例中,数据库可以连接到网络以与存储系统10(例如,服务器100,待测存储设备200等)中的一个或多个组件通信。存储系统10中的一个或多个组件可以经由网络访问存储在数据库中的数据或指令。在一些实施例中,数据库可以直接连接到存储系统10中的一个或多个组件(例如,服务器100,待测存储设备200等);或者,在一些实施例中,数据库也可以是服务器100的一部分。
图2示出了本申请实施例提供的存储设备性能预测方法的流程示意图,本实施例中,该存储设备性能预测方法可以由图1中所示的服务器执行。应当理解,在其它实施例中,本实施例的存储设备性能预测方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。该存储设备性能预测方法的详细步骤介绍如下。
步骤S110,提取不同存储访问请求所对应的训练样本,训练样本包括基于存储访问请求提取出的训练特征向量以及每个训练特征向量所对应的模拟服务时间。
步骤S120,根据不同存储访问请求所对应的训练样本训练分类回归树模型,得到存储设备性能预测模型。
步骤S130,当向每个待测存储设备200发送存储访问请求时,根据存储设备性能预测模型对每个存储访问请求的请求服务时间进行预测,根据预测获得的每个存储访问请求的请求服务时间对每个待测存储设备200的存储资源进行调度。
本实施例中,训练特征向量可以包括该存储访问请求的访问特征信息。例如,访问特征信息可以包括在预设时间段内(比如最近一周内)访问的存储数据块的特征信息以及该存储访问请求对应的工作负载特征,如此,通过在模型训练过程中结合当前访问的存储数据块的特征信息,并且进一步考虑到全部的工作负载特征以学习每次存储访问请求的相似访问模式。
并且,考虑到训练特征向量中的属性应该能够直接影响系统响应但是不能被系统响应所影响。经本申请发明人研究发现,由于突发的请求不会很快增加请求响应时间但是累积的请求可能对后来的请求产生长期影响,并且请求速率在闭环系统中受响应时间影响,因此突发请求和请求速率都不应该包含在特征向量中。相应地,上述模拟服务时间为模拟响应时间中已剔除请求等待时间后的剩余时间。
基于上述步骤,本实施例通过在模型训练过程中结合当前访问的存储数据块的特征信息,并且进一步考虑到全部的工作负载特征以学习每次存储访问请求的相似访问模式。此外,在每次存储访问请求的模拟服务时间中通过剔除其中的请求等待时间进行模型训练,可以避免由于一些突发的存储访问请求的累积导致对后续的存储访问请求产生长期影响而导致在模型训练过程中错误地学习这些特征的情况,进而提高性能预测精度和存储设备资源的动态规划的准确性。
在一种可能的实施方式中,针对步骤S110,请进一步参阅图3,该步骤S110可以通过以下子步骤实现:
子步骤S111,从存储访问请求中获得存储访问信息,并提取存储访问信息中不同存储访问类别所对应的存储特征信息。
子步骤S112,从存储特征信息中查找在预设时间段内访问的存储数据块的特征信息以及该存储访问请求对应的工作负载特征。
本实施例中,存储数据块的特征信息可以是通过LRU(Least Recently Used,最近最少使用)栈结构进行缓存。
子步骤S113,根据不同存储访问类别所对应的存储特征信息进行模拟请求响应,得到模拟响应时间,并将模拟响应时间中剔除请求等待时间后得到训练特征向量的模拟服务时间。
例如,为了准确确定训练特征向量的模拟服务时间,本实施例可以将不同存储访问类别所对应的存储特征信息输入到对应的存储访问类别的模拟存储模型中,获取存储特征信息对应的模拟响应特征信息,然后确定模拟响应特征信息中每个模拟响应节点以及与模拟响应节点相关联的模拟响应节点组成的第一模拟响应通道,并确定第一模拟响应通道中所有模拟响应节点值的平均值。
同时,进一步确定第二模拟响应通道中所有模拟响应节点值的平均值,和第三模拟响应通道中所有模拟响应节点值的平均值。其中,第二模拟响应通道与第一模拟响应通道相关联且位于第一模拟响应通道的同一业务位置,第三模拟响应通道与第一模拟响应通道相关联且位于第一模拟响应通道的不同业务位置,第一模拟响应通道与第二模拟响应通道以及第三模拟响应通道包含相同个数的模拟响应节点。
然后,可以计算第二模拟响应通道中所有模拟响应节点值平均值与第一模拟响应通道中所有模拟响应节点值的平均值的差值,以及计算第三模拟响应通道中所有模拟响应节点值平均值与第一模拟响应通道中所有模拟响应节点值的平均值的差值,并将计算得到的最大的差值作为模拟响应节点的梯度值。由此,可以根据模拟响应特征信息中每个模拟响应节点的梯度值,确定多个聚类模拟响应通道,并根据多个聚类模拟响应通道的模拟响应节点平均值,得到模拟响应时间。
在一种可能的实施方式中,针对步骤S120,在训练得到存储设备性能预测模型的过程中,可以采用分类回归树模型进行模型训练,以提高存储设备性能预测模型的决策精度。请结合参阅图4,步骤S120可以通过以下子步骤进一步实现:
子步骤S121,将训练样本输入分类回归树模型中,通过分类回归树模型预测每个存储访问请求在存储访问过程中的性能预测变化信息,并根据每个存储访问请求的性能预测变化信息确定预设预测类别区间对应的类别性能预测范围后,获取该类别性能预测范围内的所有性能预测标签,得到各存储访问请求的性能预测标签匹配序列。
子步骤S122,根据各存储访问请求的性能预测标签匹配序列获取各存储访问请求关联的标签分类信息,从每个存储访问请求的标签分类信息中提取出标签分类特征信息,根据提取出来的标签分类特征信息在每个存储访问请求标签分类信息中的匹配分类,得到每个标签分类特征信息所对应的决策树模型。其中,标签分类特征信息包括前述预测得到的请求服务时间。
子步骤S123,记录从每个存储访问请求所反馈的标签分类信息提取出来的标签分类特征信息以及标签分类特征信息的决策树模型,构建各存储访问请求的决策结果。
子步骤S124,按照决策结果中支撑度级别从高到低的顺序,依次将标签分类特征信息与设定范围内的性能预测标签匹配序列中的各个性能预测标签进行匹配,直到决策结果中的任一标签分类特征信息与每个存储访问请求的性能预测标签匹配序列中的性能预测标签匹配时,记录匹配结果。
子步骤S125,根据匹配结果训练得到存储设备性能预测模型。
例如,作为一种可能的示例,本实施例可以根据匹配结果中匹配到的标签分类特征信息与理论标签分类特征信息的差异,计算出该标签分类特征信息的修正损失参数,并根据修正损失参数确定每个标签分类特征信息的修正策略,然后从确定的每个标签分类特征信息的修正策略中提取多个可选定的第一特征向量和每个第一特征向量的可选定修正节点。
接着,可以从多个可选定的第一特征向量中筛选出多个与预设的第二特征向量相同的多个特征向量作为多个第三特征向量。
值得说明的是,第二特征向量为分类回归树模型中的多个决策树节点输出的标记特征向量,决策树节点可以包括:多个标记特征节点、多个修正节点和多个更新节点,修正节点为标记特征节点对应的修正节点,更新节点为标记特征节点对应的更新节点。
在此基础上,可以将多个第三特征向量的可选定修正节点和多个修正节点输入到每个存储访问请求与标签分类特征信息的关联模型中进行计算,获得修正结果,并将修正策略的多个可选定的第一特征向量的向量值乘以修正结果,获得每个标签分类特征信息的模型更新参数,由此根据每个标签分类特征信息的模型更新参数更新分类回归树模型,训练得到存储设备性能预测模型。
在一种可能的实施方式中,针对步骤S130,为了提高动态规划的准确性和存储资源的调度效率,请进一步参阅图5,步骤S130可以通过以下子步骤实现:
子步骤S131,根据预测获得的每个存储访问请求的请求服务时间确定针对每个当前待测存储设备200的存储资源的调度分组序列。
子步骤S132,按照调度分组序列中每个调度分组的调度类型和调度对象分别对存储资源进行调度。
例如,可以根据每个调度分组的调度对象对多个调度分组进行聚类,得到多个分组聚类,其中,每个分组聚类与一种调度类型相对应。
然后,针对每一分组聚类,生成当前分组聚类下的各个调度分组对应的调度进程,并针对每一分组聚类,将在不同调度进程中具有相同调度行为和调度源的调度分组归为一类,当该类调度分组中的调度资源数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个调度进程在所属调度进程中的目标调度进程进行合并,获得第一目标调度进程。
或者在另一种可能的示例中,可以将在所属调度进程中只出现一次,且在不同调度进程中具有相同调度类型和目标调度进程的进程归为一类,当该类调度分组中的调度资源数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个进程在所属调度进程中的目标调度进程进行合并,获得第一目标调度进程。
或者在另一种可能的示例中,可以将在调度进程中只出现一次,且在不同调度进程中具有相同调度类型和目标调度进程的调度分组归为一类,当该类调度分组中的调度分组数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个调度分组在调度进程中的目标调度进程进行合并,获得第一目标调度进程。
由此,可以根据上述任意一种可能的示例所确定的第一目标调度进程确定当前分组聚类中的主调度进程,并将当前分组聚类中的其它调度分组确定为从调度进程,从而可以根据当前分组聚类中的主调度进程和从调度进程的调度顺序分别对存储资源进行调度。
基于同一发明构思,请参阅图7,示出了本申请实施例提供的存储设备性能预测装置110的功能模块示意图,本实施例可以根据上述方法实施例对存储设备性能预测装置110进行功能模块的划分。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。比如,在采用对应各个功能划分各个功能模块的情况下,图6示出的存储设备性能预测装置110只是一种装置示意图。其中,存储设备性能预测装置110可以包括提取模块111、训练模块112以及预测模块113,下面分别对该存储设备性能预测装置110的各个功能模块的功能进行详细阐述。
提取模块111,用于提取不同存储访问请求所对应的训练样本,训练样本包括基于存储访问请求提取出的训练特征向量以及每个训练特征向量所对应的模拟服务时间,其中,训练特征向量包括该存储访问请求的访问特征信息,访问特征信息包括在预设时间段内访问的存储数据块的特征信息以及该存储访问请求对应的工作负载特征,模拟服务时间为模拟响应时间中已剔除请求等待时间后的剩余时间。可以理解,该提取模块111可以用于执行上述步骤S110,关于该提取模块111的详细实现方式可以参照上述对步骤S110有关的内容。
训练模块112,用于根据不同存储访问请求所对应的训练样本训练分类回归树模型,得到存储设备性能预测模型。可以理解,该训练模块112可以用于执行上述步骤S120,关于该训练模块112的详细实现方式可以参照上述对步骤S120有关的内容。
预测模块113,用于当向每个待测存储设备200发送存储访问请求时,根据存储设备性能预测模型对每个存储访问请求的请求服务时间进行预测,根据预测获得的每个存储访问请求的请求服务时间对每个待测存储设备200的存储资源进行调度。可以理解,该预测模块113可以用于执行上述步骤S130,关于该预测模块113的详细实现方式可以参照上述对步骤S130有关的内容。
在一种可能的实施方式中,提取模块111用于通过以下方式提取不同存储访问请求所对应的训练样本:
从存储访问请求中获得存储访问信息,并提取存储访问信息中不同存储访问类别所对应的存储特征信息;
从存储特征信息中查找在预设时间段内访问的存储数据块的特征信息以及该存储访问请求对应的工作负载特征,存储数据块的特征信息通过LRU栈结构进行缓存;
根据不同存储访问类别所对应的存储特征信息进行模拟请求响应,得到模拟响应时间,并将模拟响应时间中剔除请求等待时间后得到训练特征向量的模拟服务时间。
在一种可能的实施方式中,提取模块111用于通过以下方式进行模拟请求响应,得到模拟响应时间:
将不同存储访问类别所对应的存储特征信息输入到对应的存储访问类别的模拟存储模型中,获取存储特征信息对应的模拟响应特征信息;
确定模拟响应特征信息中每个模拟响应节点以及与模拟响应节点相关联的模拟响应节点组成的第一模拟响应通道,并确定第一模拟响应通道中所有模拟响应节点值的平均值;
确定第二模拟响应通道中所有模拟响应节点值的平均值,和第三模拟响应通道中所有模拟响应节点值的平均值;其中,第二模拟响应通道与第一模拟响应通道相关联且位于第一模拟响应通道的同一业务位置,第三模拟响应通道与第一模拟响应通道相关联且位于第一模拟响应通道的不同业务位置,第一模拟响应通道与第二模拟响应通道以及第三模拟响应通道包含相同个数的模拟响应节点;
计算第二模拟响应通道中所有模拟响应节点值平均值与第一模拟响应通道中所有模拟响应节点值的平均值的差值,以及计算第三模拟响应通道中所有模拟响应节点值平均值与第一模拟响应通道中所有模拟响应节点值的平均值的差值,并将计算得到的最大的差值作为模拟响应节点的梯度值;
根据模拟响应特征信息中每个模拟响应节点的梯度值,确定多个聚类模拟响应通道,并根据多个聚类模拟响应通道的模拟响应节点平均值,得到模拟响应时间。
在一种可能的实施方式中,训练模块112用于通过以下方式训练分类回归树模型,得到存储设备性能预测模型:
将训练样本输入分类回归树模型中,通过分类回归树模型预测每个存储访问请求在存储访问过程中的性能预测变化信息,并根据每个存储访问请求的性能预测变化信息确定预设预测类别区间对应的类别性能预测范围后,获取该类别性能预测范围内的所有性能预测标签,得到各存储访问请求的性能预测标签匹配序列;
根据各存储访问请求的性能预测标签匹配序列获取各存储访问请求关联的标签分类信息,从每个存储访问请求的标签分类信息中提取出标签分类特征信息,根据提取出来的标签分类特征信息在每个存储访问请求标签分类信息中的匹配分类,得到每个标签分类特征信息所对应的决策树模型,其中,标签分类特征信息包括请求服务时间;
记录从每个存储访问请求所反馈的标签分类信息提取出来的标签分类特征信息以及标签分类特征信息的决策树模型,构建各存储访问请求的决策结果;
按照决策结果中支撑度级别从高到低的顺序,依次将标签分类特征信息与设定范围内的性能预测标签匹配序列中的各个性能预测标签进行匹配,直到决策结果中的任一标签分类特征信息与每个存储访问请求的性能预测标签匹配序列中的性能预测标签匹配时,记录匹配结果;
根据匹配结果训练得到存储设备性能预测模型。
在一种可能的实施方式中,训练模块112用于通过以下方式训练得到存储设备性能预测模型:
根据匹配结果中匹配到的标签分类特征信息与理论标签分类特征信息的差异,计算出该标签分类特征信息的修正损失参数,并根据修正损失参数确定每个标签分类特征信息的修正策略;
从确定的每个标签分类特征信息的修正策略中提取多个可选定的第一特征向量和每个第一特征向量的可选定修正节点;
从多个可选定的第一特征向量中筛选出多个与预设的第二特征向量相同的多个特征向量作为多个第三特征向量,第二特征向量为分类回归树模型中的多个决策树节点输出的标记特征向量,决策树节点包括:多个标记特征节点、多个修正节点和多个更新节点,修正节点为标记特征节点对应的修正节点,更新节点为标记特征节点对应的更新节点;
将多个第三特征向量的可选定修正节点和多个修正节点输入到每个存储访问请求与标签分类特征信息的关联模型中进行计算,获得修正结果,并将修正策略的多个可选定的第一特征向量的向量值乘以修正结果,获得每个标签分类特征信息的模型更新参数;
根据每个标签分类特征信息的模型更新参数更新分类回归树模型,训练得到存储设备性能预测模型。
在一种可能的实施方式中,预测模块113用于通过以下方式对每个待测存储设备200的存储资源进行调度:
根据预测获得的每个存储访问请求的请求服务时间确定针对每个当前待测存储设备200的存储资源的调度分组序列;
按照调度分组序列中每个调度分组的调度类型和调度对象分别对存储资源进行调度。
在一种可能的实施方式中,预测模块113用于通过以下方式分别对存储资源进行调度:
根据每个调度分组的调度对象对多个调度分组进行聚类,得到多个分组聚类,其中,每个分组聚类与一种调度类型相对应;
针对每一分组聚类,生成当前分组聚类下的各个调度分组对应的调度进程,并针对每一分组聚类,将在不同调度进程中具有相同调度行为和调度源的调度分组归为一类,当该类调度分组中的调度资源数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个调度进程在所属调度进程中的目标调度进程进行合并,获得第一目标调度进程;
或者,将在所属调度进程中只出现一次,且在不同调度进程中具有相同调度类型和目标调度进程的进程归为一类,当该类调度分组中的调度资源数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个进程在所属调度进程中的目标调度进程进行合并,获得第一目标调度进程;
或者,将在调度进程中只出现一次,且在不同调度进程中具有相同调度类型和目标调度进程的调度分组归为一类,当该类调度分组中的调度分组数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个调度分组在调度进程中的目标调度进程进行合并,获得第一目标调度进程;
根据第一目标调度进程确定当前分组聚类中的主调度进程,并将当前分组聚类中的其它调度分组确定为从调度进程;
根据当前分组聚类中的主调度进程和从调度进程的调度顺序分别对存储资源进行调度。
基于同一发明构思,请参阅图7,示出了本申请实施例提供的用于执行上述存储设备性能预测方法的服务器100的结构示意框图,该服务器100可以包括存储设备性能预测组装置110、机器可读存储介质120和处理器130。
本实施例中,机器可读存储介质120与处理器130均位于服务器100中且二者分离设置。然而,应当理解的是,机器可读存储介质120也可以是独立于服务器100之外,且可以由处理器130通过总线接口来访问。可替换地,机器可读存储介质120也可以集成到处理器130中,例如,可以是高速缓存和/或通用寄存器。
处理器130是该服务器100的控制中心,利用各种接口和线路连接整个服务器100的各个部分,通过运行或执行存储在机器可读存储介质120内的软件程序和/或模块,以及调用存储在机器可读存储介质120内的数据,执行该服务器100的各种功能和处理数据,从而对服务器100进行整体监控。可选地,处理器130可包括一个或多个处理核心;例如,处理器130可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器中。
其中,处理器130可以是一个通用的中央处理器(Central Processing Unit,CPU),微处理器,特定应用集成电路(Application-Specific Integrated Circuit,ASIC),或一个或多个用于控制上述方法实施例提供的存储设备性能预测方法的程序执行的集成电路。
机器可读存储介质120可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmabler-Only MEMory,EEPROM)、只读光盘(Compactdisc Read-Only MEMory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。机器可读存储介质120可以是独立存在,通过通信总线与处理器130相连接。机器可读存储介质120也可以和处理器集成在一起。其中,机器可读存储介质120用于存储执行本申请方案的机器可执行指令。处理器130用于执行机器可读存储介质120中存储的机器可执行指令,以实现前述方法实施例提供的存储设备性能预测方法。
存储设备性能预测装置110可以包括存储在机器可读存储介质120的软件功能模块(例如图6中所示的提取模块111、训练模块112以及预测模块113),当处理器130执行存储设备性能预测装置110中的软件功能模块时,以实现前述方法实施例提供的存储设备性能预测方法。
由于本申请实施例提供的服务器100是上述服务器100执行的方法实施例的另一种实现形式,且服务器100可用于执行上述方法实施例提供的存储设备性能预测方法,因此其所能获得的技术效果可选定上述方法实施例,在此不再赘述。
进一步地,本申请实施例还提供一种包含计算机可执行指令的可读存储介质,计算机可执行指令在被执行时可以用于实现上述方法实施例提供的存储设备性能预测方法。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本申请任意实施例所提供的存储设备性能预测方法中的相关操作。
本申请实施例是参照根据本申请实施例的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。在权利要求中,“包括”一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
以上所述,仅为本申请的各种实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种存储设备性能预测方法,其特征在于,应用于服务器,所述服务器与待测存储设备通信连接,所述方法包括:
提取不同存储访问请求所对应的训练样本,所述训练样本包括基于所述存储访问请求提取出的训练特征向量以及每个训练特征向量所对应的模拟服务时间,其中,所述训练特征向量包括该存储访问请求的访问特征信息,所述访问特征信息包括在预设时间段内访问的存储数据块的特征信息以及该存储访问请求对应的工作负载特征,所述模拟服务时间为模拟响应时间中已剔除请求等待时间后的剩余时间;
根据所述不同存储访问请求所对应的训练样本训练分类回归树模型,得到存储设备性能预测模型;
当向每个待测存储设备发送存储访问请求时,根据所述存储设备性能预测模型对每个存储访问请求的请求服务时间进行预测,根据预测获得的每个存储访问请求的请求服务时间对每个待测存储设备的存储资源进行调度,所述根据所述不同存储访问请求所对应的训练样本训练分类回归树模型,得到存储设备性能预测模型的步骤,包括:
将所述训练样本输入所述分类回归树模型中,通过所述分类回归树模型预测每个存储访问请求在存储访问过程中的性能预测变化信息,并根据所述每个存储访问请求的性能预测变化信息确定预设预测类别区间对应的类别性能预测范围后,获取该类别性能预测范围内的所有性能预测标签,得到各存储访问请求的性能预测标签匹配序列;
根据各存储访问请求的性能预测标签匹配序列获取各存储访问请求关联的标签分类信息,从所述每个存储访问请求的标签分类信息中提取出标签分类特征信息,根据提取出来的所述标签分类特征信息在每个存储访问请求标签分类信息中的匹配分类,得到每个标签分类特征信息所对应的决策树模型,其中,所述标签分类特征信息包括请求服务时间;
记录从每个存储访问请求所反馈的标签分类信息提取出来的标签分类特征信息以及标签分类特征信息的决策树模型,构建各存储访问请求的决策结果;
按照所述决策结果中支撑度级别从高到低的顺序,依次将标签分类特征信息与设定范围内的性能预测标签匹配序列中的各个性能预测标签进行匹配,直到决策结果中的任一标签分类特征信息与每个存储访问请求的性能预测标签匹配序列中的性能预测标签匹配时,记录匹配结果;
根据所述匹配结果训练得到所述存储设备性能预测模型。
2.根据权利要求1所述的存储设备性能预测方法,其特征在于,所述提取不同存储访问请求所对应的训练样本的步骤,包括:
从所述存储访问请求中获得存储访问信息,并提取所述存储访问信息中不同存储访问类别所对应的存储特征信息;
从所述存储特征信息中查找在预设时间段内访问的存储数据块的特征信息以及该存储访问请求对应的工作负载特征,所述存储数据块的特征信息通过LRU栈结构进行缓存;
根据所述不同存储访问类别所对应的存储特征信息进行模拟请求响应,得到模拟响应时间,并将模拟响应时间中剔除请求等待时间后得到所述训练特征向量的模拟服务时间。
3.根据权利要求2所述的存储设备性能预测方法,其特征在于,所述根据所述不同存储访问类别所对应的存储特征信息进行模拟请求响应,得到模拟响应时间的步骤,包括:
将所述不同存储访问类别所对应的存储特征信息输入到对应的存储访问类别的模拟存储模型中,获取所述存储特征信息对应的模拟响应特征信息;
确定所述模拟响应特征信息中每个模拟响应节点以及与所述模拟响应节点相关联的模拟响应节点组成的第一模拟响应通道,并确定所述第一模拟响应通道中所有模拟响应节点值的平均值;
确定第二模拟响应通道中所有模拟响应节点值的平均值,和第三模拟响应通道中所有模拟响应节点值的平均值;其中,所述第二模拟响应通道与所述第一模拟响应通道相关联且位于所述第一模拟响应通道的同一业务位置,所述第三模拟响应通道与所述第一模拟响应通道相关联且位于所述第一模拟响应通道的不同业务位置,所述第一模拟响应通道与所述第二模拟响应通道以及所述第三模拟响应通道包含相同个数的模拟响应节点;
计算所述第二模拟响应通道中所有模拟响应节点值平均值与所述第一模拟响应通道中所有模拟响应节点值的平均值的差值,以及计算所述第三模拟响应通道中所有模拟响应节点值平均值与所述第一模拟响应通道中所有模拟响应节点值的平均值的差值,并将计算得到的最大的差值作为所述模拟响应节点的梯度值;
根据所述模拟响应特征信息中每个模拟响应节点的梯度值,确定多个聚类模拟响应通道,并根据所述多个聚类模拟响应通道的模拟响应节点平均值,得到所述模拟响应时间。
4.根据权利要求1所述的存储设备性能预测方法,其特征在于,所述根据所述匹配结果训练得到所述存储设备性能预测模型的步骤,包括:
根据所述匹配结果中匹配到的标签分类特征信息与理论标签分类特征信息的差异,计算出该标签分类特征信息的修正损失参数,并根据所述修正损失参数确定每个标签分类特征信息的修正策略;
从确定的每个标签分类特征信息的修正策略中提取多个可选定的第一特征向量和每个所述第一特征向量的可选定修正节点;
从所述多个可选定的第一特征向量中筛选出多个与预设的第二特征向量相同的多个特征向量作为多个第三特征向量,所述第二特征向量为所述分类回归树模型中的多个决策树节点输出的标记特征向量,所述决策树节点包括:多个标记特征节点、多个修正节点和多个更新节点,所述修正节点为所述标记特征节点对应的修正节点,所述更新节点为所述标记特征节点对应的更新节点;
将所述多个第三特征向量的可选定修正节点和所述多个修正节点输入到每个存储访问请求与所述标签分类特征信息的关联模型中进行计算,获得修正结果,并将所述修正策略的多个可选定的第一特征向量的向量值乘以所述修正结果,获得每个标签分类特征信息的模型更新参数;
根据每个标签分类特征信息的模型更新参数更新所述分类回归树模型,训练得到所述存储设备性能预测模型。
5.根据权利要求1所述的存储设备性能预测方法,其特征在于,所述根据预测获得的每个存储访问请求的请求服务时间对每个待测存储设备的存储资源进行调度的步骤,包括:
根据所述预测获得的每个存储访问请求的请求服务时间确定针对每个当前待测存储设备的存储资源的调度分组序列;
按照所述调度分组序列中每个调度分组的调度类型和调度对象分别对所述存储资源进行调度。
6.根据权利要求5所述的存储设备性能预测方法,其特征在于,所述按照所述调度分组序列中每个调度分组的调度类型和调度对象分别对所述存储资源进行调度的步骤,包括:
根据每个调度分组的调度对象对多个调度分组进行聚类,得到多个分组聚类,其中,每个分组聚类与一种调度类型相对应;
针对每一分组聚类,生成当前分组聚类下的各个调度分组对应的调度进程,并针对每一分组聚类,将在不同调度进程中具有相同调度行为和调度源的调度分组归为一类,当该类调度分组中的调度资源数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个调度进程在所属调度进程中的目标调度进程进行合并,获得第一目标调度进程;
或者,将在所属调度进程中只出现一次,且在不同调度进程中具有相同调度类型和目标调度进程的进程归为一类,当该类调度分组中的调度资源数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个进程在所属调度进程中的目标调度进程进行合并,获得第一目标调度进程;
或者,将在所述调度进程中只出现一次,且在不同调度进程中具有相同调度类型和目标调度进程的调度分组归为一类,当该类调度分组中的调度分组数量与当前分组聚类下的调度进程总数的比值超过第一阈值时,将该类调度分组中的每个调度分组在所述调度进程中的目标调度进程进行合并,获得第一目标调度进程;
根据所述第一目标调度进程确定当前分组聚类中的主调度进程,并将所述当前分组聚类中的其它调度分组确定为从调度进程;
根据所述当前分组聚类中的主调度进程和从调度进程的调度顺序分别对所述存储资源进行调度。
7.一种存储设备性能预测装置,其特征在于,应用于服务器,所述服务器与待测存储设备通信连接,所述装置包括:
提取模块,用于提取不同存储访问请求所对应的训练样本,所述训练样本包括基于所述存储访问请求提取出的训练特征向量以及每个训练特征向量所对应的模拟服务时间,其中,所述训练特征向量包括该存储访问请求的访问特征信息,所述访问特征信息包括在预设时间段内访问的存储数据块的特征信息以及该存储访问请求对应的工作负载特征,所述模拟服务时间为模拟响应时间中已剔除请求等待时间后的剩余时间;
训练模块,用于根据所述不同存储访问请求所对应的训练样本训练分类回归树模型,得到存储设备性能预测模型;
预测模块,用于当向每个待测存储设备发送存储访问请求时,根据所述存储设备性能预测模型对每个存储访问请求的请求服务时间进行预测,根据预测获得的每个存储访问请求的请求服务时间对每个待测存储设备的存储资源进行调度,所述训练模块用于通过以下方式训练分类回归树模型,得到存储设备性能预测模型:
将所述训练样本输入所述分类回归树模型中,通过所述分类回归树模型预测每个存储访问请求在存储访问过程中的性能预测变化信息,并根据所述每个存储访问请求的性能预测变化信息确定预设预测类别区间对应的类别性能预测范围后,获取该类别性能预测范围内的所有性能预测标签,得到各存储访问请求的性能预测标签匹配序列;
根据各存储访问请求的性能预测标签匹配序列获取各存储访问请求关联的标签分类信息,从所述每个存储访问请求的标签分类信息中提取出标签分类特征信息,根据提取出来的所述标签分类特征信息在每个存储访问请求标签分类信息中的匹配分类,得到每个标签分类特征信息所对应的决策树模型,其中,所述标签分类特征信息包括请求服务时间;
记录从每个存储访问请求所反馈的标签分类信息提取出来的标签分类特征信息以及标签分类特征信息的决策树模型,构建各存储访问请求的决策结果;
按照所述决策结果中支撑度级别从高到低的顺序,依次将标签分类特征信息与设定范围内的性能预测标签匹配序列中的各个性能预测标签进行匹配,直到决策结果中的任一标签分类特征信息与每个存储访问请求的性能预测标签匹配序列中的性能预测标签匹配时,记录匹配结果;
根据所述匹配结果训练得到存储设备性能预测模型。
8.根据权利要求7所述的存储设备性能预测装置,其特征在于,所述训练模块用于通过以下方式训练得到存储设备性能预测模型:
根据所述匹配结果中匹配到的标签分类特征信息与理论标签分类特征信息的差异,计算出该标签分类特征信息的修正损失参数,并根据所述修正损失参数确定每个标签分类特征信息的修正策略;
从确定的每个标签分类特征信息的修正策略中提取多个可选定的第一特征向量和每个所述第一特征向量的可选定修正节点;
从所述多个可选定的第一特征向量中筛选出多个与第二特征向量相同的特征向量,获得多个第三特征向量,所述第二特征向量为所述分类回归树模型中的多个决策树节点输出的标记特征向量,所述决策树节点包括:多个标记特征节点、多个修正节点和多个更新节点,所述修正节点为所述标记特征节点对应的修正节点,所述更新节点为所述标记特征节点对应的更新节点;
将所述多个第三特征向量的可选定修正节点和所述多个修正节点输入到每个存储访问请求与所述标签分类特征信息的关联模型中进行计算,获得修正结果,并将所述修正策略的多个可选定的第一特征向量的向量值乘以所述修正结果,获得每个标签分类特征信息的模型更新参数;
根据每个标签分类特征信息的模型更新参数更新所述分类回归树模型,训练得到存储设备性能预测模型。
CN202010205116.4A 2020-03-23 2020-03-23 存储设备性能预测方法及装置 Active CN111090401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010205116.4A CN111090401B (zh) 2020-03-23 2020-03-23 存储设备性能预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010205116.4A CN111090401B (zh) 2020-03-23 2020-03-23 存储设备性能预测方法及装置

Publications (2)

Publication Number Publication Date
CN111090401A CN111090401A (zh) 2020-05-01
CN111090401B true CN111090401B (zh) 2020-06-26

Family

ID=70400631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010205116.4A Active CN111090401B (zh) 2020-03-23 2020-03-23 存储设备性能预测方法及装置

Country Status (1)

Country Link
CN (1) CN111090401B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111782136B (zh) * 2020-05-20 2021-07-30 重庆大学 面向多应用程序的自适应闪存固态盘通道分配方法及装置
CN113190173A (zh) * 2021-04-09 2021-07-30 北京易华录信息技术股份有限公司 一种基于机器学习的低能耗数据冷磁存储方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222310A (ja) * 1997-02-10 1998-08-21 Matsushita Electric Ind Co Ltd 記録再生装置
CN1719785A (zh) * 2005-08-08 2006-01-11 清华大学 基于存域网的海量存储系统的性能监控方法及系统
CN104852819A (zh) * 2015-05-21 2015-08-19 杭州天宽科技有限公司 一种基于异构MapReduce集群的面向SLA的能耗管理方法
CN107995039A (zh) * 2017-12-07 2018-05-04 福州大学 面向云软件服务的资源自学习与自适应分配方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8140750B2 (en) * 2005-09-29 2012-03-20 International Business Machines Corporation Monitoring performance of a storage area network
EP2663920B1 (en) * 2011-01-11 2020-05-27 Hewlett-Packard Development Company, L.P. Concurrent request scheduling
KR101770191B1 (ko) * 2013-01-30 2017-08-23 한국전자통신연구원 자원 할당 방법 및 그 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222310A (ja) * 1997-02-10 1998-08-21 Matsushita Electric Ind Co Ltd 記録再生装置
CN1719785A (zh) * 2005-08-08 2006-01-11 清华大学 基于存域网的海量存储系统的性能监控方法及系统
CN104852819A (zh) * 2015-05-21 2015-08-19 杭州天宽科技有限公司 一种基于异构MapReduce集群的面向SLA的能耗管理方法
CN107995039A (zh) * 2017-12-07 2018-05-04 福州大学 面向云软件服务的资源自学习与自适应分配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Xuechen Zhang 等.YouChoose: A Performance Interface Enabling Convenient and Efficient QoS Support for Consolidated Storage Systems.《Proceedings of 2011 IEEE 27th Symposium on Mass Storage Systems and Technologies (MSST)》.2011,第1-12页. *
YouChoose: A Performance Interface Enabling Convenient and Efficient QoS Support for Consolidated Storage Systems;Xuechen Zhang 等;《Proceedings of 2011 IEEE 27th Symposium on Mass Storage Systems and Technologies (MSST)》;20110705;第1-12页 *
基于预测模型及独立训练节点的负载均衡策略;陈大才 等;《计算机系统应用》;20180915;第27卷(第9期);第1-4页 *

Also Published As

Publication number Publication date
CN111090401A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN108009016B (zh) 一种资源负载均衡控制方法及集群调度器
CN104461693B (zh) 一种桌面云计算环境下的虚拟机更新方法和系统
CN106776288B (zh) 一种基于Hadoop的分布式系统的健康度量方法
CN111090401B (zh) 存储设备性能预测方法及装置
WO2022142013A1 (zh) 基于人工智能的ab测试方法、装置、计算机设备及介质
CN113360349A (zh) 基于大数据和云业务的信息优化方法及人工智能监测系统
CN108959048A (zh) 模块化环境的性能分析方法、装置及可存储介质
CN112446637A (zh) 一种建筑施工质量安全在线风险检测方法及系统
CN110674231A (zh) 一种面向数据湖的用户id集成方法和系统
CN111291009B (zh) 文件分块存储方法及装置
CN111427696B (zh) 业务资源调度方法及装置
CN109992408B (zh) 一种资源分配方法、装置、电子设备和存储介质
CN113360353A (zh) 一种测试服务器和云平台
CN114691630B (zh) 一种智慧供应链大数据共享方法及系统
CN110035126A (zh) 一种文件处理方法、装置、计算设备及存储介质
CN112434650A (zh) 一种多光谱图像建筑物变化检测方法及系统
CN115065597A (zh) 一种容器资源配置方法、装置、介质和设备
CN115455426A (zh) 基于漏洞分析模型开发的业务错误分析方法及云端ai系统
CN113098884A (zh) 基于大数据的网络安全监控方法、云平台系统及介质
CN114266288A (zh) 一种网元检测方法及相关装置
CN112434653A (zh) 一种遥感图像建筑区检测方法及系统
CN110177006B (zh) 基于接口预测模型的节点测试方法及装置
CN113850669A (zh) 用户分群方法、装置、计算机设备及计算机可读存储介质
CN115757002A (zh) 一种能耗确定方法、装置、设备及计算机可读存储介质
CN111523685A (zh) 基于主动学习的降低性能建模开销的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant