CN107291389A - 一种存储策略智能触发执行的方法和装置 - Google Patents

一种存储策略智能触发执行的方法和装置 Download PDF

Info

Publication number
CN107291389A
CN107291389A CN201710458572.8A CN201710458572A CN107291389A CN 107291389 A CN107291389 A CN 107291389A CN 201710458572 A CN201710458572 A CN 201710458572A CN 107291389 A CN107291389 A CN 107291389A
Authority
CN
China
Prior art keywords
task
load
tactful
predicted
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710458572.8A
Other languages
English (en)
Inventor
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710458572.8A priority Critical patent/CN107291389A/zh
Publication of CN107291389A publication Critical patent/CN107291389A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种存储策略智能触发执行的方法和装置，该方法包括对存储系统的未来负载进行预测；对策略任务的负载进行预测；当所述存储系统的未来负载与所述策略任务的负载之和不超过预设阈值时，执行所述策略任务。上述存储策略智能触发执行的方法和装置，能够避免策略任务对实际业务处理造成的不利影响，并能够提高存储系统的资源有效利用率。

Description

一种存储策略智能触发执行的方法和装置
技术领域
本发明属于存储设备技术领域，特别是涉及一种存储策略智能触发执行的方法和装置。
背景技术
存储系统中通常会支持用户配置存储管理策略，如周期性迁移非热点数据到低性能磁盘存储池中、周期性进行卷数据备份以及周期性检查重复数据等管理策略，这些策略的触发时间通常由存储系统管理员根据存储系统负载变化规律进行设置，如每天凌晨执行或者在非工作日执行等等。这种固定的非动态的触发策略可以在一定程度上避开实际业务负载高峰时段，具有一定的效果。
然而，上述非智能化的触发策略并不能满足当今企业信息化发展的要求，随着企业规模的不断扩大，业务的不断增多，用户访问信息手段的增多，以及移动化带来的随时随地访问信息的要求，企业部署的信息系统随时都可以迎来实际业务流量的高峰，存储系统随时都面临着实际业务处理压力，如果依然按照常规的特定时间段执行管理策略任务，就会出现管理策略任务负载与实际业务负载重合的风险，可能会导致实际业务无法正常响应，从而对企业造成损失。
发明内容
为解决上述问题，本发明提供了一种存储策略智能触发执行的方法和装置，能够避免策略任务对实际业务处理造成的不利影响，并能够提高存储系统的资源有效利用率。
本发明提供的一种存储策略智能触发执行的方法，包括：
对存储系统的未来负载进行预测；
对策略任务的负载进行预测；
当所述存储系统的未来负载与所述策略任务的负载之和不超过预设阈值时，执行所述策略任务。
优选的，在上述存储策略智能触发执行的方法中，
在对所述策略任务的负载进行预测之前，还包括：
将所述策略任务分解为最小任务单元。
优选的，在上述存储策略智能触发执行的方法中，
所述对存储系统的未来负载进行预测为：
利用马尔科夫过程对存储系统的实际运行负载进行学习并总结规律；
建立负载变化模型，对所述存储系统的未来负载进行预测。
优选的，在上述存储策略智能触发执行的方法中，
在所述执行所述策略任务之后，还包括：
释放所述策略任务。
本发明提供的一种存储策略智能触发执行的装置，包括：
第一预测单元，用于对存储系统的未来负载进行预测；
第二预测单元，用于对策略任务的负载进行预测；
执行单元，用于当所述存储系统的未来负载与所述策略任务的负载之和不超过预设阈值时，执行所述策略任务。
优选的，在上述存储策略智能触发执行的装置中，
还包括：
分解单元，用于将所述策略任务分解为最小任务单元。
优选的，在上述存储策略智能触发执行的装置中，
所述第一预测单元包括：
学习部件，用于利用马尔科夫过程对存储系统的实际运行负载进行学习并总结规律；
建立部件，用于建立负载变化模型，对所述存储系统的未来负载进行预测。
优选的，在上述存储策略智能触发执行的装置中，
还包括：
释放单元，用于释放所述策略任务。
通过上述描述可知，本发明提供的上述存储策略智能触发执行的方法和装置，由于该方法包括对存储系统的未来负载进行预测；对策略任务的负载进行预测；当所述存储系统的未来负载与所述策略任务的负载之和不超过预设阈值时，执行所述策略任务，因此能够避免策略任务对实际业务处理造成的不利影响，并能够提高存储系统的资源有效利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的第一种存储策略智能触发执行的方法的示意图；
图2为本申请实施例提供的第一种存储策略智能触发执行的装置的示意图；
图3为一种具体的存储策略智能触发执行的流程示意图。
具体实施方式
本发明的核心思想在于提供一种存储策略智能触发执行的方法和装置，能够避免策略任务对实际业务处理造成的不利影响，并能够提高存储系统的资源有效利用率。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供的第一种存储策略智能触发执行的方法如图1所示，图1为本申请实施例提供的第一种存储策略智能触发执行的方法的示意图，该方法包括如下步骤：
S1：对存储系统的未来负载进行预测；
具体的，可以采用系统负载智能学习预测器，通过对系统负载变化规律进行学习，建立系统负载变化趋势模型，并根据当前系统负载状态合理预测系统未来负载状态，供策略任务执行智能决策器做判断依据。
S2：对策略任务的负载进行预测；
需要说明的是，每个策略任务都是占用一定的负载的，这里对其负载进行预测，就能够为任务的执行提供依据，避免对系统任务造成不利影响。
S3：当所述存储系统的未来负载与所述策略任务的负载之和不超过预设阈值时，执行所述策略任务。
为了降低风险，应该以存储系统能够提供的负载的一定比例比如80％作为阈值，需求之和不能超出阈值。具体的，可以利用策略任务管理器，对策略任务进行统一管理，使得任务管理更清晰，更容易管理，另外，可以利用策略任务执行智能决策器，以一定周期进行循环检查，根据系统负载智能学习预测器对系统负载做出的预测，从策略任务智能管理器中选择合适的最小任务单元进行执行，既能有效避免策略任务处理对实际业务处理造成影响，又能有效提高系统空闲时段资源有效利用率。如果分析认为不会对实际业务处理造成影响则判定执行，策略任务智能管理器随后启动该策略任务直至完成，如果分析认为该策略任务会对实际业务处理造成影响则本次检查不启动该策略任务。
通过上述描述可知，本申请实施例提供的第一种存储策略智能触发执行的方法，由于包括对存储系统的未来负载进行预测；对策略任务的负载进行预测；当所述存储系统的未来负载与所述策略任务的负载之和不超过预设阈值时，执行所述策略任务，因此能够避免策略任务对实际业务处理造成的不利影响，并能够提高存储系统的资源有效利用率。
本申请实施例提供的第二种存储策略智能触发执行的方法，是在上述第一种存储策略智能触发执行的方法的基础上，还包括如下技术特征：
在对所述策略任务的负载进行预测之前，还包括：
将所述策略任务分解为最小任务单元。
具体的，可以利用策略任务智能分解器，对策略任务进行智能分解，分解为最小可执行任务单元，即最小任务单元，通过将负载重、执行时间长、不可预测或不可控制的策略任务拆分为负载轻、执行时间短的最小任务单元，到达对所执行任务的可预测可控制的目标，并对最小任务单元的负载进行合理预测，供策略任务执行智能决策器做判断依据。
本申请实施例提供的第三种存储策略智能触发执行的方法，是在上述第一种存储策略智能触发执行的方法的基础上，还包括如下技术特征：
所述对存储系统的未来负载进行预测为：
利用马尔科夫过程对存储系统的实际运行负载进行学习并总结规律；
建立负载变化模型，对所述存储系统的未来负载进行预测。
需要说明的是，这里采用的马尔科夫过程仅仅是一种方式，实际上并不仅限于此，还可以采用其他机器学习算法，此处并不限制。
本申请实施例提供的第四种存储策略智能触发执行的方法，是在上述第一种存储策略智能触发执行的方法的基础上，还包括如下技术特征：
在所述执行所述策略任务之后，还包括：
释放所述策略任务。
需要说明的是，利用该步骤能够及时释放资源，避免给系统造成堵塞。
本申请实施例提供的第一种存储策略智能触发执行的装置如图2所示，图2为本申请实施例提供的第一种存储策略智能触发执行的装置的示意图，该装置包括：
第一预测单元201，用于对存储系统的未来负载进行预测，具体的，可以采用系统负载智能学习预测器，通过对系统负载变化规律进行学习，建立系统负载变化趋势模型，并根据当前系统负载状态合理预测系统未来负载状态，供策略任务执行智能决策器做判断依据；
第二预测单元202，用于对策略任务的负载进行预测，需要说明的是，每个策略任务都是占用一定的负载的，这里对其负载进行预测，就能够为任务的执行提供依据，避免对系统任务造成不利影响；
执行单元203，用于当所述存储系统的未来负载与所述策略任务的负载之和不超过预设阈值时，执行所述策略任务，为了降低风险，应该以存储系统能够提供的负载的一定比例比如80％作为阈值，需求之和不能超出阈值,具体的，可以利用策略任务管理器，对策略任务进行统一管理，使得任务管理更清晰，更容易管理，另外，可以利用策略任务执行智能决策器，以一定周期进行循环检查，根据系统负载智能学习预测器对系统负载做出的预测，从策略任务智能管理器中选择合适的最小任务单元进行执行，既能有效避免策略任务处理对实际业务处理造成影响，又能有效提高系统空闲时段资源有效利用率。如果分析认为不会对实际业务处理造成影响则判定执行，策略任务智能管理器随后启动该策略任务直至完成，如果分析认为该策略任务会对实际业务处理造成影响则本次检查不启动该策略任务。
本申请实施例提供的第二种存储策略智能触发执行的装置，是在第一种存储策略智能触发执行的装置的基础上，还包括如下技术特征：
还包括：
分解单元，用于将所述策略任务分解为最小任务单元。
具体的，可以利用策略任务智能分解器，对策略任务进行智能分解，分解为最小可执行任务单元，即最小任务单元，通过将负载重、执行时间长、不可预测或不可控制的策略任务拆分为负载轻、执行时间短的最小任务单元，到达对所执行任务的可预测可控制的目标，并对最小任务单元的负载进行合理预测，供策略任务执行智能决策器做判断依据。
本申请实施例提供的第三种存储策略智能触发执行的装置，是在第一种存储策略智能触发执行的装置的基础上，还包括如下技术特征：
所述第一预测单元包括：
学习部件，用于利用马尔科夫过程对存储系统的实际运行负载进行学习并总结规律；
建立部件，用于建立负载变化模型，对所述存储系统的未来负载进行预测。
需要说明的是，这里采用的马尔科夫过程仅仅是一种方式，实际上并不仅限于此，还可以采用其他机器学习算法，此处并不限制。
本申请实施例提供的第四种存储策略智能触发执行的装置，是在第一种存储策略智能触发执行的装置的基础上，还包括如下技术特征：
还包括：
释放单元，用于释放所述策略任务。
需要说明的是，利用该单元号能够及时释放资源，避免给系统造成堵塞。
下面参考图3，图3为一种具体的存储策略智能触发执行的流程示意图，以具体的例子对上述方法和装置进行说明：
系统负载智能学习预测器实现时主要包括以下步骤：
(1)启动后，学习当前系统负载状态；
(2)跟踪系统负载状态变化趋势，并对变化趋势进行学习；
(3)对系统负载变化趋势建立合适的处理模型；
(4)根据负载变化趋势模型及当前系统负载状态，预测系统未来负载变化趋势；
(5)重复学习步骤，增强负载变化趋势模型，进一步提高对系统未来负载的预测精度。
策略任务智能分解器实现时主要包括以下步骤：
(1)启动后，从策略任务智能管理器获取最近需要执行的策略任务；
(2)根据策略任务类型将策略任务分解为最小任务单元；
(3)在最小任务单元执行过程中对任务单元负载进行学习；
(4)对最小任务单元运行负载建立模型；
(5)根据最小任务单元负载模型对分解后的最小任务单元负载进行预测。
策略任务智能管理器实现时主要包括以下步骤：
(1)接收用户配置的策略任务；
(2)接收策略任务智能分解器对策略任务的请求，并将最近需要执行的策略任务返回给策略任务智能分解器；
(3)接收策略任务智能分解器分解后的最小任务单元，并进行统一管理，包括最小任务单元的执行先后顺序及最小任务单元组信息；
(4)接收策略任务执行智能决策器对最小任务单元的请求，并将合适的最小任务单元返回给策略任务执行智能决策器；
(5)依据策略任务执行智能决策器的决策结果，对可以执行的最小任务单元进行执行，执行完毕后释放该任务单元。
策略任务执行智能决策器实现时主要包括以下步骤：
(1)从系统负载智能学习预测器获取对系统未来负载的预测；
(2)从策略任务智能管理器获取后续需要被执行的最小任务单元；
(3)根据最小任务单元的负载预测及系统未来负载的预测选取合适的最小任务单元；
(4)将选举出的最小任务单元提交给策略任务智能管理器，由策略任务智能管理器进行执行。
可见，通过系统负载智能学习预测器、策略任务智能分解器、策略任务智能管理器和策略任务执行智能决策器，实现了存储系统中的管理策略任务的智能触发执行的方法，通过智能触发策略任务的执行，可以有效的将管理策略任务的负载分散在系统空闲时段，避免对实际业务处理造成影响，并能有效提高系统有效利用率，从而降低企业成本，提高企业经济效益。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种存储策略智能触发执行的方法，其特征在于，包括：
对存储系统的未来负载进行预测；
对策略任务的负载进行预测；
当所述存储系统的未来负载与所述策略任务的负载之和不超过预设阈值时，执行所述策略任务。
2.根据权利要求1所述的存储策略智能触发执行的方法，其特征在于，
在对所述策略任务的负载进行预测之前，还包括：
将所述策略任务分解为最小任务单元。
3.根据权利要求1所述的存储策略智能触发执行的方法，其特征在于，
所述对存储系统的未来负载进行预测为：
利用马尔科夫过程对存储系统的实际运行负载进行学习并总结规律；
建立负载变化模型，对所述存储系统的未来负载进行预测。
4.根据权利要求1所述的存储策略智能触发执行的方法，其特征在于，
在所述执行所述策略任务之后，还包括：
释放所述策略任务。
5.一种存储策略智能触发执行的装置，其特征在于，包括：
第一预测单元，用于对存储系统的未来负载进行预测；
第二预测单元，用于对策略任务的负载进行预测；
执行单元，用于当所述存储系统的未来负载与所述策略任务的负载之和不超过预设阈值时，执行所述策略任务。
6.根据权利要求5所述的存储策略智能触发执行的装置，其特征在于，
还包括：
分解单元，用于将所述策略任务分解为最小任务单元。
7.根据权利要求5所述的存储策略智能触发执行的装置，其特征在于，
所述第一预测单元包括：
学习部件，用于利用马尔科夫过程对存储系统的实际运行负载进行学习并总结规律；
建立部件，用于建立负载变化模型，对所述存储系统的未来负载进行预测。
8.根据权利要求5所述的存储策略智能触发执行的装置，其特征在于，
还包括：
释放单元，用于释放所述策略任务。
CN201710458572.8A 2017-06-16 2017-06-16 一种存储策略智能触发执行的方法和装置 Pending CN107291389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710458572.8A CN107291389A (zh) 2017-06-16 2017-06-16 一种存储策略智能触发执行的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710458572.8A CN107291389A (zh) 2017-06-16 2017-06-16 一种存储策略智能触发执行的方法和装置

Publications (1)

Publication Number Publication Date
CN107291389A true CN107291389A (zh) 2017-10-24

Family

ID=60097132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710458572.8A Pending CN107291389A (zh) 2017-06-16 2017-06-16 一种存储策略智能触发执行的方法和装置

Country Status (1)

Country Link
CN (1) CN107291389A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020252666A1 (zh) * 2019-06-18 2020-12-24 西门子股份公司 工业物联网的边缘计算设备、方法和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102232282A (zh) * 2010-10-29 2011-11-02 华为技术有限公司 一种实现数据中心资源负载均衡的方法及装置
CN103260193A (zh) * 2012-02-17 2013-08-21 中国移动通信集团广东有限公司 策略控制装置与方法
CN103889001A (zh) * 2014-03-13 2014-06-25 南京邮电大学 一种基于未来负载预测的自适应负载均衡方法
CN106330754A (zh) * 2016-08-31 2017-01-11 东软集团股份有限公司 访问请求的控制方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102232282A (zh) * 2010-10-29 2011-11-02 华为技术有限公司 一种实现数据中心资源负载均衡的方法及装置
CN103260193A (zh) * 2012-02-17 2013-08-21 中国移动通信集团广东有限公司 策略控制装置与方法
CN103889001A (zh) * 2014-03-13 2014-06-25 南京邮电大学 一种基于未来负载预测的自适应负载均衡方法
CN106330754A (zh) * 2016-08-31 2017-01-11 东软集团股份有限公司 访问请求的控制方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020252666A1 (zh) * 2019-06-18 2020-12-24 西门子股份公司 工业物联网的边缘计算设备、方法和计算机可读存储介质

Similar Documents

Publication Publication Date Title
Fang et al. Optimum post-disruption restoration under uncertainty for enhancing critical infrastructure resilience
Zio Challenges in the vulnerability and risk analysis of critical infrastructures
Rieck et al. Mixed-integer linear programming for resource leveling problems
Buzna et al. Efficient response to cascading disaster spreading
Wang et al. An ant colony based resilience approach to cascading failures in cluster supply network
Kaplanoğlu Multi-agent based approach for single machine scheduling with sequence-dependent setup times and machine maintenance
Siu et al. Resource supply-demand matching scheduling approach for construction workface planning
Hariga et al. Integrated time–cost tradeoff and resources leveling problems with allowed activity splitting
CN104599085A (zh) 一种众包模式下的用户激励方法和众包系统
Faragardi et al. Optimal task allocation for maximizing reliability in distributed real-time systems
Jørgensen et al. Challenge: Advancing energy informatics to enable assessable improvements of energy performance in buildings
Zhao et al. New closed-loop approximate dynamic programming for solving stochastic decentralized multi-project scheduling problem with resource transfers
CN107291389A (zh) 一种存储策略智能触发执行的方法和装置
Arram et al. Hybrid bird mating optimizer with single-based algorithms for combinatorial optimization problems
Khalilzadeh Resource levelling in projects considering different activity execution modes and splitting
Zhang et al. A heuristic maintenance scheduling framework for a military aircraft fleet under limited maintenance capacities
Ciro et al. A fuzzy ant colony optimization to solve an open shop scheduling problem with multi-skills resource constraints
CN107463428B (zh) 一种用于虚拟化环境下的补丁管理方法和装置
Feng et al. Time-based resilience metric for smart manufacturing systems and optimization method with dual-strategy recovery
CN105446812A (zh) 一种多任务调度配置方法
Ziaee An efficient heuristic algorithm for flexible job shop scheduling with maintenance constraints
Wu et al. A robust scheduling model for continuous berth allocation problem under uncertainty
CN115187097A (zh) 一种任务排期方法、装置、电子设备以及计算机存储介质
Groleaz et al. ACO with automatic parameter selection for a scheduling problem with a group cumulative constraint
CN108876157B (zh) 调配生产资源的方法及其管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171024