CN107291370A - 一种云存储系统调度方法和装置 - Google Patents

一种云存储系统调度方法和装置 Download PDF

Info

Publication number
CN107291370A
CN107291370A CN201610191751.5A CN201610191751A CN107291370A CN 107291370 A CN107291370 A CN 107291370A CN 201610191751 A CN201610191751 A CN 201610191751A CN 107291370 A CN107291370 A CN 107291370A
Authority
CN
China
Prior art keywords
mrow
msub
cloud storage
storage system
storage node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610191751.5A
Other languages
English (en)
Other versions
CN107291370B (zh
Inventor
张胜森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610191751.5A priority Critical patent/CN107291370B/zh
Publication of CN107291370A publication Critical patent/CN107291370A/zh
Application granted granted Critical
Publication of CN107291370B publication Critical patent/CN107291370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种云存储系统调度方法和装置。该方案包括：获得云存储系统中各存储节点的磁盘IO占用率、Cpu占用率以及内存Mem占用率，分别计算该云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；利用该平均磁盘IO占用率、该平均Cpu占用率以及该平均Mem占用率，计算该云存储系统的云存储压力值；根据该云存储压力值，确定该云存储系统的当前系统状态并向该各存储节点发送操作调度指令，以使该各存储节点根据该操作调度指令，响应该存储管理服务器的调度操作。通过本方案可以实现针对云存储系统的操作的性质，合理调度云存储系统的资源配置，使得同等硬件配置下的云存储系统的相对性能得到提升。

Description

一种云存储系统调度方法和装置
技术领域
本发明涉及云存储技术领域，特别涉及一种云存储系统调度方法和装置。
背景技术
整个云存储系统包含多个服务器，从功能上可以分为中心管理服务器、存储管理服务器和存储服务器等，这些服务器在工作时都是相互影响的。事实上，用户在该云存储系统中的所有操作(包括内部操作和外部操作，内部操作包含抽帧转存、循环覆盖、数据同步、数据回传等，外部操作包含用户对存储数据的写入操作、读操作、下载等。)都消耗着云存储系统的资源，影响着云存储系统的性能，然而这些操作的对云存储系统的性能的影响也各不相同。当某个服务器的性能不稳定或者发生异常损坏，都会导致整个云存储系统发生问题。为了解决这样的问题，很多技术被提出，其中包含HA/集群部署模式、RAID/IRAID技术、读写负载均衡技术、数据存储切片技术等。
然而，这些技术的出发点都是从数据读写的安全性和鲁棒性来解决问题，使得云存储系统中的各服务器节点均摊云存储的压力和风险，降低各服务器节点的负载压力，提高云存储系统的稳定性。这些技术将所有对该云存储系统的所有操作都放在了平等的位置上，忽视了在该对云存储系统的操作中，根据操作的性质，这些操作具有等级之分，如对于该云存储系统的内部操作的实时性要求较低，而对外部操作如写入操作的实时性要求就较高，对于实时性要求较高的操作，其处理的等级就会高一些。而现有技术就未能针对云存储系统的操作的性质，对整个云存储系统的资源配置进行合理调度。
那么，如何针对云存储系统的操作的性质，合理调度云存储系统的资源配置，使得同等硬件配置下的云存储系统的相对性能得到提升成为亟待解决的问题。
发明内容
本发明实施例公开了一种云存储系统调度方法和装置，以实现针对云存储系统的操作的性质，合理调度云存储系统的资源配置，使得同等硬件配置下的云存储系统的相对性能得到提升。具体方案如下：
一方面，本发明实施例提供了一种云存储系统调度方法，应用于存储管理服务器，所述方法包括：
获得所述云存储系统中各存储节点的磁盘IO占用率、Cpu占用率以及内存Mem占用率，并且，分别计算所述云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；
利用所述平均磁盘IO占用率、所述平均Cpu占用率以及所述平均Mem占用率，计算所述云存储系统的云存储压力值；
根据所述云存储压力值，确定所述云存储系统的当前系统状态；
根据所述云存储系统的当前系统状态，向所述各存储节点发送操作调度指令，以使所述各存储节点根据所述操作调度指令，响应所述存储管理服务器的调度操作。
可选的，所述当前系统状态包括空闲状态、正常状态以及压力状态；
所述根据所述云存储系统的当前系统状态，向所述各存储节点发送操作调度指令，以使所述各存储节点根据所述操作调度指令，响应所述存储管理服务器的调度操作，包括：
当所述云存储系统处于所述正常状态时，向所述各存储节点发送第一操作调度指令，以使所述各存储节点在接收到所述第一操作调度指令后，根据当前已设置内容执行所对应的至少一个操作；
当所述云存储系统处于所述空闲状态时，向所述各存储节点发送携带有预设空闲状态处理规则的第二操作调度指令，以使所述各存储节点在接收到所述第二操作调度指令后，根据所述第二操作调度指令所携带的所述预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作；
当所述云存储系统处于所述压力状态时，向所述各存储节点发送携带有预设压力状态处理规则的第三操作调度指令，以使所述各存储节点在接收到所述第三操作调度指令后，根据所述第三操作调度指令所携带的所述预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作。
可选的，所述分别计算所述云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率，包括：
利用预设公式分别计算平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；其中，所述预设公式分别为：
其中，表示所述平均磁盘IO占用率，表示所述平均Mem占用率，表示所述平均Cpu占用率；
Wai表示第i个存储节点的磁盘IO占用率，Memi表示第i个存储节点的Mem占用率，Cpui表示第i个存储节点的Cpu占用率，其中，i属于1～N之间的任一整数，Wai、Memi以及Cpui均为百分制数值，取值范围为[0，1]。
可选的，所述计算所述云存储系统的云存储压力值所利用公式为：
其中，SysPress表示所述云存储压力值，K1、K2和K3为权重系数。
可选的，所述根据所述云存储压力值，确定所述云存储系统的当前系统状态，包括：
判断所述云存储压力值是否超过第一预设阈值，若否，确定所述云存储系统处于空闲状态；
若是，判断所述云存储压力值是否超过第二预设阈值，若未超过，确定所述云存储系统处于正常状态，若超过，确定所述云存储系统处于压力状态，其中，所述第一预设阈值小于所述第二预设阈值。
可选的，所述各存储节点根据所述第二操作调度指令所携带的所述预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，包括：
所述各存储节点判断各自对应的设置内容中是否存在对读操作的限速设置；
若否，所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作，若存在，处理所述内部操作，若不存在，根据所设置内容执行所对应的至少一个操作；
若是，关闭所述对读操作的限速设置，继续执行所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作的步骤。
可选的，所述各存储节点根据所述第三操作调度指令所携带的所述预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，包括：
所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作；
当判断结果为否时，判断各自对应的设置内容中是否存在对读操作的限速设置，若否，开启所述对读操作的限速设置，若是，根据所设置内容执行所对应的至少一个操作；
当判断结果为是时，暂停对所述内部操作的执行，继续执行所述判断各自对应的设置内容中是否存在对读操作的限速设置的步骤。
可选的，本发明实施例所提供的一种云存储系统调度方法还包括：
当所述云存储系统处于所述压力状态时，并且所述各存储节点的设置内容中存在对所述读操作的限速设置以及对内部操作的暂停设置时，通过运维平台输出提示信息，以提示用户所述云存储系统当前的压力过大。
另一方面，本发明实施例还提供了一种云存储系统调度装置，应用于存储管理服务器，所述装置包括：数据获得计算模块、云存储压力值计算模块、当前系统状态确定模块和指令发送模块；
所述数据获得计算模块：用于获得所述云存储系统中各存储节点的磁盘IO占用率、Cpu占用率以及内存Mem占用率，并且，分别计算所述云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；
所述云存储压力值计算模块：用于利用所述平均磁盘IO占用率、所述平均Cpu占用率以及所述平均Mem占用率，计算所述云存储系统的云存储压力值；
所述当前系统状态确定模块：用于根据所述云存储压力值，确定所述云存储系统的当前系统状态；
所述指令发送模块：用于根据所述云存储系统的当前系统状态，向所述各存储节点发送操作调度指令，以使所述各存储节点根据所述操作调度指令，响应所述存储管理服务器的调度操作。
可选的，所述当前系统状态包括空闲状态、正常状态以及压力状态；
所述指令发送模块包括第一指令发送单元、第二指令发送单元和第三指令发送单元；
所述第一指令发送单元：用于当所述云存储系统处于所述正常状态时，向所述各存储节点发送第一操作调度指令，以使所述各存储节点在接收到所述第一操作调度指令后，根据当前已设置内容执行所对应的至少一个操作；
所述第二指令发送单元：用于当所述云存储系统处于所述空闲状态时，向所述各存储节点发送携带有预设空闲状态处理规则的第二操作调度指令，以使所述各存储节点在接收到所述第二操作调度指令后，根据所述第二操作调度指令所携带的所述预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作；
所述第三指令发送单元：用于当所述云存储系统处于所述压力状态时，向所述各存储节点发送携带有预设压力状态处理规则的第三操作调度指令，以使所述各存储节点在接收到所述第三操作调度指令后，根据所述第三操作调度指令所携带的所述预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作。
可选的，所述数据获得计算模块，具体用于：
利用预设公式分别计算平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；其中，所述预设公式分别为：
其中，表示所述平均磁盘IO占用率，表示所述平均Mem占用率，表示所述平均Cpu占用率；
Wai表示第i个存储节点的磁盘IO占用率，Memi表示第i个存储节点的Mem占用率，Cpui表示第i个存储节点的Cpu占用率，其中，i属于1～N之间的任一整数，Wai、Memi以及Cpui均为百分制数值，取值范围为[0，1]。
可选的，所述云存储压力值计算模块所利用公式为：
其中，SysPress表示所述云存储压力值，K1、K2和K3为权重系数。
可选的，所述当前系统状态确定模块包括第一判断单元、第二判断单元、空闲状态确定单元、正常状态确定单元和压力状态确定单元；
所述第一判断模块：用于判断所述云存储压力值是否超过第一预设阈值，若否，触发所述空闲状态确定单元，若是，触发所述第二判断单元；
所述空闲状态确定单元：用于确定所述云存储系统处于空闲状态；
所述第二判断单元：用于判断所述云存储压力值是否超过第二预设阈值，若未超过，触发所述正常状态确定单元，若超过，触发所述压力状态确定单元；
所述正常状态确定单元：用于确定所述云存储系统处于正常状态；
所述压力状态确定单元：用于确定所述云存储系统处于压力状态；
其中，所述第一预设阈值小于所述第二预设阈值。
可选的，所述各存储节点根据所述第二操作调度指令所携带的所述预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，包括：
所述各存储节点判断各自对应的设置内容中是否存在对读操作的限速设置；
若否，所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作，若存在，处理所述内部操作，若不存在，根据所设置内容执行所对应的至少一个操作；
若是，关闭所述对读操作的限速设置，继续执行所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作的步骤。
可选的，所述各存储节点根据所述第三操作调度指令所携带的所述预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，包括：
所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作；
当判断结果为否时，判断各自对应的设置内容中是否存在对读操作的限速设置，若否，开启所述对读操作的限速设置，若是，根据所设置内容执行所对应的至少一个操作；
当判断结果为是时，暂停对所述内部操作的执行，继续执行所述判断各自对应的设置内容中是否存在对读操作的限速设置的步骤。
可选的，本发明实施例所提供的一种云存储系统调度装置还包括提示信息输出模块；
所述提示信息输出模块：用于当所述云存储系统处于所述压力状态时，并且所述各存储节点的设置内容中存在对所述读操作的限速设置以及对内部操作的暂停设置时，通过运维平台输出提示信息，以提示用户所述云存储系统当前的压力过大。
在本方案中，首先获得云存储系统中各存储节点的磁盘IO占用率、Cpu占用率以及内存Mem占用率，并且，分别计算该云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；利用该平均磁盘IO占用率、该平均Cpu占用率以及该平均Mem占用率，计算该云存储系统的云存储压力值；根据该云存储压力值，确定该云存储系统的当前系统状态；根据该云存储系统的当前系统状态，向该各存储节点发送操作调度指令，以使该各存储节点根据该操作调度指令，响应该存储管理服务器的调度操作。以实现针对云存储系统的操作的性质，合理调度云存储系统的资源配置，使得同等硬件配置下的云存储系统的相对性能得到提升。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种云存储系统调度方法的流程示意图；
图2为本发明实施例提供的一种云存储系统调度方法的另一流程示意图；
图3为本发明实施例提供的一种云存储系统调度方法的另一流程示意图；
图4为本发明实施例提供的一种云存储系统调度装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种云存储系统调度方法和装置，可以实现针对云存储系统的操作的性质，合理调度云存储系统的资源配置，使得同等硬件配置下的云存储系统的相对性能得到提升。
下面首先对本发明实施例所提供的一种云存储系统调度方法进行介绍。
需要说明的是，本发明实施例所提供的云存储系统调度方法可以应用于存储管理服务器，当该云存储系统中仅存在一个存储管理服务器时，该存储管理服务器可以管理该云存储系统中的所有的用于存储数据的存储服务器(存储节点)，当该云存储系统中存在多个存储管理服务器时，该各存储管理服务器中的信息可以相互交互，达到同步的效果，在理论上每个存储管理服务器都可以获得该云存储系统中的所有的用于存储数据的存储服务器的相关信息，等等，这都是合理的。该云存储系统是集群部署的云存储系统，并且通过负载均衡技术已经使得各存储服务器(存储节点)均摊整个云存储系统的压力。
如图1所示，本发明实施例所提供的一种云存储系统调度方法，可以包括步骤：
S101：获得该云存储系统中各存储节点的磁盘IO占用率、Cpu占用率以及内存Mem占用率，并且，分别计算该云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；
可以理解的是，为了便于管理该云存储系统中的各存储节点，该存储管理服务器可以实时的或者定期的获得该云存储系统中各存储节点的磁盘IO占用率、Cpu占用率以及内存Mem占用率。对于该获得的各存储节点的磁盘IO占用率、Cpu占用率以及Mem占用率都是实时变化的，需同时获得该各存储节点的磁盘IO占用率、Cpu占用率以及Mem占用率。并根据上述信息，计算该云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率。
具体的，所述分别计算该云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率，可以包括：
利用预设公式分别计算平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；其中，该预设公式分别可以为：
其中，表示该平均磁盘IO占用率，表示该平均Mem占用率，表示该平均Cpu占用率；
Wai表示第i个存储节点的磁盘IO占用率，Memi表示第i个存储节点的Mem占用率，Cpui表示第i个存储节点的Cpu占用率，其中，i属于1～N之间的任一整数，Wai、Memi以及Cpui均为百分制数值，取值范围为[0，1]。
需要说明的是，对于云存储系统来说，评价该系统压力的因子往往包括磁盘IO占用率、Cpu占用率以及Mem占用率，根据该计算所得出的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率即可确定该云存储系统的当前所处的压力值。
S102：利用该平均磁盘IO占用率、该平均Cpu占用率以及该平均Mem占用率，计算该云存储系统的云存储压力值；
可以理解的是，对于确定该云存储系统的云存储压力值的实现方式可以有多种，其中，可以是直接将该所得的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率进行相加，将该所得的结果确定为该云存储压力值；也可以是通过设定权重系数，将该所得的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率与对应的权重系数的乘积的和来确定该云存储压力值，本发明实施例提供了一种实现方式，具体的，所述计算该云存储系统的云存储压力值所利用公式可以为：
其中，SysPress表示该云存储压力值，K1、K2和K3为权重系数。
需要说明的是，对于K1、K2和K3的设置，可以根据该云存储系统的各存储节点当前对应的操作进行设定，当该云存储系统中的各存储节点当前对应的操作对云存储系统的内存Mem的要求较高，则将该平均Mem占用率对应的权重系数K2设置较大些；当该云存储系统中的各存储节点当前对应的操作对云存储系统的Cpu的要求较高，则将该平均Cpu占用率对应的权重系数K3设置较大些；同理，若对该云存储系统的磁盘IO的要求较高，则将该平均磁盘IO占用率对应的权重系数K1设置较大些，等等，这都是合理的。
S103：根据该云存储压力值，确定该云存储系统的当前系统状态；
可以理解的是，根据该云存储压力值，可以直观的确定该云存储系统的当前系统所处的压力，当该云存储压力值相对较大时，如超过某一预定阈值，可以表明该云存储系统的当前的处理数据的压力相对较大，此时，该存储管理服务器就可以对该各存储节点进行调度，比如限制某些操作的进行；当该云存储压力值相对较小时，如低于某一设定阈值，则可以表明该云存储系统的当前的处理数据的压力相对较小，此时，该存储管理服务器就可以调度该各存储节点的操作设置，如加快读/写操作的速度，等等。可以理解的是，读/写操作的速度越快，该对云存储系统造成的压力越大。
具体的，所述根据该云存储压力值，确定该云存储系统的当前系统状态(S103)，可以包括：
判断该云存储压力值是否超过第一预设阈值，若否，确定该云存储系统处于空闲状态，
若是，判断该云存储压力值是否超过第二预设阈值，若未超过，确定该云存储系统处于正常状态，若超过，确定该云存储系统处于压力状态，其中，该第一预设阈值小于该第二预设阈值。
需要说明的是，该第一预设阈值和该第二预设阈值，可以是管理人员根据经验预先设置，也可以是该存储管理服务器根据该云存储系统中的各存储节点的工作状态进行默认设定，等等，这都是合理的。
S104：根据该云存储系统的当前系统状态，向该各存储节点发送操作调度指令，以使该各存储节点根据该操作调度指令，响应该存储管理服务器的调度操作。
其中，该操作调度指令中包含各种对该云存储系统中的各存储节点的对应操作的设置内容，该存储管理服务器将该操作调度指令下发给该各存储节点后，各存储节点根据该操作调度指令，可以对该对应操作进行相应的调度。
具体的，所述当前系统状态可以包括空闲状态、正常状态以及压力状态；
所述根据该云存储系统的当前系统状态，向该各存储节点发送操作调度指令，以使该各存储节点根据该操作调度指令，响应该存储管理服务器的调度操作(S104)，可以包括：
S1041：当该云存储系统处于该正常状态时，向该各存储节点发送第一操作调度指令，以使该各存储节点在接收到该第一操作调度指令后，根据当前已设置内容执行所对应的至少一个操作；
S1042：当该云存储系统处于该空闲状态时，向该各存储节点发送携带有预设空闲状态处理规则的第二操作调度指令，以使该各存储节点在接收到该第二操作调度指令后，根据该第二操作调度指令所携带的该预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作；
S1043：当该云存储系统处于该压力状态时，向该各存储节点发送携带有预设压力状态处理规则的第三操作调度指令，以使该各存储节点在接收到该第三操作调度指令后，根据该第三操作调度指令所携带的该预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作。
在实际应用中，该云存储系统中存在的操作很多，从功能上可以包括内部操作和外部操作，对于外部操作来说，主要的操作对象主要是平台服务器、用户以及前端相机等。而内部操作则是云存储系统的内部进行的，对外(用户)不可见。同时，对于该所有操作来说，每个操作都消耗着云存储系统的资源，影响着云存储系统的性能，但这些操作对云存储系统来说，其影响程度以及资源消耗影响因素上是存在差异的，具体可以参考表1。
表1
对于云存储系统中所存在的各种操作，均不是时刻均等进行的，如对视频数据或图片数据的写入(存储)，在上下班高峰期时对该云存储系统造成的压力就会较高，而夜晚时期该对视频数据或图片数据的写入的压力就会相对较小，该云存储系统负担的压力是动态变化的，而根据该负担的压力的动态变化，该云存储系统的当前系统状态也是动态变化的。
对于该云存储系统的当前系统状态，可以根据当前负载的压力即云存储压力值，分为空闲状态、正常状态以及压力状态，对于当前系统状态为正常状态时，可以表明当前的云存储系统中各存储节点对应的操作压力处于平衡状态，可以向各存储节点发送第一操作调度指令，以使该各存储节点在接收到第一操作调度指令后，根据当前已设置内容执行所对应的至少一个操作；对于当前系统状态为空闲状态时，可以表明当前的云存储系统中各存储节点对应的操作压力较小，此时就可以发送携带有预设空闲状态处理规则的第二操作调度指令，以使各存储节点接收到第二操作调度指令后，根据该携带的预设空闲状态处理规则进行设置，并根据该设置内容，执行所对应的至少一个操作；对于当前系统状态为压力状态时，可以表明当前的云存储系统中各存储节点对应的操作压力过大，超过了该各存储节点的负载能力，此时，可以向各存储节点发送携带有预设压力状态处理规则的第三操作调度指令，以使各存储节点接收到该第三操作调度指令后，根据所携带的预设压力状态处理规则进行设置，并根据该设置内容，执行所对应的至少一个操作。
具体的，如图2所示，所述各存储节点根据该第二操作调度指令所携带的该预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，可以包括：
S201：该各存储节点判断各自对应的设置内容中是否存在对读操作的限速设置；若否，执行步骤S202，若是，执行步骤S203；
S202：该各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作，若存在，执行步骤S204，若不存在，执行步骤S205；
S203：关闭该对读操作的限速设置，继续步骤S202；
S204：处理该内部操作，继续执行步骤S205；
S205：根据所设置内容执行所对应的至少一个操作。
可以理解的是，对于云存储系统来说，首先需要保证对于录像/图片/文件的写入以及录像预览等实时性高的外部操作的执行，其次才是对录像回放和录像/图片/文件下载等实时性低的外部操作以及内部操作的执行，然而对于内部操作而言，由于是对外(用户)不可见的，因此可以在云存储资源较充裕即云存储系统处于空闲状态下进行。
当该各存储节点接收到该第二操作调度指令后，因为该各存储节点均处于空闲的状态，因此会根据该第二操作调度指令所携带的预设空闲状态处理规则将存在的对读操作的限速设置关闭，处理存在的待进行和/或正在进行的内部操作，可以理解的是，对于读操作的速度来说，当读操作的速度越快，其对该云存储系统造成的压力越大。
对于该云存储系统处于压力状态时，可以表明各存储节点的当前所承担的负载压力较大，超出了该各存储节点的负载能力，此时，该存储管理服务器可以向该各存储节点发送携带预设压力状态处理规则的第三操作调度指令，以使跟存储节点作出相应的处理，如图3所示，具体的，所述各存储节点根据该第三操作调度指令所携带的该预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，可以包括：
S301：该各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作，当判断结果为否时，执行步骤S302，当判断结果为是时，执行步骤S303；
S302：判断各自对应的设置内容中是否存在对读操作的限速设置，若否，执行步骤S304，若是，执行步骤S305；
S303：暂停对该内部操作的执行，继续执行步骤S302；
S304：开启该对读操作的限速设置，继续执行步骤S305；
S305：根据所设置内容执行所对应的至少一个操作。
需要说明的是，当云存储系统处于压力状态时，可以表明该各存储节点当前处理对应的操作的负载压力超过了该各存储节点所能承担的压力。此时，可以根据该预设压力状态处理规则对各存储节点进行设置，暂停该存在的待进行和/或正在进行的内部操作，以及对读操作进行限速设置，以此来降低该各存储节点的负载压力。当然，根据该预设压力状态处理规则进行设置后，如果该云存储系统的当前状态还是压力状态，则可以确定该云存储系统的硬件配置过差或者当前云存储系统的压力过大。此时，就需要该存储管理服务器执行其他相应的对策，如输出提示信息，提示用户升级云存储系统的硬件配置等。当然，如果该云存储系统处于压力状态下，并且在根据该预设压力状态处理规则进行设置前，该云存储系统中的各存储节点均对该读操作进行了限速设置，且暂停了对待进行和/或正在进行的内部操作的处理，也可以表明该云存储系统的硬件配置过差或者当前云存储系统的压力过大。具体的，针对这些情况，本发明实施例所提供的云存储系统调度方法还可以包括：
当所述云存储系统处于该压力状态时，并且该各存储节点的设置内容中存在对该读操作的限速设置以及对内部操作的暂停设置时，通过运维平台输出提示信息，以提示用户该云存储系统当前的压力过大。
可以理解的是，该提示信息可以是声音提示、亮度提示或者文字提示，等等，本发明实施例并不对该提示信息类型进行限定。
相应于上述方法实施例，如图4所示，本发明实施例还提供了一种云存储系统调度装置，可以应用于存储管理服务器，该装置可以包括：数据获得计算模块401、云存储压力值计算模块402、当前系统状态确定模块403和指令发送模块404；
所述数据获得计算模块401：用于获得所述云存储系统中各存储节点的磁盘IO占用率、Cpu占用率以及内存Mem占用率，并且，分别计算所述云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；
所述云存储压力值计算模块402：用于利用所述平均磁盘IO占用率、所述平均Cpu占用率以及所述平均Mem占用率，计算所述云存储系统的云存储压力值；
所述当前系统状态确定模块403：用于根据所述云存储压力值，确定所述云存储系统的当前系统状态；
所述指令发送模块404：用于根据所述云存储系统的当前系统状态，向所述各存储节点发送操作调度指令，以使所述各存储节点根据所述操作调度指令，响应所述存储管理服务器的调度操作。
应用本发明实施例，首先获得云存储系统中各存储节点的磁盘IO占用率、Cpu占用率以及内存Mem占用率，并且，分别计算该云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；利用该平均磁盘IO占用率、该平均Cpu占用率以及该平均Mem占用率，计算该云存储系统的云存储压力值；根据该云存储压力值，确定该云存储系统的当前系统状态；根据该云存储系统的当前系统状态，向该各存储节点发送操作调度指令，以使该各存储节点根据该操作调度指令，响应该存储管理服务器的调度操作。以实现针对云存储系统的操作的性质，合理调度云存储系统的资源配置，使得同等硬件配置下的云存储系统的相对性能得到提升。
具体的，所述当前系统状态包括空闲状态、正常状态以及压力状态；
所述指令发送模块404可以包括第一指令发送单元、第二指令发送单元和第三指令发送单元；
所述第一指令发送单元：用于当所述云存储系统处于所述正常状态时，向所述各存储节点发送第一操作调度指令，以使所述各存储节点在接收到所述第一操作调度指令后，根据当前已设置内容执行所对应的至少一个操作；
所述第二指令发送单元：用于当所述云存储系统处于所述空闲状态时，向所述各存储节点发送携带有预设空闲状态处理规则的第二操作调度指令，以使所述各存储节点在接收到所述第二操作调度指令后，根据所述第二操作调度指令所携带的所述预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作；
所述第三指令发送单元：用于当所述云存储系统处于所述压力状态时，向所述各存储节点发送携带有预设压力状态处理规则的第三操作调度指令，以使所述各存储节点在接收到所述第三操作调度指令后，根据所述第三操作调度指令所携带的所述预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作。
具体的，所述数据获得计算模块401，具体用于：
利用预设公式分别计算平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；其中，所述预设公式可以分别为：
其中，表示所述平均磁盘IO占用率，表示所述平均Mem占用率，表示所述平均Cpu占用率；
Wai表示第i个存储节点的磁盘IO占用率，Memi表示第i个存储节点的Mem占用率，Cpui表示第i个存储节点的Cpu占用率，其中，i属于1～N之间的任一整数，Wai、Memi以及Cpui均为百分制数值，取值范围为[0，1]。
具体的，所述云存储压力值计算模块所利用公式可以为：
其中，SysPress表示所述云存储压力值，K1、K2和K3为权重系数。
具体的，所述当前系统状态确定模块403可以包括第一判断单元、第二判断单元、空闲状态确定单元、正常状态确定单元和压力状态确定单元；
所述第一判断模块：用于判断所述云存储压力值是否超过第一预设阈值，若否，触发所述空闲状态确定单元，若是，触发所述第二判断单元；
所述空闲状态确定单元：用于确定所述云存储系统处于空闲状态；
所述第二判断单元：用于判断所述云存储压力值是否超过第二预设阈值，若未超过，触发所述正常状态确定单元，若超过，触发所述压力状态确定单元；
所述正常状态确定单元：用于确定所述云存储系统处于正常状态；
所述压力状态确定单元：用于确定所述云存储系统处于压力状态；
其中，所述第一预设阈值小于所述第二预设阈值。
具体的，所述各存储节点根据所述第二操作调度指令所携带的所述预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，包括：
所述各存储节点判断各自对应的设置内容中是否存在对读操作的限速设置；
若否，所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作，若存在，处理所述内部操作，若不存在，根据所设置内容执行所对应的至少一个操作；
若是，关闭所述对读操作的限速设置，继续执行所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作的步骤。
具体的，所述各存储节点根据所述第三操作调度指令所携带的所述预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，包括：
所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作；
当判断结果为否时，判断各自对应的设置内容中是否存在对读操作的限速设置，若否，开启所述对读操作的限速设置，若是，根据所设置内容执行所对应的至少一个操作；
具体的，本发明实施例所提供的一种云存储系统调度装置，还可以包括提示信息输出模块；
所述提示信息输出模块：用于当所述云存储系统处于所述压力状态时，并且所述各存储节点的设置内容中存在对所述读操作的限速设置以及对内部操作的暂停设置时，通过运维平台输出提示信息，以提示用户所述云存储系统当前的压力过大。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种云存储系统调度方法，其特征在于，应用于存储管理服务器，所述方法包括：
获得所述云存储系统中各存储节点的磁盘IO占用率、Cpu占用率以及内存Mem占用率，并且，分别计算所述云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；
利用所述平均磁盘IO占用率、所述平均Cpu占用率以及所述平均Mem占用率，计算所述云存储系统的云存储压力值；
根据所述云存储压力值，确定所述云存储系统的当前系统状态；
根据所述云存储系统的当前系统状态，向所述各存储节点发送操作调度指令，以使所述各存储节点根据所述操作调度指令，响应所述存储管理服务器的调度操作。
2.根据权利要求1所述的方法，其特征在于，所述当前系统状态包括空闲状态、正常状态以及压力状态；
所述根据所述云存储系统的当前系统状态，向所述各存储节点发送操作调度指令，以使所述各存储节点根据所述操作调度指令，响应所述存储管理服务器的调度操作，包括：
当所述云存储系统处于所述正常状态时，向所述各存储节点发送第一操作调度指令，以使所述各存储节点在接收到所述第一操作调度指令后，根据当前已设置内容执行所对应的至少一个操作；
当所述云存储系统处于所述空闲状态时，向所述各存储节点发送携带有预设空闲状态处理规则的第二操作调度指令，以使所述各存储节点在接收到所述第二操作调度指令后，根据所述第二操作调度指令所携带的所述预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作；
当所述云存储系统处于所述压力状态时，向所述各存储节点发送携带有预设压力状态处理规则的第三操作调度指令，以使所述各存储节点在接收到所述第三操作调度指令后，根据所述第三操作调度指令所携带的所述预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作。
3.根据权利要求1所述的方法，其特征在于，所述分别计算所述云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率，包括：
利用预设公式分别计算平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；其中，所述预设公式分别为：
<mfenced open = '{' close = ''> <mtable> <mtr> <mtd> <mrow> <mover> <mrow> <mi>W</mi> <mi>a</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>Wa</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>Wa</mi> <mn>2</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msub> <mi>Wa</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>N</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mover> <mrow> <mi>M</mi> <mi>e</mi> <mi>m</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>Mem</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>Mem</mi> <mn>2</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msub> <mi>Mem</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>N</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mover> <mrow> <mi>C</mi> <mi>p</mi> <mi>u</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>Cpu</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>Cpu</mi> <mn>2</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msub> <mi>Cpu</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>N</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，表示所述平均磁盘IO占用率，表示所述平均Mem占用率，表示所述平均Cpu占用率；
Wai表示第i个存储节点的磁盘IO占用率，Memi表示第i个存储节点的Mem占用率，Cpui表示第i个存储节点的Cpu占用率，其中，i属于1～N之间的任一整数，Wai、Memi以及Cpui均为百分制数值，取值范围为[0，1]。
4.根据权利要求1所述的方法，其特征在于，所述计算所述云存储系统的云存储压力值所利用公式为：
<mfenced open = '{' close = ''> <mtable> <mtr> <mtd> <mrow> <mi>S</mi> <mi>y</mi> <mi>s</mi> <mi>P</mi> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>s</mi> <mo>=</mo> <msub> <mi>K</mi> <mn>1</mn> </msub> <mo>*</mo> <mover> <mrow> <mi>W</mi> <mi>a</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>+</mo> <msub> <mi>K</mi> <mn>2</mn> </msub> <mo>*</mo> <mover> <mrow> <mi>M</mi> <mi>e</mi> <mi>m</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>+</mo> <msub> <mi>K</mi> <mn>3</mn> </msub> <mo>*</mo> <mover> <mrow> <mi>C</mi> <mi>p</mi> <mi>u</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>K</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>K</mi> <mn>2</mn> </msub> <mo>+</mo> <msub> <mi>K</mi> <mn>3</mn> </msub> <mo>=</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <mover> <mrow> <mi>W</mi> <mi>a</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>,</mo> <mover> <mrow> <mi>M</mi> <mi>e</mi> <mi>m</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>,</mo> <mover> <mrow> <mi>C</mi> <mi>p</mi> <mi>u</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> <mo>&amp;Element;</mo> <mo>&amp;lsqb;</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>&amp;rsqb;</mo> <mo>,</mo> <mo>(</mo> <msub> <mi>K</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>K</mi> <mn>2</mn> </msub> <mo>,</mo> <msub> <mi>K</mi> <mn>3</mn> </msub> <mo>)</mo> <mo>&amp;Element;</mo> <mo>&amp;lsqb;</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，SysPress表示所述云存储压力值，K1、K2和K3为权重系数。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述云存储压力值，确定所述云存储系统的当前系统状态，包括：
判断所述云存储压力值是否超过第一预设阈值，若否，确定所述云存储系统处于空闲状态；
若是，判断所述云存储压力值是否超过第二预设阈值，若未超过，确定所述云存储系统处于正常状态，若超过，确定所述云存储系统处于压力状态，其中，所述第一预设阈值小于所述第二预设阈值。
6.根据权利要求2所述的方法，其特征在于，所述各存储节点根据所述第二操作调度指令所携带的所述预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，包括：
所述各存储节点判断各自对应的设置内容中是否存在对读操作的限速设置；
若否，所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作，若存在，处理所述内部操作，若不存在，根据所设置内容执行所对应的至少一个操作；
若是，关闭所述对读操作的限速设置，继续执行所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作的步骤。
7.根据权利要求2所述的方法，其特征在于，所述各存储节点根据所述第三操作调度指令所携带的所述预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，包括：
所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作；
当判断结果为否时，判断各自对应的设置内容中是否存在对读操作的限速设置，若否，开启所述对读操作的限速设置，若是，根据所设置内容执行所对应的至少一个操作；
当判断结果为是时，暂停对所述内部操作的执行，继续执行所述判断各自对应的设置内容中是否存在对读操作的限速设置的步骤。
8.根据根据权利要求7所述的方法，其特征在于，还包括：
当所述云存储系统处于所述压力状态时，并且所述各存储节点的设置内容中存在对所述读操作的限速设置以及对内部操作的暂停设置时，通过运维平台输出提示信息，以提示用户所述云存储系统当前的压力过大。
9.一种云存储系统调度装置，其特征在于，应用于存储管理服务器，所述装置包括：数据获得计算模块、云存储压力值计算模块、当前系统状态确定模块和指令发送模块；
所述数据获得计算模块：用于获得所述云存储系统中各存储节点的磁盘IO占用率、Cpu占用率以及内存Mem占用率，并且，分别计算所述云存储系统的平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；
所述云存储压力值计算模块：用于利用所述平均磁盘IO占用率、所述平均Cpu占用率以及所述平均Mem占用率，计算所述云存储系统的云存储压力值；
所述当前系统状态确定模块：用于根据所述云存储压力值，确定所述云存储系统的当前系统状态；
所述指令发送模块：用于根据所述云存储系统的当前系统状态，向所述各存储节点发送操作调度指令，以使所述各存储节点根据所述操作调度指令，响应所述存储管理服务器的调度操作。
10.根据权利要求9所述的装置，其特征在于，所述当前系统状态包括空闲状态、正常状态以及压力状态；
所述指令发送模块包括第一指令发送单元、第二指令发送单元和第三指令发送单元；
所述第一指令发送单元：用于当所述云存储系统处于所述正常状态时，向所述各存储节点发送第一操作调度指令，以使所述各存储节点在接收到所述第一操作调度指令后，根据当前已设置内容执行所对应的至少一个操作；
所述第二指令发送单元：用于当所述云存储系统处于所述空闲状态时，向所述各存储节点发送携带有预设空闲状态处理规则的第二操作调度指令，以使所述各存储节点在接收到所述第二操作调度指令后，根据所述第二操作调度指令所携带的所述预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作；
所述第三指令发送单元：用于当所述云存储系统处于所述压力状态时，向所述各存储节点发送携带有预设压力状态处理规则的第三操作调度指令，以使所述各存储节点在接收到所述第三操作调度指令后，根据所述第三操作调度指令所携带的所述预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作。
11.根据权利要求9所述的装置，其特征在于，所述数据获得计算模块，具体用于：
利用预设公式分别计算平均磁盘IO占用率、平均Cpu占用率以及平均Mem占用率；其中，所述预设公式分别为：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mover> <mrow> <mi>W</mi> <mi>a</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>Wa</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>Wa</mi> <mn>2</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msub> <mi>Wa</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>N</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mover> <mrow> <mi>M</mi> <mi>e</mi> <mi>m</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>Mem</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>Mem</mi> <mn>2</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msub> <mi>Mem</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>N</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mover> <mrow> <mi>C</mi> <mi>p</mi> <mi>u</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>Cpu</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>Cpu</mi> <mn>2</mn> </msub> <mo>+</mo> <mo>...</mo> <mo>+</mo> <msub> <mi>Cpu</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>/</mo> <mi>N</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，表示所述平均磁盘IO占用率，表示所述平均Mem占用率，表示所述平均Cpu占用率；
Wai表示第i个存储节点的磁盘IO占用率，Memi表示第i个存储节点的Mem占用率，Cpui表示第i个存储节点的Cpu占用率，其中，i属于1～N之间的任一整数，Wai、Memi以及Cpui均为百分制数值，取值范围为[0，1]。
12.根据权利要求9所述的装置，其特征在于，所述云存储压力值计算模块所利用公式为：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>S</mi> <mi>y</mi> <mi>s</mi> <mi>P</mi> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>s</mi> <mo>=</mo> <msub> <mi>K</mi> <mn>1</mn> </msub> <mo>*</mo> <mover> <mrow> <mi>W</mi> <mi>a</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>+</mo> <msub> <mi>K</mi> <mn>2</mn> </msub> <mo>*</mo> <mover> <mrow> <mi>M</mi> <mi>e</mi> <mi>m</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>+</mo> <msub> <mi>K</mi> <mn>3</mn> </msub> <mo>*</mo> <mover> <mrow> <mi>C</mi> <mi>p</mi> <mi>u</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>K</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>K</mi> <mn>2</mn> </msub> <mo>+</mo> <msub> <mi>K</mi> <mn>3</mn> </msub> <mo>=</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <mover> <mrow> <mi>W</mi> <mi>a</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>,</mo> <mover> <mrow> <mi>M</mi> <mi>e</mi> <mi>m</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>,</mo> <mover> <mrow> <mi>C</mi> <mi>p</mi> <mi>u</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> <mo>&amp;Element;</mo> <mo>&amp;lsqb;</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>&amp;rsqb;</mo> <mo>,</mo> <mo>(</mo> <msub> <mi>K</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>K</mi> <mn>2</mn> </msub> <mo>,</mo> <msub> <mi>K</mi> <mn>3</mn> </msub> <mo>)</mo> <mo>&amp;Element;</mo> <mo>&amp;lsqb;</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，SysPress表示所述云存储压力值，K1、K2和K3为权重系数。
13.根据权利要求9-12所述的装置，其特征在于，所述当前系统状态确定模块包括第一判断单元、第二判断单元、空闲状态确定单元、正常状态确定单元和压力状态确定单元；
所述第一判断模块：用于判断所述云存储压力值是否超过第一预设阈值，若否，触发所述空闲状态确定单元，若是，触发所述第二判断单元；
所述空闲状态确定单元：用于确定所述云存储系统处于空闲状态；
所述第二判断单元：用于判断所述云存储压力值是否超过第二预设阈值，若未超过，触发所述正常状态确定单元，若超过，触发所述压力状态确定单元；
所述正常状态确定单元：用于确定所述云存储系统处于正常状态；
所述压力状态确定单元：用于确定所述云存储系统处于压力状态；
其中，所述第一预设阈值小于所述第二预设阈值。
14.根据权利要求10所述的装置，其特征在于，所述各存储节点根据所述第二操作调度指令所携带的所述预设空闲状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，包括：
所述各存储节点判断各自对应的设置内容中是否存在对读操作的限速设置；
若否，所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作，若存在，处理所述内部操作，若不存在，根据所设置内容执行所对应的至少一个操作；
若是，关闭所述对读操作的限速设置，继续执行所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作的步骤。
15.根据权利要求10所述的装置，其特征在于，所述各存储节点根据所述第三操作调度指令所携带的所述预设压力状态处理规则进行设置，并根据所设置内容，执行所对应的至少一个操作，包括：
所述各存储节点判断各自对应的设置内容中是否存在待进行和/或正在进行的内部操作；
当判断结果为否时，判断各自对应的设置内容中是否存在对读操作的限速设置，若否，开启所述对读操作的限速设置，若是，根据所设置内容执行所对应的至少一个操作；
当判断结果为是时，暂停对所述内部操作的执行，继续执行所述判断各自对应的设置内容中是否存在对读操作的限速设置的步骤。
16.根据权利要求15所述的装置，其特征在于，还包括提示信息输出模块；
所述提示信息输出模块：用于当所述云存储系统处于所述压力状态时，并且所述各存储节点的设置内容中存在对所述读操作的限速设置以及对内部操作的暂停设置时，通过运维平台输出提示信息，以提示用户所述云存储系统当前的压力过大。
CN201610191751.5A 2016-03-30 2016-03-30 一种云存储系统调度方法和装置 Active CN107291370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610191751.5A CN107291370B (zh) 2016-03-30 2016-03-30 一种云存储系统调度方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610191751.5A CN107291370B (zh) 2016-03-30 2016-03-30 一种云存储系统调度方法和装置

Publications (2)

Publication Number Publication Date
CN107291370A true CN107291370A (zh) 2017-10-24
CN107291370B CN107291370B (zh) 2021-06-04

Family

ID=60087117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610191751.5A Active CN107291370B (zh) 2016-03-30 2016-03-30 一种云存储系统调度方法和装置

Country Status (1)

Country Link
CN (1) CN107291370B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119251A (zh) * 2019-05-14 2019-08-13 北京杰思安全科技有限公司 一种基于磁盘大流量的缓冲控制方法和系统
CN110158430A (zh) * 2019-05-08 2019-08-23 中铁北京工程局集团有限公司 一种桥梁混凝土面自动拉毛覆膜机
CN111198649A (zh) * 2018-11-16 2020-05-26 浙江宇视科技有限公司 磁盘选择方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307755A (ja) * 1997-03-03 1998-11-17 Fujitsu Ltd 仮想記憶管理システムおよび記録媒体
CN101056264A (zh) * 2007-04-25 2007-10-17 华为技术有限公司 流量控制的方法和业务处理系统
CN101217561A (zh) * 2008-01-15 2008-07-09 杭州华三通信技术有限公司 一种增强网络存储可靠性的方法和一种网络设备
CN101763221A (zh) * 2008-12-24 2010-06-30 成都市华为赛门铁克科技有限公司 一种存储方法、存储系统及控制器
WO2011120019A2 (en) * 2010-03-26 2011-09-29 Virtualmetrix, Inc. Fine grain performance resource management of computer systems
CN102333120A (zh) * 2011-09-29 2012-01-25 广东高新兴通信股份有限公司 一种负载均衡处理的流存储系统
US20120294611A1 (en) * 2011-05-19 2012-11-22 Pmc Sierra Ltd. Dynamic Bandwidth Allocation for Congestion Management in PON Channel Aggregation
CN102195985B (zh) * 2011-05-19 2013-08-21 北京邮电大学 一种对呈现业务网络载荷进行控制的系统和方法
CN103838779A (zh) * 2012-11-27 2014-06-04 深圳市腾讯计算机系统有限公司 复用空闲计算资源的云转码方法及系统、分布式文件装置
CN104484219A (zh) * 2014-11-24 2015-04-01 北京奇虎科技有限公司 虚拟化平台中下发策略的方法和装置
CN104834584A (zh) * 2015-06-04 2015-08-12 深圳市中博科创信息技术有限公司 一种监测主机硬件负载的方法和系统
CN105281981A (zh) * 2015-11-04 2016-01-27 北京百度网讯科技有限公司 网络服务的数据流量监控方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307755A (ja) * 1997-03-03 1998-11-17 Fujitsu Ltd 仮想記憶管理システムおよび記録媒体
CN101056264A (zh) * 2007-04-25 2007-10-17 华为技术有限公司 流量控制的方法和业务处理系统
CN101217561A (zh) * 2008-01-15 2008-07-09 杭州华三通信技术有限公司 一种增强网络存储可靠性的方法和一种网络设备
CN101763221A (zh) * 2008-12-24 2010-06-30 成都市华为赛门铁克科技有限公司 一种存储方法、存储系统及控制器
WO2011120019A2 (en) * 2010-03-26 2011-09-29 Virtualmetrix, Inc. Fine grain performance resource management of computer systems
US20120294611A1 (en) * 2011-05-19 2012-11-22 Pmc Sierra Ltd. Dynamic Bandwidth Allocation for Congestion Management in PON Channel Aggregation
CN102195985B (zh) * 2011-05-19 2013-08-21 北京邮电大学 一种对呈现业务网络载荷进行控制的系统和方法
CN102333120A (zh) * 2011-09-29 2012-01-25 广东高新兴通信股份有限公司 一种负载均衡处理的流存储系统
CN103838779A (zh) * 2012-11-27 2014-06-04 深圳市腾讯计算机系统有限公司 复用空闲计算资源的云转码方法及系统、分布式文件装置
CN104484219A (zh) * 2014-11-24 2015-04-01 北京奇虎科技有限公司 虚拟化平台中下发策略的方法和装置
CN104834584A (zh) * 2015-06-04 2015-08-12 深圳市中博科创信息技术有限公司 一种监测主机硬件负载的方法和系统
CN105281981A (zh) * 2015-11-04 2016-01-27 北京百度网讯科技有限公司 网络服务的数据流量监控方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111198649A (zh) * 2018-11-16 2020-05-26 浙江宇视科技有限公司 磁盘选择方法及装置
CN110158430A (zh) * 2019-05-08 2019-08-23 中铁北京工程局集团有限公司 一种桥梁混凝土面自动拉毛覆膜机
CN110158430B (zh) * 2019-05-08 2021-03-02 中铁北京工程局集团有限公司 一种桥梁混凝土面自动拉毛覆膜机
CN110119251A (zh) * 2019-05-14 2019-08-13 北京杰思安全科技有限公司 一种基于磁盘大流量的缓冲控制方法和系统
CN110119251B (zh) * 2019-05-14 2023-01-03 北京杰思安全科技有限公司 一种基于磁盘大流量的缓冲控制方法和系统

Also Published As

Publication number Publication date
CN107291370B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112506444A (zh) 基于Kubernetes集群的扩缩容控制方法和装置、电子设备
US20150295970A1 (en) Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system
CN107273182B (zh) 一种虚拟机资源动态扩充方法及系统
US11997353B2 (en) Network time-shift buffering, recording conversion, and content management
CN112650575B (zh) 资源调度方法、装置和云端服务系统
CN107291370B (zh) 一种云存储系统调度方法和装置
CN104503887A (zh) 计算设备状态展示方法及装置
CN108337127B (zh) 应用性能监控方法、系统、终端及计算机可读存储介质
CN104811473B (zh) 一种创建虚拟非易失性存储介质的方法、系统及管理系统
CN107026708B (zh) 数据处理的方法和装置
CN106569917B (zh) 一种数据备份方法及移动移动终端
CN104301671B (zh) Hdfs中基于事件密集度的交通监控视频存储方法
CN103873587A (zh) 一种基于云平台实现调度的方法及装置
CN102801550A (zh) 一种内容分发网络管理方法及装置
EP3310093A1 (en) Traffic control method and apparatus
US20180203636A1 (en) Likelihood of access based object storage in a cloud environment
CN109040156B (zh) 一种基于容器云的软负载资源处理方法及装置
CN113590342B (zh) 一种云计算系统中的资源分配方法及系统
CN110471769A (zh) 一种虚拟机的资源管理方法及装置
CN103179051B (zh) 一种流媒体的转发方法和系统
CN112835662A (zh) 桌面云场景下虚拟机运维方法、系统、设备及计算机介质
CN115934304A (zh) 一种数据处理方法、装置、计算机设备及可读存储介质
CN115309520A (zh) 任务迁移方法、装置、电子设备及存储介质
CN117149399A (zh) 一种数据处理方法、装置、设备以及可读存储介质
WO2017028744A1 (zh) 一种用于确定待部署资源的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant