CN106911776B - 一种云存储设备的管理方法及装置 - Google Patents

一种云存储设备的管理方法及装置 Download PDF

Info

Publication number
CN106911776B
CN106911776B CN201710105772.5A CN201710105772A CN106911776B CN 106911776 B CN106911776 B CN 106911776B CN 201710105772 A CN201710105772 A CN 201710105772A CN 106911776 B CN106911776 B CN 106911776B
Authority
CN
China
Prior art keywords
data
storage device
stored
storage
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710105772.5A
Other languages
English (en)
Other versions
CN106911776A (zh
Inventor
贾伟
齐韶阳
郭锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710105772.5A priority Critical patent/CN106911776B/zh
Publication of CN106911776A publication Critical patent/CN106911776A/zh
Application granted granted Critical
Publication of CN106911776B publication Critical patent/CN106911776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明实施例公开了一种云存储设备的管理方法，通过获取云平台下各个存储设备在预设时间段存储的数据量、可用空间容量以及待存储数据的数据量值，计算出各个存储设备的空间利用率，从而确定出当前云平台中空间利用率最大的存储设备，然后将待存储数据存储于该存储设备中。通过将待存储数据存储在当前云平台中空间利用率最大的存储设备中，有效利用了云平台下的各个存储设备，提高了各个存储设备的利用率，保证了云平台中各个存储设备存储数据的均衡，进而提高了整个存储系统的稳定性与可靠性，确保云平台正常运行。此外，本发明实施例还提供了相应的实现装置，进一步使得所述方法更具有实用性，所述装置具有相应的优点。

Description

一种云存储设备的管理方法及装置
技术领域
本发明实施例涉及云存储技术领域，特别是涉及一种云存储设备的管理方法及装置。
背景技术
随着云技术的发展，应用于云技术的存储技术也得到相应的发展。由于用户数量众多，存储系统需要存储的文件将呈指数级增长态势，这就要求存储系统的容量扩展能够跟得上数据量的增长，做到无限扩容，同时在扩展过程中保证存储系统简便易行，对数据中心的整体运行没有影响，传统的存储系统俨然无法满足，云存储系统应运而生。
云存储系统摈弃传统的存储系统，采用分布式的文件系统，能够随着容量的增加而拥有线性增长的吞吐性能，将所有访问压力平均分配到多个存储节点。在分布式存储系统中由于有多个存储节点可以储存数据，这就引发一个问题即数据存在哪个节点或哪些节点。如果持续将数据存储于一个存储节点或某几个节点，那么势必会导致这几个存储节点存储压力太大，而其他存储节点存储空间剩余太多，不利于整个存储系统的稳定运行，严重时，会导致整个存储系统崩溃。
存储设备作为存储系统的存储数据的载体，将待存储数据均匀的分配到各个存储节点的存储设备上，有效利用云平台下各个存储设备，提高存储设备的利用率，避免存储分配不合理导致单个节点存储压力太大，而影响整个存储系统的稳定性与可靠运行。
发明内容
本发明实施例的目的是提供一种云存储设备的管理方法及装置，以提高云平台下各个存储设备的利用率，提高了整个云存储系统的稳定性，确保云平台正常运行。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种云存储设备的管理方法，包括：
获取云平台中各个存储设备的在预设时间段内存储的数据量，计算各所述存储设备单位时间存储数据的速率；
获取待存储数据的数据量值，根据所述数据量值、各所述存储设备的读取数据的速率以及各所述存储设备单位时间存储数据的速率计算各所述存储设备的预占用空间量；
根据各所述存储设备的预占用空间量以及各所述存储设备的可用空间容量计算各所述存储设备的空间利用率，以确定云平台中最大空间利用率对应的存储设备；
将所述待存储数据存储至空间利用率最大的存储设备。
可选的，所述将所述待存储数据存储至空间利用率最大的存储设备中包括：
接收用户对存储设备分区的指令，将所述存储设备划分为存储区以及缓存区，并建立所述缓存区容量与所述存储区存储数据的映射关系；
将所述待存储数据存储至所述空间利用率最大的存储设备的缓存区；
根据所述映射关系，判断所述存储区的可用空间容量是否不小于所述缓存区的缓存数据量；
当判定所述存储区的可用空间容量不小于所述缓存数据量时，将所述待存储数据存储至所述存储区。
可选的，所述获取待存储数据的数据量值，根据所述数据量值、各所述存储设备的读取数据的速率以及各所述存储设备单位时间存储数据的速率计算各所述存储设备的预占用空间量包括：
获取待存储数据的数据量值，根据所述数据量值以及各所述存储设备的读取数据的速率，计算所述待存储数据存储到各所述存储设备对应的预估传入时间；
根据所述数据量值、各所述存储设备单位时间存储数据的速率以及各所述存储设备对应的预估传入时间计算各所述存储设备的预占用空间量。
可选的，所述将所述待存储数据存储至空间利用率最大的存储设备包括：
判断所述预占用空间量与所述空间利用率最大的存储设备的可用空间量的大小关系；
当判定所述预占用空间量不大于所述空间利用率最大的存储设备的可用空间量时，将所述待存储数据存储至空间利用率最大的存储设备；
当判定所述预占用空间量大于所述空间利用率最大的存储设备的可用空间量时，向用户提示增加存储设备；当检测到新存储设备时，将所述待存储数据存储至所述新存储设备。
可选的，在所述获取云平台中各个存储设备的在预设时间段内存储的数据量之前，还包括：
获取云平台中各个存储设备的空间容量以及可用空间容量，计算各所述存储设备的可用比；
当检测到所述存储设备的可用比低于预设阈值时，向用户进行提示。
可选的，所述获取云平台中各个存储设备的在预设时间段内存储的数据量，计算各所述存储设备单位时间存储数据的速率包括：
获取云平台中各个存储设备的在多个预设时间段内存储的数据量，计算各所述存储设备在各个所述预设时间段内单位时间存储数据的速率；
计算多个预设时间段的平均单位时间存储数据的速率，作为各个存储设备的单位时间存储数据的速率。
可选的，所述当检测到所述存储设备的可用比低于预设阈值时，向用户进行提示包括：
当检测到所述存储设备的可用比低于第一预设阈值时，向用户进行提示；
当检测到所述存储设备的可用比低于第二预设阈值时，所述第二预设阈值小于所述第一阈值，向用户进行报警提示。
本发明实施例另一方面提供了一种云存储设备的管理装置，包括：
获取模块，用于获取云平台中各个存储设备的在预设时间段内存储的数据量，各个存储设备的可用空间容量以及获取待存储数据的数据量值；
计算模块，用于计算各所述存储设备单位时间存储数据的速率；根据所述数据量值、各所述存储设备的读取数据的速率以及各所述存储设备单位时间存储数据的速率计算各所述存储设备的预占用空间量；根据各所述存储设备的预占用空间量以及各所述存储设备的可用空间容量计算各所述存储设备的空间利用率，以确定云平台中最大空间利用率对应的存储设备；
存储模块，用于将所述待存储数据存储至空间利用率最大的存储设备。
可选的，所述存储设备包括：
分区单元，用于接收用户对存储设备分区的指令，将所述存储设备划分为存储区以及缓存区，并建立所述缓存区容量与所述存储区存储数据的映射关系；
存储单元，用于将所述待存储数据存储至所述空间利用率最大的存储设备的缓存区；
判断单元，用于根据所述映射关系，判断所述存储区的可用空间容量是否不小于所述缓存区的缓存数据量；
转存单元，用于当判定所述存储区的可用空间容量不小于所述缓存数据量时，将所述待存储数据存储至所述存储区。
可选的，还包括：
提示模块，用于当检测到所述存储设备的可用比低于预设阈值时，向用户进行提示。
本发明实施例提供了一种云存储设备的管理方法，通过获取云平台下各个存储设备在预设时间段存储的数据量、可用空间容量以及待存储数据的数据量值，计算出各个存储设备的空间利用率，从而确定出当前云平台中空间利用率最大的存储设备，然后将待存储数据存储于该存储设备中。
在本申请提供的技术方案中，通过将待存储数据存储在当前云平台中空间利用率最大的存储设备中，避免一个或某几个存储设备存储数据太多或太少，一定程度上避免了存储设备不可用的现象；通过对存储空间的优化分配，有效的利用了云平台下各个存储设备，提高了各个存储设备的利用率，保证了云平台中各个存储设备存储数据的均衡，进而提高了整个存储系统的稳定性与可靠性，确保云平台正常运行。
此外，本发明实施例还针对云存储设备的管理方法提供了相应的实现装置，进一步使得所述方法更具有实用性，所述装置具有相应的优点。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种云存储设备的管理方法的流程示意图；
图2为本发明实施例提供的另一种云存储设备的管理方法的流程示意图；
图3为本发明实施例提供的云存储设备的管理装置的一种实施方式结构图；
图4为本发明实施例提供的云存储设备的管理装置的另一种实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
本申请的发明人经过研究发现，现有的云存储系统由于无法控制各存储节点均衡存储数据，无法有效利用各存储设备，从而无法保证存储系统的稳定性。鉴于此，本申请通过计算各存储设备的空间利用率，使得待存储数据存储于当前云平台中空间利用率最大的存储设备中，合理的优化了存储系统的空间，有效的提高了各存储设备的利用率。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种云存储设备的管理方法的流程示意图，本发明实施例可包括以下内容：
S101：获取云平台中各个存储设备的在预设时间段内存储的数据量，计算各所述存储设备单位时间存储数据的速率。
单位时间存储数据的速率＝预设时间段内存储的数据量/时间，例如，8个小时存储的数据总量为80M，则在预设时间段内单位时间存储数据的速率为10M。
由于在云平台下，同一台存储设备不可能在同一时间只有一个用户进行存储数据，为了确保在待存储数据存储至存储设备的过程中，存储到存储设备的容量不会占用待存储数据的容量，需要对单位时间存储数据的速率进行预估。
从统计学的角度来说，同一时间段应该具有相似的存储量，故预设时间段可与存储数据的时间段一样，当然，也可不一样。举例来说，当待存储数据存储的时间为晚上8点，可以统计晚上6-10点这个时间段内的存储的总数据量，来计算这个时间段内单位时间存储数据的速率。也可以将1天24小时分为三个时间段，每8个小时进行一次计算，判断存储时间处于那个时间段，就使用相应时间段的单位时间存储数据的速率。
在一种具体实施方式中，还可通过下述方式进行计算：
获取云平台中各个存储设备的在多个预设时间段内存储的数据量，计算各所述存储设备在各个所述预设时间段内单位时间存储数据的速率；
计算多个预设时间段的平均单位时间存储数据的速率，作为各个存储设备的单位时间存储数据的速率。
举例来说，1天24小时分为三个时间段，每8个小时进行一次计算，然后对这三个速率求平均数，用以作为该存储设备的单位时间存储数据的速率。
S102：获取待存储数据的数据量值，根据所述数据量值、各所述存储设备的读取数据的速率以及各所述存储设备单位时间存储数据的速率计算各所述存储设备的预占用空间量。
具体计算过程如下：
获取待存储数据的数据量值，根据数据量值以及各存储设备的读取数据的速率，计算待存储数据存储到各存储设备对应的预估传入时间；
根据数据量值、各存储设备单位时间存储数据的速率以及各存储设备对应的预估传入时间计算各存储设备的预占用空间量。
举例来说，t＝S/v1；M＝S+v2*t；
式中：M为预占用空间量，v2存储设备单位时间存储数据的速率，S待存储数据量值，t为存储设备对应的预估传入时间，v1读取数据的速率。
由于各个存储设备的读取数据的速率是不同的，且各个设备存储设备单位时间存储数据的速率，故，各个设备的预占用空间量也是不同的。
当然，也可采用其他计算方式，只要可以准确计算出预占用空间量即可，本申请不作任何限定。
S103：根据各所述存储设备的预占用空间量以及各所述存储设备的可用空间容量计算各所述存储设备的空间利用率，以确定云平台中最大空间利用率对应的存储设备。
例如：P＝M/A，
式中，P为存储设备的空间利用率，M为预占用空间量，A为存储设备的可用空间容量。
空间利用率一定程度上反映了各个存储设备利用率，也就是当前存储设备中可用空间容量的大小。存储设备利用率越大，该存储设备中可用空间容量也就相对越大，即存储的数据越少。
为了保证存储数据的均衡性，优选的，将存储数据存储于当前平台中可用空间最大的存储设备中。
S104：将所述待存储数据存储至空间利用率最大的存储设备。
当云平台中空间利用率最大的存储设备的可用空间容量或许无法容纳待存储数据，而系统将待存储数据发送至该存储设备中，就会导致存储设备无法存储数据。鉴于这种情况，在进行存储前，可对存储设备的可用空间进行判断，以确定其是否可容纳待存储数据。具体过程可为：
判断预占用空间量与空间利用率最大的存储设备的可用空间量的大小关系；
当判定预占用空间量不大于空间利用率最大的存储设备的可用空间量时，将待存储数据存储至空间利用率最大的存储设备；
当判定预占用空间量大于空间利用率最大的存储设备的可用空间量时，向用户提示增加存储设备；当检测到新存储设备时，将待存储数据存储至所述新存储设备。
当空间利用率最大的存储设备的可用空间容量无法容纳待存储数据，表明云平台中各个存储设备已达到了存储极限，为了保证存储系统的正常运行，用户可增加新的存储设备。
或者用户可对各存储设备中存储的数据进行清理，将不使用或没有意义的数据进行删除，重复的数据进行归类删除，扩大原存储设备的可用空间容量，以容纳待存储数据。
在本申请提供的技术方案中，通过将待存储数据存储在当前云平台中空间利用率最大的存储设备中，避免一个或某几个存储设备存储数据太多或太少，一定程度上避免了存储设备不可用的现象；通过对存储空间的优化分配，有效的利用了云平台下各个存储设备，提高了各个存储设备的利用率，保证了云平台中各个存储设备存储数据的均衡，进而提高了整个存储系统的稳定性与可靠性，确保云平台正常运行。
由于预占用空间量是根据相应的时间段或近一段时间该存储设备单位时间平均存储数据量估算的，当存储设备在读取待存储数据过程中，同一时间在云平台其他用户也在往该存储设备存储数据，而且数据量比较大，远远的超过了预占用空间量，从而导致存储设备无法完全将待存储数据进行存储。考虑到这种由于实际存储过程中出现异常，造成数据无法存储，本申请还提供了相应的实施例。
请参见图2，图2为本发明实施例提供的另一种云存储设备的管理方法的流程示意图，本发明实施例例如可应用于云资源池，具体的可包括以下内容：
S201-S203：具体的，与上述实施例的S101-S103所描述一致，此处不再赘述。
S204：接收用户对存储设备分区的指令，将所述存储设备划分为存储区以及缓存区，并建立所述缓存区容量与所述存储区存储数据的映射关系。
S205：将所述待存储数据存储至所述空间利用率最大的存储设备的缓存区。
S206：根据所述映射关系，判断所述存储区的可用空间容量是否不小于所述缓存区的缓存数据量。
S207：当判定所述存储区的可用空间容量不小于所述缓存数据量时，将所述待存储数据存储至所述存储区。
缓存区用于容纳当前存储的数据，为了保证当前存储数据可完全存储于存储设备，当存储区有足够空间容纳时，便将缓存的数据进行转存。
存储设备在进行分区时，存储区分配存储设备的容量，既不可太多，避免存储区容纳数据太小；但也不可太小，避免无法存储数据。故缓存区的容量可根据存储设备的总容量以及该设备可用容量进行选取，具体的数值，本领域技术人员可根据自身经验以及实际情况进行选取，这均不影响本申请的实现。举例来说，存储设备的总容量为100M，可用容量为50M，可为缓存区的容量为10M。
缓存区容量与存储区存储数据的映射关系为一种逻辑关系，由于存储区一直在存储数据，在缓存区中缓存数据转存至存储区的过程中，存储区仍然在存储数据，处于动态变化中，故需要建立二者的映射关系，保证存储区在转存过程中容量的增加量不会导致转存的数据无法存储。
在本发明实施例中，通过将待存储数据先存储在当前云平台中空间利用率最大的存储设备中缓存区，当判断存储设备的存储区可完全容纳待存储数据时，将其转存于存储区。一定程度上避免了存储设备出现异常，而无法存储数据的现象；不仅有效的利用了云平台下各个存储设备，提高了各个存储设备的利用率，还提高了存储设备的存储数据的稳定性与安全性，进一步的提高了整个存储系统的稳定性与可靠性，确保云平台正常运行。
当云存储系统运行已久，且从未对存储数据进行过删减或整理，不可避免的，存储系统中的某些存储设备存储了大量数据，可用容量快接近0，为了避免存储设备的容量不足而导致数据无法存储，进而丢失存储数据，保证存储数据的安全性以及稳定性，本申请基于上述实施例，还提供了另外一个实施例。
获取云平台中各个存储设备的空间容量以及可用空间容量，计算各所述存储设备的可用比；
当检测到所述存储设备的可用比低于预设阈值时，向用户进行提示。
可用比＝可用空间容量/空间容量；
空间容量即为存储设备的总容量，可用空间容量是总容量与存储数据量的差值，也就是当前存储设备可容纳的数据量。
预设阈值可为5％，当然也可为其他数值，这均不影响本申请的实现。举例来说，预设阈值为5％，存储设备的空间容量为100M，已存储数据98M，则可用空间容量为2M，此时该存储设备的可用比为2％，那么，此时便可向用户进行提示该存储设备的存储容量快满了。
当用户没有意识到存储设备提示信息，或者忘记了之前的提示信息，没有做任何防护措施，为了进一步保证存储数据的安全性以及稳定性，基于上述实施例，还可包括：
当检测到所述存储设备的可用比低于第一预设阈值时，向用户进行提示；
当检测到所述存储设备的可用比低于第二预设阈值时，所述第二预设阈值小于所述第一阈值，向用户进行报警提示。
第一阈值可为上述实施例的预设阈值，例如5％，也可为不同的值，第二阈值的设定是为了进一步提示用户存储设备即将用尽，可选的，第二预设阈值可设置低于第一预设阈值，为叫接近0的数，例如1％。当然，也可取其他值，可根据具体实际情况进行选取，本申请对此不做任何限定。
提示可以通过以某种格式信息的形式在屏幕上显示出来(例如液晶屏)。某种格式信息可为文字信息，例如编号为010的存储设备当前可用容量比为5％；也可为图片形式；也可为数字形式，具体数值表示的意义可预先进行设置；或以字母的形式，例如010-Full。当然，也可采用其他任何格式的信息进行提示已配置成功的节点，这均不影响本实施例的实现。
还可以通过语音的形式进行提示，具体的可通过发声进行提示，例如语音可输出编号为010的存储设备当前可用容量比为5％。
还可以设置指示灯进行提示，可采用LED作为指示灯，当然，也可采用其他任何形式的等，如二极管，优选的，应选择亮度大、功率小的灯。举例来说，如果当前存储设备当前可用容量比低于阈值时，则可通过点亮指示灯进行提示。
还可进行报警提示。
当存储设备当前可用容量比低于或等于阈值时，可进行报警。可采用蜂鸣器长鸣进行报警提示，也可采用其他响铃的形式进行报警，也可采用其他任何形式的报警，这均不影响本发明实施例的实现。
做该项设置，是为了其客户或工作人员更直观的了解当前多个存储设备的存储情况，避免存储设备因容量太小无法容纳数据而丢失数据的现象，让工作人员可尽快把控存储设备的存储情况，有利于提高存储设备的稳定性与安全性。或可替换为其他提醒装置，但也可不做该项设置。
设置进行报警使得本申请的技术方案更加直观、形象化，方便工作人员使用，提升用户使用体验。
当然，并不限于上述形式进行提示，只要达到可以将可用比低于预设阈值的存储设备向用户进行提示，让用户明白当前该存储设备容量已满，可进行数据的删减和整理或增加新的存储设备目的即可。
当然，也可同时进行显示、语音提示、设置指示灯与报警提示，这均不影响本发明的实现。
本发明实施例还针对云存储设备的管理方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的云存储设备的管理装置进行介绍，下文描述的云存储设备的管理装置与上文描述的云存储设备的管理方法可相互对应参照。
请参阅图3，图3为本发明实施例提供的云存储设备的管理装置在一种具体实施方式下的结构图，该装置可包括：
获取模块301，用于获取云平台中各个存储设备的在预设时间段内存储的数据量，各个存储设备的可用空间容量以及获取待存储数据的数据量值。
计算模块302，用于计算各所述存储设备单位时间存储数据的速率；根据所述数据量值、各所述存储设备的读取数据的速率以及各所述存储设备单位时间存储数据的速率计算各所述存储设备的预占用空间量；根据各所述存储设备的预占用空间量以及各所述存储设备的可用空间容量计算各所述存储设备的空间利用率，以确定云平台中最大空间利用率对应的存储设备。
存储模块303，用于将所述待存储数据存储至空间利用率最大的存储设备。
在本实施例的一些实施方式中，所述存储设备303例如还可以包括：
分区单元3031，用于接收用户对存储设备分区的指令，将所述存储设备划分为存储区以及缓存区，并建立所述缓存区容量与所述存储区存储数据的映射关系；
存储单元3032，用于将所述待存储数据存储至所述空间利用率最大的存储设备的缓存区；
判断单元3033，用于根据所述映射关系，判断所述存储区的可用空间容量是否不小于所述缓存区的缓存数据量；
转存单元3034，用于当判定所述存储区的可用空间容量不小于所述缓存数据量时，将所述待存储数据存储至所述存储区。
在本实施例的另一些实施方式中，所述存储设备303还可包括：
判断单元3031，用于判断所述预占用空间量与所述空间利用率最大的存储设备的可用空间量的大小关系；
第一存储单元3032，用于当判定所述预占用空间量不大于所述空间利用率最大的存储设备的可用空间量时，将所述待存储数据存储至空间利用率最大的存储设备；
第二存储单元3033，用于当判定所述预占用空间量大于所述空间利用率最大的存储设备的可用空间量时，向用户提示增加存储设备；当检测到新存储设备时，将所述待存储数据存储至所述新存储设备。
可选的，在本实施例的另一些实施方式中，请参阅图4，所述装置例如还可以包括：
提示模块304，用于当检测到所述存储设备的可用比低于预设阈值时，向用户进行提示。
本发明实施例所述云存储设备的管理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。由上可知，本发明实施例通过将待存储数据存储在当前云平台中空间利用率最大的存储设备中，避免一个或某几个存储设备存储数据太多或太少，一定程度上避免了存储设备不可用的现象；通过对存储空间的优化分配，有效的利用了云平台下各个存储设备，提高了各个存储设备的利用率，保证了云平台中各个存储设备存储数据的均衡，进而提高了整个存储系统的稳定性与可靠性，确保云平台正常运行。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种云存储设备的管理方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种云存储设备的管理方法，其特征在于，包括：
获取云平台中各个存储设备的在预设时间段内存储的数据量，计算各所述存储设备单位时间存储数据的速率；
获取待存储数据的数据量值，根据所述数据量值、各所述存储设备的读取数据的速率以及各所述存储设备单位时间存储数据的速率计算各所述存储设备的预占用空间量；
根据各所述存储设备的预占用空间量M以及各所述存储设备的可用空间容量A计算各所述存储设备的空间利用率P，P＝M/A，以确定云平台中最大空间利用率对应的存储设备；
将所述待存储数据存储至空间利用率最大的存储设备；
其中，所述获取待存储数据的数据量值，根据所述数据量值、各所述存储设备的读取数据的速率以及各所述存储设备单位时间存储数据的速率计算各所述存储设备的预占用空间量包括：
获取待存储数据的数据量值，根据第一计算关系式t＝S/v1计算待存储数据存储到各存储设备对应的预估传入时间，t为存储设备对应的预估传入时间，v1为读取数据的速率，S为待存储数据量值；
根据第二计算关系式M＝S+v2*t计算各存储设备的预占用空间量M，v2为存储设备单位时间存储数据的速率。
2.根据权利要求1所述的方法，其特征在于，所述将所述待存储数据存储至空间利用率最大的存储设备中包括：
接收用户对存储设备分区的指令，将所述存储设备划分为存储区以及缓存区，并建立所述缓存区容量与所述存储区存储数据的映射关系；
将所述待存储数据存储至所述空间利用率最大的存储设备的缓存区；
根据所述映射关系，判断所述存储区的可用空间容量是否不小于所述缓存区的缓存数据量；
当判定所述存储区的可用空间容量不小于所述缓存数据量时，将所述待存储数据存储至所述存储区。
3.根据权利要求1所述的方法，其特征在于，所述获取待存储数据的数据量值，根据所述数据量值、各所述存储设备的读取数据的速率以及各所述存储设备单位时间存储数据的速率计算各所述存储设备的预占用空间量包括：
获取待存储数据的数据量值，根据所述数据量值以及各所述存储设备的读取数据的速率，计算所述待存储数据存储到各所述存储设备对应的预估传入时间；
根据所述数据量值、各所述存储设备单位时间存储数据的速率以及各所述存储设备对应的预估传入时间计算各所述存储设备的预占用空间量。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述将所述待存储数据存储至空间利用率最大的存储设备包括：
判断所述预占用空间量与所述空间利用率最大的存储设备的可用空间量的大小关系；
当判定所述预占用空间量不大于所述空间利用率最大的存储设备的可用空间量时，将所述待存储数据存储至空间利用率最大的存储设备；
当判定所述预占用空间量大于所述空间利用率最大的存储设备的可用空间量时，向用户提示增加存储设备；当检测到新存储设备时，将所述待存储数据存储至所述新存储设备。
5.根据权利要求1至3任意一项所述的方法，其特征在于，在所述获取云平台中各个存储设备的在预设时间段内存储的数据量之前，还包括：
获取云平台中各个存储设备的空间容量以及可用空间容量，计算各所述存储设备的可用比；
当检测到所述存储设备的可用比低于预设阈值时，向用户进行提示。
6.根据权利要求5所述的方法，其特征在于，所述获取云平台中各个存储设备的在预设时间段内存储的数据量，计算各所述存储设备单位时间存储数据的速率包括：
获取云平台中各个存储设备的在多个预设时间段内存储的数据量，计算各所述存储设备在各个所述预设时间段内单位时间存储数据的速率；
计算多个预设时间段的平均单位时间存储数据的速率，作为各个存储设备的单位时间存储数据的速率。
7.根据权利要求6所述的方法，其特征在于，所述当检测到所述存储设备的可用比低于预设阈值时，向用户进行提示包括：
当检测到所述存储设备的可用比低于第一预设阈值时，向用户进行提示；
当检测到所述存储设备的可用比低于第二预设阈值时，所述第二预设阈值小于所述第一阈值，向用户进行报警提示。
8.一种云存储设备的管理装置，其特征在于，包括：
获取模块，用于获取云平台中各个存储设备的在预设时间段内存储的数据量，各个存储设备的可用空间容量以及获取待存储数据的数据量值；
计算模块，用于计算各所述存储设备单位时间存储数据的速率；根据所述数据量值、各所述存储设备的读取数据的速率以及各所述存储设备单位时间存储数据的速率计算各所述存储设备的预占用空间量；根据各所述存储设备的预占用空间量M以及各所述存储设备的可用空间容量A计算各所述存储设备的空间利用率P，P＝M/A，以确定云平台中最大空间利用率对应的存储设备，以确定云平台中最大空间利用率对应的存储设备；所述计算模块具体用于获取待存储数据的数据量值，根据第一计算关系式t＝S/v1计算待存储数据存储到各存储设备对应的预估传入时间，t为存储设备对应的预估传入时间，v1为读取数据的速率，S为待存储数据量值；根据第二计算关系式M＝S+v2*t计算各存储设备的预占用空间量M，v2为存储设备单位时间存储数据的速率；
存储模块，用于将所述待存储数据存储至空间利用率最大的存储设备。
9.根据权利要求8所述的装置，其特征在于，所述存储设备包括：
分区单元，用于接收用户对存储设备分区的指令，将所述存储设备划分为存储区以及缓存区，并建立所述缓存区容量与所述存储区存储数据的映射关系；
存储单元，用于将所述待存储数据存储至所述空间利用率最大的存储设备的缓存区；
判断单元，用于根据所述映射关系，判断所述存储区的可用空间容量是否不小于所述缓存区的缓存数据量；
转存单元，用于当判定所述存储区的可用空间容量不小于所述缓存数据量时，将所述待存储数据存储至所述存储区。
10.根据权利要求9所述的装置，其特征在于，还包括：
提示模块，用于当检测到所述存储设备的可用比低于预设阈值时，向用户进行提示。
CN201710105772.5A 2017-02-24 2017-02-24 一种云存储设备的管理方法及装置 Active CN106911776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710105772.5A CN106911776B (zh) 2017-02-24 2017-02-24 一种云存储设备的管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710105772.5A CN106911776B (zh) 2017-02-24 2017-02-24 一种云存储设备的管理方法及装置

Publications (2)

Publication Number Publication Date
CN106911776A CN106911776A (zh) 2017-06-30
CN106911776B true CN106911776B (zh) 2020-02-07

Family

ID=59208196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710105772.5A Active CN106911776B (zh) 2017-02-24 2017-02-24 一种云存储设备的管理方法及装置

Country Status (1)

Country Link
CN (1) CN106911776B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109428913B (zh) * 2017-08-25 2021-06-01 浙江宇视科技有限公司 一种存储扩容方法及装置
CN110300134B (zh) * 2018-03-22 2022-10-04 杭州海康威视系统技术有限公司 云存储资源池的存储空间调整方法、装置及云存储系统
CN108595367B (zh) * 2018-04-25 2021-12-10 广州高专资讯科技有限公司 一种基于局域网内计算机集群的服务器系统
CN111176549B (zh) * 2018-11-13 2021-05-18 杭州海康威视系统技术有限公司 基于云存储的数据存储方法、装置和存储介质
CN109831508B (zh) * 2019-02-15 2021-11-19 网宿科技股份有限公司 一种缓存方法及设备、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455283A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种混合存储系统
CN103763383A (zh) * 2014-01-27 2014-04-30 西安雷迪维护系统设备有限公司 一体化云存储系统及其存储方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710339B (zh) * 2009-11-20 2012-02-01 中国科学院计算技术研究所 控制机群文件系统中数据存储方法和系统及创建文件方法
US9304828B2 (en) * 2012-09-27 2016-04-05 Hitachi, Ltd. Hierarchy memory management
CN103036994B (zh) * 2012-12-18 2015-08-19 曙光信息产业(北京)有限公司 实现负载均衡的云存储系统
US9858052B2 (en) * 2013-03-21 2018-01-02 Razer (Asia-Pacific) Pte. Ltd. Decentralized operating system
CN104796496A (zh) * 2015-05-12 2015-07-22 国网智能电网研究院 一种基于云存储的负载均衡计算方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455283A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种混合存储系统
CN103763383A (zh) * 2014-01-27 2014-04-30 西安雷迪维护系统设备有限公司 一体化云存储系统及其存储方法

Also Published As

Publication number Publication date
CN106911776A (zh) 2017-06-30

Similar Documents

Publication Publication Date Title
CN106911776B (zh) 一种云存储设备的管理方法及装置
CN108345524B (zh) 应用程序监控方法及应用程序监控装置
CN103347009A (zh) 一种信息过滤方法及装置
CN108076317B (zh) 视频数据存储方法及系统、视频接入方法及节点
CN109347757A (zh) 消息拥塞控制方法、系统、设备及存储介质
CN116662020B (zh) 应用服务动态管理方法、系统、电子设备及存储介质
CN110020769A (zh) 一种业务风险监控方法、装置及设备
CN110516090A (zh) 一种物体检测方法、装置、设备及计算机可读存储介质
CN115277577A (zh) 数据处理方法、装置、计算机设备和计算机可读存储介质
CN112272217A (zh) 一种kafka集群负载均衡方法、系统、设备以及介质
CN115174490B (zh) 一种数据传输方法及网络应用终端
CN113422736A (zh) 基于令牌桶的请求管理方法、装置、设备及程序产品
CN107291370B (zh) 一种云存储系统调度方法和装置
US20150195174A1 (en) Traffic data collection apparatus, traffic data collection method and program
CN104424109B (zh) 一种信息处理方法及电子设备
CN108920326A (zh) 确定系统耗时异常的方法、装置及电子设备
CN111224794B (zh) 群组通信方法、装置和设备
CN109308245A (zh) 一种服务器资源预警方法、装置、设备及可读存储介质
CN104348712B (zh) 一种垃圾邮件过滤方法及装置
CN115686367A (zh) 一种存储空间预测方法、装置及计算机可读存储介质
CN110347518B (zh) 消息处理方法及装置
CN112367384B (zh) 基于Kafka集群的动态限速方法、装置以及计算机设备
CN107426303B (zh) 一种信息处理方法及装置
CN111683133B (zh) 一种基于微服务架构的业务限流方法及相关装置
CN112269721B (zh) 一种性能数据统计的方法、系统、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant