CN110300134B - 云存储资源池的存储空间调整方法、装置及云存储系统 - Google Patents

云存储资源池的存储空间调整方法、装置及云存储系统 Download PDF

Info

Publication number
CN110300134B
CN110300134B CN201810241477.7A CN201810241477A CN110300134B CN 110300134 B CN110300134 B CN 110300134B CN 201810241477 A CN201810241477 A CN 201810241477A CN 110300134 B CN110300134 B CN 110300134B
Authority
CN
China
Prior art keywords
storage
resource pool
capacity
space
cloud storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810241477.7A
Other languages
English (en)
Other versions
CN110300134A (zh
Inventor
李照辉
林鹏
林起芊
汪渭春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN201810241477.7A priority Critical patent/CN110300134B/zh
Publication of CN110300134A publication Critical patent/CN110300134A/zh
Application granted granted Critical
Publication of CN110300134B publication Critical patent/CN110300134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/5011Pool
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/508Monitor

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种云存储资源池的存储空间调整方法、装置及云存储系统,其中,云存储资源池的存储空间调整方法应用于管理服务器,包括:获取并记录由各存储服务器统计的云存储资源池的流量统计信息;根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量;判断云存储资源池的剩余存储空间是否小于存储容量;若小于,则通过预设调整存储策略,调整云存储资源池的剩余存储空间。通过本方案,可以提高数据的存储效率。

Description

云存储资源池的存储空间调整方法、装置及云存储系统
技术领域
本发明涉及云存储技术领域,特别是涉及一种云存储资源池的存储空间调整方法、装置及云存储系统。
背景技术
云存储系统是运用集群技术、虚拟化技术、分布式存储技术,将网络中大量各种不同类型的存储设备通过软件集合起来协同工作,共同对外提供数据存储和业务访问功能的系统。云存储系统实现了对大量数据的存储和管理,例如在安防系统中,安防视频的数据量很大,多运用云存储系统对安防视频进行存储和管理。
云存储系统提供了多个存储服务器,存储服务器是云存储系统中的接入存储介质,是云存储系统中提供存储功能的服务器。存储服务器中存储资源的逻辑划分由云存储资源池实现,云存储资源池作为资源的集合,具有资源共享、按需分配、动态扩展、标准服务、自动管理等特点。云存储资源池是云存储系统对外提供的虚拟存储空间。
云存储资源池具有存储周期的属性,为了保证云存储资源池有足够的存储空间存储新数据,当云存储资源池中数据的存储时间与当前时间的间隔超过了预设的存储周期,管理服务器会触发对该数据的删除操作,例如,一数据的存储时间为7:00,当前时间为22:00,这两个时间的间隔为15个小时,而预设的存储周期为10个小时,管理服务器则会下发删除指令至存储服务器,以删除该数据;而在实际应用中,由于数据量很大,云存储资源池的存储空间可能很快就被占用完,如果在获取到新数据之后,云存储资源池的剩余存储空间已不足以存储该新数据,则需要对云存储资源池的存储空间进行调整,通过容量覆盖的方式来释放存储空间,即通过删除存储时间最早的历史数据来释放存储空间,以保证对新数据的正常存储。
针对云存储资源池的剩余存储空间不足以存储新数据的情况,上述方法必须在接收到新数据之后,被动的删除历史数据,由于已经接收到了新数据,必须要等到云存储资源池释放了足够的存储空间才可以对新数据进行存储,严重影响数据的存储效率。
发明内容
本发明实施例的目的在于提供一种云存储资源池的存储空间调整方法、装置及云存储系统,以提高数据的存储效率。具体技术方案如下:
第一方面,本发明实施例提供了一种云存储资源池的存储空间调整方法,应用于管理服务器,所述方法包括:
获取并记录由各存储服务器统计的云存储资源池的流量统计信息;
根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量;
判断所述云存储资源池的剩余存储空间是否小于所述存储容量;
若小于,则通过预设调整存储策略,调整所述云存储资源池的剩余存储空间。
可选的,所述获取由各存储服务器统计的云存储资源池的流量统计信息,包括:
向各存储服务器下发信息获取指令,以使各存储服务器在接收到所述信息获取指令后,向所述管理服务器发送统计的云存储资源池的流量统计信息;
接收由各存储服务器发送的所述流量统计信息。
可选的,所述获取由各存储服务器统计的云存储资源池的流量统计信息,包括:
按照预设获取周期,周期性地获取各存储服务器统计的云存储资源池的流量统计信息;
在所述获取并记录由各存储服务器统计的云存储资源池的流量统计信息之后,所述方法还包括:
汇总在所述预设获取周期内所有云存储资源池的流量统计信息。
可选的,所述根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量,包括:
根据已记录的当前预设获取周期内的第一流量统计信息、预设多个时间点获取的各流量统计信息的第一平均值、预设时间段内获取的各流量统计信息的第二平均值、以及分别为所述第一流量统计信息、所述第一平均值及所述第二平均值预先分配的权值,预测下一个预设获取同期内所述云存储资源池的数据流量;
根据已记录的历史流量统计信息及所述云存储资源池的总存储周期,计算得到所述云存储资源池的剩余存储周期;
通过对所述剩余存储周期占所述预设获取周期的比例、与所述下一个预设获取同期内所述云存储资源池的数据流量的乘积运算,计算得到剩余存储周期所需的存储容量。
可选的,所述通过预设调整存储策略,调整所述云存储资源池的剩余存储空间,包括:
判断云存储系统中未使用的存储空间是否大于或等于第一容量差值,所述第一容量差值为所述存储容量与所述剩余存储空间的差值;
若是,则为所述云存储资源池分配临时存储空间,所述临时存储空间为所述云存储系统中未使用的存储容量为第一容量差值的存储空间;
若否,则将所述云存储系统中未使用的存储空间分配给所述云存储资源池;生成容量告警指令;发送所述容量告警指令至用户端。
可选的,在所述将所述云存储系统中未使用的存储空间分配给所述云存储资源池之后,所述方法还包括:
将所述存储容量、所述剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器下发所述删除时间点,以使各存储服务器删除存储时间在所述删除时间点之前的所有数据。
可选的,在所述将所述云存储系统中未使用的存储空间分配给所述云存储资源池之后,所述方法还包括:
如果各存储服务器中存储了视频数据,则向各存储服务器下发抽帧转存指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留,并对所述历史视频数据的非关键帧进行删除;
记录下发所述抽帧转存指令的次数;
如果进行抽帧转存后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述抽帧转存指令的次数是否达到第一预设次数;
若已下发所述抽帧转存指令的次数达到所述第一预设次数,则向各存储服务器下发所述抽帧转存指令以及非关键帧过滤指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留、对所述历史视频数据的非关键帧进行删除,并对最新接收的视频数据的指定非关键帧进行过滤;记录下发所述非关键帧过滤指令的次数;
如果进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述非关键帧过滤指令的次数是否达到第二预设次数;
若已下发所述非关键帧过滤指令的次数未达到所述第二预设次数,则向各存储服务器下发所述抽帧转存指令以及所述非关键帧过滤指令,并增加下发所述非关键帧过滤指令的次数;
若已下发所述抽帧转存指令的次数未达到所述第一预设次数,则向各存储服务器下发所述抽帧转存指令,并增加下发所述抽帧转存指令的次数。
可选的,在所述判断已下发所述非关键帧过滤指令的次数是否达到第二预设次数之后,所述方法还包括:
若已下发所述非关键帧过滤指令的次数达到所述第二预设次数,则将所述存储容量、所述进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器下发所述删除时间点,以使各存储服务器删除存储时间在所述删除时间点之前的所有视频数据。
第二方面,本发明实施例提供了一种云存储资源池的存储空间调整装置,应用于管理服务器,所述装置包括:
获取模块,用于获取并记录由各存储服务器统计的云存储资源池的流量统计信息;
预测模块,用于根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量;
判断模块,用于判断所述云存储资源池的剩余存储空间是否小于所述存储容量;
调整模块,用于若所述判断模块的判断结果为所述云存储资源池的剩余存储空间小于所述存储容量,则通过预设调整存储策略,调整所述云存储资源池的剩余存储空间。
可选的,所述获取模块,具体用于:
向各存储服务器下发信息获取指令,以使各存储服务器在接收到所述信息获取指令后,向所述管理服务器发送统计的云存储资源池的流量统计信息;
接收由各存储服务器发送的所述流量统计信息。
可选的,所述获取模块,具体用于:
按照预设获取周期,周期性地获取各存储服务器统计的云存储资源池的流量统计信息;
汇总在所述预设获取周期内所有云存储资源池的流量统计信息。
可选的,所述预测模块,具体用于:
根据已记录的当前预设获取周期内的第一流量统计信息、预设多个时间点获取的各流量统计信息的第一平均值、预设时间段内获取的各流量统计信息的第二平均值、以及分别为所述第一流量统计信息、所述第一平均值及所述第二平均值预先分配的权值,预测下一个预设获取同期内所述云存储资源池的数据流量;
根据已记录的历史流量统计信息及所述云存储资源池的总存储周期,计算得到所述云存储资源池的剩余存储周期;
通过对所述剩余存储周期占所述预设获取周期的比例、与所述下一个预设获取同期内所述云存储资源池的数据流量的乘积运算,计算得到剩余存储周期所需的存储容量。
可选的,所述调整模块,具体用于:
判断云存储系统中未使用的存储空间是否大于或等于第一容量差值,所述第一容量差值为所述存储容量与所述剩余存储空间的差值;
若是,则为所述云存储资源池分配临时存储空间,所述临时存储空间为所述云存储系统中未使用的存储容量为第一容量差值的存储空间;
若否,则将所述云存储系统中未使用的存储空间分配给所述云存储资源池;生成容量告警指令;发送所述容量告警指令至用户端。
可选的,所述调整模块,还用于:
将所述存储容量、所述剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器下发所述删除时间点,以使各存储服务器删除存储时间在所述删除时间点之前的所有数据。
可选的,所述调整模块,还用于:
如果各存储服务器中存储了视频数据,则向各存储服务器下发抽帧转存指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留,并对所述历史视频数据的非关键帧进行删除;
记录下发所述抽帧转存指令的次数;
如果进行抽帧转存后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述抽帧转存指令的次数是否达到第一预设次数;
若已下发所述抽帧转存指令的次数达到所述第一预设次数,则向各存储服务器下发所述抽帧转存指令以及非关键帧过滤指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留、对所述历史视频数据的非关键帧进行删除,并对最新接收的视频数据的指定非关键帧进行过滤;记录下发所述非关键帧过滤指令的次数;
如果进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述非关键帧过滤指令的次数是否达到第二预设次数;
若已下发所述非关键帧过滤指令的次数未达到所述第二预设次数,则向各存储服务器下发所述抽帧转存指令以及所述非关键帧过滤指令,并增加下发所述非关键帧过滤指令的次数;
若已下发所述抽帧转存指令的次数未达到所述第一预设次数,则向各存储服务器下发所述抽帧转存指令,并增加下发所述抽帧转存指令的次数。
可选的,所述调整模块,还用于:
若已下发所述非关键帧过滤指令的次数达到所述第二预设次数,则将所述存储容量、所述进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器下发所述删除时间点,以使各存储服务器删除存储时间在所述删除时间点之前的所有视频数据。
第三方面,本发明实施例提供了一种云存储系统,所述系统包括:管理服务器及多个存储服务器;
所述管理服务器,用于获取并记录由各存储服务器统计的云存储资源池的流量统计信息;根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量;判断所述云存储资源池的剩余存储空间是否小于所述存储容量;若小于,则通过预设调整存储策略,调整所述云存储资源池的剩余存储空间;
所述存储服务器,用于统计云存储资源池的流量统计信息,并将统计的流量统计信息发送至所述管理服务器;存储数据。
第四方面,本发明实施例提供了一种管理服务器,包括处理器和存储器;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现本发明实施例第一方面所述的方法步骤。
第五方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例第一方面所述的方法步骤。
本发明实施例提供的一种云存储资源池的存储空间调整方法、装置及云存储系统,管理服务器通过获取并记录由各存储服务器统计的云存储资源池的流量统计信息,根据已记录的历史流量统计信息,对剩余存储周期所需的存储容量进行预测,并通过判断预测结果与云存储资源池的剩余存储空间的大小关系,若剩余存储空间小于存储容量,说明剩余存储空间不足以存储预测的数据流量,则可以通过预设调整存储策略,调整云存储资源池的剩余存储空间,以保证对数据的存储。在接收到需要存储的新数据之前,对剩余存储周期所需的存储容量进行了预测,在剩余存储空间无法满足预测结果时,做出了调整剩余存储空间的操作,也就是说在接收到需要存储的新数据之前,就已经将云存储资源池的剩余存储空间调整为可以存储新数据,提高了数据的存储效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术的云存储系统的结构示意图;
图2为现有技术的数据存储流程示意图;
图3为现有技术的周期覆盖处理流程示意图;
图4为本发明实施例的云存储资源池的存储空间调整方法的流程示意图;
图5为本发明实施例的流量统计信息的获取流程示意图;
图6为本发明实施例的历史数据删除的操作流程是有图;
图7为本发明实施例的云存储资源池的存储空间调整装置的结构示意图;
图8为本发明实施例的云存储系统的结构示意图;
图9为本发明实施例的管理服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了提高云存储系统中数据的存储效率,本发明实施例提供了一种云存储资源池的存储空间调整方法、装置、云存储系统及管理服务器。
下面,首先对本发明实施例所提供的云存储资源池的存储空间调整方法进行介绍。
本发明实施例所提供的云存储资源池的存储空间调整方法的执行主体可以为云存储系统中的管理服务器,云存储系统如图1所示,包括管理服务器101、虚拟存储空间(包括多个云存储资源池102)以及真实存储空间(包括多个存储服务器103)。管理服务器101为云存储系统中管理存储服务器103的服务器,创建云存储资源池,对外提供存储服务。管理服务器中至少包括可以实现智能控制逻辑的核心处理芯片,实现本发明实施例所提供的云存储资源池的存储空间调整方法的方式可以为设置于管理服务器中的软件、硬件电路和逻辑电路中的至少一种。
云存储资源池和存储服务器之间是多对多的对应关系,一个云存储资源池的数据可能分布在多个存储服务器上。云存储资源池具有两个容量属性,一个是固定容量属性,即创建云存储资源池时的存储空间;还有一个是临时容量属性,当云存储资源池的固定容量不足时向管理服务器申请的临时存储空间。因此,云存储资源池的总容量为固定容量与临时容量的和。
云存储系统在接收到用户的数据存储请求后,开始执行数据存储流程,数据存储流程如图2所示,包括如下步骤:
S201,管理服务器分配一个存储服务器响应数据存储请求;
S202,存储服务器存储所接收到的用户发送的数据;
S203,存储服务器将该数据计入对应云存储资源池的数据流量中。
由于云存储系统中存储的数据很多,而云存储系统的实际存储空间有限,一直将数据存储下去,必然会出现溢出的现象,并且较早时间点存储的数据实际使用的几率相对较小,因此可以对较早时间点存储的数据做周期覆盖处理,释放存储空间,以便新数据可以正常存储。周期覆盖处理的流程如图3所示,包括如下步骤:
S301,管理服务器按照预设检测周期,检测云存储资源池中数据的存储时间;
S302,当检测到云存储资源池的最早存储时间距离当前时间的时间间隔超过预设的云存储资源池存储周期时,管理服务器计算周期覆盖的覆盖时间点;
S303,管理服务器向各存储服务器下发覆盖时间点;
S304,各存储服务器根据接收到的覆盖时间点,将存储时间在覆盖时间点之前的所有数据删除。
覆盖时间点可以通过当前时间点减去预设的云存储资源池存储周期得到。预设检测周期可以是预先配置的,例如10个小时、1天、3天等,可以根据云存储系统的总存储容量、数据流量的平均大小等参数确定。在进行周期覆盖时,周期覆盖的基本单位为一个统计周期,不会删除一个统计周期内的部分数据,例如,有一组数据的存储时间为9:00至9:30,通过计算得到的覆盖时间点为9:20,则在进行删除操作时,会将该组数据都删除,而不是只删除9:20以前的部分数据。
在实际应用中,已存储的数据中最早存储时间距离当前时间的时间间隔可能还没有超过预设的云存储资源池存储周期,而云存储系统的实际存储空间已不足以存储新数据,为了应对这种情况,保证数据存储的成功率,需要对云储存资源池作以调整。
如图4所示,本发明实施例提供了一种云存储资源池的存储空间调整方法,该方法包括如下步骤:
S401,获取并记录由各存储服务器统计的云存储资源池的流量统计信息。
如图2中所述,存储服务器在存储数据之后,会将该数据计入对应云存储资源池的数据流量中,即各存储服务器会统计云存储资源池的流量统计信息,流量统计信息可以包括数据的存储时间、数据流量的大小等。管理服务器可以主动或者被动地获取各存储服务器统计的云存储资源池的流量统计信息,并且,由于后续在进行数据流量的预测时,需要用到历史的流量统计信息,需要管理服务器对流量统计信息进行记录。
可选的,S401具体可以通过如下步骤实现。
向各存储服务器下发信息获取指令,以使各存储服务器在接收到信息获取指令后,向管理服务器发送统计的云存储资源池的流量统计信息;
接收由各存储服务器发送的流量统计信息。
管理服务器可以是主动地从各存储服务器获取流量统计信息,即在需要进行流量预测时,主动地向各存储服务器下发信息获取指令,该信息获取指令相当于一个触发指令,各存储服务器在接收到该信息获取指令之后,会将统计的云存储资源池的流量统计信息发送至管理服务器。需要说明的一点,管理服务器下发信息获取指令可以是周期性下发的,也可以是基于需求下发的,这里不做具体限定。
当然,管理服务器还可以是被动地从各存储服务器获取流量统计信息,即各存储服务器在统计到流量统计信息后,直接将所统计的流量统计信息发送至管理服务器;也可以是各存储服务器按照预设的发送周期,将一个发送周期内统计的所有流量统计信息直接发送至管理服务器。
综上所述,不论是管理服务器主动地从各存储服务器获取流量统计信息,还是被动地从各存储服务器获取流量统计信息,都可以是周期性地获取,即可选的,S401具体可以为:
按照预设获取周期,周期性地获取各存储服务器统计的云存储资源池的流量统计信息。
并且,由于云存储资源池和存储服务器之间存在多对多的对应关系,管理服务器实际在获取流量统计信息时,所获取到的流量统计信息不仅仅是某一个云存储资源池的流量统计信息,而是各云存储资源池的流量统计信息,因此,在S401之后,云存储资源池的存储空间调整方法还可以包括:
汇总在预设获取周期内所有云存储资源池的流量统计信息。
管理服务器在接收到各存储服务器统计的各云存储资源池的流量统计信息之后,会将预设周期内获取到的所有云存储资源池的流量统计信息作以汇总,将各云存储资源池的流量统计信息分别进行记录,汇总和统计可以在数据库或者文件中进行,这里不做限定。
具体的,结合上述内容,针对管理服务器周期性地主动获取流量统计信息,如图5所示,流量统计信息的获取流程包括:
S501,管理服务器按照预设获取周期,向各存储服务器下发信息获取指令;
S502,各存储服务器在接收到信息获取指令之后,将所有云存储资源池的流量统计信息上报至管理服务器,并清空当前的流量统计信息;
S503,管理服务器汇总本次预设获取周期内所有云存储资源池的流量统计信息,并记录。
管理服务器可以周期性地主动获取各存储服务器统计的流量统计信息,由于各存储服务器与各云存储资源池之间存在多对多的对应关系,各存储服务器统计了对应的多个云存储资源池的流量统计信息,因此,管理服务器所获取到的是各存储服务器统计的所有云存储资源池的流量统计信息,通过汇总、记录,保证管理服务器中记录有各云存储资源池的历史流量统计信息。为了保证存储服务器的空间利用率,存储服务器在将统计的流量统计信息上报至管理服务器后,会清空当前的流量统计信息。
S402,根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量。
已记录的历史流量统计信息反映了数据存储的流量趋势及状态,一般情况下,存储时间相近的数据流量的大小差别不大、并且不同天内同一时刻存储的数据流量的大小相近,因此,根据已记录的历史流量统计信息,可以预测出剩余存储周期所需的存储容量。例如,可以根据已记录的当前预设获取周期内的流量统计信息,在该流量统计信息的基础上增加一个预设值,作为下一个预设获取周期内云储存资源池的数据流量预测结果;还可以根据最近5天内同一时刻获取的流量统计信息(如最近5天10:00获取的流量统计信息),通过计算平均值,将计算结果作为下一个预设获取周期内云存储资源池的数据流量预测结果。当然,还可以根据最近一段时间内获取的流量统计信息对下一个预设获取周期内云存储资源池的数据流量进行预测,这里不再赘述。以此类推,可以将剩余存储周期内,每个预设获取周期内的数据流量进行预测,这样,就可以得到剩余存储周期所需的存储容量。剩余存储周期为在一个存储周期内还可以存储数据的剩余时间。
可选的,S402具体可以通过如下步骤实现。
第一步,根据已记录的当前预设获取周期内的第一流量统计信息、预设多个时间点获取的各流量统计信息的第一平均值、预设时间段内获取的各流量统计信息的第二平均值、以及分别为第一流量统计信息、第一平均值及第二平均值预先分配的权值,预测下一个预设获取同期内云存储资源池的数据流量。
基于上述分析,为了提高对下一个预设获取周期内云存储资源池的数据流量进行预测的准确性,可以结合已记录的当前预设获取周期内的第一流量统计信息、预设多个时间点获取的各流量统计信息的第一平均值以及预设时间段内获取的各流量统计信息的第二平均值,通过对第一流量统计信息、第一平均值及第二平均值的加权计算,得到下一个预设获取同期内云存储资源池的数据流量的预测结果。
例如,如预测的是5月28日10:00的数据流量,且预设获取周期为1个小时,则第一流量统计信息为5月28日9:00获取的流量统计信息;第一平均值可以为最近3次同一时刻的平均值,如预测的是5月28日10:00的数据流量,则可以对5月27日、5月26日、5月25日10:00获取的流量统计信息求平均值;第二平均值可以为最近一天获取的流量统计信息的平均值,以统计周期为1个小时为例,如预测的是5月28日10:00的数据流量,则可以对5月27日10:00至5月28日9:00获取的流量统计信息求平均值。给第一流量统计信息分配50%权重、给第一平均值分配30%权重、给第二平均值分配20%权重,通过加权运算即可得到下一个预设获取同期内云存储资源池的数据流量预测结果。
第二步,根据已记录的历史流量统计信息及云存储资源池的总存储周期,计算得到云存储资源池的剩余存储周期。
基于已记录的历史流量统计信息,可以确定已存储的数据中最早的存储时间点,当前时间点与最早的存储时间点作差可以得到总存储周期内已使用的存储周期,这样,利用总存储周期减去已使用的存储周期,即可得到云存储资源池的剩余存储周期。剩余存储周期还可以通过下一次循环覆盖时间点减去当前时间点得到,下一次循环覆盖时间点即为图3中计算得到的覆盖时间点加上存储周期得到。例如,如果历史流量统计信息中最早的存储时间点为7:00,存储周期为5个小时,当前时间点为9:00,则剩余存储周期为9:00至12:00的3个小时。
第三步,通过对剩余存储周期占预设获取周期的比例、与下一个预设获取同期内云存储资源池的数据流量的乘积运算,计算得到剩余存储周期所需的存储容量。
在计算得到下一个预设获取同期内云存储资源池的数据流量之后,可以基于在剩余存储周期中每个预设获取周期内的数据流量均相同的假设,将对剩余存储周期占预设获取周期的比例、与下一个预设获取同期内云存储资源池的数据流量进行相乘运算,即可得到剩余存储周期所需的存储容量的预测结果。例如,剩余存储周期为3个小时,预设获取周期为1个小时,则剩余存储周期为预设获取周期的3倍,即下一个预设获取同期内云存储资源池的数据流量乘以3可以得到剩余存储周期所需的存储容量的预测结果。
S403,判断云存储资源池的剩余存储空间是否小于存储容量。
在得到存储容量后,需要将云存储资源池的剩余存储空间与存储容量进行比较,如果剩余存储空间小于存储容量,则说明剩余存储空间不能满足存储容量的要求,则需要进行剩余存储空间的调整,如果剩余存储空间大于或等于存储容量,则说明剩余存储空间可以满足存储容量的要求,可以不对剩余存储空间进行调整。
S404,若小于,则通过预设调整存储策略,调整云存储资源池的剩余存储空间。
如果剩余存储空间无法满足存储容量的要求,需要对剩余存储空间进行调整,预设调整存储策略可以是向云存储资源池分配虚拟存储空间、删除历史数据,或者,针对存储的是视频数据,可以进行数据抽帧转存和非关键帧过滤等调整操作。
由于剩余存储周期所需的存储容量为预测的值,与真实可能存在差异,为了保证数据存储的完整性,可以优先考虑分配临时存储空间的方法,对剩余存储空间进行调整。
可选的,S404可以通过如下步骤实现。
判断云存储系统中未使用的存储空间是否大于或等于第一容量差值,其中,第一容量差值为存储容量与剩余存储空间的差值;
若是,则为云存储资源池分配临时存储空间,其中,临时存储空间为云存储系统中未使用的存储容量为第一容量差值的存储空间;
若否,则将云存储系统中未使用的存储空间分配给云存储资源池;生成容量告警指令;发送容量告警指令至用户端。
管理服务器优先为云存储资源池分配临时存储空间,如果云存储系统中未使用的存储空间大于或等于存储容量与剩余存储空间的差值,则说明云存储系统中有足够的未使用存储空间,以供将预测的数据流量都存储下,则可以给云存储资源池分配临时存储空间,临时存储空间的存储容量等于存储容量与剩余存储空间的差值。如果云存储系统中未使用的存储空间小于存储容量与剩余存储空间的差值,则说明即使将未使用的存储空间分配给云存储资源池,存储空间仍然不够用,因此,可以将未使用的存储空间都分配给云存储资源池,并且生成一个容量告警指令,将该容量告警指令发送至用户端,以提醒用户端增加存储容量。
由于云存储系统中未使用的存储空间小于存储容量与剩余存储空间的差值时,即使将未使用的存储空间分配给云存储资源池,存储空间仍然不够用,因此,除了可以向用户发送容量告警指令以外,还可以采用删除历史数据的方式释放已占用的存储空间。
可选的,在将云存储系统中未使用的存储空间分配给云存储资源池的步骤之后,还可以执行历史数据删除的操作,来释放已占用的存储空间。历史数据删除的操作流程如图6所示,可以包括如下步骤:
S601,将存储容量、剩余存储空间与云存储系统中未使用的存储空间作差,得到待删除空间容量;
S602,从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于待删除空间容量;
S603,如果累加值大于待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果累加值等于待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
S604,向各存储服务器下发该删除时间点,以使各存储服务器删除存储时间在该删除时间点之前的所有数据。
删除的总空间可以为存储容量、剩余存储空间与云存储系统中未使用的存储空间作差得到的需要释放的存储空间,也就是如果想要将预测得到的所有数据流量完全存储,还需要多少的存储空间。计算出需要释放的存储空间后,根据记录的云存储资源池的历史流量统计信息,可以估算出删除时间点,向所有的存储服务器下发该删除时间点,使得各存储服务器删除存储时间在该删除时间点之前的所有数据。
估算删除时间点的方法如下:
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于待删除空间容量。如果累加值等于待删除空间容量,则选择该统计值的时间点(即停止累加时最后一个历史流量统计信息中的存储时间点);如果累加值大于待删除空间容量,则选择上一次统计值的时间点(即停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点)。
由于云存储系统存储的数据有可能为视频数据,针对视频数据,可以对视频数据进行特殊处理,以达到释放存储空间的目的,而不进行删除历史数据的操作,因此,可选的,在将云存储系统中未使用的存储空间分配给云存储资源池的步骤之后,管理服务器还可以执行:
第一步,如果各存储服务器中存储了视频数据,则向各存储服务器下发抽帧转存指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留,并对历史视频数据的非关键帧进行删除;
第二步,记录下发抽帧转存指令的次数;
第三步,如果进行抽帧转存后的云存储资源池的剩余存储空间小于存储容量,则判断已下发抽帧转存指令的次数是否达到第一预设次数;
第四步,若已下发抽帧转存指令的次数达到第一预设次数,则向各存储服务器下发抽帧转存指令以及非关键帧过滤指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留、对历史视频数据的非关键帧进行删除,并对最新接收的视频数据的指定非关键帧进行过滤;记录下发非关键帧过滤指令的次数;
第五步,如果进行抽帧转存及非关键帧过滤后的云存储资源池的剩余存储空间小于存储容量,则判断已下发非关键帧过滤指令的次数是否达到第二预设次数;
第六步,若已下发非关键帧过滤指令的次数未达到第二预设次数,则向各存储服务器下发抽帧转存指令以及非关键帧过滤指令,并增加下发非关键帧过滤指令的次数;
第七步,若已下发抽帧转存指令的次数未达到第一预设次数,则向各存储服务器下发抽帧转存指令,并增加下发抽帧转存指令的次数。
第一预设次数与第二预设次数可以相同,也可以不相同,由于对于视频帧而言,关键帧中往往携带有视频的最重要的信息,因此,如果剩余存储空间不够,可以考虑对视频先进行处理,即保留关键帧(I帧)、删除非关键帧,如果经过多次的抽帧转存操作之后还不能满足存储容量的要求,则可以对新的视频数据进行非关键帧过滤处理,非关键帧过滤处理策略可以包括:仅过滤B帧、过滤B帧和部分P帧,由于是新的视频数据,原则上不能过滤所有的P帧,P帧的过滤百分比存在上限,例如30%,具体过滤上限和非关键帧过滤处理策略可配置。
如果进行抽帧转存后的云存储资源池的剩余存储空间大于或等于存储容量,即新一轮的云存储资源池存储容量预测结果为剩余存储空间满足预测存储容量,且已下发抽帧转存指令的次数没有达到第一预设次数,则停止抽帧转存操作,清零抽帧转存指令的次数;如果进行抽帧转存及非关键帧过滤后的云存储资源池的剩余存储空间大于或等于存储容量,即新一轮的云存储资源池存储容量预测结果为剩余存储空间满足预测存储容量,且已下发非关键帧过滤指令的次数没有达到第二预设次数,则停止对最新接收的视频数据的指定非关键帧进行过滤,清零非关键帧过滤指令的次数,仅下发抽帧转存指令。
如果已下发非关键帧过滤指令的次数达到第二预设次数,则说明存储空间仍然不够,可以执行历史数据删除的操作,来释放已占用的存储空间。可选的,在判断已下发非关键帧过滤指令的次数是否达到第二预设次数之后,还可以包括如下步骤:
若已下发非关键帧过滤指令的次数达到第二预设次数,则将存储容量、进行抽帧转存及非关键帧过滤后的云存储资源池的剩余存储空间与云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于待删除空间容量;
如果累加值大于待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果累加值等于待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器下发删除时间点,以使各存储服务器删除存储时间在删除时间点之前的所有视频数据。
历史数据删除的操作与上述在将云存储系统中未使用的存储空间分配给云存储资源池的步骤之后所执行的历史数据删除的操作相同,这里不再赘述。
应用本实施例,管理服务器通过获取并记录由各存储服务器统计的云存储资源池的流量统计信息,根据已记录的历史流量统计信息,对剩余存储周期所需的存储容量进行预测,并通过判断预测结果与云存储资源池的剩余存储空间的大小关系,若剩余存储空间小于存储容量,说明剩余存储空间不足以存储预测的数据流量,则可以通过预设调整存储策略,调整云存储资源池的剩余存储空间,以保证对数据的存储。在接收到需要存储的新数据之前,对剩余存储周期所需的存储容量进行了预测,在剩余存储空间无法满足预测结果时,做出了调整剩余存储空间的操作,也就是说在接收到需要存储的新数据之前,就已经将云存储资源池的剩余存储空间调整为可以存储新数据,提高了数据的存储效率。
相应于上述方法实施例,本发明实施例还提供了一种云存储资源池的存储空间调整装置,如图7所示,该云存储资源池的存储空间调整装置可以包括:
获取模块710,用于获取并记录由各存储服务器统计的云存储资源池的流量统计信息;
预测模块720,用于根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量;
判断模块730,用于判断所述云存储资源池的剩余存储空间是否小于所述存储容量;
调整模块740,用于若所述判断模块730的判断结果为所述云存储资源池的剩余存储空间小于所述存储容量,则通过预设调整存储策略,调整所述云存储资源池的剩余存储空间。
可选的,所述获取模块710,具体可以用于:
向各存储服务器下发信息获取指令,以使各存储服务器在接收到所述信息获取指令后,向所述管理服务器发送统计的云存储资源池的流量统计信息;
接收由各存储服务器发送的所述流量统计信息。
可选的,所述获取模块710,具体可以用于:
按照预设获取周期,周期性地获取各存储服务器统计的云存储资源池的流量统计信息;
汇总在所述预设获取周期内所有云存储资源池的流量统计信息。
可选的,所述预测模块720,具体可以用于:
根据已记录的当前预设获取周期内的第一流量统计信息、预设多个时间点获取的各流量统计信息的第一平均值、预设时间段内获取的各流量统计信息的第二平均值、以及分别为所述第一流量统计信息、所述第一平均值及所述第二平均值预先分配的权值,预测下一个预设获取同期内所述云存储资源池的数据流量;
根据已记录的历史流量统计信息及所述云存储资源池的总存储周期,计算得到所述云存储资源池的剩余存储周期;
通过对所述剩余存储周期占所述预设获取周期的比例、与所述下一个预设获取同期内所述云存储资源池的数据流量的乘积运算,计算得到剩余存储周期所需的存储容量。
可选的,所述调整模块740,具体可以用于:
判断云存储系统中未使用的存储空间是否大于或等于第一容量差值,所述第一容量差值为所述存储容量与所述剩余存储空间的差值;
若是,则为所述云存储资源池分配临时存储空间,所述临时存储空间为所述云存储系统中未使用的存储容量为第一容量差值的存储空间;
若否,则将所述云存储系统中未使用的存储空间分配给所述云存储资源池;生成容量告警指令;发送所述容量告警指令至用户端。
可选的,所述调整模块740,还可以用于:
将所述存储容量、所述剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器下发所述删除时间点,以使各存储服务器删除存储时间在所述删除时间点之前的所有数据。
可选的,所述调整模块740,还可以用于:
如果各存储服务器中存储了视频数据,则向各存储服务器下发抽帧转存指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留,并对所述历史视频数据的非关键帧进行删除;
记录下发所述抽帧转存指令的次数;
如果进行抽帧转存后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述抽帧转存指令的次数是否达到第一预设次数;
若已下发所述抽帧转存指令的次数达到所述第一预设次数,则向各存储服务器下发所述抽帧转存指令以及非关键帧过滤指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留、对所述历史视频数据的非关键帧进行删除,并对最新接收的视频数据的指定非关键帧进行过滤;记录下发所述非关键帧过滤指令的次数;
如果进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述非关键帧过滤指令的次数是否达到第二预设次数;
若已下发所述非关键帧过滤指令的次数未达到所述第二预设次数,则向各存储服务器下发所述抽帧转存指令以及所述非关键帧过滤指令,并增加下发所述非关键帧过滤指令的次数;
若已下发所述抽帧转存指令的次数未达到所述第一预设次数,则向各存储服务器下发所述抽帧转存指令,并增加下发所述抽帧转存指令的次数。
可选的,所述调整模块740,还可以用于:
若已下发所述非关键帧过滤指令的次数达到所述第二预设次数,则将所述存储容量、所述进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器下发所述删除时间点,以使各存储服务器删除存储时间在所述删除时间点之前的所有视频数据。
应用本实施例,管理服务器通过获取并记录由各存储服务器统计的云存储资源池的流量统计信息,根据已记录的历史流量统计信息,对剩余存储周期所需的存储容量进行预测,并通过判断预测结果与云存储资源池的剩余存储空间的大小关系,若剩余存储空间小于存储容量,说明剩余存储空间不足以存储预测的数据流量,则可以通过预设调整存储策略,调整云存储资源池的剩余存储空间,以保证对数据的存储。在接收到需要存储的新数据之前,对剩余存储周期所需的存储容量进行了预测,在剩余存储空间无法满足预测结果时,做出了调整剩余存储空间的操作,也就是说在接收到需要存储的新数据之前,就已经将云存储资源池的剩余存储空间调整为可以存储新数据,提高了数据的存储效率。
相应于上述实施例,本发明实施例还提供了一种云存储系统,如图8所示,可以包括管理服务器801及多个存储服务器802;
管理服务器801,用于获取并记录由各存储服务器802统计的云存储资源池的流量统计信息;根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量;判断所述云存储资源池的剩余存储空间是否小于所述存储容量;若小于,则通过预设调整存储策略,调整所述云存储资源池的剩余存储空间;
存储服务器802,用于统计云存储资源池的流量统计信息,并将统计的流量统计信息发送至所述管理服务器801;存储数据。
可选的,所述管理服务器801具体用于:
向各存储服务器802下发信息获取指令;
接收由各存储服务器802发送的所述流量统计信息;
相应的,各存储服务器802,具体用于:
在接收到所述信息获取指令后,向所述管理服务器801发送统计的云存储资源池的流量统计信息。
可选的,所述管理服务器801具体用于:
按照预设获取周期,周期性地获取各存储服务器802统计的云存储资源池的流量统计信息;
所述管理服务器801还用于:
汇总在所述预设获取周期内所有云存储资源池的流量统计信息。
可选的,所述管理服务器801具体用于:
根据已记录的当前预设获取周期内的第一流量统计信息、预设多个时间点获取的各流量统计信息的第一平均值、预设时间段内获取的各流量统计信息的第二平均值、以及分别为所述第一流量统计信息、所述第一平均值及所述第二平均值预先分配的权值,预测下一个预设获取同期内所述云存储资源池的数据流量;
根据已记录的历史流量统计信息及所述云存储资源池的总存储周期,计算得到所述云存储资源池的剩余存储周期;
通过对所述剩余存储周期占所述预设获取周期的比例、与所述下一个预设获取同期内所述云存储资源池的数据流量的乘积运算,计算得到剩余存储周期所需的存储容量。
可选的,所述管理服务器801具体用于:
判断云存储系统中未使用的存储空间是否大于或等于第一容量差值,所述第一容量差值为所述存储容量与所述剩余存储空间的差值;
若是,则为所述云存储资源池分配临时存储空间,所述临时存储空间为所述云存储系统中未使用的存储容量为第一容量差值的存储空间;
若否,则将所述云存储系统中未使用的存储空间分配给所述云存储资源池;生成容量告警指令;发送所述容量告警指令至用户端。
可选的,所述管理服务器801还用于:
将所述存储容量、所述剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器802下发所述删除时间点;
相应的,各存储服务器802,具体用于:
删除存储时间在所述删除时间点之前的所有数据。
可选的,所述管理服务器801还用于:
如果各存储服务器802中存储了视频数据,则向各存储服务器802下发抽帧转存指令;
记录下发所述抽帧转存指令的次数;
如果进行抽帧转存后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述抽帧转存指令的次数是否达到第一预设次数;
若已下发所述抽帧转存指令的次数达到所述第一预设次数,则向各存储服务器802下发所述抽帧转存指令以及非关键帧过滤指令;记录下发所述非关键帧过滤指令的次数;
如果进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述非关键帧过滤指令的次数是否达到第二预设次数;
若已下发所述非关键帧过滤指令的次数未达到所述第二预设次数,则向各存储服务器802下发所述抽帧转存指令以及所述非关键帧过滤指令,并增加下发所述非关键帧过滤指令的次数;
若已下发所述抽帧转存指令的次数未达到所述第一预设次数,则向各存储服务器802下发所述抽帧转存指令,并增加下发所述抽帧转存指令的次数;
相应的,各存储服务器802具体用于:
在接收到所述抽帧转存指令之后,对已存储的历史视频数据的关键帧进行保留,并对所述历史视频数据的非关键帧进行删除;
相应的,各存储服务器802具体用于:
在接收到所述抽帧转存指令及所述非关键帧过滤指令之后,对已存储的历史视频数据的关键帧进行保留、对所述历史视频数据的非关键帧进行删除,并对最新接收的视频数据的指定非关键帧进行过滤。
可选的,所述管理服务器801还用于:
若已下发所述非关键帧过滤指令的次数达到所述第二预设次数,则将所述存储容量、所述进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器802下发所述删除时间点;
相应的,各存储服务器802,具体用于:
删除存储时间在所述删除时间点之前的所有视频数据。
应用本实施例,管理服务器通过获取并记录由各存储服务器统计的云存储资源池的流量统计信息,根据已记录的历史流量统计信息,对剩余存储周期所需的存储容量进行预测,并通过判断预测结果与云存储资源池的剩余存储空间的大小关系,若剩余存储空间小于存储容量,说明剩余存储空间不足以存储预测的数据流量,则可以通过预设调整存储策略,调整云存储资源池的剩余存储空间,以保证对数据的存储。在接收到需要存储的新数据之前,对剩余存储周期所需的存储容量进行了预测,在剩余存储空间无法满足预测结果时,做出了调整剩余存储空间的操作,也就是说在接收到需要存储的新数据之前,就已经将云存储资源池的剩余存储空间调整为可以存储新数据,提高了数据的存储效率。
本发明实施例还提供了一种管理服务器,如图9所示,可以包括处理器901和存储器902;
所述存储器902,用于存放计算机程序;
所述处理器901,用于执行所述存储器902上所存放的程序时,实现本发明实施例所提供的云存储资源池的存储空间调整方法的所有步骤。
上述存储器可以包括RAM(Random Access Memory,随机存取存储器),也可以包括NVM(Non-Volatile Memory,非易失性存储器),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器,包括CPU(Central Processing Unit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(Digital Signal Processor,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通过上述管理服务器,能够实现:管理服务器通过获取并记录由各存储服务器统计的云存储资源池的流量统计信息,根据已记录的历史流量统计信息,对剩余存储周期所需的存储容量进行预测,并通过判断预测结果与云存储资源池的剩余存储空间的大小关系,若剩余存储空间小于存储容量,说明剩余存储空间不足以存储预测的数据流量,则可以通过预设调整存储策略,调整云存储资源池的剩余存储空间,以保证对数据的存储。在接收到需要存储的新数据之前,对剩余存储周期所需的存储容量进行了预测,在剩余存储空间无法满足预测结果时,做出了调整剩余存储空间的操作,也就是说在接收到需要存储的新数据之前,就已经将云存储资源池的剩余存储空间调整为可以存储新数据,提高了数据的存储效率。
另外,相应于上述实施例所提供的云存储资源池的存储空间调整方法,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现本发明实施例所提供的云存储资源池的存储空间调整方法的所有步骤。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的云存储资源池的存储空间调整方法的应用程序,因此能够实现:管理服务器通过获取并记录由各存储服务器统计的云存储资源池的流量统计信息,根据已记录的历史流量统计信息,对剩余存储周期所需的存储容量进行预测,并通过判断预测结果与云存储资源池的剩余存储空间的大小关系,若剩余存储空间小于存储容量,说明剩余存储空间不足以存储预测的数据流量,则可以通过预设调整存储策略,调整云存储资源池的剩余存储空间,以保证对数据的存储。在接收到需要存储的新数据之前,对剩余存储周期所需的存储容量进行了预测,在剩余存储空间无法满足预测结果时,做出了调整剩余存储空间的操作,也就是说在接收到需要存储的新数据之前,就已经将云存储资源池的剩余存储空间调整为可以存储新数据,提高了数据的存储效率。
对于管理服务器以及计算机可读存储介质实施例而言,由于其所涉及的方法内容基本相似于前述的方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、管理服务器和计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (15)

1.一种云存储资源池的存储空间调整方法,其特征在于,应用于管理服务器,所述方法包括:
获取并记录由各存储服务器统计的云存储资源池的流量统计信息;
根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量;
判断所述云存储资源池的剩余存储空间是否小于所述存储容量;
若小于,则通过预设调整存储策略,调整所述云存储资源池的剩余存储空间;
其中,所述通过预设调整存储策略,调整所述云存储资源池的剩余存储空间,包括:
判断云存储系统中未使用的存储空间是否大于或等于第一容量差值,所述第一容量差值为所述存储容量与所述剩余存储空间的差值;
若是,则为所述云存储资源池分配临时存储空间,所述临时存储空间为所述云存储系统中未使用的存储容量为第一容量差值的存储空间;
若否,则将所述云存储系统中未使用的存储空间分配给所述云存储资源池;生成容量告警指令;发送所述容量告警指令至用户端。
2.根据权利要求1所述的方法,其特征在于,所述获取由各存储服务器统计的云存储资源池的流量统计信息,包括:
向各存储服务器下发信息获取指令,以使各存储服务器在接收到所述信息获取指令后,向所述管理服务器发送统计的云存储资源池的流量统计信息;
接收由各存储服务器发送的所述流量统计信息。
3.根据权利要求1所述的方法,其特征在于,所述获取由各存储服务器统计的云存储资源池的流量统计信息,包括:
按照预设获取周期,周期性地获取各存储服务器统计的云存储资源池的流量统计信息;
在所述获取并记录由各存储服务器统计的云存储资源池的流量统计信息之后,所述方法还包括:
汇总在所述预设获取周期内所有云存储资源池的流量统计信息。
4.根据权利要求3所述的方法,其特征在于,所述根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量,包括:
根据已记录的当前预设获取周期内的第一流量统计信息、预设多个时间点获取的各流量统计信息的第一平均值、预设时间段内获取的各流量统计信息的第二平均值、以及分别为所述第一流量统计信息、所述第一平均值及所述第二平均值预先分配的权值,预测下一个预设获取同期内所述云存储资源池的数据流量;
根据已记录的历史流量统计信息及所述云存储资源池的总存储周期,计算得到所述云存储资源池的剩余存储周期;
通过对所述剩余存储周期占所述预设获取周期的比例、与所述下一个预设获取同期内所述云存储资源池的数据流量的乘积运算,计算得到剩余存储周期所需的存储容量。
5.根据权利要求1所述的方法,其特征在于,在所述将所述云存储系统中未使用的存储空间分配给所述云存储资源池之后,所述方法还包括:
将所述存储容量、所述剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器下发所述删除时间点,以使各存储服务器删除存储时间在所述删除时间点之前的所有数据。
6.根据权利要求1所述的方法,其特征在于,在所述将所述云存储系统中未使用的存储空间分配给所述云存储资源池之后,所述方法还包括:
如果各存储服务器中存储了视频数据,则向各存储服务器下发抽帧转存指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留,并对所述历史视频数据的非关键帧进行删除;
记录下发所述抽帧转存指令的次数;
如果进行抽帧转存后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述抽帧转存指令的次数是否达到第一预设次数;
若已下发所述抽帧转存指令的次数达到所述第一预设次数,则向各存储服务器下发所述抽帧转存指令以及非关键帧过滤指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留、对所述历史视频数据的非关键帧进行删除,并对最新接收的视频数据的指定非关键帧进行过滤;记录下发所述非关键帧过滤指令的次数;
如果进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述非关键帧过滤指令的次数是否达到第二预设次数;
若已下发所述非关键帧过滤指令的次数未达到所述第二预设次数,则向各存储服务器下发所述抽帧转存指令以及所述非关键帧过滤指令,并增加下发所述非关键帧过滤指令的次数;
若已下发所述抽帧转存指令的次数未达到所述第一预设次数,则向各存储服务器下发所述抽帧转存指令,并增加下发所述抽帧转存指令的次数。
7.根据权利要求6所述的方法,其特征在于,在所述判断已下发所述非关键帧过滤指令的次数是否达到第二预设次数之后,所述方法还包括:
若已下发所述非关键帧过滤指令的次数达到所述第二预设次数,则将所述存储容量、所述进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器下发所述删除时间点,以使各存储服务器删除存储时间在所述删除时间点之前的所有视频数据。
8.一种云存储资源池的存储空间调整装置,其特征在于,应用于管理服务器,所述装置包括:
获取模块,用于获取并记录由各存储服务器统计的云存储资源池的流量统计信息;
预测模块,用于根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量;
判断模块,用于判断所述云存储资源池的剩余存储空间是否小于所述存储容量;
调整模块,用于若所述判断模块的判断结果为所述云存储资源池的剩余存储空间小于所述存储容量,则通过预设调整存储策略,调整所述云存储资源池的剩余存储空间;
其中,所述调整模块,具体用于:
判断云存储系统中未使用的存储空间是否大于或等于第一容量差值,所述第一容量差值为所述存储容量与所述剩余存储空间的差值;
若是,则为所述云存储资源池分配临时存储空间,所述临时存储空间为所述云存储系统中未使用的存储容量为第一容量差值的存储空间;
若否,则将所述云存储系统中未使用的存储空间分配给所述云存储资源池;生成容量告警指令;发送所述容量告警指令至用户端。
9.根据权利要求8所述的装置,其特征在于,所述获取模块,具体用于:
向各存储服务器下发信息获取指令,以使各存储服务器在接收到所述信息获取指令后,向所述管理服务器发送统计的云存储资源池的流量统计信息;
接收由各存储服务器发送的所述流量统计信息。
10.根据权利要求8所述的装置,其特征在于,所述获取模块,具体用于:
按照预设获取周期,周期性地获取各存储服务器统计的云存储资源池的流量统计信息;
汇总在所述预设获取周期内所有云存储资源池的流量统计信息。
11.根据权利要求10所述的装置,其特征在于,所述预测模块,具体用于:
根据已记录的当前预设获取周期内的第一流量统计信息、预设多个时间点获取的各流量统计信息的第一平均值、预设时间段内获取的各流量统计信息的第二平均值、以及分别为所述第一流量统计信息、所述第一平均值及所述第二平均值预先分配的权值,预测下一个预设获取同期内所述云存储资源池的数据流量;
根据已记录的历史流量统计信息及所述云存储资源池的总存储周期,计算得到所述云存储资源池的剩余存储周期;
通过对所述剩余存储周期占所述预设获取周期的比例、与所述下一个预设获取同期内所述云存储资源池的数据流量的乘积运算,计算得到剩余存储周期所需的存储容量。
12.根据权利要求8所述的装置,其特征在于,所述调整模块,还用于:
将所述存储容量、所述剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器下发所述删除时间点,以使各存储服务器删除存储时间在所述删除时间点之前的所有数据。
13.根据权利要求8所述的装置,其特征在于,所述调整模块,还用于:
如果各存储服务器中存储了视频数据,则向各存储服务器下发抽帧转存指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留,并对所述历史视频数据的非关键帧进行删除;
记录下发所述抽帧转存指令的次数;
如果进行抽帧转存后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述抽帧转存指令的次数是否达到第一预设次数;
若已下发所述抽帧转存指令的次数达到所述第一预设次数,则向各存储服务器下发所述抽帧转存指令以及非关键帧过滤指令,以使各存储服务器对已存储的历史视频数据的关键帧进行保留、对所述历史视频数据的非关键帧进行删除,并对最新接收的视频数据的指定非关键帧进行过滤;记录下发所述非关键帧过滤指令的次数;
如果进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间小于所述存储容量,则判断已下发所述非关键帧过滤指令的次数是否达到第二预设次数;
若已下发所述非关键帧过滤指令的次数未达到所述第二预设次数,则向各存储服务器下发所述抽帧转存指令以及所述非关键帧过滤指令,并增加下发所述非关键帧过滤指令的次数;
若已下发所述抽帧转存指令的次数未达到所述第一预设次数,则向各存储服务器下发所述抽帧转存指令,并增加下发所述抽帧转存指令的次数。
14.根据权利要求13所述的装置,其特征在于,所述调整模块,还用于:
若已下发所述非关键帧过滤指令的次数达到所述第二预设次数,则将所述存储容量、所述进行抽帧转存及非关键帧过滤后的所述云存储资源池的剩余存储空间与所述云存储系统中未使用的存储空间作差,得到待删除空间容量;
从已记录的历史流量统计信息中存储时间点最早的历史流量统计信息开始,对各历史流量统计信息进行累加,直至累加值大于或等于所述待删除空间容量;
如果所述累加值大于所述待删除空间容量,则确定停止累加时倒数第二个历史流量统计信息中的存储时间点为删除时间点;如果所述累加值等于所述待删除空间容量,则确定停止累加时最后一个历史流量统计信息中的存储时间点为删除时间点;
向各存储服务器下发所述删除时间点,以使各存储服务器删除存储时间在所述删除时间点之前的所有视频数据。
15.一种云存储系统,其特征在于,所述系统包括:管理服务器及多个存储服务器;
所述管理服务器,用于获取并记录由各存储服务器统计的云存储资源池的流量统计信息;根据已记录的历史流量统计信息,预测剩余存储周期所需的存储容量;判断所述云存储资源池的剩余存储空间是否小于所述存储容量;若小于,则通过预设调整存储策略,调整所述云存储资源池的剩余存储空间;
其中,所述通过预设调整存储策略,调整所述云存储资源池的剩余存储空间,包括:判断云存储系统中未使用的存储空间是否大于或等于第一容量差值,所述第一容量差值为所述存储容量与所述剩余存储空间的差值;若是,则为所述云存储资源池分配临时存储空间,所述临时存储空间为所述云存储系统中未使用的存储容量为第一容量差值的存储空间;若否,则将所述云存储系统中未使用的存储空间分配给所述云存储资源池;生成容量告警指令;发送所述容量告警指令至用户端;
所述存储服务器,用于统计云存储资源池的流量统计信息,并将统计的流量统计信息发送至所述管理服务器;存储数据。
CN201810241477.7A 2018-03-22 2018-03-22 云存储资源池的存储空间调整方法、装置及云存储系统 Active CN110300134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810241477.7A CN110300134B (zh) 2018-03-22 2018-03-22 云存储资源池的存储空间调整方法、装置及云存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810241477.7A CN110300134B (zh) 2018-03-22 2018-03-22 云存储资源池的存储空间调整方法、装置及云存储系统

Publications (2)

Publication Number Publication Date
CN110300134A CN110300134A (zh) 2019-10-01
CN110300134B true CN110300134B (zh) 2022-10-04

Family

ID=68025793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810241477.7A Active CN110300134B (zh) 2018-03-22 2018-03-22 云存储资源池的存储空间调整方法、装置及云存储系统

Country Status (1)

Country Link
CN (1) CN110300134B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835740A (zh) * 2019-11-22 2021-05-25 伊姆西Ip控股有限责任公司 用于管理数据备份的方法、电子设备和计算机程序产品
US10841645B1 (en) * 2019-12-09 2020-11-17 Western Digital Technologies, Inc. Storage system and method for video frame segregation to optimize storage
CN111078698A (zh) * 2019-12-12 2020-04-28 紫光云(南京)数字技术有限公司 一种水文监测数据存储新机制
CN113254261A (zh) * 2020-02-07 2021-08-13 伊姆西Ip控股有限责任公司 数据备份方法、电子设备和计算机程序产品
CN111459410B (zh) * 2020-03-25 2023-08-29 北京三快在线科技有限公司 内存空间分配方法、装置、电子设备及存储介质
CN111736772A (zh) * 2020-06-15 2020-10-02 中国工商银行股份有限公司 分布式文件系统的存储空间数据处理方法及装置
CN111930299B (zh) * 2020-06-22 2024-01-26 中国建设银行股份有限公司 分配存储单元的方法及相关设备
CN112835525A (zh) * 2021-02-07 2021-05-25 东方网力科技股份有限公司 提高存储空间利用率的方法、装置及终端
CN113326236A (zh) * 2021-04-22 2021-08-31 宁波三星医疗电气股份有限公司 基于智能电力终端的有限空间存储方法
CN113766008A (zh) * 2021-08-06 2021-12-07 苏州浪潮智能科技有限公司 mcs下动态调整存储容量的方法、系统、终端及存储介质
CN113867643A (zh) * 2021-09-29 2021-12-31 北京金山云网络技术有限公司 数据存储方法、装置、设备及存储介质
CN114153399B (zh) * 2021-12-07 2023-10-20 四川云从天府人工智能科技有限公司 存储系统的数据存储方法、装置、控制装置和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470323A (zh) * 2015-08-14 2017-03-01 杭州海康威视系统技术有限公司 视频数据的存储方法及设备
CN106547481A (zh) * 2016-09-29 2017-03-29 浙江宇视科技有限公司 一种数据预分配方法和设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4313068B2 (ja) * 2003-03-28 2009-08-12 株式会社日立製作所 記憶装置のキャッシュ管理方法
US8762642B2 (en) * 2009-01-30 2014-06-24 Twinstrata Inc System and method for secure and reliable multi-cloud data replication
US8925060B2 (en) * 2013-01-02 2014-12-30 International Business Machines Corporation Selecting image or video files for cloud storage
CN105338027B (zh) * 2014-07-30 2019-01-25 杭州海康威视系统技术有限公司 进行视频数据云存储的方法、系统及装置
CN104572296B (zh) * 2014-12-23 2018-02-13 国云科技股份有限公司 一种预测云平台存储资源增长量的方法
US10078440B2 (en) * 2015-03-25 2018-09-18 Ebay Inc. Media discovery and content storage within and across devices
CN107104992B (zh) * 2016-02-19 2019-11-22 杭州海康威视数字技术股份有限公司 一种视频云存储的存储资源分配方法和装置
US9875052B2 (en) * 2016-03-15 2018-01-23 International Business Machines Corporation Storage capacity allocation using distributed spare space
CN106911776B (zh) * 2017-02-24 2020-02-07 郑州云海信息技术有限公司 一种云存储设备的管理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106470323A (zh) * 2015-08-14 2017-03-01 杭州海康威视系统技术有限公司 视频数据的存储方法及设备
CN106547481A (zh) * 2016-09-29 2017-03-29 浙江宇视科技有限公司 一种数据预分配方法和设备

Also Published As

Publication number Publication date
CN110300134A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110300134B (zh) 云存储资源池的存储空间调整方法、装置及云存储系统
KR101910537B1 (ko) 서비스 처리 방법, 시스템 및 장치
CN106452818B (zh) 一种资源调度的方法和系统
CN108829352B (zh) 一种分布式存储系统的用户配额方法及系统
CN107589915B (zh) 一种分布式存储系统的容量信息监控方法、装置及设备
CN107426274B (zh) 基于时序的业务应用及监控分析调度的方法和系统
CN111414070B (zh) 一种机箱功耗管理方法、系统及电子设备和存储介质
CN111159436B (zh) 一种推荐多媒体内容的方法、装置及计算设备
CN102037681A (zh) 对于管理系统的计算资源进行管理的方法和装置
CN107967117B (zh) 一种数据存储、读取、清理方法、装置及云存储系统
CN111858067B (zh) 一种数据处理方法及装置
WO2020172852A1 (en) Computing resource scheduling method, scheduler, internet of things system, and computer readable medium
CN107656807A (zh) 一种虚拟资源的自动弹性伸缩方法及装置
WO2017130244A2 (en) Centralized control server, local terminal, distributed surveillance system, surveillance method and storage medium
CN111985726A (zh) 资源数量预测方法、装置、电子设备及存储介质
CN111600807A (zh) 一种基于api网关设备的流量控制方法和系统
CN107967175A (zh) 一种基于多目标优化的资源调度系统及方法
CN102904942B (zh) 服务资源控制系统和服务资源控制方法
CN113177033A (zh) 一种日志数据存储方法、装置、电子设备和介质
CN110932935A (zh) 资源控制方法、装置、设备及计算机存储介质
CN110750350B (zh) 一种大资源调度方法、系统、装置及可读存储介质
CN106534231B (zh) 一种网络资源的使用限额的控制方法、装置及系统
CN111143071A (zh) 基于mcs系统的缓存分区管理方法、系统及相关组件
CN104270466B (zh) 数据上报方法及相关设备
CN115756847A (zh) Epc内存资源管理系统、方法、装置、物理机及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant