CN110825308B - 数据空间管理方法及装置 - Google Patents

数据空间管理方法及装置 Download PDF

Info

Publication number
CN110825308B
CN110825308B CN201810889282.3A CN201810889282A CN110825308B CN 110825308 B CN110825308 B CN 110825308B CN 201810889282 A CN201810889282 A CN 201810889282A CN 110825308 B CN110825308 B CN 110825308B
Authority
CN
China
Prior art keywords
data space
data
capacity
target activity
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810889282.3A
Other languages
English (en)
Other versions
CN110825308A (zh
Inventor
黄杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201810889282.3A priority Critical patent/CN110825308B/zh
Publication of CN110825308A publication Critical patent/CN110825308A/zh
Application granted granted Critical
Publication of CN110825308B publication Critical patent/CN110825308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608Saving storage space on storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供的数据空间管理方法,初始化用于存储目标活动的数据的数据空间,然后获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量,并当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间,从而以动态扩容的方式,保证了数据空间资源的合理配置,提高了数据空间的资源利用率。

Description

数据空间管理方法及装置
技术领域
本发明涉及数据处理领域,更具体的说,涉及数据空间管理方法及装置。
背景技术
随着计算机技术的发展和技术应用的普及,企业越来越关注数据的重要性。其中,如何耗费较小的代价在大量数据中快速判断一个数据是否存在,已成为一个热门的研究课题。
传统的许多解决方案都需要较大的数据空间才能够完成选择,而且需要的数据处理时间也较长,而Bloom Filter的出现在一定程度上解决了空间需求较大与处理时间较长的问题。但是,Bloom Filter数据空间的容量是固定的,缺少灵活配置,在数据空间的使用过程中,会导致数据空间的资源浪费问题,使数据空间的资源利用率较低。
因此,目前迫切需要一种切实有效的数据空间管理方案,以提高BloomFilter数据空间的资源利用率。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据空间管理方法及装置。
为实现上述目的,本发明提供如下技术方案:
一种数据空间管理方法,所述方法包括:
初始化数据空间,所述数据空间用于存储目标活动的数据;
获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量;
当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间。
优选的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
当所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
对所述剩余时长与所述增长速度进行修正,得到剩余时长修正值与增长速度修正值;
当所述剩余时长修正值与所述增长速度修正值的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,在所述初始化数据空间之后,所述方法还包括:获取所述目标活动的总时长;
相应的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
当所述剩余时长大于第二预设比例的所述总时长,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,在所述初始化数据空间之后,所述方法还包括:获取所述数据空间的总容量与已用容量;
相应的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
当所述已用容量大于第三预设比例的所述总容量,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,所述初始化数据空间包括:
获取与所述目标活动相对应的目标配置信息;
根据所述目标配置信息,初始化数据空间。
优选的,在为所述目标活动的数据存储开辟新数据空间之后,所述方法还包括:
获取所述数据空间的总容量与已用容量;
当所述已用容量小于第四预设比例的所述总容量时,将所述目标活动的剩余数据继续存储到所述数据空间;
当所述已用容量不小于第四预设比例的所述总容量时,将所述目标活动的剩余数据存储到所述新数据空间。
一种数据空间管理装置,所述装置包括:
空间初始化单元,用于初始化数据空间,所述数据空间用于存储目标活动的数据;
变量获取单元,用于获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量;
空间扩容单元,用于当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间。
一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如前述所述的数据空间管理方法。
一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行如前述所述的数据空间管理方法。
借由上述技术方案,本发明提供的数据空间管理方法,初始化用于存储目标活动的数据的数据空间,然后获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量,并当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间,从而以动态扩容的方式,保证了数据空间资源的合理配置,提高了数据空间的资源利用率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请实施例提供的数据空间管理方法的一种流程图;
图2为本申请实施例提供的数据空间管理方法的另一种流程图;
图3为本申请实施例提供的数据空间管理方法的又一种流程图;
图4为本申请实施例提供的数据空间管理方法的又一种流程图;
图5为本申请实施例提供的数据空间管理方法的又一种流程图;
图6为本申请实施例提供的数据空间管理方法的再一种流程图;
图7为本申请实施例提供的数据空间管理装置的一种结构示意图;
图8为本申请实施例提供的数据空间管理装置的另一种结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本申请实施例提供的数据空间方法及装置可适用于BloomFilter的数据空间管理,当然也可以适用于其他类型的具有数据管理需求的应用场景。
BloomFilter(布隆过滤器)是一种空间效率很高的随机数据结构,它利用位数组表示一个集合,并判断一个元素是否存在于这个集合中,来达到检索数据的目的。
请参阅图1,图1为本申请实施例提供的数据空间管理方法的一种流程图。
如图1所示,所述方法包括:
S110:初始化数据空间,所述数据空间用于存储目标活动的数据。
当目标活动开始后,目标活动的数据会源源不断地写入到BloomFilter的数据空间中,使数据空间中的数据量不断增长。
S120:获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量。
在初始化Bloom Filter的数据空间后,监控所述数据空间中数据的增长速度与所述数据空间的剩余容量,并及时获取所述目标活动的剩余时长,从而获知数据空间对目标活动的数据存储情况。
其中,所述剩余时长、所述增长速度与所述剩余容量的获取方式,可以是实时获取,也可以是周期性获取,可根据具体需求进行灵活配置。
S130:当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间。
所述剩余时长、所述增长速度与所述剩余容量,反映了数据空间对目标活动的数据存储情况,当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,表明目前的数据空间不足以存储所述目标活动的全部数据,在此情况下,需要为所述目标活动的数据存储开辟新数据空间,以动态扩容的方式,为目标活动的数据存储提供新的数据空间。
其中,动态扩容是指基于现有场景所处的情况,利用预先设定的扩容条件,动态地对现有的数据空间进行扩展。
一示例中,在为所述目标活动的数据存储开辟新数据空间时,可根据所述数据空间的总容量,来开辟一个总容量与所述数据空间相同的新数据空间。即,所述新数据空间的总容量与所述数据空间的总容量相同。
本实施例提供的数据空间管理方法,初始化用于存储目标活动的数据的数据空间,然后获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量,并当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间,从而以动态扩容的方式,保证了数据空间资源的合理配置,提高了数据空间的资源利用率。
请参阅图2,图2为本申请实施例提供的数据空间管理方法的另一种流程图。
如图2所示,所述方法包括:
S210:获取与所述目标活动相对应的目标配置信息。
目标配置信息是指,与目标活动相对应的配置信息,可以由用户预先设定。所述目标配置信息中至少包括针对目标活动所设定的空间容量大小。
S220:根据所述目标配置信息,初始化数据空间。
所述数据空间用于存储目标活动的数据。根据所述目标配置信息来执行数据空间的初始化,能够针对不同的活动、不同的系统,实现差异化的数据空间初始化,以争取数据空间资源利用率的最大化。
S230:获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量。
S240:当所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
所述剩余时长与所述增长速度的乘积,实际上就是所述目标活动的剩余数据量。所述第一预设比例可以包括不小于80%的任意值,例如,100%、80%等,当然,也可以包括其他值,具体可根据需求进行灵活配置。
当所述目标活动的剩余数据量大于100%的所述剩余容量时,表明所述数据空间的剩余容量,已不足以存储所述目标活动的剩余数据,所以需要为所述目标活动的数据存储开辟新数据空间,以实现目标活动的数据的继续存储。
例如,初始化的数据空间的容量为100G,剩余容量为20G,数据空间中数据的增长速度为5M/S,目标活动的剩余时长为4小时,则目标活动的剩余数据量为70.3125G,大于所述剩余容量20G,则为目标活动的数据存储开辟一个100G的新数据空间。
在实际应用中,当数据空间的使用率达到80%以后,数据存储过程可能会出现一定的错误率,从而影响系统稳定性,所以当所述目标活动的剩余数据量大于80%的所述剩余容量时,就可以为所述目标活动的数据存储开辟新数据空间,已存储目标活动的剩余数据,从而保证数据存储的可靠性与正确性。
相应的,当所述剩余时长与所述增长速度的乘积不大于第一预设比例的所述剩余容量时,表明所述数据空间的剩余容量,足以存储所述目标活动的剩余数据,所以禁止为所述目标活动的数据存储开辟新数据空间。
本实施例提供的数据空间管理方法,根据与所述目标活动相对应的目标配置信息初始化数据空间,能够针对不同的活动、不同的系统,实现差异化的数据空间初始化,以争取空间资源利用率的最大化;并在获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量之后,且所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间,从而提高了数据空间扩容逻辑的灵活性与合理性,进一步提高了数据空间资源的利用率,并保证了数据存储的可靠性与正确性。
请参阅图3,图3为本申请实施例提供的数据空间管理方法的又一种流程图。
如图3所示,所述方法包括:
S310:初始化数据空间,所述数据空间用于存储目标活动的数据。
S320:获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量。
S330:对所述剩余时长与所述增长速度进行修正,得到剩余时长修正值与增长速度修正值。
在目标活动开始之后,可能会出现活动高峰期与活动低谷期,使得数据空间中数据的增长速度出现上下浮动。所以,在目标活动的不同时期,可以对目标活动的剩余时长与数据空间中数据的增长速度进行修正,以准确估计数据空间对目标活动的数据存储情况。
一示例中,对所述剩余时长与所述增长速度进行修正,可以包括:对所述剩余时长与所述增长速度分别进行加权处理,得到剩余时长修正值与增长速度修正值。
例如,增长速度修正值=p×增长速度,剩余时长修正值=q×剩余时长。其中,p为增长速度对应的预设权值,q为剩余时长对应的预设权值。
S340:当所述剩余时长修正值与所述增长速度修正值的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
所述剩余时长修正值与所述增长速度修正值的乘积,实际上就是所述目标活动的剩余数据量的修正值。所述第一预设比例可以包括不小于80%的任意值,例如,100%、80%,或其他值,并可以根据具体需求进行灵活配置。
本实施例提供的数据空间管理方法,初始化用于存储目标活动的数据的数据空间,然后获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量,并对所述剩余时长与所述增长速度进行修正,当所述剩余时长修正值与所述增长速度修正值的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间,充分考虑了数据空间中数据增长速度的浮动性,提高了数据空间扩容逻辑的可靠性与准确性,进一步提高了数据空间的利用率,保证了系统稳定性。
请参阅图4,图4为本申请实施例提供的数据空间管理方法的又一种流程图。
如图4所示,所述方法包括:
S410:初始化数据空间,所述数据空间用于存储目标活动的数据。
S420:获取所述目标活动的总时长、所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量。
S430:判断所述剩余时长是否大于第二预设比例的所述总时长,若是,则执行步骤S440;否则,执行步骤S420。
其中,第二预设比例可以包括不大于25%的任意值,例如,5%、15%、25%等,当然,也可以包括其他值,具体可根据需求进行灵活配置。
一般情况下,目标活动在即将结束时的结尾数据的重要性较低,如电影视频的片尾数据,如果仅仅是目标活动的结尾数据无法存储到数据空间中,则可以不再考虑数据空间的扩容处理,而是以损失较小数据为代价来保证数据空间资源的合理使用性。
其中,判断所述剩余时长是否大于第二预设比例的所述总时长,实际上就是为了判断目标活动是否已快结束,当所述剩余时长不大于第二预设比例的所述总时长时,表明目标活动已快结束,此时目标活动的剩余数据为重要性较低的结尾数据,在该情况下,禁止为所述目标活动的数据存储开辟新数据空间。
S440:判断所述剩余时长与所述增长速度的乘积是否大于第一预设比例的所述剩余容量,若是,执行步骤S450;若否,执行步骤S420。
S450:为所述目标活动的数据存储开辟新数据空间。
一示例中,步骤S430与S440的判断次序可以相互替换,只要当所述剩余时长大于第二预设比例的所述总时长,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间即可。
相应的,当所述剩余时长不大于第二预设比例的所述总时长,或者,所述剩余时长与所述增长速度的乘积不大于第一预设比例的所述剩余容量时,禁止为所述目标活动的数据存储开辟新数据空间。
一示例中,在判断所述剩余时长与所述增长速度的乘积是否大于第一预设比例的所述剩余容量时,所述剩余时长与所述增长速度也可以是剩余时长修正值与增长速度修正值,具体可参考前述实施例中的步骤S330~S340的内容。
本实施例提供的数据空间管理方法,初始化用于存储目标活动的数据的数据空间,然后获取所述目标活动的总时长、所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量,并当所述剩余时长大于第二预设比例的所述总时长,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间,从而提高了数据空间扩容逻辑的精准度,进一步提高了数据空间资源的合理利用率。
请参阅图5,图5为本申请实施例提供的数据空间管理方法的又一种流程图。
如图5所示,所述方法包括:
S510:初始化数据空间,所述数据空间用于存储目标活动的数据;
S520:获取所述目标活动的剩余时长、所述数据空间中数据的增长速度以及所述数据空间的总容量、已用容量与剩余容量;
S530:判断所述已用容量是否大于第三预设比例的所述总容量,若是,则执行步骤S540;否则,执行步骤S520。
所述第三预设比例可以包括不小于50%的任意值,例如,50%、60%等,当然,也可以包括其他值,具体可根据需求进行灵活配置。
判断所述已用容量是否大于第三预设比例的所述总容量,是为了判断所述数据空间的总容量的使用率是否较高,当数据空间的总容量的使用率较高时,才会考虑是否为所述目标活动的数据存储开辟新数据空间,而当所述数据空间的总容量使用率较低时,则禁止为所述目标活动的数据存储开辟新数据空间,以避免数据空间的总容量的使用率较低时,过早开辟新数据空间而导致的资源浪费问题。
S540:判断所述剩余时长与所述增长速度的乘积是否大于第一预设比例的所述剩余容量,若是,执行步骤S550;若否,执行步骤S520;
S550:为所述目标活动的数据存储开辟新数据空间。
一示例中,步骤S530与S540的判断顺序可以相互替换,只要当所述已用容量大于第三预设比例的所述总容量,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间即可。
相应的,当所述已用容量不大于第三预设比例的所述总容量,或者,所述剩余时长与所述增长速度的乘积不大于第一预设比例的所述剩余容量时,禁止为所述目标活动的数据存储开辟新数据空间。
一示例中,在步骤S510之后,还可以获取所述目标活动的总时长,并当所述剩余时长大于第二预设比例的所述总时长,且,所述已用容量大于第三预设比例的所述总容量,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
相应的,当所述剩余时长不大于第二预设比例的所述总时长,或者,所述已用容量不大于第三预设比例的所述总容量,或者,所述剩余时长与所述增长速度的乘积不大于第一预设比例的所述剩余容量时,禁止为所述目标活动的数据存储开辟新数据空间。
本实施例提供的数据空间管理方法,初始化用于存储目标活动的数据的数据空间,然后获取所述目标活动的剩余时长、所述数据空间中数据的增长速度以及所述数据空间的总容量、已用容量与剩余容量,当所述已用容量大于第三预设比例的所述总容量,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间,以避免数据空间的总容量的使用率较低时,过早开辟新数据空间而导致的资源浪费问题,进一步提高了数据空间的资源利用率。
请参阅图6,图6为本申请实施例提供的数据空间管理方法的再一种流程图。
如图6所示,所述方法包括:
S610:初始化数据空间,所述数据空间用于存储目标活动的数据。
S620:获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量。
S630:当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间。
S640:获取所述数据空间的总容量与已用容量。
S650:判断所述已用容量是否小于第四预设比例的所述总容量,若是,执行步骤S660;若否,执行步骤S670.
S660:将所述目标活动的剩余数据继续存储到所述数据空间。
S670:将所述目标活动的剩余数据存储到所述新数据空间。
在为所述目标活动的数据存储开辟新数据空间之后,当所述已用容量小于第四预设比例的所述总容量时,将所述目标活动的剩余数据继续存储到所述数据空间;当所述已用容量不小于第四预设比例的所述总容量时,将所述目标活动的剩余数据存储到所述新数据空间。
所述第四预设比例可以包括不大于80%的任意值,例如70%、80%等,当然,也可以包括其他值,具体可根据需求进行灵活配置。
在实际应用中,当数据空间的使用率达到80%以后,数据存储过程可能会出现一定的错误率,从而影响系统稳定性,所以可以在原来的数据空间的已用容量未达到80%的总容量时,将目标活动的数据继续存储到原来的数据空间中,并在在原来的数据空间的已用容量达到80%的总容量时,将目标活动的剩余数据存储到新开辟的新数据空间中,从而进一步提高数据空间的资源利用率以及系统稳定性。
一示例中,当目标活动结束后,可以及时释放目标活动的数据所占用的数据空间,以保证整个系统资源环境的充足。
本实施例提供的数据空间管理方法,在为所述目标活动的数据存储开辟新数据空间之后,获取所述数据空间的总容量与已用容量,并当所述已用容量小于第四预设比例的所述总容量时,将所述目标活动的剩余数据继续存储到所述数据空间;当所述已用容量不小于第四预设比例的所述总容量时,将所述目标活动的剩余数据存储到所述新数据空间,从而进一步提高了数据空间的利用率,且保证了系统稳定性。
本发明实施例还提供了数据空间管理装置,所述数据空间管理装置用于实施本发明实施例提供的数据空间管理方法,下文描述的数据空间管理装置内容,可与上文描述的数据空间管理方法内容相互对应参照。
请参阅图7,图7为本申请实施例提供的数据空间管理装置的一种结构示意图。
本实施例的数据空间管理装置,用于实施前述实施例的数据空间管理方法,如图7所示,所述装置包括:
空间初始化单元100,用于初始化数据空间,所述数据空间用于存储目标活动的数据;
变量获取单元200,用于获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量;
空间扩容单元300,用于当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间。
本实施例提供的数据空间管理装置,初始化用于存储目标活动的数据的数据空间,然后获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量,并当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间,从而以动态扩容的方式,保证了数据空间资源的合理配置,提高了数据空间的资源利用率。
请参阅图8,图8为本申请实施例提供的数据空间管理装置的另一种结构示意图。
如图8所示,所述装置除了包括前述实施例中的空间初始化单元100、变量获取单元200与空间扩容单元300,还包括存储控制单元400。
所述变量获取单元200还用于:获取所述数据空间的总容量与已用容量;相应的,所述存储控制单元400,用于:
当所述已用容量小于第四预设比例的所述总容量时,将所述目标活动的剩余数据继续存储到所述数据空间;
当所述已用容量不小于第四预设比例的所述总容量时,将所述目标活动的剩余数据存储到所述新数据空间。
一示例中,所述空间初始化单元100具体用于:
获取与所述目标活动相对应的目标配置信息;
根据所述目标配置信息,初始化数据空间。
一示例中,所述空间扩容单元300具体用于:
当所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
一示例中,所述空间扩容单元300具体用于:
对所述剩余时长与所述增长速度进行修正,得到剩余时长修正值与增长速度修正值;
当所述剩余时长修正值与所述增长速度修正值的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
一示例中,所述变量获取单元200还用于:获取所述目标活动的总时长;相应的,所述空间扩容单元300具体还用于:
当所述剩余时长大于第二预设比例的所述总时长,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
一示例中,所述变量获取单元200还用于:获取所述数据空间的总容量与已用容量;相应的,所述空间扩容单元300具体还用于:
当所述已用容量大于第三预设比例的所述总容量,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
本实施例提供的数据空间管理装置,根据与所述目标活动相对应的目标配置信息初始化数据空间,能够针对不同的活动、不同的系统,实现差异化的数据空间初始化,以争取空间资源利用率的最大化;并在获取所述目标活动的总时长、所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的总容量、已用容量与剩余容量之后,通过所述剩余时长是否大于第二预设比例的所述总时长、所述已用容量是否大于第三预设比例的所述总容量,以及所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量的多项扩容条件判断逻辑,判断是否为所述目标活动的数据存储开辟新数据空间,从而提高了数据空间扩容逻辑的灵活性与合理性,进一步提高了数据空间资源的利用率,并保证了数据存储的可靠性与正确性。
本发明实施例提供的数据空间管理装置,包括处理器和存储器,上述空间初始化单元100、变量获取单元200、空间扩容单元300与存储控制单元400等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决目前Bloom Filter数据空间的资源利用率较低的技术问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述数据空间管理方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据空间管理方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
初始化数据空间,所述数据空间用于存储目标活动的数据;
获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量;
当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间。
优选的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
当所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
对所述剩余时长与所述增长速度进行修正,得到剩余时长修正值与增长速度修正值;
当所述剩余时长修正值与所述增长速度修正值的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,在所述初始化数据空间之后,所述方法还包括:获取所述目标活动的总时长;
相应的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
当所述剩余时长大于第二预设比例的所述总时长,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,在所述初始化数据空间之后,所述方法还包括:获取所述数据空间的总容量与已用容量;
相应的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
当所述已用容量大于第三预设比例的所述总容量,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,所述初始化数据空间包括:
获取与所述目标活动相对应的目标配置信息;
根据所述目标配置信息,初始化数据空间。
优选的,在为所述目标活动的数据存储开辟新数据空间之后,所述方法还包括:
获取所述数据空间的总容量与已用容量;
当所述已用容量小于第四预设比例的所述总容量时,将所述目标活动的剩余数据继续存储到所述数据空间;
当所述已用容量不小于第四预设比例的所述总容量时,将所述目标活动的剩余数据存储到所述新数据空间。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:
初始化数据空间,所述数据空间用于存储目标活动的数据;
获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量;
当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间。
优选的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
当所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
对所述剩余时长与所述增长速度进行修正,得到剩余时长修正值与增长速度修正值;
当所述剩余时长修正值与所述增长速度修正值的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,在所述初始化数据空间之后,所述方法还包括:获取所述目标活动的总时长;
相应的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
当所述剩余时长大于第二预设比例的所述总时长,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,在所述初始化数据空间之后,所述方法还包括:获取所述数据空间的总容量与已用容量;
相应的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
当所述已用容量大于第三预设比例的所述总容量,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
优选的,所述初始化数据空间包括:
获取与所述目标活动相对应的目标配置信息;
根据所述目标配置信息,初始化数据空间。
优选的,在为所述目标活动的数据存储开辟新数据空间之后,所述方法还包括:
获取所述数据空间的总容量与已用容量;
当所述已用容量小于第四预设比例的所述总容量时,将所述目标活动的剩余数据继续存储到所述数据空间;
当所述已用容量不小于第四预设比例的所述总容量时,将所述目标活动的剩余数据存储到所述新数据空间。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种数据空间管理方法,其特征在于,可适用于Bloom Filter的数据空间管理,所述方法包括:
初始化数据空间,所述数据空间用于存储目标活动的数据,以实现差异化的数据空间初始化,争取数据空间资源利用率的最大化;
获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量;
当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间,其中,所述剩余时长与所述增长速度的乘积是所述目标活动的剩余数据量,基于所述目标活动与所述数据空间实现动态扩容;
其中,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
对所述剩余时长与所述增长速度进行修正,得到剩余时长修正值与增长速度修正值;
当所述剩余时长修正值与所述增长速度修正值的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
2.如权利要求1所述的方法,其特征在于,在所述初始化数据空间之后,所述方法还包括:获取所述目标活动的总时长;
相应的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
当所述剩余时长大于第二预设比例的所述总时长,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
3.如权利要求1所述的方法,其特征在于,在所述初始化数据空间之后,所述方法还包括:获取所述数据空间的总容量与已用容量;
相应的,所述当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间包括:
当所述已用容量大于第三预设比例的所述总容量,且,所述剩余时长与所述增长速度的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
4.如权利要求1所述的方法,其特征在于,所述初始化数据空间包括:
获取与所述目标活动相对应的目标配置信息;
根据所述目标配置信息,初始化数据空间。
5.如权利要求1所述的方法,其特征在于,在为所述目标活动的数据存储开辟新数据空间之后,所述方法还包括:
获取所述数据空间的总容量与已用容量;
当所述已用容量小于第四预设比例的所述总容量时,将所述目标活动的剩余数据继续存储到所述数据空间;
当所述已用容量不小于第四预设比例的所述总容量时,将所述目标活动的剩余数据存储到所述新数据空间。
6.一种数据空间管理装置,其特征在于,可适用于Bloom Filter的数据空间管理,所述装置包括:
空间初始化单元,用于初始化数据空间,所述数据空间用于存储目标活动的数据,以实现差异化的数据空间初始化,争取数据空间资源利用率的最大化;
变量获取单元,用于获取所述目标活动的剩余时长、所述数据空间中数据的增长速度与所述数据空间的剩余容量;
空间扩容单元,用于当所述剩余时长、所述增长速度与所述剩余容量符合预设扩容条件时,为所述目标活动的数据存储开辟新数据空间,其中,所述剩余时长与所述增长速度的乘积是所述目标活动的剩余数据量,基于所述目标活动与所述数据空间实现动态扩容;
其中,所述空间扩容单元,具体用于对所述剩余时长与所述增长速度进行修正,得到剩余时长修正值与增长速度修正值;当所述剩余时长修正值与所述增长速度修正值的乘积大于第一预设比例的所述剩余容量时,为所述目标活动的数据存储开辟新数据空间。
7.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如权利要求1-5中任一项所述的数据空间管理方法。
8.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行如权利要求1-5中任一项所述的数据空间管理方法。
CN201810889282.3A 2018-08-07 2018-08-07 数据空间管理方法及装置 Active CN110825308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810889282.3A CN110825308B (zh) 2018-08-07 2018-08-07 数据空间管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810889282.3A CN110825308B (zh) 2018-08-07 2018-08-07 数据空间管理方法及装置

Publications (2)

Publication Number Publication Date
CN110825308A CN110825308A (zh) 2020-02-21
CN110825308B true CN110825308B (zh) 2023-12-26

Family

ID=69534047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810889282.3A Active CN110825308B (zh) 2018-08-07 2018-08-07 数据空间管理方法及装置

Country Status (1)

Country Link
CN (1) CN110825308B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752489B (zh) * 2020-06-30 2022-06-17 重庆紫光华山智安科技有限公司 Kubernetes中PVC模块的扩容方法及相关装置
CN116032738A (zh) * 2021-10-27 2023-04-28 上海宝信软件股份有限公司 分布式日志的采集、存储方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685219A (zh) * 2012-04-27 2012-09-19 浪潮电子信息产业股份有限公司 San存储系统中通过动态扩容提高存储资源利用率的方法
CN104202371A (zh) * 2014-08-20 2014-12-10 浙江宇视科技有限公司 一种基于iSCSI块直存的跨设备扩容方法和装置
CN106127382A (zh) * 2016-06-22 2016-11-16 财付通支付科技有限公司 资源管理方法及装置
CN106681669A (zh) * 2017-01-25 2017-05-17 郑州云海信息技术有限公司 一种虚拟磁盘扩容的方法、装置和系统
CN108111628A (zh) * 2018-01-18 2018-06-01 吉浦斯信息咨询(深圳)有限公司 一种动态扩容存储方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080209032A1 (en) * 2007-02-22 2008-08-28 Inventec Corporation Alarm method for insufficient storage space of network storage system
US20170031600A1 (en) * 2015-07-30 2017-02-02 Netapp Inc. Real-time analysis for dynamic storage

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685219A (zh) * 2012-04-27 2012-09-19 浪潮电子信息产业股份有限公司 San存储系统中通过动态扩容提高存储资源利用率的方法
CN104202371A (zh) * 2014-08-20 2014-12-10 浙江宇视科技有限公司 一种基于iSCSI块直存的跨设备扩容方法和装置
CN106127382A (zh) * 2016-06-22 2016-11-16 财付通支付科技有限公司 资源管理方法及装置
CN106681669A (zh) * 2017-01-25 2017-05-17 郑州云海信息技术有限公司 一种虚拟磁盘扩容的方法、装置和系统
CN108111628A (zh) * 2018-01-18 2018-06-01 吉浦斯信息咨询(深圳)有限公司 一种动态扩容存储方法及系统

Also Published As

Publication number Publication date
CN110825308A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110018788A (zh) 分级存储方法、装置、电子设备及计算机可读存储介质
US8667089B2 (en) Apparatus and method for executing an application
EP1736885A2 (en) Method for managing a memory in a mobile terminal
CN110825308B (zh) 数据空间管理方法及装置
CN108874688A (zh) 一种报文数据缓存方法及装置
CN109951494B (zh) 仿真数据处理方法、装置、仿真设备及存储介质
CN104113576A (zh) 一种客户端的更新方法及装置
CN108243032B (zh) 一种服务等级信息的获取方法、装置及设备
CN110930291B (zh) 一种gpu显存管理控制方法及相关装置
CN106126335A (zh) 终端设备的媒体扫描方法及终端设备
CN110971430A (zh) 自动化扩容缩容的控制方法、装置、存储介质及处理器
CN108932114A (zh) 一种数据存储的方法及装置
CN110737717A (zh) 一种数据库迁移方法及装置
CN111917867A (zh) 上传Web文件的方法及装置
CN114124838B (zh) 大数据平台的数据传输方法、装置及大数据平台管理系统
CN103336670A (zh) 一种基于数据温度对数据块自动进行分布的方法和装置
CN111506425B (zh) 服务质量数据处理方法和装置
CN108536759B (zh) 一种样本回放数据存取方法及装置
US8281091B2 (en) Automatic selection of storage volumes in a data storage system
CN103560974A (zh) 一种令牌维护的方法和装置
CN112039713B (zh) 一种满足用户需求的用于云计算的数据传输方法及系统
CN111967938B (zh) 云资源推荐方法、装置、计算机设备及可读存储介质
CN115794446A (zh) 一种消息处理方法、装置、电子设备和存储介质
CN111506254A (zh) 分布式存储系统及其管理方法、装置
CN111078122B (zh) 数据处理方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant