CN110888846B - 一种数据存储器管理方法及系统 - Google Patents

一种数据存储器管理方法及系统 Download PDF

Info

Publication number
CN110888846B
CN110888846B CN201911260464.5A CN201911260464A CN110888846B CN 110888846 B CN110888846 B CN 110888846B CN 201911260464 A CN201911260464 A CN 201911260464A CN 110888846 B CN110888846 B CN 110888846B
Authority
CN
China
Prior art keywords
data
volume
memory
obtaining
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911260464.5A
Other languages
English (en)
Other versions
CN110888846A (zh
Inventor
訾瑞杰
董济农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Beilong Yunhai Network Data Technology Co ltd
Original Assignee
Beijing Beilong Yunhai Network Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Beilong Yunhai Network Data Technology Co ltd filed Critical Beijing Beilong Yunhai Network Data Technology Co ltd
Priority to CN201911260464.5A priority Critical patent/CN110888846B/zh
Publication of CN110888846A publication Critical patent/CN110888846A/zh
Application granted granted Critical
Publication of CN110888846B publication Critical patent/CN110888846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据存储器管理方法及系统。管理方法包括:根据数据存储器中的已存储数据得到单数据参考数据量;根据单数据参考数据量,得到数据存储器的单位时间数据量增长量;根据数据存储器的剩余空间和单位时间数据量增长量,得到满盘剩余时长;若满盘剩余时长小于或等于使用限制阈值,则按预设规则在预设时长后删除数据存储器中的数据。本发明实施例根据已存储的数据确定的单数据参考数据量,基于单数据参考数据量确定数据存储器的单位时间数据量增长量,并最终计算得到该数据存储器的满盘剩余时长,当确定满盘剩余时长未达到使用限制阈值时,按预设规则对数据存储器中的数据进行删除,避免数据存储器被数据占满,保证数据存储器的使用。

Description

一种数据存储器管理方法及系统
技术领域
本发明涉及数据管理技术领域,尤其涉及一种数据存储器管理方法及系统。
背景技术
日志文件是用于记录系统操作事件的记录文件或文件集合,可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。在计算机中,日志文件是记录在操作系统或其他软件运行中发生的事件或在通信软件的不同用户之间的消息的文件。记录是保持日志的行为。在最简单的情况下,消息被写入单个日志文件。
所有的应用程序中均会产生相关的日志,且日志文件均处于不端累加的过程,而应用程序中的存储空间被日志文件占满就会导致应用程序的崩溃或者卡顿,目前传统运维工具均是通过运维人员的手动设置来确定删除日志文件的,效率比较偏低。当服务器数量偏大的时候,运维人员将面临很大的挑战。
发明内容
为了解决现有技术存在的问题,本发明的至少一个实施例提供了一种数据存储器管理方法及系统。
第一方面,本发明实施例提供了一种数据存储器管理方法,所述管理方法包括:
当所述数据存储器中新增数据时,根据所述数据存储器中的已存储数据得到单数据参考数据量;
根据所述单数据参考数据量,得到所述数据存储器的单位时间数据量增长量;
根据所述数据存储器的剩余空间和所述单位时间数据量增长量,得到满盘剩余时长;
若所述满盘剩余时长小于或等于使用限制阈值,则按预设规则在预设时长后删除所述数据存储器中的数据。
基于上述技术方案,本发明实施例还可以做出如下改进。
结合第一方面,在第一方面的第一种实施例中,所述根据所述数据存储器中的已存储数据得到单数据参考数据量,包括:
将所述数据存储器中的各个数据进行分组,得到数据组;其中,同一数据组中的数据的数据量之间的偏差值小于预设阈值;
根据每组数据组中的数据数量和数据存储器中的数据总数量,得到每组数据组的数量占比值;
按数量占比值从大至小的顺序获取数据组,作为待处理数据组,当被获取的数据组的数量占比值的累加值大于或等于预设占比值时,停止获取所述数据组作为待处理数据组;
根据所有所述待处理数据组中的数据量和数据数量,得到所述单数据参考数据量。
结合第一方面的第一种实施例,在第一方面的第二种实施例中,所述根据所有所述待处理数据组中的数据量和数据数量,得到所述单数据参考数据量,包括:
根据每组所述待处理数据组中的数据量和数据数量,计算得到平均数据量;
根据所述平均数据量和所述待处理数据组的数量,计算得到所述单数据参考数据量。
结合第一方面,在第一方面的第三种实施例中,所述根据所述单数据参考数据量,得到所述数据存储器的单位时间数据量增长量,包括:
获取所述数据存储器在预设时间段内的数据数量增长量;
根据数据数量增长量和所述预设时间段的时长,得到单位时间数据数量增长量;
根据所述单数据参考数据量和所述单位时间数据数量增长量,得到所述单位时间数据量增长量。
结合第一方面或第一方面的第一、第二或第三种实施例,在第一方面的第四种实施例中,所述按预设规则在预设时长后删除所述数据存储器中的数据,包括:
在预设时长后,按存储时间的先后顺序删除所述数据存储器中的数据;
当被删除的数据的数据量达到预设数据量阈值时,停止删除所述数据存储器中的数据。
第二方面,本发明实施例提供了一种数据存储器管理系统,所述管理系统包括:
第一获取单元,用于当所述数据存储器中新增数据时,根据所述数据存储器中的已存储数据得到单数据参考数据量;
第一处理单元,用于根据所述单数据参考数据量,得到所述数据存储器的单位时间数据量增长量;
第二处理单元,用于根据所述数据存储器的剩余空间和所述单位时间数据量增长量,得到满盘剩余时长;
第三处理单元,用于若所述满盘剩余时长小于或等于使用限制阈值,则按预设规则在预设时长后删除所述数据存储器中的数据。
结合第二方面,在第二方面的第一种实施例中,所述第一获取单元,具体用于将所述数据存储器中的各个数据进行分组,得到数据组;根据每组数据组中的数据数量和数据存储器中的数据总数量,得到每组数据组的数量占比值;按数量占比值从大至小的顺序获取数据组,作为待处理数据组,当被获取的数据组的数量占比值的累加值大于或等于预设占比值时,停止获取所述数据组作为待处理数据组;根据所有所述待处理数据组中的数据量和数据数量,得到所述单数据参考数据量;其中,同一数据组中的数据的数据量之间的偏差值小于预设阈值。
结合第一方面的第一种实施例,在第一方面的第二种实施例中,所述第一获取单元,具体用于根据每组所述待处理数据组中的数据量和数据数量,计算得到平均数据量;根据所述平均数据量和所述待处理数据组的数量,计算得到所述单数据参考数据量。
结合第一方面,在第一方面的第三种实施例中,所述第一处理单元,具体用于获取所述数据存储器在预设时间段内的数据数量增长量;根据数据数量增长量和所述预设时间段的时长,得到单位时间数据数量增长量;根据所述单数据参考数据量和所述单位时间数据数量增长量,得到所述单位时间数据量增长量。
结合第一方面或第一方面的第一、第二或第三种实施例,在第一方面的第四种实施例中,所述第三处理单元,具体用于在预设时长后,按存储时间的先后顺序删除所述数据存储器中的数据;当被删除的数据的数据量达到预设数据量阈值时,停止删除所述数据存储器中的数据。
本发明的上述技术方案与现有技术相比具有如下优点:本发明实施例在数据存储器中出现新增数据时,根据已存储的数据确定的单数据参考数据量,基于单数据参考数据量确定数据存储器的单位时间数据量增长量,并最终计算得到该数据存储器的满盘剩余时长,当确定满盘剩余时长未达到使用限制阈值时,按预设规则对数据存储器中的数据进行删除,避免数据存储器被数据占满,保证数据存储器的使用。
附图说明
图1是本发明实施例提供的一种数据存储器管理方法流程示意图;
图2是本发明另一实施例提供的一种数据存储器管理方法流程示意图;
图3是本发明又一实施例提供的一种数据存储器管理方法流程示意图其一;
图4是本发明又一实施例提供的一种数据存储器管理方法流程示意图其二;
图5是本发明另一实施例提供的一种数据存储器管理方法流程示意图其三;
图6是本发明又一实施例提供的一种数据存储器管理系统结构示意图;
图7是本发明又一实施例提供的一种数据存储器管理装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供的一种数据存储器管理方法。参照图1,所述管理方法包括如下步骤:
S11、当所述数据存储器中新增数据时,根据所述数据存储器中的已存储数据得到单数据参考数据量。
在本实施例中,存储器单元实际上是时序逻辑电路的一种。按存储器的使用类型可分为只读存储器(ROM)和随机存取存储器(RAM),两者的功能有较大的区别,因此在描述上也有所不同,存储器是用来存储程序和各种数据信息的记忆部件。存储器可分为主存储器(简称主存或内存)和辅助存储器(简称辅存或外存)两大类。和CPU直接交换信息的是主存。主存的工作方式是按存储单元的地址存放或读取各类信息,统称访问存储器。主存中汇集存储单元的载体称为存储体,存储体中每个单元能够存放一串二进制码表示的信息,该信息的总位数称为一个存储单元的字长。存储单元的地址与存储在其中的信息是一一对应的,单元地址只有一个,固定不变,而存储在其中的信息是可以更换的。
由于数据存储器的存储空间是固定的,在各个终端设备中,若存储器的空间存满而不及时进行处理,会导致终端设备无法开启,由于设备无法启动,此时再访问存储器清理存储器中的数据就十分困难,在本方案中,在数据存储器中存储进新数据时,根据数据存储器中已存储数据得到单数据参考数据量,比如,在磁盘或者硬盘中,获取数据存储时的日志文件,即可得到该数据的各项信息,具体的,通过日志目录下的文件名,获取目前目录下的日志文件的时间范围,如文件名为localhostYYYY-MM-DD.log。监控工具将对当前目录下的文件信息进行记录,记录的新包括文件名称、路径、时间、占用空间等。通常日志文件的名称是有规则的,如前缀+日期、日期+后缀等。通过已存储数据的各项信息得到单数据参考数据量,比如,可以将已存储数据的平均值作为单数据参考数据量,还可以将已存储数据中最大的数据量作为单数据参考数据量。
S12、根据所述单数据参考数据量,得到所述数据存储器的单位时间数据量增长量。
在本实施例中,根据单数据参考数据量,结合数据存储器中的数据数量增长得到数据存储器在单位时间的参考数据增长量,比如,可以获取数据存储器在设备工作时间内的数据接收数量,根据数据接收数量和总时长得到单位时间的数据接收数量,结合单数据参考数据量,即可得到单位时间数据量增长量,还可以通过获取与当前时刻相近的一段时间内的数据数量增长的情况,来确定单位时间的数据接收数量,还可以基于数据存储器的数据数量和相应的数据接收时间绘制曲线图,根据曲线图的变化情况汇总得到单位时间数据量增长量。
S13、根据所述数据存储器的剩余空间和所述单位时间数据量增长量,得到满盘剩余时长。
在本实施例中,数据存储器在存满后会导致设备无法使用或者崩溃的情况,所以在本步骤中,根据数据存储器的剩余空间和单位时间数据量增长量,计算得到数据存储器被数据存满的时间,即满盘剩余时长。
S14、若所述满盘剩余时长小于或等于使用限制阈值,则按预设规则在预设时长后删除所述数据存储器中的数据。
在本实施例中,当满盘剩余时长小于或等于使用限制阈值时,说明数据存储器的剩余使用空间已不足以保证数据存储器对应的设备继续长时间使用,而且根据设备使用经验来说,数据存储器中会存在部分无效存储单元,比如,由于多次读写造成的损坏,所以数据存储器中存储的数据越多,就越容易出现数据丢失,所以,在本方案中按预设规则在预设时长后删除数据存储器中的数据。
在本方案中,比如,按预设规则在预设时长后删除所述数据存储器中的数据可以是,按照已存储的各个数据的存储时间顺序,从存储时间较长的数据开始删除,直至删除的数据的数据量达到预设值停止,以避免刚存储的数据被删除;还可以按照已存储的各个数据的数据量大小的顺序,从数据量小的数据开始删除,直至删除的数据的数据量达到预设值停止,以保证大数据量的数据保留,当然,也可以从数据量大的数据开始删除,直至删除的数据的数据量达到预设值停止,以减少删除的数据的数量;还可以按照已存储的各个数据的数据类型,从重要性较低的数据类型的数据进行删除,直至删除的数据的数据量达到预设值停止,以保证重要的数据保留,重要性较低的数据类型可以是日志类数据、缓存数据等数据类型;还可以按照每个数据的被访问频率,从被访问频率小的数据开始删除,直至删除的数据的数据量达到预设值停止,以保证常用的数据保留。
如图2所示,在本实施例中,按预设规则在预设时长后删除所述数据存储器中的数据,具体包括如下步骤:
S21、在预设时长后,按存储时间的先后顺序删除所述数据存储器中的数据。
在本方案中,预设时长可以小于或等于满盘剩余时长,以保证数据存储器可以持续的使用,预设时长也可以大于满盘剩余时长,在数据存储器满盘后再删除数据,使得数据存储路径进行转换,以平衡设备中的各个存储器的存储量,同时,可以使得该数据存储器得到适当时间停止工作,避免其高负荷运转。
S22、当被删除的数据的数据量达到预设数据量阈值时,停止删除所述数据存储器中的数据。
在本实施例中,在被删除的数据的数据量达到一定值时,确定数据存储器可以继续运转后,即可停止删除工作,其中预设数据量阈值,可以根据单位时间数据量增长量和所期望的数据存储器的剩余工作时长计算得到。
如图3所示,本发明实施例提供了一种数据存储器管理方法。相比较于图1所示的管理方法,当所述数据存储器中新增数据时,根据所述数据存储器中的已存储数据得到单数据参考数据量,包括如下步骤:
S31、当所述数据存储器中新增数据时,将所述数据存储器中的各个数据进行分组,得到数据组;其中,同一数据组中的数据的数据量之间的偏差值小于预设阈值。
在本实施例中,通过将数据按照数据量进行分组,使得同一数据组内的数据的数据量的偏差值小于预设阈值,比如,数据组中的任一数据的数据量减去另一数据的数据量的值小于预设阈值,或者,任一数据的数据量将去另一数据的数据量的值除以另一数据的数据量小于预设阈值。
在本实施例中,将所述数据存储器中的各个数据进行分组,得到数据组可以是,将数据存储器中的每个数据取整,取整方式可以是向上取整、向下取整、四舍五入等方式,将取整后相等的数据归入同一数据组,这样就可以使得数据组中的数据的偏差值为0。
S32、根据每组数据组中的数据数量和数据存储器中的数据总数量,得到每组数据组的数量占比值。
在本实施例中,计算每组数据组中的数据的数量在数据存储器中的数据总数的占比值,即得到每组数据组的数据数量的占比,以确定数据存储器中存储数量较大的数据。
S33、按数量占比值从大至小的顺序获取数据组,作为待处理数据组,当被获取的数据组的数量占比值的累加值大于或等于预设占比值时,停止获取所述数据组作为待处理数据组。
在本实施例中,按照数据占比值的大小,以从大至小的顺序获取数据组作为待处理数据组,直至作为待处理数据组的数量占比值的累加值大于或等于预设占比值时,停止获取数据组,其中,预设占比值可以是百分之50或者更大,以确保各个待处理数据组中的数据占比值的累加值占到总数的大部分,本方案对预设占比值不做特别限定。
S34、根据所有所述待处理数据组中的数据量和数据数量,得到所述单数据参考数据量。
在本实施例中,根据待处理数据组中的数据的数据量和所有数据的数量,得到单数据参考数据量。
如图4所示,比如,所述根据所有所述待处理数据组中的数据量和数据数量,得到所述单数据参考数据量,包括如下步骤:
S41、根据每组所述待处理数据组中的数据量和数据数量,计算得到平均数据量。
S42、根据所述平均数据量和所述待处理数据组的数量,计算得到所述单数据参考数据量。
在本实施例中,通过上述计算过程可知,本方案中的单数据参考数据量就是获取数据存储器中数据量相同且数量较多的数据作为预测数据存储器将要存储的数据的参考,以此来计算得到平均值,可以保证预测得到的满盘剩余时长符合实际情况。
如图5所示,本发明实施例提供了一种数据存储器管理方法。参照图5,管理方法包括如下步骤:
S51、当所述数据存储器中新增数据时,根据所述数据存储器中的已存储数据得到单数据参考数据量。
有关步骤S51,详细可参见步骤S11中的描述,本实施例在此不再赘述。
S52、获取所述数据存储器在预设时间段内的数据数量增长量。
在本实施例中,数据存储器在预设时间段内数据数量增长量,即在预设时间段内数据存储器所接收的数据的数量,其中预设时间段可以是数据存储器的所有工作时间,也可以是数据数量增长较快的时间段,本方案对此不作特别限定。
S53、根据数据数量增长量和所述预设时间段的时长,得到单位时间数据数量增长量。
S54、根据所述单数据参考数据量和所述单位时间数据数量增长量,得到所述单位时间数据量增长量。
在本实施例中,将单数据参考数据量和单位时间数据数量增长量相乘,即可得到该单位时间数据量增长量。
S55、根据所述数据存储器的剩余空间和所述单位时间数据量增长量,得到满盘剩余时长。
有关步骤S55,详细可参见步骤S13中的描述,本实施例在此不再赘述。
S56、若所述满盘剩余时长小于或等于使用限制阈值,则按预设规则在预设时长后删除所述数据存储器中的数据。
有关步骤S56,详细可参见步骤S14中的描述,本实施例在此不再赘述。
如图6所示,本发明实施例提供了一种数据存储器管理系统,所述管理系统包括:第一获取单元11、第一处理单元12、第二处理单元13和第三处理单元14。
在本实施例中,所述第一获取单元11,用于当所述数据存储器中新增数据时,根据所述数据存储器中的已存储数据得到单数据参考数据量。
在本实施例中,所述第一处理单元12,用于根据所述单数据参考数据量,得到所述数据存储器的单位时间数据量增长量。
在本实施例中,所述第二处理单元13,用于根据所述数据存储器的剩余空间和所述单位时间数据量增长量,得到满盘剩余时长。
在本实施例中,所述第三处理单元14,用于若所述满盘剩余时长小于或等于使用限制阈值,则按预设规则在预设时长后删除所述数据存储器中的数据。
在本实施例中,所述第一获取单元11,具体用于将所述数据存储器中的各个数据进行分组,得到数据组;根据每组数据组中的数据数量和数据存储器中的数据总数量,得到每组数据组的数量占比值;按数量占比值从大至小的顺序获取数据组,作为待处理数据组,当被获取的数据组的数量占比值的累加值大于或等于预设占比值时,停止获取所述数据组作为待处理数据组;根据所有所述待处理数据组中的数据量和数据数量,得到所述单数据参考数据量;其中,同一数据组中的数据的数据量之间的偏差值小于预设阈值。
在本实施例中,所述第一获取单元11,具体用于根据每组所述待处理数据组中的数据量和数据数量,计算得到平均数据量;根据所述平均数据量和所述待处理数据组的数量,计算得到所述单数据参考数据量。
在本实施例中,所述第一处理单元12,具体用于获取所述数据存储器在预设时间段内的数据数量增长量;根据数据数量增长量和所述预设时间段的时长,得到单位时间数据数量增长量;根据所述单数据参考数据量和所述单位时间数据数量增长量,得到所述单位时间数据量增长量。
在本实施例中,所述第三处理单元14,具体用于在预设时长后,按存储时间的先后顺序删除所述数据存储器中的数据;当被删除的数据的数据量达到预设数据量阈值时,停止删除所述数据存储器中的数据。
如图7所示,本发明实施例提供了一种数据存储器管理装置,包括处理器1110、通信接口1120、存储器1130和通信总线1140,其中,处理器1110,通信接口1120,存储器1130通过通信总线1140完成相互间的通信;
存储器1130,用于存放计算机程序;
处理器1110,用于执行存储器1130上所存放的程序时,实现如下所示所述的数据存储器管理方法:
当所述数据存储器中新增数据时,根据所述数据存储器中的已存储数据得到单数据参考数据量;
根据所述单数据参考数据量,得到所述数据存储器的单位时间数据量增长量;
根据所述数据存储器的剩余空间和所述单位时间数据量增长量,得到满盘剩余时长;
若所述满盘剩余时长小于或等于使用限制阈值,则按预设规则在预设时长后删除所述数据存储器中的数据。
本发明实施例提供的电子设备,处理器1110通过执行存储器1130上所存放的程序实现了在数据存储器中出现新增数据时,根据已存储的数据确定的单数据参考数据量,基于单数据参考数据量确定数据存储器的单位时间数据量增长量,并最终计算得到该数据存储器的满盘剩余时长,当确定满盘剩余时长未达到使用限制阈值时,按预设规则对数据存储器中的数据进行删除,避免数据存储器被数据占满,保证数据存储器的使用。
上述电子设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture,简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(RandomAccessMemory,简称RAM),也可以包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。可选的,存储器1130还可以是至少一个位于远离前述处理器1110的存储装置。
上述的处理器1110可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignalProcessing,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述任一实施例所述的数据存储器管理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据存储器管理方法,其特征在于,所述管理方法包括:
当所述数据存储器中新增数据时,根据所述数据存储器中的已存储数据得到单数据参考数据量;
根据所述单数据参考数据量,得到所述数据存储器的单位时间数据量增长量;
根据所述数据存储器的剩余空间和所述单位时间数据量增长量,得到满盘剩余时长;
若所述满盘剩余时长小于或等于使用限制阈值,则按预设规则在预设时长后删除所述数据存储器中的数据;
其中,所述根据所述数据存储器中的已存储数据得到单数据参考数据量,包括:
将所述数据存储器中的各个数据进行分组,得到数据组;其中,同一数据组中的数据的数据量之间的偏差值小于预设阈值;
根据每组数据组中的数据数量和数据存储器中的数据总数量,得到每组数据组的数量占比值;
按数量占比值从大至小的顺序获取数据组,作为待处理数据组,当被获取的数据组的数量占比值的累加值大于或等于预设占比值时,停止获取所述数据组作为待处理数据组;
根据所有所述待处理数据组中的数据量和数据数量,得到所述单数据参考数据量。
2.根据权利要求1所述的数据存储器管理方法,其特征在于,所述根据所有所述待处理数据组中的数据量和数据数量,得到所述单数据参考数据量,包括:
根据每组所述待处理数据组中的数据量和数据数量,计算得到平均数据量;
根据所述平均数据量和所述待处理数据组的数量,计算得到所述单数据参考数据量。
3.根据权利要求1所述的数据存储器管理方法,其特征在于,所述根据所述单数据参考数据量,得到所述数据存储器的单位时间数据量增长量,包括:
获取所述数据存储器在预设时间段内的数据数量增长量;
根据数据数量增长量和所述预设时间段的时长,得到单位时间数据数量增长量;
根据所述单数据参考数据量和所述单位时间数据数量增长量,得到所述单位时间数据量增长量。
4.根据权利要求1~3中任一所述的数据存储器管理方法,其特征在于,所述按预设规则在预设时长后删除所述数据存储器中的数据,包括:
在预设时长后,按存储时间的先后顺序删除所述数据存储器中的数据;
当被删除的数据的数据量达到预设数据量阈值时,停止删除所述数据存储器中的数据。
5.一种数据存储器管理系统,其特征在于,所述管理系统包括:
第一获取单元,用于当所述数据存储器中新增数据时,根据所述数据存储器中的已存储数据得到单数据参考数据量;
第一处理单元,用于根据所述单数据参考数据量,得到所述数据存储器的单位时间数据量增长量;
第二处理单元,用于根据所述数据存储器的剩余空间和所述单位时间数据量增长量,得到满盘剩余时长;
第三处理单元,用于若所述满盘剩余时长小于或等于使用限制阈值,则按预设规则在预设时长后删除所述数据存储器中的数据;
其中,所述第一获取单元,具体用于将所述数据存储器中的各个数据进行分组,得到数据组;根据每组数据组中的数据数量和数据存储器中的数据总数量,得到每组数据组的数量占比值;按数量占比值从大至小的顺序获取数据组,作为待处理数据组,当被获取的数据组的数量占比值的累加值大于或等于预设占比值时,停止获取所述数据组作为待处理数据组;根据所有所述待处理数据组中的数据量和数据数量,得到所述单数据参考数据量;其中,同一数据组中的数据的数据量之间的偏差值小于预设阈值。
6.根据权利要求5所述的数据存储器管理系统,其特征在于,所述第一获取单元,具体用于根据每组所述待处理数据组中的数据量和数据数量,计算得到平均数据量;根据所述平均数据量和所述待处理数据组的数量,计算得到所述单数据参考数据量。
7.根据权利要求5所述的数据存储器管理系统,其特征在于,所述第一处理单元,具体用于获取所述数据存储器在预设时间段内的数据数量增长量;根据数据数量增长量和所述预设时间段的时长,得到单位时间数据数量增长量;根据所述单数据参考数据量和所述单位时间数据数量增长量,得到所述单位时间数据量增长量。
8.根据权利要求5~7中任一所述的数据存储器管理系统,其特征在于,所述第三处理单元,具体用于在预设时长后,按存储时间的先后顺序删除所述数据存储器中的数据;当被删除的数据的数据量达到预设数据量阈值时,停止删除所述数据存储器中的数据。
CN201911260464.5A 2019-12-10 2019-12-10 一种数据存储器管理方法及系统 Active CN110888846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911260464.5A CN110888846B (zh) 2019-12-10 2019-12-10 一种数据存储器管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911260464.5A CN110888846B (zh) 2019-12-10 2019-12-10 一种数据存储器管理方法及系统

Publications (2)

Publication Number Publication Date
CN110888846A CN110888846A (zh) 2020-03-17
CN110888846B true CN110888846B (zh) 2020-10-23

Family

ID=69751356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911260464.5A Active CN110888846B (zh) 2019-12-10 2019-12-10 一种数据存储器管理方法及系统

Country Status (1)

Country Link
CN (1) CN110888846B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113868082A (zh) * 2021-09-18 2021-12-31 浪潮电子信息产业股份有限公司 一种存储管控方法、装置、设备及计算机可读存储介质
CN113849131B (zh) * 2021-09-28 2024-09-06 咪咕文化科技有限公司 一种数据存储方法、装置、计算设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005724A (ja) * 1999-06-11 2001-01-12 Internatl Business Mach Corp <Ibm> ライト・キャッシュ転送の制御方法およびディスク装置
CN105677240B (zh) * 2015-12-30 2019-04-23 上海联影医疗科技有限公司 数据删除方法及系统
CN110519319B (zh) * 2018-05-22 2022-02-11 杭州海康威视数字技术股份有限公司 一种分裂分区的方法及装置
CN110489062A (zh) * 2019-08-27 2019-11-22 浪潮云信息技术有限公司 一种基于OpenStack环境的磁盘扩容方法及系统

Also Published As

Publication number Publication date
CN110888846A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN109558287B (zh) 一种固态硬盘寿命预测方法、装置和系统
CN111881133B (zh) 存储桶管理方法、装置、计算机设备及可读存储介质
US11232070B2 (en) Metadata compaction in a distributed storage system
CN104281533B (zh) 一种存储数据的方法及装置
CN110008021B (zh) 内存管理方法、装置、电子设备及计算机可读存储介质
CN110888846B (zh) 一种数据存储器管理方法及系统
US9313270B2 (en) Adaptive asynchronous data replication in a data storage system
CN111708755A (zh) 数据迁移方法、装置、系统、电子设备以及可读存储介质
CN108984104B (zh) 用于缓存管理的方法和设备
CN107491458B (zh) 一种存储时间序列数据的方法和装置以及系统
CN115576505B (zh) 一种数据存储方法、装置、设备及可读存储介质
CN107688626A (zh) 慢查询日志处理方法、装置及电子设备
US11080239B2 (en) Key value store using generation markers
CN113885803A (zh) 数据存储方法、装置、电子设备及存储介质
CN109977074B (zh) 一种基于hdfs的lob数据处理方法及装置
CN108989088B (zh) 一种日志上传方法和通信设备
CN111736991B (zh) 一种云平台资源调度的方法、装置、设备及可读介质
CN116820323A (zh) 数据存储方法、装置、电子设备及计算机可读存储介质
CN107992626A (zh) 缓存清理方法、装置、终端及存储介质
CN110333968B (zh) 应用于数据库的数据管理方法、装置及计算机设备
CN114896082A (zh) 消息处理方法、装置、电子设备和存储介质
CN113485872A (zh) 故障处理方法、装置及分布式存储系统
CN112597112A (zh) 数据处理方法及装置、电子设备和存储介质
CN112446490A (zh) 一种网络训练的数据集缓存方法、装置、设备及存储介质
CN113505086B (zh) 一种存储系统容量统计方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant