CN109408496A - 一种减少数据冗余的方法及装置 - Google Patents
一种减少数据冗余的方法及装置 Download PDFInfo
- Publication number
- CN109408496A CN109408496A CN201811087007.6A CN201811087007A CN109408496A CN 109408496 A CN109408496 A CN 109408496A CN 201811087007 A CN201811087007 A CN 201811087007A CN 109408496 A CN109408496 A CN 109408496A
- Authority
- CN
- China
- Prior art keywords
- data
- caching
- stored
- fail
- record sheet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供的一种减少数据冗余的方法及装置，方法包括：将接收到的数据存储至缓存中，并生成记录表；查询记录表，检验缓存中存储的数据是否失效；如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。本发明实施例相比于现有技术在数据未存储至数据库之前，首先将数据存储至缓存中，并生成记录表，由于访问缓存的速度相比于访问数据库的速度快，通查询记录表确定冗余数据，不用查询数据库中所有数据确定冗余数据。因此，可以提高减少数据库中数据冗余的效率。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种减少数据冗余的方法及装置。
背景技术
开发过程中常常需要多次访问、存储数据，冗余数据是进行了多次的重复存储，冗余数据不仅占用了大量的储存空间，同时降低了对数据的操作的效率。
现有技术通过查询冗余数据的名称、属性或者在计算所有数据的哈希值，找出冗余数据，然后进行删除冗余数据，以此减少数据库中的数据冗余。
由于数据库中的数据数量巨大，查找并删除冗余数据耗费的时间较长，因此现有技术减少数据冗余的效率不高。
发明内容
本发明实施例的目的在于提供一种减少数据冗余的方法及装置，通过记录表查找冗余数据，将缓存中的冗余数据删除，以提高减少数据冗余的效率。具体技术方案如下：
第一方面，本发明实施例提供了一种减少数据冗余的方法，包括：
将接收到的数据存储至缓存中，并生成记录表；
查询所述记录表，检验缓存中存储的数据是否失效；
如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
可选的，所述查询所述记录表，检验缓存中存储的数据是否失效，包括：
按照预设的周期，查询所述记录表，检验缓存中存储的数据的存储时间是否已过有效期；所述记录表用于记录数据存储至缓存中的存储时间；
所述如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中，包括：
如果缓存中存储的数据的存储时间已过有效期，则缓存中存储的数据失效，将失效的数据作为冗余数据删除，并将缓存中除冗余数据以外的剩余数据存储至数据库中。
可选的，所述查询所述记录表，检验缓存中存储的数据是否失效，包括：
按照预设的周期，查询所述记录表，按照数据等级从低到高，检验缓存中所述数据的存储时间是否已过有效期；所述记录表用于记录存储至缓存中数据的大小及记录数据存储至缓存中的存储时间；所述数据等级是基于数据的大小划分的；
所述如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中，包括：
如果缓存中所述数据的存储时间已过有效期，则所述缓存中存储的数据失效，将所述失效的数据作为冗余数据，按照数据等级从低到高删除冗余数据，并将所述缓存中除冗余数据以外的剩余数据存储至数据库中。
可选的，所述查询所述记录表，检验缓存中存储的数据是否失效，包括：
按照预设的周期，查询所述记录表，检验缓存中是否存在数据等级及数据名称相同的数据；所述记录表用于记录存储至缓存中数据的名称及数据的等级；所述数据等级是基于数据的大小划分的；
所述如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中，包括：
如果缓存中存储的数据存在数据等级及数据名称相同的数据，则将数据等级及数据名称相同的数据失效，将失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
本发明实施例提供了一种减少数据冗余的方法还包括：
周期性的备份、恢复、收缩及删除数据库中的数据。
第二方面，本发明实施例提供了一种减少数据冗余的装置，包括：
记录模块，用于将接收到的数据存储至缓存中，并生成记录表；
查询模块，用于查询所述记录表，检验缓存中存储的数据是否失效；
存储模块，用于如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
可选的，所述查询模块具体用于：
按照预设的周期，查询所述记录表，检验缓存中存储的数据的存储时间是否已过有效期；所述记录表用于记录数据存储至缓存中的存储时间；
存储模块具体用于：
如果缓存中存储的数据的存储时间已过有效期，则缓存中存储的数据失效，将失效的数据作为冗余数据删除，并将缓存中除冗余数据以外的剩余数据存储至数据库中。
可选的，所述查询模块具体用于：
按照预设的周期，查询所述记录表，按照数据等级从低到高，检验缓存中所述数据的存储时间是否已过有效期；所述记录表用于记录存储至缓存中数据的大小及记录数据存储至缓存中的存储时间；所述数据等级是基于数据的大小划分的；
存储模块具体用于：
如果缓存中所述数据的存储时间已过有效期，则所述缓存中存储的数据失效，将所述失效的数据作为冗余数据，按照数据等级从低到高删除冗余数据，并将所述缓存中除冗余数据以外的剩余数据存储至数据库中。
可选的，所述查询模块具体用于：
按照预设的周期，查询所述记录表，检验缓存中是否存在数据等级及数据名称相同的数据；所述记录表用于记录存储至缓存中数据的名称及数据的等级；所述数据等级是基于数据的大小划分的；
存储模块具体用于：
如果缓存中存储的数据存在数据等级及数据名称相同的数据，则将数据等级及数据名称相同的数据失效，将失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
本发明实施例提供了一种减少数据冗余的装置，还包括：
维护模块，用于周期性的备份、恢复、收缩及删除数据库中的数据。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的一种减少数据冗余的方法。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的一种减少数据冗余的方法。
本发明实施例提供的一种减少数据冗余的方法及装置，通过将接收到的数据存储至缓存中，并生成记录表；查询记录表，检验缓存中存储的数据是否失效；如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。本发明实施例相比于现有技术在数据未存储至数据库之前，首先将数据存储至缓存中，并生成记录表，由于访问缓存的速度相比于访问数据库的速度快，通查询记录表确定冗余数据，不用查询数据库中所有数据确定冗余数据。因此，可以提高减少数据库中数据冗余的效率。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种减少数据冗余的方法流程图；
图2为本发明实施例提供的一种减少数据冗余的装置的结构图；
图3为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
本发明实施例提供的一种减少数据冗余的方法及装置，通过将接收到的数据存储至缓存中，并生成记录表；查询记录表，检验缓存中存储的数据是否失效；如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。本发明实施例相比于现有技术在数据未存储至数据库之前，首先将数据存储至缓存中，并生成记录表，由于访问缓存的速度相比于访问数据库的速度快，通查询记录表确定冗余数据，不用查询数据库中所有数据确定冗余数据。本发明实施例可以提高减少数据库中数据冗余的效率。
下面继续对本发明实施例提供的一种减少数据冗余的方法作简单介绍。
本发明实施例提供的一种减少数据冗余的方法，应用于电子设备，进一步电子设备可以为手机、电脑、服务器、智能移动终端设备、可穿戴式智能移动终端设备等。在此不做限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
如图1所示，本发明实施例提供的一种减少数据冗余的方法，包括：
S101，将接收到的数据存储至缓存中，并生成记录表；
S102，查询记录表，检验缓存中存储的数据是否失效；
为了提高减少数据库中数据冗余的效率，上述S102可以采用如下至少一种可能的实现方式，检验缓存中存储的数据是否失效：
在一种可能的实施方式中，按照预设的周期，查询记录表，检验缓存中存储的数据的存储时间是否已过有效期，以便快速确定失效数据。
其中，预设的周期为人为根据行业经验设定的时间长，例如预设的周期可以是1小时、1天或者1周等等，在此不做限制。
其中，记录表用于记录数据存储至缓存中的存储时间。
在另一种可能的实施方式中，按照预设的周期，查询记录表，按照数据等级从低到高，检验缓存中数据的存储时间是否已过有效期，相比于检验存储时间是否已过有效期，确定失效数据的方式，本实施方式由于按照数据等级高低确定失效数据，因此可以节省确定失效数据的时间。
其中，记录表用于记录存储至缓存中数据的大小及记录数据存储至缓存中的存储时间。
在再一种可能的实施方式中，按照预设的周期，查询记录表，检验缓存中是否存在数据等级及数据名称相同的数据，相比于检验存储时间是否已过有效期，确定失效数据的方式，本实施方式可以提高确定失效数据的准确率。
其中，记录表用于记录存储至缓存中数据的名称及数据的等级；数据等级是基于数据的大小划分的。
其中，数据等级是基于数据的大小划分的。数据的大小为数据的量大小，将数据量按照从大到小对应数据等级从低至高。
为了提高确定数据等级的效率，可以采用至少一种可能的实现方式，划分数据等级：
在一种可能的实施方式中，可以在数据存储至缓存之前，提前统计数据的数据量大小，将数据按照数据量大小进行排序，将数据量从大至小设定数据等级从低到高。
在另一种可能的实施方式中，将数据库中不同类型的数据的访问量大小进行统计，然后将访问量从高到低设置数据等级从高到低，按照数据类型对缓存中存储的数据进行数据等级划分。
S103，如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
其中，针对每个数据，如果该数据的存储时间是否已过有效期或者缓存中存在与该数据的数据等级及数据名称相同的数据，则该数据失效。
为了提高减少数据库中数据冗余的效率，上述S103可以采用如下至少一种可能的实现方式，缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中：
在一种可能的实施方式中，如果缓存中存储的数据的存储时间已过有效期，则缓存中存储的数据失效，将失效的数据作为冗余数据删除，并将缓存中除冗余数据以外的剩余数据存储至数据库中。
在另一种可能的实施方式中，如果缓存中存储的数据存在数据等级及数据名称相同的数据，则将数据等级及数据名称相同的数据失效，将失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
在再一种可能的实施方式中，如果缓存中数据的存储时间已过有效期，则缓存中存储的数据失效，将失效的数据作为冗余数据，按照数据等级从低到高删除冗余数据，并将缓存中除冗余数据以外的剩余数据存储至数据库中。
本发明实施例相比于现有技术在数据未存储至数据库之前，首先将数据存储至缓存中，并生成记录表，由于访问缓存的速度相比于访问数据库的速度快，通查询记录表确定冗余数据，不用查询数据库中所有数据确定冗余数据。本发明实施例可以提高减少数据库中数据冗余的效率。
本发明实施例提供的一种减少数据冗余的方法，还包括：
周期性的备份、恢复、收缩及删除数据库中的数据。
在一种可能的实时方式中，可以设定步长作为周期，将数据库中的数据按照周期进行备份、恢复、收缩及删除。
其中，步长为人为根据行业经验设定的时间长度，例如步长可以为24小时、1个月、1年等等，在此不做限制。
例如：数据库1中的数据包括a、b、c、d，设定时长为24小时，按照24小时的周期，对数据库中的a、b、c、d进行备份，就是复制a、b、c、d至其他存储空间，例如本地磁盘或者移动设备中，不限于此，以防止数据丢失。假设数据a不慎丢失，需要对数据库中的数据a进行数据恢复，就可以从其他存储空间中将a数据复制至数据库1中，也可以采用第三方软件在数据库1中对数据a进行数据恢复。如果数据库中数据失效，则将数据进行删除处理。数据收缩可以释放数据库未使用空间，提高访问数据库的效率。
本实施方式以周期性的备份、恢复、收缩及删除数据库中的数据，以达到维护数据库的目的，提高数据库的访问效率。
下面继续对本发明实施例提供的一种减少数据冗余的装置作简单介绍。
如图2所示，本发明实施例提供的一种减少数据冗余的装置，包括：
记录模块201，用于将接收到的数据存储至缓存中，并生成记录表；
查询模块202，用于查询记录表，检验缓存中存储的数据是否失效；
存储模块203，用于如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
可选的，查询模块具体用于：
按照预设的周期，查询记录表，检验缓存中存储的数据的存储时间是否已过有效期；记录表用于记录数据存储至缓存中的存储时间；
存储模块具体用于：
如果缓存中存储的数据的存储时间已过有效期，则缓存中存储的数据失效，将失效的数据作为冗余数据删除，并将缓存中除冗余数据以外的剩余数据存储至数据库中。
可选的，查询模块具体用于：
按照预设的周期，查询记录表，按照数据等级从低到高，检验缓存中数据的存储时间是否已过有效期；记录表用于记录存储至缓存中数据的大小及记录数据存储至缓存中的存储时间；数据等级是基于数据的大小划分的；
存储模块具体用于：
如果缓存中数据的存储时间已过有效期，则缓存中存储的数据失效，将失效的数据作为冗余数据，按照数据等级从低到高删除冗余数据，并将缓存中除冗余数据以外的剩余数据存储至数据库中。
可选的，查询模块具体用于：
按照预设的周期，查询记录表，检验缓存中是否存在数据等级及数据名称相同的数据；记录表用于记录存储至缓存中数据的名称及数据的等级；数据等级是基于数据的大小划分的；
存储模块具体用于：
如果缓存中存储的数据存在数据等级及数据名称相同的数据，则将数据等级及数据名称相同的数据失效，将失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
可选的，本发明实施例提供的一种减少数据冗余的装置还包括：
维护模块，用于周期性的备份、恢复、收缩及删除数据库中的数据。
本发明实施例还提供了一种电子设备，如图3所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，
存储器303，用于存放计算机程序；
处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：
将接收到的数据存储至缓存中，并生成记录表；
查询记录表，检验缓存中存储的数据是否失效；
如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的一种减少数据冗余的方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的一种减少数据冗余的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种减少数据冗余的方法，其特征在于，所述方法包括：
将接收到的数据存储至缓存中，并生成记录表；
查询所述记录表，检验缓存中存储的数据是否失效；
如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
2.根据权利要求1所述的方法，其特征在于，所述查询所述记录表，检验缓存中存储的数据是否失效，包括：
按照预设的周期，查询所述记录表，检验缓存中存储的数据的存储时间是否已过有效期；所述记录表用于记录数据存储至缓存中的存储时间；
所述如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中，包括：
如果缓存中存储的数据的存储时间已过有效期，则缓存中存储的数据失效，将失效的数据作为冗余数据删除，并将缓存中除冗余数据以外的剩余数据存储至数据库中。
3.根据权利要求1所述的方法，其特征在于，所述查询所述记录表，检验缓存中存储的数据是否失效，包括：
按照预设的周期，查询所述记录表，按照数据等级从低到高，检验缓存中所述数据的存储时间是否已过有效期；所述记录表用于记录存储至缓存中数据的大小及记录数据存储至缓存中的存储时间；所述数据等级是基于数据的大小划分的；
所述如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中，包括：
如果缓存中所述数据的存储时间已过有效期，则所述缓存中存储的数据失效，将所述失效的数据作为冗余数据，按照数据等级从低到高删除冗余数据，并将所述缓存中除冗余数据以外的剩余数据存储至数据库中。
4.根据权利要求1所述的方法，其特征在于，所述查询所述记录表，检验缓存中存储的数据是否失效，包括：
按照预设的周期，查询所述记录表，检验缓存中是否存在数据等级及数据名称相同的数据；所述记录表用于记录存储至缓存中数据的名称及数据的等级；所述数据等级是基于数据的大小划分的；
所述如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中，包括：
如果缓存中存储的数据存在数据等级及数据名称相同的数据，则将数据等级及数据名称相同的数据失效，将失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
周期性的备份、恢复、收缩及删除数据库中的数据。
6.一种减少数据冗余的装置，其特征在于，所述装置包括：
记录模块，用于将接收到的数据存储至缓存中，并生成记录表；
查询模块，用于查询所述记录表，检验缓存中存储的数据是否失效；
存储模块，用于如果缓存中存储的数据失效，则将缓存中失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
7.根据权利要求6所述的装置，其特征在于，所述查询模块具体用于：
按照预设的周期，查询所述记录表，检验缓存中存储的数据的存储时间是否已过有效期；所述记录表用于记录数据存储至缓存中的存储时间；
存储模块具体用于：
如果缓存中存储的数据的存储时间已过有效期，则缓存中存储的数据失效，将失效的数据作为冗余数据删除，并将缓存中除冗余数据以外的剩余数据存储至数据库中。
8.根据权利要求6所述的装置，其特征在于，所述查询模块具体用于：
按照预设的周期，查询所述记录表，按照数据等级从低到高，检验缓存中所述数据的存储时间是否已过有效期；所述记录表用于记录存储至缓存中数据的大小及记录数据存储至缓存中的存储时间；所述数据等级是基于数据的大小划分的；
存储模块具体用于：
如果缓存中所述数据的存储时间已过有效期，则所述缓存中存储的数据失效，将所述失效的数据作为冗余数据，按照数据等级从低到高删除冗余数据，并将所述缓存中除冗余数据以外的剩余数据存储至数据库中。
9.根据权利要求6所述的装置，其特征在于，所述查询模块具体用于：
按照预设的周期，查询所述记录表，检验缓存中是否存在数据等级及数据名称相同的数据；所述记录表用于记录存储至缓存中数据的名称及数据的等级；所述数据等级是基于数据的大小划分的；
存储模块具体用于：
如果缓存中存储的数据存在数据等级及数据名称相同的数据，则将数据等级及数据名称相同的数据失效，将失效的数据作为冗余数据删除，并将缓存中除失效数据以外的剩余数据存储至数据库中。
10.根据权利要求6至9任一项所述的装置，其特征在于，所述装置还包括：
维护模块，用于周期性的备份、恢复、收缩及删除数据库中的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811087007.6A CN109408496A (zh) | 2018-09-18 | 2018-09-18 | 一种减少数据冗余的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811087007.6A CN109408496A (zh) | 2018-09-18 | 2018-09-18 | 一种减少数据冗余的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109408496A true CN109408496A (zh) | 2019-03-01 |
Family
ID=65464952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811087007.6A Pending CN109408496A (zh) | 2018-09-18 | 2018-09-18 | 一种减少数据冗余的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109408496A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110943917A (zh) * | 2019-11-26 | 2020-03-31 | 中国电子科技集团公司第五十四研究所 | 一种减少多路由网络中冗余报文的方法 |
| CN111444184A (zh) * | 2020-03-25 | 2020-07-24 | 北京奇艺世纪科技有限公司 | 数据存储方法、存储调度服务器、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102696010A (zh) * | 2009-09-08 | 2012-09-26 | 弗森-艾奥公司 | 用于将数据高速缓存在固态存储设备上的装置、系统和方法 |
| CN103559279A (zh) * | 2013-11-07 | 2014-02-05 | 深信服网络科技（深圳）有限公司 | 云存储加速方法及装置 |
| CN103678638A (zh) * | 2013-12-20 | 2014-03-26 | 厦门雅迅网络股份有限公司 | 一种基于磁盘的对象缓存方法 |
| CN106682193A (zh) * | 2016-12-29 | 2017-05-17 | 北京奇虎科技有限公司 | 基于缓存的数据持久化存储方法及装置 |
| CN106776378A (zh) * | 2016-12-05 | 2017-05-31 | 宇龙计算机通信科技(深圳)有限公司 | 一种清理缓存数据的方法及装置 |
| CN107943718A (zh) * | 2017-12-07 | 2018-04-20 | 网宿科技股份有限公司 | 一种清理缓存文件的方法和装置 |
| CN108090189A (zh) * | 2017-12-19 | 2018-05-29 | 广东金赋科技股份有限公司 | 基于云政务自助终端的监控方法和系统 |
-
2018
- 2018-09-18 CN CN201811087007.6A patent/CN109408496A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102696010A (zh) * | 2009-09-08 | 2012-09-26 | 弗森-艾奥公司 | 用于将数据高速缓存在固态存储设备上的装置、系统和方法 |
| CN103559279A (zh) * | 2013-11-07 | 2014-02-05 | 深信服网络科技（深圳）有限公司 | 云存储加速方法及装置 |
| CN103678638A (zh) * | 2013-12-20 | 2014-03-26 | 厦门雅迅网络股份有限公司 | 一种基于磁盘的对象缓存方法 |
| CN106776378A (zh) * | 2016-12-05 | 2017-05-31 | 宇龙计算机通信科技(深圳)有限公司 | 一种清理缓存数据的方法及装置 |
| CN106682193A (zh) * | 2016-12-29 | 2017-05-17 | 北京奇虎科技有限公司 | 基于缓存的数据持久化存储方法及装置 |
| CN107943718A (zh) * | 2017-12-07 | 2018-04-20 | 网宿科技股份有限公司 | 一种清理缓存文件的方法和装置 |
| CN108090189A (zh) * | 2017-12-19 | 2018-05-29 | 广东金赋科技股份有限公司 | 基于云政务自助终端的监控方法和系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110943917A (zh) * | 2019-11-26 | 2020-03-31 | 中国电子科技集团公司第五十四研究所 | 一种减少多路由网络中冗余报文的方法 |
| CN110943917B (zh) * | 2019-11-26 | 2021-09-24 | 中国电子科技集团公司第五十四研究所 | 一种减少多路由网络中冗余报文的方法 |
| CN111444184A (zh) * | 2020-03-25 | 2020-07-24 | 北京奇艺世纪科技有限公司 | 数据存储方法、存储调度服务器、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109947668B (zh) | 存储数据的方法和装置 | |
| CN107003935B (zh) | 用于优化数据库去重的装置、方法和计算机介质 | |
| JP5732536B2 (ja) | 重複排除に基づくストレージシステムにおけるスケーラブル参照管理のためのシステム、方法及び非一時的なコンピュータ可読ストレージ媒体 | |
| EP2288975B1 (en) | Method for optimizing cleaning of maps in flashcopy cascades containing incremental maps | |
| CN107943718B (zh) | 一种清理缓存文件的方法和装置 | |
| CN110995776B (zh) | 区块链的区块分发方法、装置、计算机设备和存储介质 | |
| CN108829344A (zh) | 数据存储方法、装置及存储介质 | |
| KR102311032B1 (ko) | 데이터베이스 동기화 | |
| US20190384674A1 (en) | Data processing apparatus and method | |
| CN108268216B (zh) | 数据处理方法、装置及服务器 | |
| CN109213604A (zh) | 一种数据源的管理方法和装置 | |
| EP3789883A1 (en) | Storage fragment managing method and terminal | |
| CN105787037A (zh) | 一种重复数据的删除方法及装置 | |
| JP6269140B2 (ja) | アクセス制御プログラム、アクセス制御方法、およびアクセス制御装置 | |
| CN109408496A (zh) | 一种减少数据冗余的方法及装置 | |
| US10713216B2 (en) | Using relative generation numbers to deduplicate file system events | |
| US11429311B1 (en) | Method and system for managing requests in a distributed system | |
| US9760836B2 (en) | Data typing with probabilistic maps having imbalanced error costs | |
| CN111767284B (zh) | 数据处理方法、装置、存储介质和服务器 | |
| CN115543918A (zh) | 一种文件快照方法、系统、电子设备及存储介质 | |
| CN104850548A (zh) | 一种实现大数据平台输入/输出处理的方法及系统 | |
| CN108628700A (zh) | 一种持续数据保护方法及装置 | |
| CN111078643A (zh) | 一种批量删除文件的方法、装置及电子设备 | |
| CN107025266B (zh) | 业务数据的处理方法和装置 | |
| US11645333B1 (en) | Garbage collection integrated with physical file verification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190301 |