CN104346345B - 数据的存储方法及装置 - Google Patents

数据的存储方法及装置 Download PDF

Info

Publication number
CN104346345B
CN104346345B CN201310315361.0A CN201310315361A CN104346345B CN 104346345 B CN104346345 B CN 104346345B CN 201310315361 A CN201310315361 A CN 201310315361A CN 104346345 B CN104346345 B CN 104346345B
Authority
CN
China
Prior art keywords
network data
data
buffer
buffer entity
entity object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310315361.0A
Other languages
English (en)
Other versions
CN104346345A (zh
Inventor
吴新玉
丁岩
吴亮
陈小强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhongxing Software Co Ltd
Original Assignee
Shanghai Zhongxing Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhongxing Software Co Ltd filed Critical Shanghai Zhongxing Software Co Ltd
Priority to CN201310315361.0A priority Critical patent/CN104346345B/zh
Priority to US14/907,199 priority patent/US20160191652A1/en
Priority to EP13881423.1A priority patent/EP3026573A4/en
Priority to PCT/CN2013/082003 priority patent/WO2014161261A1/zh
Publication of CN104346345A publication Critical patent/CN104346345A/zh
Application granted granted Critical
Publication of CN104346345B publication Critical patent/CN104346345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682Policies or rules for updating, deleting or replacing the stored data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据的存储方法及装置,在上述方法中,向网络侧设备发起请求消息,获取待缓存的网络数据;从缓存实体对象集合中为网络数据选取一个或多个缓存实体对象,并直接将获取到的第一类型的网络数据存储至一个或多个缓存实体对象中,或者,将经过序列化处理后的第二类型的网络数据存储至一个或多个缓存实体对象中。根据本发明提供的技术方案,进而可以减少对网络的依赖,节省网络流量和移动终端的电量。

Description

数据的存储方法及装置
技术领域
本发明涉及通信领域,具体而言,涉及一种数据的存储方法及装置。
背景技术
相关技术中,无论对于大型应用还是小型应用而言,灵活的缓存可以说不仅大大减轻了服务器的压力,而且因为更快速的用户体验而方便了广大用户。移动终端应用通常归类于小型应用,其中,大部分(99%左右)的应用均不需要实时更新,而且诟病于蜗牛般的移动网速,与服务器的数据交互当是能少则少,这样用户体验才能更加出色。
采用缓存可以大大缓解数据交互的压力。缓存管理通常的适用环境可以包括:
(1)提供网络服务的应用;
(2)数据无需实时更新,即便是短短几分钟的延迟也可以采用缓存机制;
(3)缓存的过期时间是可以接受的,其不会导致某些数据因为更新不及时而影响产品的形象。
由此,缓存所能带来的好处有如下几点:
(1)可以大大减小服务器的压力;
(2)客户端的响应速度大大加快;
(3)客户端数据加载出错的概率大大降低,极大地提高了应用的稳定性;
(4)在一定程度上可以支持离线浏览或者可以说为离线浏览提供了技术支持。
目前,两种较为常用的缓存管理方法为:数据库法和文件法。数据库法是在下载完数据文件后,将文件的相关信息,例如:统一资源定位符(URL)、路径、下载时间、过期时间等存放到数据库,在下次需要下载的时候,可以根据URL先从数据库中查询,如果查询到当前时间并未过期,则可以根据路径读取本地文件,从而实现缓存的效果。文件法则是使用File.lastModified()方法得到文件的最后修改时间,然后与当前时间进行比较从而判断是否过期,进而实现缓存的效果。
然而,相关技术中所提供的数据缓存解决方案过分地依赖远程网络服务,同时还需大量地耗费网络流量以及移动终端的电量。
发明内容
本发明提供了一种数据的存储方法及装置,以至少解决相关技术中所提供的数据缓存解决方案过分地依赖远程网络服务,同时还需大量地耗费网络流量以及移动终端电量的问题。
根据本发明的一个方面,提供了一种数据的存储方法。
根据本发明的数据的存储方法包括:向网络侧设备发起请求消息,获取待缓存的网络数据;从缓存实体对象集合中为网络数据选取一个或多个缓存实体对象,并直接将获取到的第一类型的网络数据存储至一个或多个缓存实体对象中,或者,将经过序列化处理后的第二类型的网络数据存储至一个或多个缓存实体对象中。
优选地,在将第一类型的网络数据存储至一个或多个缓存实体对象中之前,还包括:获取第一类型的网络数据的大小;判断第一类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小,其中,第一缓存实体对象在一个或多个缓存实体对象中的存储优先级别最高;如果否,则按照预设规则将第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将第一缓存实体对象中存储的部分或全部数据转移至除第一缓存实体对象之外的其他缓存实体对象中,其中,预设规则包括以下之一:最近最少使用(LRU)规则、在缓存实体对象中存储的时间。
优选地,在将第二类型的网络数据存储至一个或多个缓存实体对象中之前,还包括:获取第二类型的网络数据的大小;判断第二类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小;如果否,则按照预设规则将第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将第一缓存实体对象中存储的部分或全部数据转移至除第一缓存实体对象之外的其他缓存实体对象中,其中,预设规则包括以下之一:LRU规则、在缓存实体对象中存储的时间。
优选地,在将第一类型的网络数据存储至一个或多个缓存实体对象中,或者,将第二类型的网络数据存储至一个或多个缓存实体对象中之前,还包括:为第一类型的网络数据或者第二类型的网络数据设置存储标识,其中,存储标识用于在将第一类型的网络数据或者第二类型的网络数据存储至一个或多个缓存实体对象中之后查找第一类型的网络数据或者第二类型的网络数据。
优选地,将第一类型的网络数据存储至一个或多个缓存实体对象中,或者,将第二类型的网络数据存储至一个或多个缓存实体对象中包括:判断一个或多个缓存实体对象中是否已经存在存储标识;如果存在,则直接采用第一类型的网络数据或者第二类型的网络数据对在一个或多个缓存实体对象中当前存储的与存储标识对应的数据进行覆盖,或者在对与存储标识对应的数据进行回调处理后,再采用第一类型的网络数据或者第二类型的网络数据对与存储标识对应的数据进行覆盖。
优选地,为第一类型的网络数据或者第二类型的网络数据设置存储标识包括:遍历一个或多个缓存实体对象中已经存在的全部存储标识;根据遍历结果确定为第一类型的网络数据或者第二类型的网络数据设置的存储标识,其中,设置的存储标识与已经存在的全部存储标识均不相同。
优选地,缓存实体对象集合包括以下至少之一:初始配置的内存缓存实体对象;初始配置的文件缓存实体对象;初始配置的数据库缓存实体对象;用户自定义的扩展缓存实体对象。
根据本发明的另一方面,提供了一种数据的存储装置。
根据本发明的数据的存储装置包括:第一获取模块,用于向网络侧设备发起请求消息,获取待缓存的网络数据;存储模块,用于从缓存实体对象集合中为网络数据选取一个或多个缓存实体对象,并直接将获取到的第一类型的网络数据存储至一个或多个缓存实体对象中,或者,将经过序列化处理后的第二类型的网络数据存储至一个或多个缓存实体对象中。
优选地,上述装置还包括:第二获取模块,用于获取第一类型的网络数据的大小;第一判断模块,用于判断第一类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小,其中,第一缓存实体对象在一个或多个缓存实体对象中的存储优先级别最高;第一处理模块,用于在第一判断模块输出为否时,按照预设规则将第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将第一缓存实体对象中存储的部分或全部数据转移至除第一缓存实体对象之外的其他缓存实体对象中,其中,预设规则包括以下之一:LRU规则、在缓存实体对象中存储的时间。
优选地,上述装置还包括:第三获取模块,用于获取第二类型的网络数据的大小;第二判断模块,用于判断第二类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小;第二处理模块,用于在第二判断模块输出为否时,按照预设规则将第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将第一缓存实体对象中存储的部分或全部数据转移至除第一缓存实体对象之外的其他缓存实体对象中,其中,预设规则包括以下之一:LRU规则、在缓存实体对象中存储的时间。
优选地,上述装置还包括:设置模块,用于为第一类型的网络数据或者第二类型的网络数据设置存储标识,其中,存储标识用于在将第一类型的网络数据或者第二类型的网络数据存储至一个或多个缓存实体对象中之后查找第一类型的网络数据或者第二类型的网络数据。
优选地,存储模块包括:判断单元,用于判断一个或多个缓存实体对象中是否已经存在存储标识;处理单元,用于在判断单元输出为是时,则直接采用第一类型的网络数据或者第二类型的网络数据对在一个或多个缓存实体对象中当前存储的与存储标识对应的数据进行覆盖,或者在对与存储标识对应的数据进行回调处理后,再采用第一类型的网络数据或者第二类型的网络数据对与存储标识对应的数据进行覆盖。
优选地,设置模块包括:遍历单元,用于遍历一个或多个缓存实体对象中已经存在的全部存储标识;确定单元,用于根据遍历结果确定为第一类型的网络数据或者第二类型的网络数据设置的存储标识,其中,设置的存储标识与已经存在的全部存储标识均不相同。
通过本发明,采用向网络侧设备发起请求消息,获取待缓存的网络数据;从缓存实体对象集合中为网络数据选取一个或多个缓存实体对象,并直接将获取到的第一类型的网络数据存储至一个或多个缓存实体对象中,或者,将经过序列化处理后的第二类型的网络数据存储至一个或多个缓存实体对象中,即通过构建的缓存实体对象集合来存储从网络侧设备接收到的不同类型的网络数据,减少向网络侧设备重复发起获取相同网络数据的请求,降低与网络侧设备的信息交互频率,由此解决了相关技术中所提供的数据缓存解决方案过分地依赖远程网络服务,同时还需大量地耗费网络流量以及移动终端电量的问题,进而可以减少对网络的依赖,节省网络流量和移动终端的电量。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据的存储方法;
图2是根据本发明优选实施例的android平台缓存管理的示意图;
图3是根据本发明实施例的数据的存储装置的结构框图;
图4是根据本发明优选实施例的数据的存储装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
图1是根据本发明实施例的数据的存储方法。如图1所示,该方法可以包括以下处理步骤:
步骤S102:向网络侧设备发起请求消息,获取待缓存的网络数据;
步骤S104:从缓存实体对象集合中为网络数据选取一个或多个缓存实体对象,并直接将获取到的第一类型的网络数据存储至一个或多个缓存实体对象中,或者,将经过序列化处理后的第二类型的网络数据存储至一个或多个缓存实体对象中。
相关技术中所提供的数据缓存解决方案过分地依赖远程网络服务,同时还需大量地耗费网络流量以及移动终端电量。采用如图1所示的方法,向网络侧设备发起请求消息,获取待缓存的网络数据(例如:图片数据、字符串数据);从缓存实体对象集合中为网络数据选取一个或多个缓存实体对象,并直接将获取到的第一类型的网络数据存储至一个或多个缓存实体对象中,或者,将经过序列化处理后的第二类型的网络数据存储至一个或多个缓存实体对象中,即通过构建的缓存实体对象集合来存储从网络侧设备接收到的不同类型的网络数据,减少向网络侧设备重复发起获取相同网络数据的请求,降低与网络侧设备的信息交互频率,由此解决了相关技术中所提供的数据缓存解决方案过分地依赖远程网络服务,同时还需大量地耗费网络流量以及移动终端电量的问题,进而可以减少对网络的依赖,节省网络流量和移动终端的电量。
需要说明的是,在上述选取的一个或多个缓存实体对象中存储的网络数据可以分为两种类型:
第一类型、基本数据类型以及自身已经实现序列化的数据类型,例如:int、float、字符串数据;该类网络数据无需再经过序列化处理,而可以直接进行存储;
第二类型、结构体类型或者图片类型;该类网络数据只有在经过序列化处理后,才能够进行存储。
在优选实施过程中,上述缓存实体对象集合可以包括但不限于以下至少之一:
(1)初始配置的内存缓存实体对象;
(2)初始配置的文件缓存实体对象;
(3)初始配置的数据库缓存实体对象;
(4)用户自定义的扩展缓存实体对象。
在优选实施例中,上述缓存实体对象集合实现了一个备份/缓存组件,构建了一个框架来统一执行不同类型网络数据的存储,其初始配置基于缓存抽象类已经实现了以文件为存储载体的数据缓存、以内存为存储载体的数据缓存以及以数据库为存储载体的数据缓存三种基本的缓存类别,同时用户也可以根据自身需要实现抽象类接口定义自己的缓存实现或者继续扩展已经实现的上述三种缓存方式,以满足实际应用过程中的多样性。在上述两种功能的基础上,用户还可以通过封装的缓存管理类对象来使用缓存功能。
下面结合图2以安卓(android)平台的缓存管理组件为例,对android平台缓存管理的实现方法做进一步的详细描述。图2是根据本发明优选实施例的android平台缓存管理的示意图。如图2所示,android平台缓存管理如下:
(1)缓存管理类,支持泛型数据并可以按照LRU原则对数据进行淘汰。
缓存管理类可以提供以下各项功能:
功能一、清除当前类型缓存的所有数据;
功能二、根据K得到当前类型缓存的所有数据中的V值,其中,K为键的数据类型,android平台Java语法支持泛型声明;V为值的数据类型,android平台Java语法支持泛型声明;
功能三、存入缓存对应的(K-V)数据;
功能四、从缓存中移除对应(K-V)数据;
功能五、获取缓存的大小;
功能六、获取缓存的最大限制;
在该优选实施例中,缓存管理支持泛型键-值,可以根据实际情况进行设置。本缓存管理组件实现的文件缓存和数据库缓存都是<String,Externalizable>类型,任何可以序列化的文件或者数据都可以进行缓存。
(2)缓存实体接口,支持泛型数据,实现数据存取。
缓存实体的抽象类提供了以下几类接口:
第一类接口、获取该缓存中的最久未被访问的(K-V)数据,以便在缓存即将溢出时删除;
第二类接口、在缓存中根据KEY得到对应的VALUE;
第三类接口、根据KEY向缓存中存入数据,当缓存中已存在与KEY对应的数据时,返回已经存在的对应的V值;
第四类接口、根据KEY删除缓存中对应的数据;
第五类接口、获取缓存的最大限制值;
第六类接口、获取已经缓存数据的大小/数量;
第七类接口、遍历得到KEY的SET对象。
(3)内存缓存类,支持泛型数据,实现数据对象在内存中的存取。
(4)文件缓存类,仅支持<String,Externalizable>型数据,实现数据对象以文件方式进行存取。
(5)数据库缓存类,仅支持<String,Externalizable>型数据,实现数据对象以数据库方式进行存取。
(6)Externalizable,可序列化的值对象数据类型,android平台下由Externalizable接口完成该功能。
优选地,在步骤S104,将第一类型的网络数据存储至一个或多个缓存实体对象中之前,还可以包括以下操作:
步骤S1:获取第一类型的网络数据的大小;
步骤S2:判断第一类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小,其中,第一缓存实体对象在一个或多个缓存实体对象中的存储优先级别最高;
步骤S3:如果否,则按照预设规则将第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将第一缓存实体对象中存储的部分或全部数据转移至除第一缓存实体对象之外的其他缓存实体对象中,其中,上述预设规则可以包括但不限于以下之一:LRU规则、在缓存实体对象中存储的时间。
在优选实施例中,当从网络侧设备接收到网络数据(例如:字符串数据)时,经过判断发现此种类型的网络数据不需要进行序列化处理,而可以直接作为VALUE值来进行存储。其次,需要从缓存实体对象集合中为网络数据选取一个或多个缓存实体对象,同时可以指定每个缓存实体对象的最大容量限制。此处的缓存实体对象可以是已经配置完成的内存缓存实体对象、文件缓存实体对象或者数据库缓存实体对象,当然也可以是用户自定义的扩展缓存实体对象。在对网络数据进行存储的过程中,可以预先设定存储策略(例如:缓存实体对象的优先级),在该优选实施例中,可以设定内存缓存实体对象的优先级最高、文件缓存实体对象的优先级次之、数据库缓存实体对象的优先级排在最后。然后,开始判断优先级最高的内存缓存实体对象当前的存储容量是否满足刚刚接收到的网络数据,如果可以满足则直接将接收到的网络数据存储至内存缓存实体对象中。而如果内存缓存实体对象当前的存储容量无法容纳刚刚接收到的网络数据,此时,可以根据预设规则(例如:淘汰内存缓存实体对象中近期未使用的老化数据)将近期未使用的老化数据存入文件缓存实体对象或者数据库缓存实体对象中,而将刚接收到的网络数据存入内存缓存实体对象,从而能够灵活地进行数据缓存处理,以便不影响应用的性能和体验。当然,为了不影响终端侧设备的处理能力,避免过度使用内存缓存实体对象,因此,即便内存缓存实体对象当前的存储容量可以容纳刚刚接收到的网络数据,但是在存入网络数据后,内存缓存实体对象的使用率已经超过预设比例(例如:80%),此时,也需要根据预设规则(例如:淘汰内存缓存实体对象中近期未使用的老化数据)将近期未使用的老化数据存入文件缓存实体对象或者数据库缓存实体对象中。
在经过上述缓存处理过后,如果下次再访问该网络页面,需要展示相同的字符串数据时,则无需再向网络发起请求进行数据交互而是可以直接从内存缓存实体对象中获得相应的字符串数据进行展示,以便减少网络流量、加快页面展示速度、提升用户体验。
优选地,在步骤S104,将第二类型的网络数据存储至一个或多个缓存实体对象中之前,还可以包括以下步骤:
步骤S4:获取第二类型的网络数据的大小;
步骤S5:判断第二类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小;
步骤S6:如果否,则按照预设规则将第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将第一缓存实体对象中存储的部分或全部数据转移至除第一缓存实体对象之外的其他缓存实体对象中,其中,上述预设规则可以包括但不限于以下之一:最近最少使用LRU规则、在缓存实体对象中存储的时间。
在优选实施例中,当从网络侧设备接收到网络数据(例如:图片数据)时,经过判断发现此种类型的网络数据需要进行序列化处理,首先,需要实现该数据类型的序列化处理,以此才可以作为VALUE值来进行存储。在完成上述序列化准备工作之后,就可以使用缓存管理组件进行缓存。其次,需要从缓存实体对象集合中为网络数据选取一个或多个缓存实体对象,同时可以指定每个缓存实体对象的最大容量限制。此处的缓存实体对象可以是已经配置完成的内存缓存实体对象、文件缓存实体对象或者数据库缓存实体对象,当然也可以是用户自定义的扩展缓存实体对象。在对网络数据进行存储的过程中,可以预先设定存储策略(例如:缓存实体对象的优先级),在该优选实施例中,可以设定内存缓存实体对象的优先级最高、文件缓存实体对象的优先级次之、数据库缓存实体对象的优先级排在最后。然后,开始判断优先级最高的内存缓存实体对象当前的存储容量是否满足刚刚接收到的网络数据,如果可以满足则直接将接收到的网络数据存储至内存缓存实体对象中。而如果内存缓存实体对象当前的存储容量无法容纳刚刚接收到的网络数据,此时,可以根据预设规则(例如:淘汰内存缓存实体对象中近期未使用的老化数据)将近期未使用的老化数据存入文件缓存实体对象或者数据库缓存实体对象中,而将刚接收到的网络数据存入内存缓存实体对象,从而能够灵活地进行数据缓存处理,以便不影响应用的性能和体验。当然,为了不影响终端侧设备的处理能力,避免过度使用内存缓存实体对象,因此,即便内存缓存实体对象当前的存储容量可以容纳刚刚接收到的网络数据,但是在存入网络数据后,内存缓存实体对象的使用率已经超过预设比例(例如:80%),此时,也需要根据预设规则(例如:淘汰内存缓存实体对象中近期未使用的老化数据)将近期未使用的老化数据存入文件缓存实体对象或者数据库缓存实体对象中。
在经过上述缓存处理过后,如果下次再访问该网络页面,需要展示相同的图片数据时,则无需再向网络发起请求进行数据交互而是可以直接从内存缓存实体对象中获得相应的图片数据进行展示,以便减少网络流量、加快页面展示速度、提升用户体验。
优选地,在步骤S104,将第一类型的网络数据存储至一个或多个缓存实体对象中,或者,将第二类型的网络数据存储至一个或多个缓存实体对象中之前,还可以包括以下处理:
步骤S7:为第一类型的网络数据或者第二类型的网络数据设置存储标识,其中,存储标识用于在将第一类型的网络数据或者第二类型的网络数据存储至一个或多个缓存实体对象中之后查找第一类型的网络数据或者第二类型的网络数据。
在优选实施例中,可以为每次接收到的网络数据设置存储标识KEY,而将网络数据作为VALUE,建立KEY与VALUE之间的对应关系,存储至一个或多个缓存实体对象中,由此可以便于后续通过KEY对已经存储的网络数据进行查找。后续如果需要查找哪次接收到的网络数据,可以在已知KEY的情况下,可以直接使用获取缓存数据功能,通过KEY值查找到对应数据。如果不知道KEY,则可以通过缓存管理类的获取KEY集合功能,遍历找到所有的KEY,然后找到所需KEY值后便可以进行查询。
优选地,在步骤S104中,将第一类型的网络数据存储至一个或多个缓存实体对象中,或者,将第二类型的网络数据存储至一个或多个缓存实体对象中可以包括以下操作:
步骤S8:判断一个或多个缓存实体对象中是否已经存在存储标识;
步骤S9:如果存在,则直接采用第一类型的网络数据或者第二类型的网络数据对在一个或多个缓存实体对象中当前存储的与存储标识对应的数据进行覆盖,或者在对与存储标识对应的数据进行回调处理后,再采用第一类型的网络数据或者第二类型的网络数据对与存储标识对应的数据进行覆盖。
在优选实施例中,根据网络数据的类型,如果是字符串数据可以不需要进行序列化处理,而直接作为VALUE值来进行存储;如果是图片数据需要实现该数据类型的序列化处理,以此才可以作为VALUE值来进行存储。在存储过程当中,网络数据以存储标识KEY加以区分。而在存储网络数据时,为网络数据分配的存储标识KEY并非是唯一的,即缓存实体对象中很可能已经存在与为刚接收到的网络数据分配的存储标识KEY相同的标识。此时,缓存实体对象中如果存在与KEY对应的数据,存储过程中则会采用新数据直接覆盖旧数据,当然,被覆盖的旧数据还可以通过一个回调接口返回给用户,具体是否需要进行回调旧数据的处理可以根据用户个人需求而设定。
优选地,在步骤S7中,为第一类型的网络数据或者第二类型的网络数据设置存储标识可以包括以下步骤:
步骤S10:遍历一个或多个缓存实体对象中已经存在的全部存储标识;
步骤S11:根据遍历结果确定为第一类型的网络数据或者第二类型的网络数据设置的存储标识,其中,设置的存储标识与已经存在的全部存储标识均不相同。
在优选实施例中,为了避免增加在一个或多个缓存实体对象中查找网络数据的复杂性与繁琐性,同时还为了避免因存储标识相同而覆盖数据所造成的误操作引起数据丢失,因此,在设置存储标识之前可以首先遍历各个缓存实体对象中已经存在哪些存储标识,然后再设置一个与当前已经存在的全部存储标识均不相同的存储标识。
作为本发明的一个优选实施例,在使用android平台缓存工具进行缓存时的处理流程可以包括以下处理步骤:
第一步、序列化缓存数据类型,实现Externalizable接口;
第二步、实例化缓存管理类,指定缓存策略,即内存、文件或者是数据库,同时还可以选择性的指定缓存最大限制;
第三步、指定存储标识KEY和序列化的数据,使用缓存管理类对应的缓存功能;
第四步、判断KEY和VALUE的合法性,必须均不为空;
第五步、计算待存储数据的大小,确保其小于或等于缓存最大限制;
第六步、判断缓存中标识KEY是否已经存在,如果存在,新生成的VALUE值将会覆盖原始值进行存储,根据指定的缓存策略判断是否有足够的存入空间来存储待缓存的数据,如果没有,则需要首先删除老化数据;
在该优选实施例中,老化数据的判断方式如下:在内存缓存机制中LinkedHashMap可以按照时间顺序进行存储,因此,排在最前面的即为已经老化的数据。在文件缓存机制中,数据库除了保存有KEY文件名,还有对应文件的创建时间,由此可以根据该时间进行判断。数据库缓存机制与文件缓存相类似,在数据存储时会存储一个时间字段,查询该时间字段就可以获知老化数据。
第七步、向缓存中写入该K-V值,在内存缓存机制中已经构建了依照访问顺序排列的LinkedHashMap,存入数据即是增加一条映射条目;文件缓存机制可以利用数据库保存文件缓存相关信息,在有数据需要存入时,首先根据KEY生成一个对应的文件名,然后向该文件中写入数据;同时更新数据库,数据库缓存机制即为向数据库中新增一个条目;
第八步、如果是KEY已经存在的数据缓存,则会通过回调,返回K-V旧值;
在使用上述android平台缓存工具获取数据时,如果在已知KEY的情况下,可以直接使用获取缓存数据功能,通过KEY值查找到对应数据。如果不知道KEY,则可以通过缓存管理类的获取KEY集合功能,遍历找到所有的KEY,然后找到所需KEY值后便可以进行查询。
图3是根据本发明实施例的数据的存储装置的结构框图。如图3所示,该数据的存储装置可以包括:第一获取模块100,用于向网络侧设备发起请求消息,获取待缓存的网络数据;存储模块102,用于从缓存实体对象集合中为网络数据选取一个或多个缓存实体对象,并直接将获取到的第一类型的网络数据存储至一个或多个缓存实体对象中,或者,将经过序列化处理后的第二类型的网络数据存储至一个或多个缓存实体对象中。
采用如图3所示的装置,解决了相关技术中所提供的数据缓存解决方案过分地依赖远程网络服务,同时还需大量地耗费网络流量以及移动终端电量的问题,进而可以减少对网络的依赖,节省网络流量和移动终端的电量。
优选地,如图4所示,上述装置还可以包括:第二获取模块104,用于获取第一类型的网络数据的大小;第一判断模块106,用于判断第一类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小,其中,第一缓存实体对象在一个或多个缓存实体对象中的存储优先级别最高;第一处理模块108,用于在第一判断模块输出为否时,按照预设规则将第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将第一缓存实体对象中存储的部分或全部数据转移至除第一缓存实体对象之外的其他缓存实体对象中,其中,上述预设规则可以包括但不限于以下之一:LRU规则、在缓存实体对象中存储的时间。
优选地,如图4所示,上述装置还可以包括:第三获取模块110,用于获取第二类型的网络数据的大小;第二判断模块112,用于判断第二类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小;第二处理模块114,用于在第二判断模块输出为否时,按照预设规则将第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将第一缓存实体对象中存储的部分或全部数据转移至除第一缓存实体对象之外的其他缓存实体对象中,其中,上述预设规则可以包括但不限于以下之一:LRU规则、在缓存实体对象中存储的时间。
优选地,如图4所示,上述装置还可以包括:设置模块116,用于为第一类型的网络数据或者第二类型的网络数据设置存储标识,其中,存储标识用于在将第一类型的网络数据或者第二类型的网络数据存储至一个或多个缓存实体对象中之后查找第一类型的网络数据或者第二类型的网络数据。
优选地,存储模块102可以包括:判断单元(图中未示出),用于判断一个或多个缓存实体对象中是否已经存在存储标识;处理单元(图中未示出),用于在判断单元输出为是时,则直接采用第一类型的网络数据或者第二类型的网络数据对在一个或多个缓存实体对象中当前存储的与存储标识对应的数据进行覆盖,或者在对与存储标识对应的数据进行回调处理后,再采用第一类型的网络数据或者第二类型的网络数据对与存储标识对应的数据进行覆盖。
优选地,设置模块116可以包括:遍历单元(图中未示出),用于遍历一个或多个缓存实体对象中已经存在的全部存储标识;确定单元(图中未示出),用于根据遍历结果确定为第一类型的网络数据或者第二类型的网络数据设置的存储标识,其中,设置的存储标识与已经存在的全部存储标识均不相同。
从以上的描述中,可以看出,上述实施例实现了如下技术效果(需要说明的是这些效果是某些优选实施例可以达到的效果):采用本发明所提供的技术方案,实现在本地的网络数据缓存,当本地应用程序频繁地请求网络数据以及对各种资源的需求较多时,可以通过利用该缓存组件,大大提高移动终端的处理性能,同时还能够减少对网络发起的请求。本发明在构建了内存、文件和数据库三种基本的缓存类别的基础上,还预留了对其他缓存制度的扩展使用,支持对网络图形的缓存,备份内容无限制、可以备份任意数据、文件、图片等从网络下载的信息。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种数据的存储方法,其特征在于,包括:
向网络侧设备发起请求消息,获取待缓存的网络数据;
从缓存实体对象集合中为所述网络数据选取一个或多个缓存实体对象,并直接将获取到的第一类型的网络数据存储至所述一个或多个缓存实体对象中,或者,将经过序列化处理后的第二类型的网络数据存储至所述一个或多个缓存实体对象中;
其中,在将所述第一类型的网络数据存储至所述一个或多个缓存实体对象中,或者,将所述第二类型的网络数据存储至所述一个或多个缓存实体对象中之前,还包括:为所述第一类型的网络数据或者所述第二类型的网络数据设置存储标识,其中,所述存储标识用于在将所述第一类型的网络数据或者所述第二类型的网络数据存储至所述一个或多个缓存实体对象中之后查找所述第一类型的网络数据或者所述第二类型的网络数据。
2.根据权利要求1所述的方法,其特征在于,在将所述第一类型的网络数据存储至所述一个或多个缓存实体对象中之前,还包括:
获取所述第一类型的网络数据的大小;
判断所述第一类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小,其中,所述第一缓存实体对象在所述一个或多个缓存实体对象中的存储优先级别最高;
如果否,则按照预设规则将所述第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将所述第一缓存实体对象中存储的所述部分或全部数据转移至除所述第一缓存实体对象之外的其他缓存实体对象中,其中,所述预设规则包括以下之一:最近最少使用LRU规则、在所述缓存实体对象中存储的时间。
3.根据权利要求1所述的方法,其特征在于,在将所述第二类型的网络数据存储至所述一个或多个缓存实体对象中之前,还包括:
获取所述第二类型的网络数据的大小;
判断所述第二类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小;
如果否,则按照预设规则将所述第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将所述第一缓存实体对象中存储的所述部分或全部数据转移至除所述第一缓存实体对象之外的其他缓存实体对象中,其中,所述预设规则包括以下之一:LRU规则、在所述缓存实体对象中存储的时间。
4.根据权利要求1所述的方法,其特征在于,将所述第一类型的网络数据存储至所述一个或多个缓存实体对象中,或者,将所述第二类型的网络数据存储至所述一个或多个缓存实体对象中包括:
判断所述一个或多个缓存实体对象中是否已经存在所述存储标识;
如果存在,则直接采用所述第一类型的网络数据或者所述第二类型的网络数据对在所述一个或多个缓存实体对象中当前存储的与所述存储标识对应的数据进行覆盖,或者在对与所述存储标识对应的数据进行回调处理后,再采用所述第一类型的网络数据或者所述第二类型的网络数据对与所述存储标识对应的数据进行覆盖。
5.根据权利要求1所述的方法,其特征在于,为所述第一类型的网络数据或者所述第二类型的网络数据设置所述存储标识包括:
遍历所述一个或多个缓存实体对象中已经存在的全部存储标识;
根据遍历结果确定为所述第一类型的网络数据或者所述第二类型的网络数据设置的存储标识,其中,所述设置的存储标识与所述已经存在的全部存储标识均不相同。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述缓存实体对象集合包括以下至少之一:
初始配置的内存缓存实体对象;
初始配置的文件缓存实体对象;
初始配置的数据库缓存实体对象;
用户自定义的扩展缓存实体对象。
7.一种数据的存储装置,其特征在于,包括:
第一获取模块,用于向网络侧设备发起请求消息,获取待缓存的网络数据;
存储模块,用于从缓存实体对象集合中为所述网络数据选取一个或多个缓存实体对象,并直接将获取到的第一类型的网络数据存储至所述一个或多个缓存实体对象中,或者,将经过序列化处理后的第二类型的网络数据存储至所述一个或多个缓存实体对象中;
其中,所述装置还包括:设置模块,用于为所述第一类型的网络数据或者所述第二类型的网络数据设置存储标识,其中,所述存储标识用于在将所述第一类型的网络数据或者所述第二类型的网络数据存储至所述一个或多个缓存实体对象中之后查找所述第一类型的网络数据或者所述第二类型的网络数据。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取所述第一类型的网络数据的大小;
第一判断模块,用于判断所述第一类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小,其中,所述第一缓存实体对象在所述一个或多个缓存实体对象中的存储优先级别最高;
第一处理模块,用于在所述第一判断模块输出为否时,按照预设规则将所述第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将所述第一缓存实体对象中存储的所述部分或全部数据转移至除所述第一缓存实体对象之外的其他缓存实体对象中,其中,所述预设规则包括以下之一:最近最少使用LRU规则、在所述缓存实体对象中存储的时间。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于获取所述第二类型的网络数据的大小;
第二判断模块,用于判断所述第二类型的网络数据的大小是否小于或等于第一缓存实体对象中的剩余存储空间的大小;
第二处理模块,用于在所述第二判断模块输出为否时,按照预设规则将所述第一缓存实体对象中当前存储的部分或全部数据进行删除,或者,将所述第一缓存实体对象中存储的所述部分或全部数据转移至除所述第一缓存实体对象之外的其他缓存实体对象中,其中,所述预设规则包括以下之一:最近最少使用LRU规则、在所述缓存实体对象中存储的时间。
10.根据权利要求7所述的装置,其特征在于,所述存储模块包括:
判断单元,用于判断所述一个或多个缓存实体对象中是否已经存在所述存储标识;
处理单元,用于在所述判断单元输出为是时,则直接采用所述第一类型的网络数据或者所述第二类型的网络数据对在所述一个或多个缓存实体对象中当前存储的与所述存储标识对应的数据进行覆盖,或者在对与所述存储标识对应的数据进行回调处理后,再采用所述第一类型的网络数据或者所述第二类型的网络数据对与所述存储标识对应的数据进行覆盖。
11.根据权利要求7所述的装置,其特征在于,所述设置模块包括:
遍历单元,用于遍历所述一个或多个缓存实体对象中已经存在的全部存储标识;
确定单元,用于根据遍历结果确定为所述第一类型的网络数据或者所述第二类型的网络数据设置的存储标识,其中,所述设置的存储标识与所述已经存在的全部存储标识均不相同。
CN201310315361.0A 2013-07-24 2013-07-24 数据的存储方法及装置 Active CN104346345B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310315361.0A CN104346345B (zh) 2013-07-24 2013-07-24 数据的存储方法及装置
US14/907,199 US20160191652A1 (en) 2013-07-24 2013-08-21 Data storage method and apparatus
EP13881423.1A EP3026573A4 (en) 2013-07-24 2013-08-21 METHOD AND APPARATUS FOR STORING DATA
PCT/CN2013/082003 WO2014161261A1 (zh) 2013-07-24 2013-08-21 数据的存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310315361.0A CN104346345B (zh) 2013-07-24 2013-07-24 数据的存储方法及装置

Publications (2)

Publication Number Publication Date
CN104346345A CN104346345A (zh) 2015-02-11
CN104346345B true CN104346345B (zh) 2019-03-26

Family

ID=51657459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310315361.0A Active CN104346345B (zh) 2013-07-24 2013-07-24 数据的存储方法及装置

Country Status (4)

Country Link
US (1) US20160191652A1 (zh)
EP (1) EP3026573A4 (zh)
CN (1) CN104346345B (zh)
WO (1) WO2014161261A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681995B (zh) * 2015-11-05 2020-08-18 菜鸟智能物流控股有限公司 数据缓存方法、数据查询方法及装置
CN106055706B (zh) * 2016-06-23 2019-08-06 杭州迪普科技股份有限公司 一种缓存资源存储方法及装置
CN107704473A (zh) * 2016-08-09 2018-02-16 中国移动通信集团四川有限公司 一种数据处理方法和装置
CN106341447A (zh) * 2016-08-12 2017-01-18 中国南方电网有限责任公司 基于移动终端的数据库业务智能交换方法
CN108664597A (zh) * 2018-05-08 2018-10-16 深圳市创梦天地科技有限公司 一种移动操作系统上的数据缓存装置、方法及存储介质
CN112118283B (zh) * 2020-07-30 2023-04-18 爱普(福建)科技有限公司 一种基于多级缓存的数据处理方法及系统
WO2024026592A1 (zh) * 2022-07-30 2024-02-08 华为技术有限公司 一种数据存储方法及相关装置
CN115878505B (zh) * 2023-03-01 2023-05-12 中诚华隆计算机技术有限公司 一种基于芯片实现的数据缓存方法及系统
CN117292550B (zh) * 2023-11-24 2024-02-13 天津市普迅电力信息技术有限公司 一种面向车联网应用的限速预警功能检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1804831A (zh) * 2005-01-13 2006-07-19 陈翌 网络缓存管理的系统和方法
CN102521252A (zh) * 2011-11-17 2012-06-27 四川长虹电器股份有限公司 一种远程数据的访问方法
CN103034650A (zh) * 2011-09-29 2013-04-10 北京新媒传信科技有限公司 一种数据处理系统和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249844B1 (en) * 1998-11-13 2001-06-19 International Business Machines Corporation Identifying, processing and caching object fragments in a web environment
US6233606B1 (en) * 1998-12-01 2001-05-15 Microsoft Corporation Automatic cache synchronization
US6757708B1 (en) * 2000-03-03 2004-06-29 International Business Machines Corporation Caching dynamic content
US7409389B2 (en) * 2003-04-29 2008-08-05 International Business Machines Corporation Managing access to objects of a computing environment
CN1615041A (zh) * 2004-08-10 2005-05-11 谢成火 一种为移动终端提供存储空间方法
EP1770954A1 (en) * 2005-10-03 2007-04-04 Amadeus S.A.S. System and method to maintain coherence of cache contents in a multi-tier software system aimed at interfacing large databases
US8621075B2 (en) * 2011-04-27 2013-12-31 Seven Metworks, Inc. Detecting and preserving state for satisfying application requests in a distributed proxy and cache system
US8751542B2 (en) * 2011-06-24 2014-06-10 International Business Machines Corporation Dynamically scalable modes
JP5204333B2 (ja) * 2011-07-04 2013-06-05 本田技研工業株式会社 金属酸素電池
US20130018875A1 (en) * 2011-07-11 2013-01-17 Lexxe Pty Ltd System and method for ordering semantic sub-keys utilizing superlative adjectives
CN102306166A (zh) * 2011-08-22 2012-01-04 河南理工大学 一种移动地理信息空间索引方法
CN102332030A (zh) * 2011-10-17 2012-01-25 中国科学院计算技术研究所 用于分布式键-值存储系统的数据存储、管理和查询方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1804831A (zh) * 2005-01-13 2006-07-19 陈翌 网络缓存管理的系统和方法
CN103034650A (zh) * 2011-09-29 2013-04-10 北京新媒传信科技有限公司 一种数据处理系统和方法
CN102521252A (zh) * 2011-11-17 2012-06-27 四川长虹电器股份有限公司 一种远程数据的访问方法

Also Published As

Publication number Publication date
EP3026573A4 (en) 2016-07-27
CN104346345A (zh) 2015-02-11
WO2014161261A1 (zh) 2014-10-09
US20160191652A1 (en) 2016-06-30
EP3026573A1 (en) 2016-06-01

Similar Documents

Publication Publication Date Title
CN104346345B (zh) 数据的存储方法及装置
US11064053B2 (en) Method, apparatus and system for processing data
CN104158886B (zh) 一种应用程序的流式执行方法
US9673998B2 (en) Differential cache for representational state transfer (REST) API
CN103618787B (zh) 一种网页展现系统和方法
CN104539681A (zh) 分布式gis加速系统和gis服务的处理方法
CN101867607A (zh) 一种分布式数据存取方法、装置及系统
CN109684282A (zh) 一种构建元数据缓存的方法及装置
CN103957282B (zh) 一种域内终端用户域名解析加速系统及其方法
CN103685476B (zh) 利用网页模板实现网页展现的方法和网页模板服务器
CN104410660A (zh) 多媒体资源的下载方法、装置、路由器及服务器
CN108121511A (zh) 一种分布式边缘存储系统中的数据处理方法、装置及设备
CN105868234A (zh) 缓存数据的更新方法及装置
CN106599111A (zh) 一种数据管理方法及存储系统
CN108319634B (zh) 分布式文件系统的目录访问方法和装置
CN110413845A (zh) 基于物联网操作系统的资源存储方法及装置
CN109947718A (zh) 一种数据存储方法、存储平台及存储装置
CN108153825A (zh) 数据访问方法及装置
CN107968807A (zh) 自动更新本地缓存资源的方法及装置
CN105224541B (zh) 数据的唯一性控制方法、信息存储方法及装置
CN103561083A (zh) 一种物联网数据处理方法
CN103425694B (zh) 关系型数据的搜索方法和装置
JPH08185348A (ja) 情報処理装置および情報処理方法
CN104391947B (zh) 海量gis数据实时处理方法及系统
CN109241021A (zh) 一种文件查询方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181031

Address after: 201203 Shanghai Zhangjiang hi tech park, 889 B, Bi Po Road 205

Applicant after: Shanghai Zhongxing Software Co., Ltd.

Address before: No. 55, Nanshan District science and technology road, Nanshan District, Shenzhen, Guangdong

Applicant before: ZTE Corporation

GR01 Patent grant
GR01 Patent grant