CN107623722A - 一种远端数据缓存方法、电子设备及存储介质 - Google Patents
一种远端数据缓存方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN107623722A CN107623722A CN201710718181.5A CN201710718181A CN107623722A CN 107623722 A CN107623722 A CN 107623722A CN 201710718181 A CN201710718181 A CN 201710718181A CN 107623722 A CN107623722 A CN 107623722A
- Authority
- CN
- China
- Prior art keywords
- data
- request
- local cache
- server node
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明公开了一种远端数据缓存方法,包括:接收数据请求,并解析出数据请求的地址信息和读写类型;若地址信息不是当前服务器节点,且数据请求为读操作,则查看本地缓存中是否存在数据请求对应的数据;若本地缓存中存在数据请求对应的数据,则直接从本地缓存读取数据请求对应的数据;若本地缓存中不存在数据请求对应的数据,则根据地址信息从相应的远端服务器节点上读取数据请求对应的数据;将从相应远端服务器节点上读取的数据保存到本地缓存中并记录。本发明还提供一种电子设备及存储介质,本发明将远端数据请求所需数据缓存到本地缓存中,提高了数据处理时效,减少相应的网络传输量,减少网络资源消耗,提高系统整体性能。
Description
技术领域
本发明涉及数据缓存领域,尤其涉及一种远端数据缓存方法、电子设备及存储介质。
背景技术
目前,在超融合系统中,虚拟化计算资源与存储资源位于同一套服务器设备中,为了保证系统的可靠性及易于扩展,系统内的存储资源采用分布式存储架构,用户数据是分散地存储在各个服务器节点上;用户虚拟机可根据需要在系统内的任何一个节点上启动运行。
由于分布式存储架构的特点,超融合系统中的虚拟机请求的数据会因为其存储所在的服务器节点不同,而需要通过不同的IO路径获得,根据其请求的数据与其所运行的节点是否在同一服务器节点上,可以将数据简单地分为本地数据和远端数据;如果请求的数据位于其所运行的服务器节点上,则可以直接通过本地IO访问获取,如果请求的数据不在当前服务器节点上,则需要通过网络在其它远端节点上获取;在获取远端数据过程中,需要在本地服务器节点上将数据请求打包发送给相应的远端服务器节点,远端服务器在收到请求后,将读取到的数据回传给当前本地服务器节点,整个过程需要经过请求端服务器节点和数据存储端服务器节点的协调处理,通过网络传输来完成;数据请求过程中IO链路长,耗时多,其处理时效相对本地存储大大降低;当遇到请求数据量大或频繁请求数据时,会导致上层业务响应不及时,严重时直接导致请求失败;远端请求数据是通过网络传输完成,当某个节点的数据被大量访问或频繁访问时,会产生大量的网络消耗,导致系统整体性能下降。
发明内容
为了克服现有技术的不足,本发明的目的之一在于提供一种远端数据缓存方法,以解决现有远端数据请求响应不及时、产生大量网络消耗的问题。
本发明的目的之二在于提供一种电子设备,以解决现有远端数据请求响应不及时、产生大量网络消耗的问题。
本发明的目的之一采用如下技术方案实现:
一种远端数据缓存方法,包括:
接收数据请求,并解析出所述数据请求的地址信息和读写类型;
若所述地址信息不是当前服务器节点,且所述数据请求为读操作,则查看本地缓存中是否存在所述数据请求对应的数据;
若本地缓存中存在所述数据请求对应的数据,则直接从本地缓存读取所述数据请求对应的数据;
若本地缓存中不存在所述数据请求对应的数据,则根据所述地址信息从相应的远端服务器节点上读取所述数据请求对应的数据;
将从相应远端服务器节点上读取的数据保存到本地缓存中并记录。
进一步地,所述将从相应远端服务器节点上读取的数据保存到本地缓存中并记录之前还包括:
判断本地缓存中的空间是否足够;
若本地缓存中的空间不足,则根据记录信息将旧数据从缓存中移除。
进一步地,所述接收数据请求,并解析出所述数据请求的地址信息和读写类型之后还包括:
若所述地址信息不是当前服务器节点,且所述数据请求为写操作,则根据所述地址信息将与所述数据请求对应的数据写入相应远端服务器节点。
进一步地,所述根据所述地址信息将与所述数据请求对应的数据写入相应远端服务器节点之后还包括:
判断本地缓存中是否存在当前写入相应远端服务器节点的数据;
若本地缓存中存在当前写入相应远端服务器节点的数据,则删除本地缓存中的相应数据。
进一步地,所述接收数据请求,并解析出所述数据请求的地址信息和读写类型之后还包括:
若所述地址信息是当前服务器节点,则直接访问本地缓存完成读写操作。
本发明的目的之二采用如下技术方案实现:
一种电子设备,包括:处理器;
存储器;以及程序,其中所述程序被存储在所述存储器中,并且被配置成由处理器执行,所述程序包括用于执行:
接收数据请求,并解析出所述数据请求的地址信息和读写类型;
若所述地址信息不是当前服务器节点,且所述数据请求为读操作,则查看本地缓存中是否存在所述数据请求对应的数据;
若本地缓存中存在所述数据请求对应的数据,则直接从本地缓存读取所述数据请求对应的数据;
若本地缓存中不存在所述数据请求对应的数据,则根据所述地址信息从相应的远端服务器节点上读取所述数据请求对应的数据;
将从相应远端服务器节点上读取的数据保存到本地缓存中并记录。
进一步地,所述程序还用于执行:
判断本地缓存中的空间是否足够;
若本地缓存中的空间不足,则根据记录信息将旧数据从缓存中移除。
进一步地,所述程序还用于执行:
若所述地址信息不是当前服务器节点,且所述数据请求为写操作,则根据所述地址信息将与所述数据请求对应的数据写入相应远端服务器节点。
进一步地,所述程序还用于执行:
判断本地缓存中是否存在当前写入相应远端服务器节点的数据;
若本地缓存中存在当前写入相应远端服务器节点的数据,则删除本地缓存中的相应数据。
本发明还涉及一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行上述的方法。
相比现有技术,本发明的有益效果在于:
(1)将远端数据请求所需数据缓存到本地缓存中,提高了数据处理时效,数据请求的响应速度得到很大提高;
(2)无需通过网络进行频繁的远端访问,大大减少相应的网络传输量,减少网络资源消耗,提高系统整体性能。
附图说明
图1为本发明实施例提供的远端数据缓存方法流程图;
图2位本发明实施例提供的电子设备的示意图。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
如图1所示,本发明实施例提供的远端数据缓存方法,包括:
步骤S101:接收数据请求,并解析出所述数据请求的地址信息和读写类型。
具体的,接收上层发送的数据请求并解析,判断数据请求的地址信息是否是当前服务器节点,并判断数据请求的读写类型。
步骤S102:若所述地址信息不是当前服务器节点,且所述数据请求为读操作,则查看本地缓存中是否存在所述数据请求对应的数据。其中,用作本地缓存的介质可以是物理内存、SSD、NVMe等高速存储介质。
步骤S103:若本地缓存中存在所述数据请求对应的数据,则直接从本地缓存读取所述数据请求对应的数据。
具体的,若上层发送的数据请求的地址信息不是当前服务器节点,数据请求为从远端服务器节点读取数据,则先查看本地缓存中是否存在该数据请求对应的数据,若本地缓存中存在该数据请求对应的数据,则直接从本地缓存中读取数据请求对应的数据并返回给用户,从而减少网络资源消耗,提高数据响应速度。
步骤S104:若本地缓存中不存在所述数据请求对应的数据,则根据所述地址信息从相应的远端服务器节点上读取所述数据请求对应的数据。
步骤S105:判断本地缓存中的空间是否足够。
步骤S106:若本地缓存中的空间不足,则根据记录信息将旧数据从缓存中移除。
具体的,在将数据写入本地缓存中之前判断本地缓存中的空间是否足够,若本地缓存中的空间足够,则直接保存当前数据或者保存下次写入的数据;若本地缓存中的空间不足,则根据数据的访问记录信息将旧数据从缓存中移除。根据淘汰算法移除旧数据,淘汰算法可以是最近最久未使用算法或者先进先出置换算法,移除的旧数据可以为访问频次较低、较长时间未访问的数据,也可以是按照数据访问记录的时间先后顺序,较早访问的数据,从而释放本地缓存的空间。
步骤S107:将从相应远端服务器节点上读取的数据保存到本地缓存中并记录。
具体的,若本地缓存中不存在数据请求对应的数据,且本地缓存的空间足够,则根据数据请求的地址信息从相应的远端服务器节点上读取数据并返回给用户,同时将该数据请求对应的数据保存到本地缓存中以供下次调用,每次记录该数据被访问的时间戳,以便统计该数据被访问的时间和频率。
步骤S108:若所述地址信息不是当前服务器节点,且所述数据请求为写操作,则根据所述地址信息将与所述数据请求对应的数据写入相应远端服务器节点。
具体的,若上层发送的数据请求的地址信息不是当前服务器节点,数据请求为将数据写入远端服务器节点,则直接执行远端数据写操作,将与数据请求对应的数据写入相应远端服务器节点,写入成功后,判断本地缓存中是否存在当前写入相应远端服务器节点的数据;若本地缓存中存在当前写入相应远端服务器节点的数据,则删除本地缓存中的相应数据,同时更新数据的访问记录信息。
步骤S109:若所述地址信息是当前服务器节点,则直接访问本地缓存完成读写操作。
本发明提供的远端数据缓存方法,将远端数据请求所需数据缓存到本地缓存中,提高了数据处理时效,数据请求的响应速度得到很大提高;从而无需通过网络进行频繁的远端访问,大大减少相应的网络传输量,减少网络资源消耗,提高系统整体性能。
如图2所示,本发明实施例提供的电子设备,包括:处理器11、存储器12以及程序,其中程序被存储在存储器12中,并且被配置成由处理器11执行,程序包括用于执行:
接收数据请求,并解析出所述数据请求的地址信息和读写类型;
若所述地址信息不是当前服务器节点,且所述数据请求为读操作,则查看本地缓存中是否存在所述数据请求对应的数据;
若本地缓存中存在所述数据请求对应的数据,则直接从本地缓存读取所述数据请求对应的数据;
若本地缓存中不存在所述数据请求对应的数据,则根据所述地址信息从相应的远端服务器节点上读取所述数据请求对应的数据;
将从相应远端服务器节点上读取的数据保存到本地缓存中并记录。
进一步地,所述程序还用于执行:
判断本地缓存中的空间是否足够;
若本地缓存中的空间不足,则根据记录信息将旧数据从缓存中移除。
进一步地,所述程序还用于执行:
若所述地址信息不是当前服务器节点,且所述数据请求为写操作,则根据所述地址信息将与所述数据请求对应的数据写入相应远端服务器节点。
进一步地,所述程序还用于执行:
判断本地缓存中是否存在当前写入相应远端服务器节点的数据;
若本地缓存中存在当前写入相应远端服务器节点的数据,则删除本地缓存中的相应数据。
本实施例中的电子设备与前述实施例中的方法是基于同一发明构思下的两个方面,在前面已经对方法实施过程作了详细的描述,所以本领域技术人员可根据前述描述清楚地了解本实施例中的电子设备的实施过程,为了说明书的简洁,在此就不再赘述。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来。本发明还涉及一种计算机可读存储介质,如ROM/RAM、磁碟、光盘等,其上存储有计算机程序,计算机程序被处理器执行上述的方法。
本发明提供的远端数据缓存方法、电子设备及存储介质将远端数据请求所需数据缓存到本地缓存中,提高了数据处理时效,数据请求的响应速度得到很大提高;从而无需通过网络进行频繁的远端访问,大大减少相应的网络传输量,减少网络资源消耗,提高系统整体性能。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (10)
1.一种远端数据缓存方法,其特征在于,包括:
接收数据请求,并解析出所述数据请求的地址信息和读写类型;
若所述地址信息不是当前服务器节点,且所述数据请求为读操作,则查看本地缓存中是否存在所述数据请求对应的数据;
若本地缓存中存在所述数据请求对应的数据,则直接从本地缓存读取所述数据请求对应的数据;
若本地缓存中不存在所述数据请求对应的数据,则根据所述地址信息从相应的远端服务器节点上读取所述数据请求对应的数据;
将从相应远端服务器节点上读取的数据保存到本地缓存中并记录。
2.根据权利要求1所述的远端数据缓存方法,其特征在于,所述将从相应远端服务器节点上读取的数据保存到本地缓存中并记录之前还包括:
判断本地缓存中的空间是否足够;
若本地缓存中的空间不足,则根据记录信息将旧数据从缓存中移除。
3.根据权利要求1所述的远端数据缓存方法,其特征在于,所述接收数据请求,并解析出所述数据请求的地址信息和读写类型之后还包括:
若所述地址信息不是当前服务器节点,且所述数据请求为写操作,则根据所述地址信息将与所述数据请求对应的数据写入相应远端服务器节点。
4.根据权利要求3所述的远端数据缓存方法,其特征在于,所述根据所述地址信息将与所述数据请求对应的数据写入相应远端服务器节点之后还包括:
判断本地缓存中是否存在当前写入相应远端服务器节点的数据;
若本地缓存中存在当前写入相应远端服务器节点的数据,则删除本地缓存中的相应数据。
5.根据权利要求1所述的远端数据缓存方法,其特征在于,所述接收数据请求,并解析出所述数据请求的地址信息和读写类型之后还包括:
若所述地址信息是当前服务器节点,则直接访问本地缓存完成读写操作。
6.一种电子设备,其特征在于,包括:处理器;
存储器;以及程序,其中所述程序被存储在所述存储器中,并且被配置成由处理器执行,所述程序包括用于执行:
接收数据请求,并解析出所述数据请求的地址信息和读写类型;
若所述地址信息不是当前服务器节点,且所述数据请求为读操作,则查看本地缓存中是否存在所述数据请求对应的数据;
若本地缓存中存在所述数据请求对应的数据,则直接从本地缓存读取所述数据请求对应的数据;
若本地缓存中不存在所述数据请求对应的数据,则根据所述地址信息从相应的远端服务器节点上读取所述数据请求对应的数据;
将从相应远端服务器节点上读取的数据保存到本地缓存中并记录。
7.根据权利要求6所述的电子设备,其特征在于,所述程序还用于执行:
判断本地缓存中的空间是否足够;
若本地缓存中的空间不足,则根据记录信息将旧数据从缓存中移除。
8.根据权利要求6所述的电子设备,其特征在于,所述程序还用于执行:
若所述地址信息不是当前服务器节点,且所述数据请求为写操作,则根据所述地址信息将与所述数据请求对应的数据写入相应远端服务器节点。
9.根据权利要求8所述的电子设备,其特征在于,所述程序还用于执行:
判断本地缓存中是否存在当前写入相应远端服务器节点的数据;
若本地缓存中存在当前写入相应远端服务器节点的数据,则删除本地缓存中的相应数据。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行如权利要求1-5任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710718181.5A CN107623722A (zh) | 2017-08-21 | 2017-08-21 | 一种远端数据缓存方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710718181.5A CN107623722A (zh) | 2017-08-21 | 2017-08-21 | 一种远端数据缓存方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107623722A true CN107623722A (zh) | 2018-01-23 |
Family
ID=61088438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710718181.5A Pending CN107623722A (zh) | 2017-08-21 | 2017-08-21 | 一种远端数据缓存方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107623722A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108712498A (zh) * | 2018-05-23 | 2018-10-26 | 新华三大数据技术有限公司 | 服务的调用方法及装置 |
CN109246234A (zh) * | 2018-09-30 | 2019-01-18 | 北京金山云网络技术有限公司 | 一种镜像文件下载方法、装置、电子设备及存储介质 |
CN110417838A (zh) * | 2018-04-28 | 2019-11-05 | 华为技术有限公司 | 一种数据同步方法及同步服务设备 |
CN111143244A (zh) * | 2019-12-30 | 2020-05-12 | 海光信息技术有限公司 | 计算机设备的内存访问方法和计算机设备 |
CN111158777A (zh) * | 2019-12-12 | 2020-05-15 | 中移(杭州)信息技术有限公司 | 组件调用方法、装置及计算机可读存储介质 |
CN112637254A (zh) * | 2019-09-24 | 2021-04-09 | 拉扎斯网络科技(上海)有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
CN113515474A (zh) * | 2021-07-30 | 2021-10-19 | 上海阵量智能科技有限公司 | 数据处理装置、方法、计算机设备和存储介质 |
WO2022120992A1 (zh) * | 2020-12-10 | 2022-06-16 | 中国科学院深圳先进技术研究院 | 基于虚拟环境的内存共享系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102857547A (zh) * | 2012-04-12 | 2013-01-02 | 华为技术有限公司 | 分布式缓存的方法及设备 |
CN103392167A (zh) * | 2012-12-28 | 2013-11-13 | 华为技术有限公司 | 分布式存储系统的缓存方法、节点和计算机可读介质 |
CN103686860A (zh) * | 2011-07-15 | 2014-03-26 | 上海华为技术有限公司 | 缓存数据的分布缓存方法和装置 |
CN104461943A (zh) * | 2014-12-29 | 2015-03-25 | 成都致云科技有限公司 | 数据读取方法、装置以及系统 |
US20150381758A1 (en) * | 2011-11-22 | 2015-12-31 | Cisco Technology, Inc. | Content Distribution Through Blind-Cache Instantiation |
-
2017
- 2017-08-21 CN CN201710718181.5A patent/CN107623722A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103686860A (zh) * | 2011-07-15 | 2014-03-26 | 上海华为技术有限公司 | 缓存数据的分布缓存方法和装置 |
US20150381758A1 (en) * | 2011-11-22 | 2015-12-31 | Cisco Technology, Inc. | Content Distribution Through Blind-Cache Instantiation |
CN102857547A (zh) * | 2012-04-12 | 2013-01-02 | 华为技术有限公司 | 分布式缓存的方法及设备 |
CN103392167A (zh) * | 2012-12-28 | 2013-11-13 | 华为技术有限公司 | 分布式存储系统的缓存方法、节点和计算机可读介质 |
CN104461943A (zh) * | 2014-12-29 | 2015-03-25 | 成都致云科技有限公司 | 数据读取方法、装置以及系统 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110417838A (zh) * | 2018-04-28 | 2019-11-05 | 华为技术有限公司 | 一种数据同步方法及同步服务设备 |
US11019145B2 (en) | 2018-04-28 | 2021-05-25 | Huawei Technologies Co., Ltd. | Data synchronization method and synchronization service device |
CN108712498A (zh) * | 2018-05-23 | 2018-10-26 | 新华三大数据技术有限公司 | 服务的调用方法及装置 |
CN109246234A (zh) * | 2018-09-30 | 2019-01-18 | 北京金山云网络技术有限公司 | 一种镜像文件下载方法、装置、电子设备及存储介质 |
CN112637254A (zh) * | 2019-09-24 | 2021-04-09 | 拉扎斯网络科技(上海)有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
CN112637254B (zh) * | 2019-09-24 | 2023-04-07 | 拉扎斯网络科技(上海)有限公司 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
CN111158777A (zh) * | 2019-12-12 | 2020-05-15 | 中移(杭州)信息技术有限公司 | 组件调用方法、装置及计算机可读存储介质 |
CN111158777B (zh) * | 2019-12-12 | 2023-10-27 | 中移(杭州)信息技术有限公司 | 组件调用方法、装置及计算机可读存储介质 |
CN111143244A (zh) * | 2019-12-30 | 2020-05-12 | 海光信息技术有限公司 | 计算机设备的内存访问方法和计算机设备 |
WO2022120992A1 (zh) * | 2020-12-10 | 2022-06-16 | 中国科学院深圳先进技术研究院 | 基于虚拟环境的内存共享系统及方法 |
CN113515474A (zh) * | 2021-07-30 | 2021-10-19 | 上海阵量智能科技有限公司 | 数据处理装置、方法、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107623722A (zh) | 一种远端数据缓存方法、电子设备及存储介质 | |
CN105205014B (zh) | 一种数据存储方法和装置 | |
CN106021445B (zh) | 一种加载缓存数据的方法及装置 | |
CN108810041A (zh) | 一种分布式缓存系统的数据写入及扩容方法、装置 | |
CN105701219B (zh) | 一种分布式缓存的实现方法 | |
CN107608627A (zh) | 一种远端数据分级存储方法、电子设备及存储介质 | |
CN106599199A (zh) | 一种数据缓存与同步方法 | |
CN103678149B (zh) | 数据处理的方法及设备 | |
CN106657356A (zh) | 一种云存储系统的数据写入方法、装置及云存储系统 | |
CN106649145A (zh) | 一种自适应更新缓存策略的方法及系统 | |
CN104657366A (zh) | 海量日志写入数据库的方法、装置和日志容灾系统 | |
CN109710185A (zh) | 数据处理方法及装置 | |
WO2023000536A1 (zh) | 一种数据处理方法、系统、设备以及介质 | |
CN109471843A (zh) | 一种元数据缓存方法、系统及相关装置 | |
CN107797770A (zh) | 一种磁盘状态信息的同步方法及装置 | |
CN110147345A (zh) | 一种基于rdma的键值存储系统及其工作方法 | |
CN104461929B (zh) | 基于拦截器的分布式数据缓存方法 | |
CN111291022B (zh) | 一种基于区块链的数据存储系统 | |
CN107180118A (zh) | 一种文件系统缓存数据管理方法及装置 | |
CN107920101A (zh) | 一种文件访问方法、装置、系统及电子设备 | |
CN107506466A (zh) | 一种小文件存储方法及系统 | |
CN110232029A (zh) | 一种基于索引的fpga中ddr4包缓存的实现方法 | |
CN107368435A (zh) | 一种精简目录及利用该精简目录实现Cache一致性监听的方法 | |
CN112463073A (zh) | 一种对象存储分布式配额方法、系统、设备和存储介质 | |
CN108650306A (zh) | 一种游戏视频缓存方法、装置及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180123 |