CN109451029A - 一种分布式对象存储的数据缓存方法、装置、设备及介质 - Google Patents
一种分布式对象存储的数据缓存方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN109451029A CN109451029A CN201811366593.8A CN201811366593A CN109451029A CN 109451029 A CN109451029 A CN 109451029A CN 201811366593 A CN201811366593 A CN 201811366593A CN 109451029 A CN109451029 A CN 109451029A
- Authority
- CN
- China
- Prior art keywords
- data object
- gateway
- data
- stored
- local cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种分布式对象存储的数据缓存方法、装置、设备及介质。该方法应用于对象网关集群的网关节点,步骤包括:接收传入的数据对象,并将数据对象存储至本地缓存;将数据对象广播至对象网关集群的其它网关节点,以将数据对象存储至其它网关节点的缓存。本方法能够确保在分布式对象存储的网关节点中正常获取到数据对象,进而提高了分布式对象存储在提供数据服务时的整体可靠性。此外,本发明还提供一种分布式对象存储的数据缓存装置、设备及介质,有益效果同上所述。
Description
技术领域
本发明涉及云计算领域,特别是涉及一种分布式对象存储的数据缓存方法、装置、设备及介质。
背景技术
随着云计算以及物联网的出现,数以百万计的设备每时每刻都在创建、收集和发送数据,数据量级也从PB级别跃升到了ZB级别。面对海量数据,企业往往需要对数据进行有效的存储和分析,以此最大程度地发挥数据的价值。
对象存储作为一种新型网络存储架构,对象存储将文件数据和一组属性信息(Meta Data)的组合作为“对象”并进行存储,既能够快速读写数据的,又便于数据的共享,因此对象存储是一种具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系架构。
由于对象存储具备对象网关集群功能,即多个网关节点能够以集群的方式共同对同一个对象存储池中的数据对象进行读写,形成分布式对象存储的工作模式,在此基础上,为了进一步优化分布式对象存储的存储性能并降低存储时延,网关节点在接收到待存入对象存储池中的数据对象时,通常在一段时间内会先将数据对象存储至缓存中,当用户的应用程序通过网关节点访问该数据对象时,网关节点能够高效的读取缓存中的数据对象,并返回给应用程序以供用户使用。
由于单一的网关节点在单位时间内对于应用程序的响应能力有限,因此当前为了进一步提高应用程序的工作效率,单独的应用程序在工作过程中往往向网关集群中的多个网关节点发起对数据对象的访问,具体的拓扑结构示意图如图1,在上述情况下,可能出现数据对象仅存储于某一网关节点的缓存,并且尚未存储至对象存储池的情况,因此无法确保应用程序能够正常获取到数据对象,进而降低了分布式对象存储在提供数据服务时的整体可靠性。
由此可见,提供一种分布式对象存储的数据缓存方法,以确保在分布式对象存储的网关节点中正常获取到数据对象,进而提高分布式对象存储在提供数据服务时的整体可靠性,是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种分布式对象存储的数据缓存方法、装置、设备及介质,以确保在分布式对象存储的网关节点中正常获取到数据对象,进而提高分布式对象存储在提供数据服务时的整体可靠性。
为解决上述技术问题,本发明提供一种分布式对象存储的数据缓存方法,应用于对象网关集群的网关节点,包括:
接收传入的数据对象,并将数据对象存储至本地缓存;
将数据对象广播至对象网关集群的其它网关节点,以将数据对象存储至其它网关节点的缓存。
优选的,在将数据对象存储至本地缓存之前,该方法进一步包括:
判断数据对象是否已预先存储于本地缓存;
如果否,则执行将数据对象存储至本地缓存的步骤。
优选的,在接收传入的数据对象后,该方法进一步包括:
获取与数据对象唯一对应的版本号;
相应的,判断数据对象是否已预先存储于本地缓存具体为:
根据本地缓存中是否已存在有版本号,判断数据对象是否已预先存储于本地缓存;
相应的,当判断数据对象是否已预先存储于本地缓存的结果为否时,该方法进一步包括:
将版本号存储至本地缓存。
优选的,在将数据对象存储至本地缓存后,该方法进一步包括:
当本地缓存的已用存储容量达到预设值时,将数据对象存储至对象网关集群的对象存储池,并清除本地缓存中的数据对象。
优选的,本地缓存中预先记录有对象存储池中各Bucket桶的状态信息;
相应的,将数据对象存储至对象网关集群的对象存储池具体为:
将数据对象存储至对象存储池中的目标Bucket桶;
相应的,在将数据对象存储至对象存储池中的目标Bucket桶后,该方法进一步包括:
在本地缓存中对应修改目标Bucket桶的状态信息。
优选的,Bucket桶的状态信息具体包括Bucket桶内的数据对象数量以及Bucket桶的可用容量。
优选的,版本号具体为响应数据对象的时刻所对应的时间戳。
此外,本发明还提供一种分布式对象存储的数据缓存装置,应用于对象网关集群的网关节点,包括:
数据接收模块,用于接收传入的数据对象,并将数据对象存储至本地缓存;
广播缓存模块,用于将数据对象广播至对象网关集群的其它网关节点,以将数据对象存储至其它网关节点的缓存。
此外,本发明还提供一种对象网关集群的网关节点设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述的分布式对象存储的数据缓存方法的步骤。
此外,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的分布式对象存储的数据缓存方法的步骤。
本发明所提供的分布式对象存储的数据缓存方法,应用于对象网关集群的网关节点,当网关节点接收到传入的数据对象时,将该数据对象存储至本地的缓存中,进而将网关节点的缓存中的数据对象广播至对象网关集群中的其它网关节点,以存储至其它网关节点的缓存中。由于网关节点在接收到上传的数据对象后,不仅将其存储与本地的缓存中,还将该数据对象广播至对象网关集群的其它网关节点,并同步存储至其它网关节点的缓存中,因此当单独应用程序在工作过程中向网关集群中的多个网关节点发起对数据对象的访问时,能够有效避免数据对象仅存储于某一网关节点的缓存,并且尚未存储至对象存储池的情况发生,因此本方法能够确保在分布式对象存储的网关节点中正常获取到数据对象,进而提高了分布式对象存储在提供数据服务时的整体可靠性。此外,本发明还提供一种分布式对象存储的数据缓存装置、设备及介质,有益效果同上所述。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为应用程序向网关集群中的多个网关节点发起对数据对象访问的拓扑结构示意图;
图2为本发明实施例提供的一种分布式对象存储的数据缓存方法的流程图;
图3为本发明提供的一种场景实施例的时序图;
图4为本发明实施例提供的一种分布式对象存储的数据缓存装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本发明保护范围。
本发明的核心是提供一种分布式对象存储的数据缓存方法,应用于对象网关集群的网关节点,以确保在分布式对象存储的网关节点中正常获取到数据对象,进而提高分布式对象存储在提供数据服务时的整体可靠性。本发明的另一核心是提供一种分布式对象存储的数据缓存装置、设备及介质。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
实施例一
图2为本发明实施例提供的一种分布式对象存储的数据缓存方法的流程图。请参考图2,应用于对象网关集群的网关节点的,分布式对象存储的数据缓存方法的具体步骤包括:
步骤S10:接收传入的数据对象,并将数据对象存储至本地缓存。
本步骤中,网关集群的网关节点所接收的数据对象,指的可以是接收由用户终端的应用程序为了上传至对象存储池而传入网关节点的数据对象,也可以是用户终端的应用程序从对象存储池中读取数据对象而传入网关节点的数据对象。由于在对象存储的通信架构中,网关节点被建立于用户终端与对象存储池之间,因此用户终端的应用程序与对象存储池之间对数据对象的通信均需要经过网关节点,而经过网关节点的数据对象均可视为本步骤中所指的“传入的数据对象”,为了提高用户终端的应用程序通过网关节点获取该数据对象的效率,本步骤的网关节点将传入的数据对象存储至本地的缓存中。
另外,本步骤中的数据对象是对象存储系统中数据存储的基本单位,一个数据对象实际上就是文件的数据和一组属性信息(Meta Data)的组合,这些属性信息可以定义基于文件的RAID参数、数据分布和服务质量等,而传统的存储系统中用文件或块作为基本的存储单位,在块存储系统中还需要始终追踪系统中每个块的属性,数据对象通过对象存储系统维护自身的属性,并且在对象存储系统中,所有数据对象都有一个标识,因此能够根据该标识唯一对应确定数据对象的身份,并以此作为对数据对象进行一系列操作的依据,而对于数据对象所能够采取的相关操作均为本领域技术人员所熟知的技术内容,故在此不作赘述。
步骤S11:将数据对象广播至对象网关集群的其它网关节点,以将数据对象存储至其它网关节点的缓存。
由于在对象网关集群中,各个网关节点之间均能够进行通信,因此本步骤基于上述特性,当前的网关节点将数据对象广播至对象网关集群的其它网关节点,进而其它网关节点将传入的数据对象存储至本地的缓存中。由于在实际使用的情况下,用户终端的应用程序可能并行与对象网关集群中的多个网关节点并行通信,因此本步骤在将数据对象由当前网关节点广播并存储至其它网关节点的缓存后,应用程序即可在除当前网关节点外的其它网关节点中正常且高效的获取到该数据对象。
另外,需要强调的是,本方法中的网关节点与其它网关节点是相对而言的概念,其在功能上应相同。执行本方法的当前的网关节点即为本方法的“网关节点”,而相应当前网关节点的通信交互的网关节点即为本方法的“其它网关节点”。
本发明所提供的分布式对象存储的数据缓存方法,应用于对象网关集群的网关节点,当网关节点接收到传入的数据对象时,将该数据对象存储至本地的缓存中,进而将网关节点的缓存中的数据对象广播至对象网关集群中的其它网关节点,以存储至其它网关节点的缓存中。由于网关节点在接收到上传的数据对象后,不仅将其存储与本地的缓存中,还将该数据对象广播至对象网关集群的其它网关节点,并同步存储至其它网关节点的缓存中,因此当单独应用程序在工作过程中向网关集群中的多个网关节点发起对数据对象的访问时,能够有效避免数据对象仅存储于某一网关节点的缓存,并且尚未存储至对象存储池的情况发生,因此本方法能够确保在分布式对象存储的网关节点中正常获取到数据对象,进而提高了分布式对象存储在提供数据服务时的整体可靠性。
实施例二
在上述实施例的基础上,本发明还提供以下一系列优选的实施方式。
作为一种优选的实施方式,在将数据对象存储至本地缓存之前,该方法进一步包括:
判断数据对象是否已预先存储于本地缓存;
如果否,则执行将数据对象存储至本地缓存的步骤。
由于考虑到可能存在数据对象已经由其它网关节点广播至当前网关节点并存储至本地缓存的情况,在上述情况下,当前的网关节点再次接收到该数据对象时,无需再次将数据对象存储当前的网关节点的本地缓存中,以免造成对本地缓存资源的浪费。因此本实施方式在将数据对象存储至本地缓存之前,先对数据对象是否已预先存储于本地缓存进行判定,进而如果数据对象尚未存储于本地缓存中,则执行将数据对象存储至本地缓存的步骤。本实施方式相对避免了在本地缓存中重复存储相同数据对象的情况,避免了对于网关节点的缓存资源的浪费。
在上述实施方式的基础上,作为一种优选的实施方式,在接收传入的数据对象后,该方法进一步包括:
获取与数据对象唯一对应的版本号;
相应的,判断数据对象是否已预先存储于本地缓存具体为:
根据本地缓存中是否已存在有版本号,判断数据对象是否已预先存储于本地缓存;
相应的,当判断数据对象是否已预先存储于本地缓存的结果为否时,该方法进一步包括:
将版本号存储至本地缓存。
需要说明的是,本实施方式中获取的版本号与数据对象之间具有唯一的对应关系,进而网关节点能够根据版本号确定相应的数据对象。版本号可以通过对数据对象的内容进行特性提取得到,也可以根据当前时刻产生,仅需要确保版本号与数据对象之间存在唯一的对应关系即可。
本实施方式在生成与数据对象唯一对应的版本号后,将版本号存储至本地缓存,目的是在当前的网关节点接收其它网关节点广播的数据对象之前,能够作为判断该数据对象是否已存储在本地缓存相对准确的依据,进而当判断数据对象是否已预先存储于本地缓存的结果为否时,不仅需要将数据对象存储至本地缓存,而且也需要将版本号存储至本地缓存,以用于当数据对象再次到来时,对是否将其存储至本地缓存进行判断。本实施方式相对提高了本地缓存中所存储的数据对象的唯一性,进一步避免了对缓存资源的浪费。
此外,作为一种优选的实施方式,在将数据对象存储至本地缓存后,该方法进一步包括:
当本地缓存的已用存储容量达到预设值时,将数据对象存储至对象网关集群的对象存储池,并清除本地缓存中的数据对象。
需要说明的是,由于考虑到网关节点的本地缓存的存储容量远远小于对象存储池的存储容量,因此网关节点仅能根据实际需求暂时存储部分数据对象至本地缓存,并以此相对高效的向用户终端提供本地缓存中的数据对象,但是在实际应用中,单位时间内传入网关节点的数据对象数量往往较大,为了确保新传入网关节点的数据对象能够正常存储于本地缓存,本实施方式当本地缓存的已用存储容量达到预设值时,将数据对象存储至对象网关集群的对象存储池,并清除本地缓存中的数据对象,由于本实施方式在将数据对象存储至对象网关集群的对象存储池后,才对本地缓存中的该数据对象进行清除,因此能够确保对象网关集群的各网关节点均能够正常获取到该数据对象,并且保证了网关节点的本地缓存的空间可用性。另外,本实施方式中的预设值应根据实际情况而定,可以但不限定为本地缓存的整体存储容量。
在上述实施方式的基础上,作为一种优选的实施方式,本地缓存中预先记录有对象存储池中各Bucket桶的状态信息;
相应的,将数据对象存储至对象网关集群的对象存储池具体为:
将数据对象存储至对象存储池中的目标Bucket桶;
相应的,在将数据对象存储至对象存储池中的目标Bucket桶后,该方法进一步包括:
在本地缓存中对应修改目标Bucket桶的状态信息。
需要说明的是,由于在对象存储系统中,对象存储池以Bucket桶为逻辑空间对数据对象进行存储,用户终端可以选择性的将数据对象存储至相应的Bucket桶,但是为了确保Bucket桶的可用性,进而避免数据对象的存储异常,用户需要获悉Bucket桶的相关工作状态,本实施方式为了相对提高用户获取Bucket桶的工作状态的整体效率,网关节点的本地缓存中预先存储有对象存储池中各Bucket桶的状态信息,进而在将数据对象存储至对象存储池的目标Bucket桶后,在本地缓存中对应修改目标Bucket桶的状态信息,以此确保Bucket桶状态信息的整体可用性。
在上述实施方式的基础上,作为一种优选的实施方式,Bucket桶的状态信息具体包括Bucket桶内的数据对象数量以及Bucket桶的可用容量。
考虑到Bucket桶内的数据对象数量以及Bucket桶的可用容量是用户向Bucket桶存储数据对象时相对关注的内容,能够直观的展现Bucket桶当前的存储情况,本实施方式中,Bucket桶的状态信息具体包括Bucket桶内的数据对象数量以及Bucket桶的可用容量能够相对提高Bucket桶的状态信息对于用户的直观性。
此外,作为一种优选的实施方式,版本号具体为响应数据对象的时刻所对应的时间戳。
时间戳(timestamp)能通过字符序列表示某一个特定时刻,由于不同时刻的时间戳均不相同,因此通过时间戳的方式标记接收到的数据对象,具有较高的唯一性,能够较大程度的避免不同数据对象之间出现版本号重复的情况。
实施例三
在上述实施例的基础上,为了加深对本发明中方案的整体理解,本实施例还提供一种本发明的方案在具体应用下的场景实施例。
图3为本发明提供的一种场景实施例的时序图。如图3所示,场景实施例的具体实施过程如下:
(1)用户通过网关节点1向分布式对象存储系统桶Bucket1内上传数据对象Object1,首先将数据对象Object1写入此网关节点1对应的本地缓存,同时更新本地缓存内Bucket1的桶信息(如桶内对象数目、桶内容量等),更新缓存内的用户信息(如用户已上传数据对象的数目、用户已使用桶容量等);生成数据对象Object1的版本号;
(2)网关节点1对象的缓存信息写入对象存储池;
(3)网关节点1对应的缓存1向注册监听范围内的所有其他网关节点发送广播,广播内容包括缓存全局版本号和缓存修改内容;此步骤是缓存1向网关节点2对应的本地缓存2发送广播消息;
(4)当本地缓存2中未存储有本地缓存1发过来的数据对象Object1时,将数据对象Object1写入本地缓存2,同时存储数据对象Object1的版本号;
(5)网关节点2请求读取数据对象Object1相关的内容,在本地缓存2内查找命中;
(6)本地缓存2直接返回给网关节点2请求读取的数据对象Object1相关的内容。
实施例四
在上文中对于分布式对象存储的数据缓存方法的实施例进行了详细的描述,本发明还提供一种与该方法对应的分布式对象存储的数据缓存装置,由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
图4为本发明实施例提供的一种分布式对象存储的数据缓存装置的结构图。本发明实施例提供的分布式对象存储的数据缓存装置,应用于对象网关集群的网关节点,包括:
数据接收模块10,用于接收传入的数据对象,并将数据对象存储至本地缓存。
广播缓存模块11,用于将数据对象广播至对象网关集群的其它网关节点,以将数据对象存储至其它网关节点的缓存。
本发明所提供的分布式对象存储的数据缓存装置,应用于对象网关集群的网关节点,当网关节点接收到传入的数据对象时,将该数据对象存储至本地的缓存中,进而将网关节点的缓存中的数据对象广播至对象网关集群中的其它网关节点,以存储至其它网关节点的缓存中。由于网关节点在接收到上传的数据对象后,不仅将其存储与本地的缓存中,还将该数据对象广播至对象网关集群的其它网关节点,并同步存储至其它网关节点的缓存中,因此当单独应用程序在工作过程中向网关集群中的多个网关节点发起对数据对象的访问时,能够有效避免数据对象仅存储于某一网关节点的缓存,并且尚未存储至对象存储池的情况发生,因此本装置能够确保在分布式对象存储的网关节点中正常获取到数据对象,进而提高了分布式对象存储在提供数据服务时的整体可靠性。
实施例五
此外,本发明还提供一种对象网关集群的网关节点设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述的分布式对象存储的数据缓存方法的步骤。
本发明所提供的对象网关集群的网关节点设备,当网关节点接收到传入的数据对象时,将该数据对象存储至本地的缓存中,进而将网关节点的缓存中的数据对象广播至对象网关集群中的其它网关节点,以存储至其它网关节点的缓存中。由于网关节点在接收到上传的数据对象后,不仅将其存储与本地的缓存中,还将该数据对象广播至对象网关集群的其它网关节点,并同步存储至其它网关节点的缓存中,因此当单独应用程序在工作过程中向网关集群中的多个网关节点发起对数据对象的访问时,能够有效避免数据对象仅存储于某一网关节点的缓存,并且尚未存储至对象存储池的情况发生,因此本设备能够确保在分布式对象存储的网关节点中正常获取到数据对象,进而提高了分布式对象存储在提供数据服务时的整体可靠性。
此外,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的分布式对象存储的数据缓存方法的步骤。
本发明所提供的计算机可读存储介质,应用于对象网关集群的网关节点,当网关节点接收到传入的数据对象时,将该数据对象存储至本地的缓存中,进而将网关节点的缓存中的数据对象广播至对象网关集群中的其它网关节点,以存储至其它网关节点的缓存中。由于网关节点在接收到上传的数据对象后,不仅将其存储与本地的缓存中,还将该数据对象广播至对象网关集群的其它网关节点,并同步存储至其它网关节点的缓存中,因此当单独应用程序在工作过程中向网关集群中的多个网关节点发起对数据对象的访问时,能够有效避免数据对象仅存储于某一网关节点的缓存,并且尚未存储至对象存储池的情况发生,因此本计算机可读存储介质能够确保在分布式对象存储的网关节点中正常获取到数据对象,进而提高了分布式对象存储在提供数据服务时的整体可靠性。
以上对本发明所提供的一种分布式对象存储的数据缓存方法、装置、设备及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备及介质而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种分布式对象存储的数据缓存方法,应用于对象网关集群的网关节点,其特征在于,包括:
接收传入的数据对象,并将所述数据对象存储至本地缓存;
将所述数据对象广播至所述对象网关集群的其它网关节点,以将所述数据对象存储至所述其它网关节点的缓存。
2.根据权利要求1所述的方法,其特征在于,在所述将所述数据对象存储至本地缓存之前,该方法进一步包括:
判断所述数据对象是否已预先存储于所述本地缓存;
如果否,则执行所述将所述数据对象存储至本地缓存的步骤。
3.根据权利要求2所述的方法,其特征在于,在所述接收传入的数据对象后,该方法进一步包括:
获取与所述数据对象唯一对应的版本号;
相应的,所述判断所述数据对象是否已预先存储于所述本地缓存具体为:
根据所述本地缓存中是否已存在有所述版本号,判断所述数据对象是否已预先存储于所述本地缓存;
相应的,当判断所述数据对象是否已预先存储于所述本地缓存的结果为否时,该方法进一步包括:
将所述版本号存储至所述本地缓存。
4.根据权利要求1或2所述的方法,其特征在于,在所述将所述数据对象存储至本地缓存后,该方法进一步包括:
当所述本地缓存的已用存储容量达到预设值时,将所述数据对象存储至所述对象网关集群的对象存储池,并清除所述本地缓存中的所述数据对象。
5.根据权利要求4所述的方法,其特征在于,所述本地缓存中预先记录有所述对象存储池中各Bucket桶的状态信息;
相应的,所述将所述数据对象存储至所述对象网关集群的对象存储池具体为:
将所述数据对象存储至所述对象存储池中的目标Bucket桶;
相应的,在所述将所述数据对象存储至所述对象存储池中的目标Bucket桶后,该方法进一步包括:
在所述本地缓存中对应修改所述目标Bucket桶的状态信息。
6.根据权利要求5所述的方法,其特征在于,所述Bucket桶的状态信息具体包括所述Bucket桶内的数据对象数量以及所述Bucket桶的可用容量。
7.根据权利要求3所述的方法,其特征在于,所述版本号具体为响应所述数据对象的时刻所对应的时间戳。
8.一种分布式对象存储的数据缓存装置,应用于对象网关集群的网关节点,其特征在于,包括:
数据接收模块,用于接收传入的数据对象,并将所述数据对象存储至本地缓存;
广播缓存模块,用于将所述数据对象广播至所述对象网关集群的其它网关节点,以将所述数据对象存储至所述其它网关节点的缓存。
9.一种对象网关集群的网关节点设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的分布式对象存储的数据缓存方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的分布式对象存储的数据缓存方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811366593.8A CN109451029A (zh) | 2018-11-16 | 2018-11-16 | 一种分布式对象存储的数据缓存方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811366593.8A CN109451029A (zh) | 2018-11-16 | 2018-11-16 | 一种分布式对象存储的数据缓存方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109451029A true CN109451029A (zh) | 2019-03-08 |
Family
ID=65553028
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811366593.8A Pending CN109451029A (zh) | 2018-11-16 | 2018-11-16 | 一种分布式对象存储的数据缓存方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109451029A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110519336A (zh) * | 2019-08-01 | 2019-11-29 | 北京浪潮数据技术有限公司 | 分布式存储系统配额状态更新方法及分布式存储系统 |
CN111641698A (zh) * | 2020-05-22 | 2020-09-08 | 浪潮电子信息产业股份有限公司 | 一种数据统计方法、系统、设备及存储介质 |
CN111782885A (zh) * | 2020-06-22 | 2020-10-16 | 华青融天(北京)软件股份有限公司 | 数据集状态的判断方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930056A (zh) * | 2012-11-21 | 2013-02-13 | 华为技术有限公司 | 云存储系统的检索方法及设备 |
CN103888499A (zh) * | 2012-12-21 | 2014-06-25 | 中国科学院深圳先进技术研究院 | 一种分布式对象处理的方法及系统 |
US20170302753A1 (en) * | 2016-04-13 | 2017-10-19 | Facebook, Inc. | Cache system for live broadcast streaming |
CN107465706A (zh) * | 2016-06-06 | 2017-12-12 | 中国船舶工业系统工程研究院 | 一种基于无线通信网络的分布式数据对象存储装置 |
CN108235751A (zh) * | 2017-12-18 | 2018-06-29 | 华为技术有限公司 | 识别对象存储设备亚健康的方法、装置和数据存储系统 |
-
2018
- 2018-11-16 CN CN201811366593.8A patent/CN109451029A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102930056A (zh) * | 2012-11-21 | 2013-02-13 | 华为技术有限公司 | 云存储系统的检索方法及设备 |
CN103888499A (zh) * | 2012-12-21 | 2014-06-25 | 中国科学院深圳先进技术研究院 | 一种分布式对象处理的方法及系统 |
US20170302753A1 (en) * | 2016-04-13 | 2017-10-19 | Facebook, Inc. | Cache system for live broadcast streaming |
CN107465706A (zh) * | 2016-06-06 | 2017-12-12 | 中国船舶工业系统工程研究院 | 一种基于无线通信网络的分布式数据对象存储装置 |
CN108235751A (zh) * | 2017-12-18 | 2018-06-29 | 华为技术有限公司 | 识别对象存储设备亚健康的方法、装置和数据存储系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110519336A (zh) * | 2019-08-01 | 2019-11-29 | 北京浪潮数据技术有限公司 | 分布式存储系统配额状态更新方法及分布式存储系统 |
CN111641698A (zh) * | 2020-05-22 | 2020-09-08 | 浪潮电子信息产业股份有限公司 | 一种数据统计方法、系统、设备及存储介质 |
CN111641698B (zh) * | 2020-05-22 | 2023-04-18 | 浪潮电子信息产业股份有限公司 | 一种数据统计方法、系统、设备及存储介质 |
CN111782885A (zh) * | 2020-06-22 | 2020-10-16 | 华青融天(北京)软件股份有限公司 | 数据集状态的判断方法及装置 |
CN111782885B (zh) * | 2020-06-22 | 2024-05-24 | 华青融天(北京)软件股份有限公司 | 数据集状态的判断方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu et al. | Saving energy on the edge: In-memory caching for multi-tier heterogeneous networks | |
EP3522466A1 (en) | Dynamic scheduling and allocation method and system for network traffic | |
CN109451029A (zh) | 一种分布式对象存储的数据缓存方法、装置、设备及介质 | |
CN101833570A (zh) | 一种移动终端页面推送优化的方法和装置 | |
CN107888666A (zh) | 一种跨地域数据存储系统以及数据同步方法和装置 | |
CN103617007B (zh) | 多级智能存储实现方法和系统 | |
Vigneri et al. | Storage on wheels: Offloading popular contents through a vehicular cloud | |
CN102143150A (zh) | 一种获取媒体内容的方法、设备及系统 | |
CN106027272A (zh) | 一种cdn节点服务器流量时间推演方法及系统 | |
CN102394927B (zh) | 一种内外网数据存储和同步的方法 | |
CN110083524A (zh) | 上传数据测试方法、装置、计算机设备及存储介质 | |
CN111405001A (zh) | 一种应用于区块链的节点监控系统 | |
CN103823807A (zh) | 一种去除重复数据的方法、装置及系统 | |
CN109167850A (zh) | 一种确定cdn服务运营商的方法、装置和存储介质 | |
CN107612847A (zh) | 一种带宽分配方法、装置及视频监控系统 | |
CN106487864A (zh) | 数据连接的建立方法、服务端及移动终端 | |
He et al. | Edge QoE: Intelligent big data caching via deep reinforcement learning | |
CN102572011A (zh) | 数据处理方法、装置和系统 | |
CN102982034A (zh) | 互联网站内信息的搜索方法和搜索系统 | |
CN113947498A (zh) | 一种融合终端数据中心的数据存储与检索方法 | |
CN103856558A (zh) | 一种用于终端应用的数据处理方法和装置 | |
CN104168174A (zh) | 一种传输信息的方法及装置 | |
CN102802041A (zh) | 支持多个实时动态数据源的智能流媒体服务器的实现方法 | |
WO2014146448A1 (en) | Method and system for synchronizing browser bookmarks | |
CN104113509B (zh) | 媒体文件推送方法和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190308 |