CN113031874B - 基于Kubernetes集群的缓存处理方法、装置、设备及存储介质 - Google Patents

基于Kubernetes集群的缓存处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113031874B
CN113031874B CN202110328385.4A CN202110328385A CN113031874B CN 113031874 B CN113031874 B CN 113031874B CN 202110328385 A CN202110328385 A CN 202110328385A CN 113031874 B CN113031874 B CN 113031874B
Authority
CN
China
Prior art keywords
resource
cache service
connection
multimedia client
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110328385.4A
Other languages
English (en)
Other versions
CN113031874A (zh
Inventor
陈京来
赵增
刘柏
李仁杰
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202110328385.4A priority Critical patent/CN113031874B/zh
Publication of CN113031874A publication Critical patent/CN113031874A/zh
Application granted granted Critical
Publication of CN113031874B publication Critical patent/CN113031874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0643Management of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653Monitoring storage devices or systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656Data buffering arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658Controller construction arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0667Virtualisation aspects at data level, e.g. file, record or object virtualisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/0674Disk device
    • G06F3/0676Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种基于Kubernetes集群的缓存处理方法、装置、设备及存储介质,涉及缓存技术领域。该方法应用于Kubernetes集群的节点,所述节点构建有高性能缓存服务,具体地,该方法包括:根据多媒体客户端的连接请求,建立与所述客户端之间的连接;接收所述多媒体客户端通过所述连接发送的同步指令,根据所述同步指令与所述多媒体客户端进行资源同步。相对于现有技术,通过在Kubernetes集群中构建高性能缓存服务,避免了资源同步设计频繁的磁盘IO读写,造成资源的同步性能较差的问题。

Description

基于Kubernetes集群的缓存处理方法、装置、设备及存储介质
技术领域
本申请涉及缓存技术领域,具体而言,涉及一种基于Kubernetes集群的缓存处理方法、装置、设备及存储介质。
背景技术
Unity是实时3D互动内容创作和运营平台。其包括游戏开发、美术、建筑、汽车设计、影视在内的所有创作者,可以借助Unity将创意变成现实。
CacheServer是Unity提供的缓存服务器,当Unity中的资源发生变动时,Unity就会重新导入资源。CacheServer可以将资源导入生成的文件缓存起来,这样同团队的不同成员就可以直接下载变动后的资源数据。同时及时切换平台,也不需要再导一遍资源数据。
但是现有技术中CacheServer提供的缓存策略,由于基于文件系统的缓存策略资源同步涉及频繁的磁盘IO读写,因此会导致资源的同步性能较差。
发明内容
本申请的目的在于,针对上述现有技术中的不足,提供一种基于Kubernetes集群的缓存处理方法、装置、设备及存储介质,通过在Kubernetes集群中构建高性能缓存服务,以解决现有技术中资源同步设计频繁的磁盘IO读写,造成资源的同步性能较差的问题。
为实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请一实施例提供了一种基于Kubernetes集群的缓存处理方法,应用于Kubernetes集群的节点,所述节点构建有高性能缓存服务,所述方法包括:
根据多媒体客户端的连接请求,建立与所述客户端之间的连接;
接收所述多媒体客户端通过所述连接发送的同步指令,根据所述同步指令与所述多媒体客户端进行资源同步。
可选地,所述根据多媒体客户端的连接请求,建立与所述客户端之间的连接之前,还包括:
建立高性能缓存服务控制器;
启动所述高性能缓存服务控制器监听高性能缓存服务资源,并根据监听到的所述高性能缓存服务资源建立缓存服务单元;
通过连接代理建立所述缓存服务单元的对外访问地址。
可选地,所述根据多媒体客户端的连接请求,建立与所述客户端之间的连接,包括:
通过所述连接代理接收所述多媒体客户端发送的所述连接请求;
将所述连接请求转发至所述缓存服务单元的入口,通过所述入口向所述高性能缓存服务控制器发送所述连接请求;
通过所述高性能缓存服务控制器建立与所述客户端之间的连接。
可选地,所述同步指令为上传指令时,所述接收所述多媒体客户端通过所述连接发送的同步指令,根据所述同步指令与所述多媒体客户端进行资源同步,包括:
接收所述多媒体客户端通过所述连接发送的上传指令,所述上传指令包括:待上传的资源;
通过所述连接代理将所述待上传的资源转发至所述缓存服务单元的入口,通过所述入口向所述缓存服务单元发送所述待上传的资源;
在所述缓存服务单元中存储所述待上传的资源,并对存储后所述待上传的资源设置生存时间。
可选地,所述同步指令为下载指令时,所述接收所述多媒体客户端通过所述连接发送的同步指令,根据所述同步指令与所述多媒体客户端进行资源同步,包括:
接收所述多媒体客户端通过所述连接发送的下载指令,所述下载指令包括:待下载资源的标识;
从所述缓存服务单元中请求获取所述待下载资源的标识对应的目标资源,并对所述缓存服务单元中的所述目标资源的生存时间重新计时;
通过所述缓存服务单元的入口向所述多媒体客户端发送所述目标资源。
可选地,所述方法还包括:
通过清理服务的预设周期启动清理任务;
根据所述清理任务清理所述缓存服务单元中的无效数据。
可选地,所述缓存服务单元包括:数据存储区域和标识存储区域,所述数据存储区域用于存储资源,所述标识存储区域用于存储资源标识以及各所述资源标识对应的所述生存时间;
所述根据所述清理任务清理所述缓存服务单元中的无效数据,包括:
分别读取所述数据存储区域、所述标识存储区域的资源标识;
若所述数据存储区域中待匹配资源的标识在所述标识存储区域中未匹配到对应的标识,则删除所述待匹配资源。
可选地,所述根据监听到的所述高性能缓存服务资源建立缓存服务单元之后,还包括:
设置本节点为反亲和性模式。
第二方面,本申请另一实施例提供了一种基于Kubernetes集群的缓存处理装置,所述装置包括:建立模块和接收模块,其中:
所述建立模块,用于根据多媒体客户端的连接请求,建立与所述客户端之间的连接;
所述接收模块,用于接收所述多媒体客户端通过所述连接发送的同步指令,根据所述同步指令与所述多媒体客户端进行资源同步。
可选地,所述建立模块,具体用于建立高性能缓存服务控制器;启动所述高性能缓存服务控制器监听高性能缓存服务资源,并根据监听到的所述高性能缓存服务资源建立缓存服务单元;通过连接代理建立所述缓存服务单元的对外访问地址。
可选地,所述装置还包括:发送模块,其中:
所述接收模块,具体用于通过所述连接代理接收所述多媒体客户端发送的所述连接请求;
所述发送模块,用于将所述连接请求转发至所述缓存服务单元的入口,通过所述入口向所述高性能缓存服务控制器发送所述连接请求;
所述建立模块,具体用于通过所述高性能缓存服务控制器建立与所述多媒体客户端之间的连接。
可选地,所述装置还包括:存储模块,其中:
所述接收模块,具体用于接收所述多媒体客户端通过所述连接发送的上传指令,所述上传指令包括:待上传的资源;
所述发送模块,具体用于通过所述连接代理将所述待上传的资源转发至所述缓存服务单元的入口,通过所述入口向所述缓存服务单元发送所述待上传的资源;
所述存储模块,用于在所述缓存服务单元中存储所述待上传的资源,并对存储后所述待上传的资源设置生存时间。
可选地,所述装置还包括:获取模块,其中:
所述接收模块,具体用于接收所述多媒体客户端通过所述连接发送的下载指令,所述下载指令包括:待下载资源的标识;
所述获取模块,用于从所述缓存服务单元中请求获取所述待下载资源的标识对应的目标资源,并对所述缓存服务单元中的所述目标资源的生存时间重新计时;
所述发送模块,具体用于通过所述缓存服务单元的入口向所述多媒体客户端发送所述目标资源。
可选地,所述装置还包括:清理模块,用于通过清理服务的预设周期启动清理任务;根据所述清理任务清理所述缓存服务单元中的无效数据。
可选地,所述缓存服务单元包括:数据存储区域和标识存储区域,所述数据存储区域用于存储资源,所述标识存储区域用于存储资源标识以及各所述资源标识对应的所述生存时间;
所述清理模块,具体用于分别读取所述数据存储区域、所述标识存储区域的资源标识;若所述数据存储区域中待匹配资源的标识在所述标识存储区域中未匹配到对应的标识,则删除所述待匹配资源。
可选地,所述装置还包括:设置模块,用于设置本节点为反亲和性模式。
第三方面,本申请另一实施例提供了一种基于Kubernetes集群的缓存处理设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当基于Kubernetes集群的缓存处理设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如上述第一方面任一所述方法的步骤。
第四方面,本申请另一实施例提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上述第一方面任一所述方法的步骤。
本申请的有益效果是:采用本申请提供的基于Kubernetes集群的缓存处理方法,由于多媒体客户端与客户端之间的连接均是基于Kubernetes集群的节点的,由于Kubernetes平台本身虚拟化云平台的属性,使得数据之间的连接和同步更加轻量,可以实现快速部署,标准交付,统一管理,具有更好的隔离性,并且采用本申请提供的方法,不仅同团队的不同成员就可以直接同步变动后的资源数据。此外即使同一开发团队的不同成员切换开发平台,也不需要再重新导一遍资源数据,并且资源数据之间的同步无需直接从磁盘读写,可以先把资源数据写在Kubernetes集群中,在接收到同步指令后根据同步指令再将Kubernetes集群中的资源数据写到同步指令对应的多媒体客户端的磁盘中,避免了直接进行磁盘读写,造成资源同步性能较差的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的基于Kubernetes集群的缓存处理方法的流程示意图;
图2为本申请另一实施例提供的基于Kubernetes集群的缓存处理方法的流程示意图;
图3为本申请另一实施例提供的基于Kubernetes集群的缓存处理方法的流程示意图;
图4为本申请另一实施例提供的基于Kubernetes集群的缓存处理方法的流程示意图;
图5为本申请一实施例提供的基于Kubernetes集群的缓存服务启动的结构示意图;
图6为本申请一实施例提供的多媒体客户端资源同步及缓存清理的流程示意图;
图7为本申请一实施例提供的基于Kubernetes集群的缓存处理装置的结构示意图;
图8为本申请另一实施例提供的基于Kubernetes集群的缓存处理装置的结构示意图;
图9为本申请一实施例提供的基于Kubernetes集群的缓存处理设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
为方便对本申请的理解,下述对本申请涉及的部分名词进行解释:
Kubernetes:简称K8s,是一个管理跨主机容器应用的开源系统,用于管理云平台中多个主机上的容器化的应用,K8s提供了应用的部署、维护、规划、更新以及扩容缩容的基本机制,可以让部署容器化的应用简单并且高效。
Pod:是可以创建和管理Kubernetes计算的最小可部署单元,由一个或者多个容器组成,同时也是Kubernetes调度的基本粒度。
Deployment:一种Pod的控制器,用来管理无状态应用的,面向的集群的管理,用于用户部署、管理Pod实例的生命周期。
Service:简称Svc,是一种将运行在Pod上的应用程序公开为网络服务的抽象方法,Service提供了一个统一的服务访问入口以及服务代理和发现机制,定义了Pod的逻辑集合和访问该集合的策略。
自定义资源控制器(CustomResourceDefinition,CRD):用于Kubernetes API的扩展,通过CRD我们可以向Kubernetes API中增加新资源类型,而不需要修改Kubernetes源码来创建自定义的API server,提供真正的声明式API。
HAProxy:是一个使用C语言编写的自由及开放源代码软件,可以提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,它是免费、开源、快速并且可靠的一种解决方案。
Sidecar:将应用程序的组件部署到单独的进程或容器中,以提供隔离和封装。使用此模式还可以使用异构组件和技术来构建应用程序。
高性能缓存服务器(High Performance Cacheserver,HPC):高性能Unity缓存服务器。
现有技术中的Unity平台的缓存方案为基于CacheServer实现的,采用CacheServer提供的缓存策略,基于该缓存策略进行资源同步的过程中,会涉及频繁的磁盘IO读写,导致资源同步性能较差的问题。
本申请提供的方法通过建立多媒体客户端与Kubernetes之间的连接,其中,多媒体客户端可以包括任何需要资源同步的平台,Unity平台可以为其中一种,但不以此为限。使得多媒体客户端在需要资源同步时,可以通过向Kubernetes集群发送同步指令后,根据同步指令与多媒体客户端之间进行资源同步,使得资源同步过程中可以先将数据资源写在Kubernetes集群里,在多媒体客户端请求资源同步时,再从Kubernetes集群中获取数据资源写入对应的多媒体客户端中,至此无需重复进行磁盘IO的读写就可以完成资源的同步。
本申请提供的方法的应用场景例如可以为游戏开发、美术、建筑、汽车设计、影视设计等任何涉及资源同步的场景,具体应用场景可以根据用户需要灵活调整,并不以上述实施例为限。
如下结合多个具体的应用示例,对本申请实施例所提供的一种基于Kubernetes集群的缓存处理方法进行解释说明。
图1为本申请一实施例提供的一种基于Kubernetes集群的缓存处理方法的流程示意图,该方法应用于Kubernetes集群的节点,所述节点构建有高性能缓存服务,需要说明的是,其中,这里的执行主体节点可以是Kubernetes集群中的任意节点,在此不作限制。
如图1所示,该方法包括:
S101:根据多媒体客户端的连接请求,建立与多媒体客户端之间的连接。
在本申请的一个实施例中,多媒体客户端可以是unity客户端,也可以是其他需要资源同步的平台、客户端等。以unity客户端为例进行说明,unity客户端可以为多个,在任一unity客户端发起连接请求后,可以根据发起的连接请求在Kubernetes集群的节点中建立与unity客户端之间的连接,该连接可以用于后续的资源同步或指令传输等。
S102:接收多媒体客户端通过连接发送的同步指令,根据同步指令与多媒体客户端进行资源同步。
示例地,在一些可能的实施例中,资源同步例如可以为资源上传同步或资源下载同步,资源上传即表示unity客户端当前存在新的需要上传的资源数据,资源下载即为unity客户端当前需要从Kubernetes集群中下载预先上传的资源数据,具体资源同步的内容可以根据unity客户端发送的同步指令确定。
采用本申请提供的基于Kubernetes集群的缓存处理方法,由于多媒体客户端与客户端之间的连接均是基于Kubernetes集群的节点的,Kubernetes本身虚拟化云平台的属性,使得数据之间的连接和同步更加轻量,可以实现快速部署,标准交付,统一管理,具有更好的隔离性,并且采用本申请提供的方法,不仅同一开发团队的不同成员就可以直接同步变动后的资源数据;此外即使同一开发团队的不同成员切换开发平台,也不需要再重新导一遍资源数据,并且资源数据之间的同步无需直接从磁盘读写,可以先把资源数据写在Kubernetes集群里,在接收到同步指令后根据同步指令再将Kubernetes集群里的资源数据写到同步指令对应的多媒体客户端的磁盘中,避免了直接进行磁盘读写,造成资源同步性能较差的问题。
可选地,在上述实施例的基础上,本申请实施例还可提供一种基于Kubernetes集群的缓存处理方法,如下结合附图对上述方法的实现过程进行示例说明。
图2为本申请另一实施例提供的一种基于Kubernetes集群的缓存处理方法的流程示意图,如图2所示,S101之前,该方法还可包括:
S103:建立高性能缓存服务控制器。
示例地,在Kubernetes集群中部署高性能缓存服务控制器(hpc-controller),用于后续创建高性能缓存服务资源(HPC资源);在本申请的一个实施例中,可以采用Deployment模式在Kubernetes集群中部署hpc-controller。
其中,hpc-controller是HPC控制器,采用Kubernetes API的扩展CRD模式对HPC资源进行管理;hpc-controller定义了HPC资源均为具备Sidecar模式、反亲和性和emptyDir存储方式等Kubernetes特性的资源。
S104:启动高性能缓存服务控制器监听高性能缓存服务资源,并根据监听到的高性能缓存服务资源建立缓存服务单元。
hpc-controller建立完成后,由建立的hpc-controller监听HPC资源,并在监听到HPC资源后,根据监听到的HPC资源,由hpc-controller创建HPC对应的缓存服务单元,在本申请的一个实施例中,缓存服务单元例如可以为Pod和/或Svc。
在本申请的一个实施例中,S104之后,还可以设置本节点为反亲和性模式,反亲和性模式下,该节点可以决定该节点内的缓存服务单元不可以和哪些缓存服务单元部署在同一拓扑域。或可以将一个缓存服务节点分散在不同的主机或拓扑域中,提高服务本身的稳定性。并且给缓存服务单元对于一个节点的独占访问权限来保证资源隔离,保证不会有其他缓存服务节点来分享节点资源;此外还可能可以将互相影响的缓存服务节点分散在不同的主机上。
S105:通过连接代理建立缓存服务单元的对外访问地址。
其中,连接代理例如可以为HAProxy,HAProxy会与Svc进行关联,随后通过HAPoxy提供HPC资源实例的对外访问地址,通过HAPoxy建立HPC中各缓存服务单元的对外访问地址,即将各缓存服务单元与HAPoxy的服务地址关联,由HAPoxy提供HPC资源实例的对外访问地址,使得unity客户端在进行资源访问时,可以根据建立的对外访问地址进行资源数据的访问。
可选地,在上述实施例的基础上,本申请实施例还可提供一种基于Kubernetes集群的缓存处理方法,如下结合附图对上述方法中建立与客户端之间连接的实现过程进行示例说明。图3为本申请另一实施例提供的一种基于Kubernetes集群的缓存处理方法的流程示意图,如图3所示,S101可包括:
S106:通过连接代理接收多媒体客户端发送的连接请求。
即在本申请提供的方法中,unity客户端与HAProxy连接,unity客户端发起连接请求后,由HAProxy接收unity客户端发送的连接请求。
S107:将连接请求转发至缓存服务单元的入口,通过入口向高性能缓存服务控制器发送连接请求。
其中,HPC的服务入口例如可以为nginx,nginx负责接收unity缓存服务器客户端发送的连接请求;即unity客户端向HAProxy发起连接请求后,由HAProxy接收连接请求,并通过nginx将连接请求转发到hpc-server中;其中,hpc-server是高性能缓存服务,可以将存储的资源数据会被持久化在缓存服务单元。
S108:通过高性能缓存服务控制器建立与多媒体客户端之间的连接。
hpc-server完成与unity客户端建立连接后,即可进行资源数据的同步。
由于缓存服务单元是基于Kubernetes集群的缓存服务单元,由于Kubernetes集群本身的特性,通过Kubernetes集群的缓存服务单元进行资源的同步可以实现资源之间可以同一管理,标准交付,并且资源之间具有更好的隔离性。
其中,若同步指令为上传指令时,则S102可包括:接收多媒体客户端通过连接发送的上传指令,上传指令包括:待上传的资源;
通过连接代理将待上传的资源转发至缓存服务单元的入口,通过入口向缓存服务单元发送待上传的资源;在缓存服务单元中存储待上传的资源,并对存储后待上传的资源设置生存时间。
需要说明的是,可以在各资源数据的散列函数哈希(hash)的标识中设置生存时间值(Time To Live,TTL),将设置好的各资源数据存储到远程字典服务(redis)中,使得缓存服务单元与多媒体客户端之间建立连接之后,多媒体客户端即可通过缓存服务单元进行资源的同步。
若同步指令为下载指令时,则S102可包括:接收多媒体客户端通过连接发送的下载指令,下载指令包括:待下载资源的标识;
从缓存服务单元中请求获取待下载资源的标识对应的目标资源,并对缓存服务单元中的目标资源的生存时间重新计时;通过缓存服务单元的入口向多媒体客户端发送目标资源。
例如hpc-server从缓存服务单元中获取需要下载的资源发送到nginx,由nginx发送到unity客户端。
可选地,在上述实施例的基础上,本申请实施例还可提供一种基于Kubernetes集群的缓存处理方法,如下结合附图对上述方法的实现过程进行示例说明。图4为本申请另一实施例提供的一种基于Kubernetes集群的缓存处理方法的流程示意图,如图4所示,该方法还可包括:
S109:通过清理服务的预设周期启动清理任务。
示例地,在本申请的一个实施例中,清理服务例如可以为由Kubernetes集群中的clean-server定时发起的清理任务,其中clean-server是一个定时缓存数据清理服务。
S110:根据清理任务清理缓存服务单元中的无效数据。
在本申请的一个实施例中,缓存服务单元包括:数据存储区域和标识存储区域redis,数据存储区域用于存储资源,标识存储区域用于存储资源标识以及各资源标识对应的生存时间。
具体地,clean-server分别读取数据存储区域、标识存储区域的资源标识;若数据存储区域中待匹配资源的标识在标识存储区域中未匹配到对应的标识,则删除待匹配资源。
定期清理缓存服务单元中的无效数据可以防止缓存服务单元中的数据占用过大的问题。
举例说明,可以为通过clean-server读取redis和ardb中的资源数据。随后比较redis与ardb中各资源数据的标识,若ardb中的资源数据的标识在redis中不存在,则清理ardb中该标识对应的资源数据。
若同步指令为上传指令时,则将待上传的资源发送到nginx,由nginx转发到hpc-server,并将待上传的资源存储到ardb,同时对待上传的资源数据的hash标识设置生存时间值TTL后,将设置好的资源数据存储到redis中。
若同步指令为下载指令时,则hpc-server从ardb中根据待下载资源的标识获取待下载资源,并将获取的待下载资源发送到nginx,由nginx发送到unity客户端;同时redis中对应的待下载资源数据的hash标识的生存时间值TTL开始重新计时。
图5为本申请一实施例提供的基于Kubernetes集群的缓存服务启动的结构示意图,如图5所示:
Kubernetes集群启动后,在Kubernetes集群中部署高性能缓存服务控制器hpc-controller,并在成功部署后由建立的hpc-controller监听HPC资源,并在监听到高性能缓存服务资源后,根据监听到的HPC资源,由hpc-controller建立HPC对应的缓存服务单元Pod和/或缓存服务单元Svc,其中Pod为在sidecar模式下创建的,并且Pod的节点属性为反亲和性模式;随后建立连接代理HAProxy与Svc之间的关联,使得后续使用过程中可以通过HAPoxy提供HPC资源实例的对外访问地址,通过HAPoxy建立HPC中各缓存服务单元的对外访问地址,即将各缓存服务单元与HAPoxy的服务地址关联,由HAPoxy提供HPC资源实例的对外访问地址,使得unity客户端在进行资源访问时,可以根据建立的对外访问地址进行资源数据的访问;至此完成基于Kubernetes集群的缓存服务的启动。
图6为本申请一实施例提供的多媒体客户端资源同步及缓存清理的流程示意图,如图6所示:
多媒体客户端发起同步指令,通过连接代理HAProxy实现资源同步,随后资源同步后的资源数据会转发至Svc,Svc再将资源同步后的资源数据转发至HPC的服务入口nginx,即unity客户端向HAProxy发起连接请求后,由HAProxy接收连接请求,并通过nginx将连接请求转发到hpc-server中,至此实现多媒体客户端之间的资源的同步;随后通过clean-server根据预设定时循环时间间隔,对数据存储区域ardb和标识存储区域redis中各资源数据的标识之间进行对比,若ardb中的资源数据的标识,在redis中不存在,则清理ardb中该标识对应的资源数据,从而实现对ardb中对应的资源数据的循环定时清理,至此完成缓存清理。
采用本申请提供的基于Kubernetes集群的缓存处理方法,由于多媒体客户端与客户端之间的连接均是基于Kubernetes集群的节点的,由于Kubernetes平台本身虚拟化云平台的属性,使得缓存服务器的资源数据读取时不是从磁盘读取,而是在多媒体客户端发起同步指令后,直接从内存读取待同步资源数据,同时将读取得到的资源数据持久化在发起同步指令的多媒体客户端的磁盘中,并进行定期清理资源数据。此外Kubernetes中均采用CRD对HPC资源进行管理,HPC资源中Pod为采用Sidecar模式创建的,从而实现了清理服务和缓存服务的解耦。在Kubernetes HPC Pod中资源数据目录采用emptyDir的方式挂载到宿主机磁盘,并采用反亲和性实现多个HPC在各个节点的网络流量均衡,即采用本申请提供的方法可以基于Kubernetes平台实现高性能的Unity缓存服务器。
下述结合附图对本申请所提供的基于Kubernetes集群的缓存处理装置进行解释说明,该基于Kubernetes集群的缓存处理装置可执行上述图1-图6任一基于Kubernetes集群的缓存处理方法,其具体实现以及有益效果参照上述,如下不再赘述。
图7为本申请一实施例提供的基于Kubernetes集群的缓存处理装置的结构示意图,该装置可以集成于Kubernetes集群的任意节点,如图7所示,该装置包括:建立模块201和接收模块202,其中:
建立模块201,用于根据多媒体客户端的连接请求,建立与客户端之间的连接。
接收模块202,用于接收多媒体客户端通过连接发送的同步指令,根据同步指令与多媒体客户端进行资源同步。
可选地,建立模块201,具体用于建立高性能缓存服务控制器;启动高性能缓存服务控制器监听高性能缓存服务资源,并根据监听到的高性能缓存服务资源建立缓存服务单元;通过连接代理建立缓存服务单元的对外访问地址。
图8为本申请一实施例提供的基于Kubernetes集群的缓存处理装置的结构示意图,如图8所示,该装置还包括:发送模块203,其中:
接收模块202,具体用于通过连接代理接收多媒体客户端发送的连接请求;
发送模块203,用于将连接请求转发至缓存服务单元的入口,通过入口向高性能缓存服务控制器发送连接请求;
建立模块201,具体用于通过高性能缓存服务控制器建立与多媒体客户端之间的连接。
如图8所示,该装置还包括:存储模块204,其中:
接收模块202,具体用于接收多媒体客户端通过连接发送的上传指令,上传指令包括:待上传的资源;
发送模块203,具体用于通过连接代理将待上传的资源转发至缓存服务单元的入口,通过入口向缓存服务单元发送待上传的资源;
存储模块204,用于在缓存服务单元中存储待上传的资源,并对存储后待上传的资源设置生存时间。
如图8所示,该装置还包括:获取模块205,其中:
接收模块202,具体用于接收多媒体客户端通过连接发送的下载指令,下载指令包括:待下载资源的标识;
获取模块205,用于从缓存服务单元中请求获取待下载资源的标识对应的目标资源,并对缓存服务单元中的目标资源的生存时间重新计时;
发送模块203,具体用于通过缓存服务单元的入口向多媒体客户端发送目标资源。
如图8所示,该装置还包括:清理模块206,用于通过清理服务的预设周期启动清理任务;根据清理任务清理缓存服务单元中的无效数据。
可选地,缓存服务单元包括:数据存储区域和标识存储区域,数据存储区域用于存储资源,标识存储区域用于存储资源标识以及各资源标识对应的生存时间;
清理模块206,具体用于分别读取数据存储区域、标识存储区域的资源标识;若数据存储区域中待匹配资源的标识在标识存储区域中未匹配到对应的标识,则删除待匹配资源。
如图8所示,该装置还包括:设置模块207,用于设置本节点为反亲和性模式。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
图9为本申请一实施例提供的基于Kubernetes集群的缓存处理设备的结构示意图,该基于Kubernetes集群的缓存处理设备可以集成于终端设备或者终端设备的芯片。
该基于Kubernetes集群的缓存处理设备包括:处理器501、存储介质502和总线503。
处理器501用于存储程序,处理器501调用存储介质502存储的程序,以执行上述图1-图6对应的方法实施例。具体实现方式和技术效果类似,这里不再赘述。
可选地,本申请还提供一种程序产品,例如存储介质,该存储介质上存储有计算机程序,包括程序,该程序在被处理器运行时执行上述方法对应的实施例。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于Kubernetes集群的缓存处理方法,其特征在于,应用于Kubernetes集群的节点,所述节点构建有高性能缓存服务,所述方法包括:
根据多媒体客户端的连接请求,建立所述节点与所述多媒体客户端之间的连接;
接收所述多媒体客户端通过所述连接发送的同步指令,根据所述同步指令所述节点与所述多媒体客户端进行资源同步,并将所述资源存储至缓存服务单元;
所述根据多媒体客户端的连接请求,建立与所述多媒体客户端之间的连接之前,还包括:
建立高性能缓存服务控制器;
启动所述高性能缓存服务控制器监听高性能缓存服务资源,并根据监听到的所述高性能缓存服务资源建立所述缓存服务单元;
通过连接代理建立所述缓存服务单元的对外访问地址。
2.根据权利要求1所述的方法,其特征在于,所述根据多媒体客户端的连接请求,建立与所述多媒体客户端之间的连接,包括:
通过所述连接代理接收所述多媒体客户端发送的所述连接请求;
将所述连接请求转发至缓存服务单元的入口,通过所述入口向所述高性能缓存服务控制器发送所述连接请求;
通过所述高性能缓存服务控制器建立与所述多媒体客户端之间的连接。
3.根据权利要求1所述的方法,其特征在于,所述同步指令为上传指令时,所述接收所述多媒体客户端通过所述连接发送的同步指令,根据所述同步指令与所述多媒体客户端进行资源同步,包括:
接收所述多媒体客户端通过所述连接发送的上传指令,所述上传指令包括:待上传的资源;
通过所述连接代理将所述待上传的资源转发至所述缓存服务单元的入口,通过所述入口向所述缓存服务单元发送所述待上传的资源;
在所述缓存服务单元中存储所述待上传的资源,并对存储后所述待上传的资源设置生存时间。
4.根据权利要求1所述的方法,其特征在于,所述同步指令为下载指令时,所述接收所述多媒体客户端通过所述连接发送的同步指令,根据所述同步指令与所述多媒体客户端进行资源同步,包括:
接收所述多媒体客户端通过所述连接发送的下载指令,所述下载指令包括:待下载资源的标识;
从所述缓存服务单元中请求获取所述待下载资源的标识对应的目标资源,并对所述缓存服务单元中的所述目标资源的生存时间重新计时;
通过所述缓存服务单元的入口向所述多媒体客户端发送所述目标资源。
5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
通过清理服务的预设周期启动清理任务;
根据所述清理任务清理所述缓存服务单元中的无效数据。
6.根据权利要求5所述的方法,其特征在于,所述缓存服务单元包括:数据存储区域和标识存储区域,所述数据存储区域用于存储资源,所述标识存储区域用于存储资源标识以及各所述资源标识对应的所述生存时间;
所述根据所述清理任务清理所述缓存服务单元中的无效数据,包括:
分别读取所述数据存储区域、所述标识存储区域的资源标识;
若所述数据存储区域中待匹配资源的标识在所述标识存储区域中未匹配到对应的标识,则删除所述待匹配资源。
7.根据权利要求1所述的方法,其特征在于,所述根据监听到的所述高性能缓存服务资源建立缓存服务单元之后,还包括:
设置本节点为反亲和性模式。
8.一种基于Kubernetes集群的缓存处理装置,其特征在于,应用于Kubernetes集群的节点,所述装置包括:建立模块和接收模块,其中:
所述建立模块,用于根据多媒体客户端的连接请求,建立所述节点与所述客户端之间的连接;
所述接收模块,用于接收所述多媒体客户端通过所述连接发送的同步指令,根据所述同步指令所述节点与所述多媒体客户端进行资源同步,并将所述资源存储至缓存服务单元;
所述建立模块,具体用于建立高性能缓存服务控制器;启动所述高性能缓存服务控制器监听高性能缓存服务资源,并根据监听到的所述高性能缓存服务资源建立所述缓存服务单元;通过连接代理建立所述缓存服务单元的对外访问地址。
9.一种基于Kubernetes集群的缓存处理设备,其特征在于,所述设备包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当所述基于Kubernetes集群的缓存处理运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行上述权利要求1-7任一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述权利要求1-7任一项所述的方法。
CN202110328385.4A 2021-03-26 2021-03-26 基于Kubernetes集群的缓存处理方法、装置、设备及存储介质 Active CN113031874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110328385.4A CN113031874B (zh) 2021-03-26 2021-03-26 基于Kubernetes集群的缓存处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110328385.4A CN113031874B (zh) 2021-03-26 2021-03-26 基于Kubernetes集群的缓存处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113031874A CN113031874A (zh) 2021-06-25
CN113031874B true CN113031874B (zh) 2022-05-13

Family

ID=76472628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110328385.4A Active CN113031874B (zh) 2021-03-26 2021-03-26 基于Kubernetes集群的缓存处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113031874B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113572831B (zh) * 2021-07-21 2024-03-15 重庆星环人工智能科技研究院有限公司 Kubernetes集群间的通信方法、计算机设备及介质
CN113778623B (zh) * 2021-08-26 2024-04-16 北京达佳互联信息技术有限公司 资源处理方法和装置、电子设备及存储介质
CN116629382B (zh) * 2023-05-29 2024-01-02 上海和今信息科技有限公司 基于Kubernetes的机器学习平台对接HPC集群的方法、装置、系统
CN117033000B (zh) * 2023-10-09 2024-01-05 合肥中科类脑智能技术有限公司 数据调度方法、设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156359A (zh) * 2016-07-28 2016-11-23 四川新环佳科技发展有限公司 一种云计算平台下的数据同步更新方法
CN107404514A (zh) * 2017-06-08 2017-11-28 腾讯科技(深圳)有限公司 数据处理方法和装置
CN111176803A (zh) * 2019-11-06 2020-05-19 腾讯科技(深圳)有限公司 业务处理方法、装置、服务器及存储介质
CN111405055A (zh) * 2020-03-23 2020-07-10 北京达佳互联信息技术有限公司 多集群管理方法、系统、服务器、存储介质
CN111431740A (zh) * 2020-03-16 2020-07-17 深信服科技股份有限公司 数据的传输方法、装置、设备及计算机可读存储介质
CN112148489A (zh) * 2020-09-22 2020-12-29 网易(杭州)网络有限公司 游戏资源调度方法、装置、设备及存储介质
CN112214330A (zh) * 2020-11-04 2021-01-12 腾讯科技(深圳)有限公司 集群中主节点的部署方法、装置及计算机可读存储介质
CN112256403A (zh) * 2020-11-11 2021-01-22 网易(杭州)网络有限公司 内部服务器部署方法、装置、架构、介质及设备
CN112386906A (zh) * 2020-11-19 2021-02-23 腾讯科技(深圳)有限公司 媒体资源播放方法和装置、存储介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180351851A1 (en) * 2016-12-15 2018-12-06 Nutanix, Inc. Managing validity periods for computing resource attributes

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156359A (zh) * 2016-07-28 2016-11-23 四川新环佳科技发展有限公司 一种云计算平台下的数据同步更新方法
CN107404514A (zh) * 2017-06-08 2017-11-28 腾讯科技(深圳)有限公司 数据处理方法和装置
CN111176803A (zh) * 2019-11-06 2020-05-19 腾讯科技(深圳)有限公司 业务处理方法、装置、服务器及存储介质
CN111431740A (zh) * 2020-03-16 2020-07-17 深信服科技股份有限公司 数据的传输方法、装置、设备及计算机可读存储介质
CN111405055A (zh) * 2020-03-23 2020-07-10 北京达佳互联信息技术有限公司 多集群管理方法、系统、服务器、存储介质
CN112148489A (zh) * 2020-09-22 2020-12-29 网易(杭州)网络有限公司 游戏资源调度方法、装置、设备及存储介质
CN112214330A (zh) * 2020-11-04 2021-01-12 腾讯科技(深圳)有限公司 集群中主节点的部署方法、装置及计算机可读存储介质
CN112256403A (zh) * 2020-11-11 2021-01-22 网易(杭州)网络有限公司 内部服务器部署方法、装置、架构、介质及设备
CN112386906A (zh) * 2020-11-19 2021-02-23 腾讯科技(深圳)有限公司 媒体资源播放方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113031874A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113031874B (zh) 基于Kubernetes集群的缓存处理方法、装置、设备及存储介质
Xiong et al. Extend cloud to edge with kubeedge
CN109525624B (zh) 一种容器登录方法、装置及存储介质
US10146848B2 (en) Systems and methods for autonomous, scalable, and distributed database management
US9531802B2 (en) Data transmission and reception system
CN107172187B (zh) 一种负载均衡系统和方法
US11716264B2 (en) In situ triggered function as a service within a service mesh
CN105357296A (zh) 一种Docker云平台下弹性缓存系统
CN106598692A (zh) 在逻辑卷中创建镜像文件、虚拟机启动方法及服务器
CN111352716B (zh) 一种基于大数据的任务请求方法、装置、系统及存储介质
WO2015062228A1 (zh) 一种访问共享内存的方法和装置
CN113312165B (zh) 一种任务处理方法及装置
CN113268308B (zh) 信息处理方法、装置以及存储介质
CN104243610A (zh) 一种分布式文件传输服务方法
CN111385325B (zh) 基于p2p的文件分发系统和方法
EP2871578A1 (en) Method for managing tree structure, information processing system, and program
CN112333017A (zh) 一种服务配置方法、装置、设备及存储介质
CN110196843A (zh) 一种基于容器集群的文件分发方法及容器集群
CN112468589A (zh) 数据分发方法、装置、计算机设备和存储介质
Jin et al. COAST: A cooperative storage framework for mobile transparent computing using device-to-device data sharing
CN113535371A (zh) 一种多线程异步加载资源的方法和装置
CN103685497A (zh) 一种在线存储共享方法和系统
CN107968798A (zh) 一种网管资源标签获取方法、缓存同步方法、装置及系统
CN106550002A (zh) 一种paas云托管系统及方法
CN111083182B (zh) 分布式物联网设备管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant