CN114610691A - 存储对象的获取方法、存储对象的获取装置、设备及介质 - Google Patents
存储对象的获取方法、存储对象的获取装置、设备及介质 Download PDFInfo
- Publication number
- CN114610691A CN114610691A CN202210279861.2A CN202210279861A CN114610691A CN 114610691 A CN114610691 A CN 114610691A CN 202210279861 A CN202210279861 A CN 202210279861A CN 114610691 A CN114610691 A CN 114610691A
- Authority
- CN
- China
- Prior art keywords
- storage
- storage object
- file system
- cache container
- network file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 230000015654 memory Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 abstract description 11
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供一种存储对象的获取方法、存储对象的获取装置、设备及介质。存储对象的获取方法,应用于服务端,方法包括:接收网络文件系统客户端发送的存储对象的获取请求,获取请求用于请求获取至少一个目标存储对象。从服务端的第一缓存容器内读取至少一个目标存储对象。将至少一个目标存储对象传输至网络文件系统客户端,以响应获取请求。通过本发明,能够通过服务器的缓存容器,将网络文件系统客户端所需的至少一个目标存储对象进行读取并传输至网络文件系统客户端,进而无需通过底层,便可以快速完成获取请求响应,从而提高传输效率,有助于节省时间成本。
Description
技术领域
本发明涉及云计算领域,具体涉及一种存储对象的获取方法、存储对象的获取装置、设备及介质。
背景技术
NFS(Network File System,网络文件系统)协议,是一种基于网络的文件共享协议。基于传输控制协议/网际协议(Transmission Control Protocol/Internet Protocol,TCP/IP协议)以及远程过程调用(Remote Procedure Call,RPC),网络文件系统协议的实现相对来说不依赖存储设备、操作系统、网络结构和网络传输协议等,具有广泛的适用性。
网络文件系统客户端可以通过网络文件系统协议挂载存储集群的存储桶,进而用户可以通过向网络文件系统服务端发送ls命令(一种操作系统命令)查看存储对象存储网关(Rados Gateway,RGW)服务端内存储桶内存储的存储对象和存储对象类型,并管理和处理存储桶内的存储对象,包括增、删、改、查等,具有很高的实用性。
在实际应用中,存储桶内的存储对象数量级较大,且网络文件系统客户端发送的获取请求不足以对象存储网关服务端通过网关到底层对存储桶内的存储对象进行读写处理。因此,相关技术中,为满足客户的需求,网络文件系统客户端需要通过RPC向网络文件系统服务端发送多次获取请求,以使网络文件系统服务端不断与对象存储网关服务端进行交互,通过对象存储网关服务端不断到底层提取存储桶内的存储对象。但采用该种方式获取存储对象,涉及的交互次数过多,进而导致时间成本较高。
发明内容
因此,本发明要解决的技术问题在于克服现有技术获取存储桶内对象时间成本较高的缺陷,从而提供一种存储对象的获取方法、存储对象的获取装置、设备及介质。
根据第一方面,本发明提供一种存储对象的获取方法,应用于服务端,所述方法包括:
接收网络文件系统客户端发送的存储对象的获取请求,所述获取请求用于请求获取至少一个目标存储对象;
从服务端的第一缓存容器内读取所述至少一个目标存储对象;
将所述至少一个目标存储对象传输至所述网络文件系统客户端,以响应所述获取请求。
在该方式中,能够通过服务器的缓存容器,将网络文件系统客户端所需的至少一个目标存储对象进行读取并传输至网络文件系统客户端,进而无需通过底层,便可以快速完成获取请求响应,从而提高传输效率,有助于节省时间成本。
结合第一方面,在第一方面的第一实施例中,所述从服务端的第一缓存容器内读取所述至少一个目标存储对象,包括:
根据首次接收到所述获取请求,创建所述第一缓存容器;
从服务端的存储桶内,调取预设数量的待读取存储对象;所述预设数量的待读取存储对象包括所述至少一个目标存储对象;
将所述预设数量的待读取存储对象缓存至所述第一缓存容器内;
从所述第一缓存容器内的所述预设数量的存储对象中,读取所述至少一个目标存储对象。
结合第一方面的第一实施例,在第一方面的第二实施例中,所述将所述预设数量的待读取存储对象缓存至所述第一缓存容器内,包括:
根据每一个待读取存储对象从所述存储桶内调取的先后顺序,确定每一个待读取存储对象缓存至所述第一缓存容器内的存储位置。
结合第一方面,在第一方面的第三实施例中,所述方法还包括:
删除所述至少一个目标存储对象在所述第一缓存容器内的存储数据;
若所述第一缓存容器内的存储对象的剩余存储数量少于或者等于指定数量阈值,则从底层内置的存储桶内,调取预设数量的待读取存储对象;
将所述预设数量的待读取存储对象缓存至所述第一缓存容器内,作为所述第一缓存容器内新的存储对象。
在该方式中,服务器能够根据第一缓存容器内存储对象的剩余存储数量,确定是否从存储桶内读取预设数量的待读取存储对象,并将其缓存至第一缓存容器内,进而使第一缓存容器始终有充足的存储对象以响应网络文件系统客户端的获取请求,从而有助于保障网络文件系统客户端的每一次获取请求均能够顺利进行,有利于提升用户的使用体验。
结合第一方面,在第一方面的第四实施例中,所述将所述至少一个目标存储对象传输至所述网络文件系统客户端,包括:
将所述至少一个目标存储对象传输至所述网络文件系统客户端内预置的第二缓存容器内。
结合第一方面的第四实施例,在第一方面的第五实施例中,所述第二缓存容器为所述网络文件系统客户端首次发送所述获取请求时创建的缓存容器。
结合第一方面,在第一方面的第六实施例中,所述服务端包括网络文件系统服务端或者对象存储网关服务端。
根据第二方面,本发明还提供一种存储对象的获取装置,所述装置包括:
接收单元,用于接收网络文件系统客户端发送的存储对象的获取请求,所述获取请求用于请求获取至少一个目标存储对象;
获取单元,用于从服务端的第一缓存容器内读取所述至少一个目标存储对象;
传输单元,用于将所述至少一个目标存储对象传输至所述网络文件系统客户端,以响应所述获取请求。
结合第二方面,在第二方面的第一实施例中,所述获取单元包括:
容器创建单元,用于根据首次接收到所述获取请求,创建所述第一缓存容器;
第一获取子单元,用于从服务端的存储桶内,调取预设数量的待读取存储对象;所述预设数量的待读取存储对象包括所述至少一个目标存储对象;
第一缓存单元,用于将所述预设数量的待读取存储对象缓存至所述第一缓存容器内;
第二获取子单元,用于从所述第一缓存容器内的所述预设数量的存储对象中,读取所述至少一个目标存储对象。
结合第二方面的第一实施例,在第二方面的第二实施例中,所述第一缓存单元包括:
第一缓存子单元,用于根据每一个待读取存储对象从所述存储桶内调取的先后顺序,确定每一个待读取存储对象缓存至所述第一缓存容器内的存储位置。
结合第二方面,在第二方面的第三实施例中,所述装置还包括:
删除单元,用于删除所述至少一个目标存储对象在所述第一缓存容器内的存储数据;
调度单元,用于若所述第一缓存容器内的存储对象的剩余存储数量少于或者等于指定数量阈值,则从底层内置的存储桶内,调取预设数量的待读取存储对象;
第二缓存单元,用于将所述预设数量的待读取存储对象缓存至所述第一缓存容器内,作为所述第一缓存容器内新的存储对象。
结合第二方面,在第二方面的第四实施例中,所述传输单元包括:
传输子单元,用于将所述至少一个目标存储对象传输至所述网络文件系统客户端内预置的第二缓存容器内。
结合第二方面的第四实施例,在第二方面的第五实施例中,所述第二缓存容器为所述网络文件系统客户端首次发送所述获取请求时创建的缓存容器。
结合第二方面,在第二方面的第六实施例中,所述服务端包括网络文件系统服务端或者对象存储网关服务端。
根据第三方面,本发明实施方式还提供一种电子设备,包括存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面及其可选实施方式中任一项的存储对象的获取方法。
根据第四方面,本发明实施方式还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行第一方面及其可选实施方式中任一项的存储对象的获取方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例提出的一种存储对象的获取方法的流程图。
图2是根据一示例性实施例提出的另一种存储对象的获取方法的流程图。
图3是根据一示例性实施例提出的一种存储对象的获取装置的结构框图。
图4是根据一示例性实施例提出的一种计算机设备的硬件结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中,当网络文件系统客户端需要通过网络文件系统协议对存储集群的存储桶中的存储对象进行列举操作时,需要网络文件系统客户端基于RPC所提供的访问端口向网络文件系统服务端发送获取请求。网络文件系统服务端根据接收到的请求进行响应,通过对象存储网关服务端从底层读取存储桶内的存储对象,进而将读取的对象发送至网络文件系统客户端,以完成获取请求的响应。
但由于存储桶内的存储对象的数据数量较大,网络文件系统客户端所发送的请求不足以将所需的存储对象全部获取,进而导致网络文件系统客户端需要不断地向网络文件系统服务端发送获取请求,网络文件系统服务端需要不断通过对象存储网关服务端从底层读取存储桶内的存储对象,进而导致与底层之间的交互过于频繁,获取存储对象的时间成本较高。
为解决上述问题,本发明实施例中提供一种存储对象的获取方法,用于电子设备中,需要说明的是,其执行主体可以是存储对象的获取装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为电子设备的部分或者全部,其中,该电子设备可以是终端或客户端或服务器,服务器可以是一台服务器,也可以为由多台服务器组成的服务器集群,本申请实施例中的终端可以是智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬件设备。下述方法实施例中,均以执行主体是服务器为例来进行说明。
在本实施例中的服务器,能够基于网络文件系统协议对网络文件系统客户端所发送的获取请求进行相关处理,进而为网络文件系统客户端提供所需的目标存储对象。通过本发明所提供的存储对象的获取方法,当服务器接收到网络文件系统客户端所发送的获取请求后,能够从该服务器的缓存容器中将网络文件系统客户端所需的至少一个目标存储对象进行读取并传输至网络文件系统客户端,进而无需通过底层,便可以快速完成获取请求响应,从而提高传输效率,有助于节省时间成本。
图1是根据一示例性实施例提出的一种存储对象的获取方法的流程图。如图1所示,存储对象的获取方法包括如下步骤S101至步骤S103。
在步骤S101中,接收网络文件系统客户端发送的存储对象的获取请求。
在本发明实施例中,获取请求用于请求获取至少一个目标存储对象。在一例中,获取请求可以是网络文件系统客户端的用户通过ls命令所下发的请求。其中,ls命令是一种操作系统命令,能够对存储桶内的存储对象和存储对象类型进行查看、管理和操作。
在步骤S102中,从服务端的第一缓存容器内读取至少一个目标存储对象。
在本发明实施例中,第一缓存容器是预先创建在服务端中的缓存容器,用于缓存挂载桶内的存储对象。在该第一缓存容器内预先存储多个存储对象,进而当服务器需要向网络文件系统客户端提供缓存图像时,则可以从该第一缓存容器中读取网络文件系统客户端所需的至少一个目标存储对象。
在一实施例中,服务端可以包括网络文件系统服务端或者对象存储网关服务端。若第一缓存容器为网络文件系统服务端内的缓存容器,则当网络文件系统服务端接收到获取请求,通过对该获取请求进行处理,确定网络文件系统所需的至少一个目标存储对象后,便可以直接从网络文件系统服务端内第一缓存容器内读取至少一个目标存储对象,进而无需将处理后的获取请求发送至对象存储网关服务端,从而有助于缩短网络文件系统服务端的应答时间,降低时间成本,提高目标存储对象的获取效率。若第一缓存容器为对象存储网关服务端内的缓存容器,则当网络文件系统服务端将处理后的获取请求发送至对象存储网关服务端后,对象存储网关服务端根据接收到的处理后的获取请求可以直接从第一缓存容器内读取至少一个目标存储对象,进而无需通过底层读取存储桶内的存储对象,有助于较少与底层之间的交互访问次数,从而提高目标存储对象的获取效率,节省时间成本。
在步骤S103中,将至少一个目标存储对象传输至网络文件系统客户端,以响应获取请求。
在本发明实施例中,将读取到目标存储对象传输至网络文件系统客户端,以使网络文件系统客户端得到的所需的目标存储对象。
在一示例中,可以是将目标存储对象传输至网络文件系统客户端内预置的第二缓存容器内。第二缓存容器是预先创建在网络文件系统客户端内的缓存容器,用于预先缓存多个存储对象,以便网络文件系统客户端需要目标存储对象时,无需向网络文件系统服务端发送获取请求,便可以通过该第二缓存容器中进行快速获取,进而有效降低时间成本,提高存储对象的获取效率。并且,通过第二缓存容器获取目标存储对象,有助于避免由于网络波动问题,而影响网络文件系统客户端、网络文件系统服务端和对象存储网关服务端相互之间的目标存储对象的传输,进而有助于避免难以预料的错误发生,从而有助于降低维护成本。
在另一示例中,第二缓存容器为网络文件系统客户端首次发送获取请求时创建的缓存容器。即,当网络文件系统客户端启动后,第一次向网络文件系统服务端发送获取请求的同时,在自身内部创建第二缓存容器,以便接受服务端发送的至少一个目标存储对象。在一例中,获取请求可以为获取多个目标存储对象的请求,其中,该多个目标存储对象可以包括网络文件系统客户端当前所需的存储对象,也可以包括用于预先缓存的存储对象。
通过上述实施例,能够通过服务器的缓存容器,将网络文件系统客户端所需的至少一个目标存储对象进行读取并传输至网络文件系统客户端,进而无需通过底层,便可以快速完成获取请求响应,从而提高传输效率,有助于节省时间成本。
在一实施例中,服务器中的第一缓存容器是在首次接受到获取请求时所创建的。根据接收到的获取请求,从存储桶内调取预设数量的待读取存储对象。其中,预设数量的待读取存储对象包括至少一个目标存储对象。将该待读取存储对象缓存至第一缓存容器内,以便后续再次接收到获取请求时,可以直接通过第一缓存容器将所请求的目标存储对象进行读取,进而有助于减少与底层之间的交互次数。
在另一实施例中,将预设数量的待读取存储对象缓存至第一缓存容器时,是根据每一个待读取存储对象从存储桶内调取的先后顺序,分别确定每一个待读取存储对象缓存至第一缓存容器内的存储位置,进而有助于有序将待读取存储对象有序的存储至第一缓存容器内,避免存储换乱的情况发生。
图2是根据一示例性实施例提出的另一种存储对象的获取方法的流程图。如图2所示,存储对象的获取方法包括如下步骤。
在步骤S201中,接收网络文件系统客户端发送的存储对象的获取请求。
在步骤S202中,从服务端的第一缓存容器内读取至少一个目标存储对象。
在步骤S203中,将至少一个目标存储对象传输至网络文件系统客户端,以响应获取请求。
在步骤S204中,删除至少一个目标存储对象在第一缓存容器内的存储数据。
在本发明实施例中,由于至少一个目标存储对象已经从第一缓存容器内取出,因此,为避免干扰第一缓存容器已读取的目标存储对象继续占用第一缓存容器内的存储数据,则将已读取的目标存储对象在第一缓存容器内的存储数据进行删除,进而避免后续无效读取目标存储对象的情况发生,从而提高目标存储对象读取到有效性和准确性。
在步骤S205中,若第一缓存容器内的存储对象的剩余存储数量少于或者等于指定数量阈值,则从底层内置的存储桶内,调取预设数量的待读取存储对象。
在本发明实施例中,指定数量阈值可以理解为是第一缓存容器内的存储对象的剩余存储数量能够满足获取请求的最小剩余存储数量。若第一缓存容器内的存储对象的剩余数量少于或者等于指定数量阈值,则表征第一缓存容器内的存储对象的剩余存储数量已经不足,无法为网络文件系统客户端下一次所发送的获取请求提供所需的目标存储对象。因此,为便于顺利响应下一次获取请求,则从底层内置的存储桶内,调取预设数量的待读取存储对象,以便将其缓存至第一缓存容器内,满足网络文件系统客户端的下一次获取请求。
在步骤S206中,将预设数量的待读取存储对象缓存至第一缓存容器内,作为第一缓存容器内新的存储对象。
通过上述实施例,服务器能够根据第一缓存容器内存储对象的剩余存储数量,确定是否从存储桶内读取预设数量的待读取存储对象,并将其缓存至第一缓存容器内,进而使第一缓存容器始终有充足的存储对象以响应网络文件系统客户端的获取请求,从而有助于保障网络文件系统客户端的每一次获取请求均能够顺利进行,有利于提升用户的使用体验。
在一实施例中,可以通过在服务器的内存中添加全局变量参数(map()),建立待读取存储对象与第一缓存容器之间的对应关系。即,将待读取存储对象根据先后顺序从存储桶内读取后,将待读取存储对象缓存至第一缓存容器内的存储位置作为该待读取存储对象对应全局变量参数的键,记为pos。将待读取存储对象的对象名以及对象长度哈希得到的结果作为该待读取存储对象对应全局变量参数的值,记为off,用于标识该待读取存储对象。基于建立待读取存储对象与第一缓存容器之间的对应关系的构建方式,在第二缓存容器内,采用相同的结构的构建方式,建立目标存储对象与第二缓冲容器之间的对应关系,进而当接收到服务传输的目标存储对象时,便可以将获取的目标存储对象与第二缓存容器快速建立对应关系,以便后续调用时,能够从第二缓存容器内快速获取所需的目标存储对象。
在一实施场景中,网络文件系统客户端获取目标存储对象的获取过程可以如下:
网络文件系统客户端在进行挂载桶的列举操作时,向网络文件系统服务端发送的获取请求中包括目标存储对象的off值。若该获取请求为首次发送的请求,则网络文件系统服务端通过对象存储网关服务端从底层中读取预设数量(10000个)的待读取存储对象缓存至第一缓存容器内。其中,第一缓存容器是对象存储网关服务端接收到该获取请求时所创建的缓存容器。在将10000个待读取存储对象缓存至第一缓存容器内的过程中,分别确定每一个待读取存储对象的off和pos,并存入至对象存储网关服务端内存中的map()中,建立每一个待读取存储对象与第一缓存容器之间的对应关系。将10000个待读取存储对象缓存至第一缓存容器后,第一缓存容器内便存在10000个存储对象,进而将获取请求中网络文件系统客户端所请求的至少一个目标存储对象传输至网络文件系统客户端的第二缓存容器内,同时将该至少一个目标存储对象在第一缓存容器内的缓存数据进行删除。其中,第二缓存容器是在网络文件系统客户端首次发送该获取请求时在其内部所创建的缓存容器。
当网络文件系统客户端再次发送获取请求时,先在其第二缓存容器内查看是否存在所需的目标存储对象。若第二缓存容器内存在该目标存储对象,则从第二缓存容器内获取该目标存储对象,进而无需通过服务端便可以快速获取所需的目标存储对象。并且,对象存储网关服务端可以根据网络文件系统客户端缓存map的尾部元素的off映射到第一缓存容器中对应的存储对象,由于对象存储网关服务端从底层读取数据采用有序ls命令读取,故map尾部元素可作为下一次从第一缓存容器内读取目标存储对象的头部元素。若第二缓存容器内不存在该目标存储对象,则表征第二缓存容器内的目标存储对象均已读完,接收从对象存储网关服务端传输的至少一个目标存储对象,以保障网络文件系统客户端发送的获取请求能够顺利响应。
当对象存储网关服务端将至少一个目标存储对象传输至第二缓存容器后,将删除已读取的目标存储对象在第一缓存容器内的存储数据。若第一缓存容器内的存储对象的剩余存储数量少于或者等于指定数量阈值,则从底层内置的存储桶内,再次调取10000个的待读取存储对象缓存至第一缓存容器内,作为第一缓存容器内新的存储对象,直至完成网络文件系统客户端的所有获取请求。
网络文件系统客户端在所有获取请求的回复后,统一向用户返回获取请求结果,显示存储桶列举的结果,并销毁对象存储网关服务端和网络文件系统客户端所缓存的所有存储对象。
采用上述方法,采用两端异步缓存的方式,有助于减少对象存储网关服务端与底层之间的交互次数,缩短获取目标存储对象的获取时间,进而有助于提高获取效率。并且,由于减少对象存储网关服务端与底层之间的交互次数,进而有助于减少存储集群内存储桶的响应次数,从而有助于降低集群压力。
基于相同发明构思,本发明还提供一种存储对象的获取装置。
图3是根据一示例性实施例提出的一种存储对象的获取装置的结构框图。如图3所示,存储对象的获取装置包括接收单元301、获取单元302和传输单元303。
接收单元301,用于接收网络文件系统客户端发送的存储对象的获取请求,获取请求用于请求获取至少一个目标存储对象;
获取单元302,用于从服务端的第一缓存容器内读取至少一个目标存储对象;
传输单元303,用于将至少一个目标存储对象传输至网络文件系统客户端,以响应获取请求。
在一实施例中,获取单元302包括:容器创建单元,用于根据首次接收到获取请求,创建第一缓存容器。第一获取子单元,用于从服务端的存储桶内,调取预设数量的待读取存储对象;预设数量的待读取存储对象包括至少一个目标存储对象。第一缓存单元,用于将预设数量的待读取存储对象缓存至第一缓存容器内。第二获取子单元,用于从第一缓存容器内的预设数量的存储对象中,读取至少一个目标存储对象。
在另一实施例中,第一缓存单元包括:第一缓存子单元,用于根据每一个待读取存储对象从存储桶内调取的先后顺序,确定每一个待读取存储对象缓存至第一缓存容器内的存储位置。
在又一实施例中,装置还包括:删除单元,用于删除至少一个目标存储对象在第一缓存容器内的存储数据。调度单元,用于若第一缓存容器内的存储对象的剩余存储数量少于或者等于指定数量阈值,则从底层内置的存储桶内,调取预设数量的待读取存储对象。第二缓存单元,用于将预设数量的待读取存储对象缓存至第一缓存容器内,作为第一缓存容器内新的存储对象。
在又一实施例中,传输单元303包括:传输子单元,用于将至少一个目标存储对象传输至网络文件系统客户端内预置的第二缓存容器内。
在又一实施例中,第二缓存容器为网络文件系统客户端首次发送获取请求时创建的缓存容器。
在又一实施例中,服务端包括网络文件系统服务端或者对象存储网关服务端。
上述存储对象的获取装置的具体限定以及有益效果可以参见上文中对于存储对象的获取方法的限定,在此不再赘述。上述各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图4是根据一示例性实施例提出的一种计算机设备的硬件结构示意图。如图4所示,该设备包括一个或多个处理器410以及存储器420,存储器420包括持久内存、易失内存和硬盘,图4中以一个处理器410为例。该设备还可以包括:输入装置430和输出装置440。
处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接,图4中以通过总线连接为例。
处理器410可以为中央处理器(Central Processing Unit,CPU)。处理器410还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器420作为一种非暂态计算机可读存储介质,包括持久内存、易失内存和硬盘,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的业务管理方法对应的程序指令/模块。处理器410通过运行存储在存储器420中的非暂态软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述任意一种存储对象的获取方法。
存储器420可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据、需要使用的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器420可选包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至数据处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
一个或者多个模块存储在存储器420中,当被一个或者多个处理器410执行时,执行如图1-图2所示的方法。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,具体可参见如图1-图2所示的实施例中的相关描述。
本发明实施例还提供了一种非暂态计算机存储介质,计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的认证方法。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(RandomAccess Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种存储对象的获取方法,其特征在于,应用于服务端,所述方法包括:
接收网络文件系统客户端发送的存储对象的获取请求,所述获取请求用于请求获取至少一个目标存储对象;
从服务端的第一缓存容器内读取所述至少一个目标存储对象;
将所述至少一个目标存储对象传输至所述网络文件系统客户端,以响应所述获取请求。
2.根据权利要求1所述的方法,其特征在于,所述从服务端的第一缓存容器内读取所述至少一个目标存储对象,包括:
根据首次接收到所述获取请求,创建所述第一缓存容器;
从服务端的存储桶内,调取预设数量的待读取存储对象;所述预设数量的待读取存储对象包括所述至少一个目标存储对象;
将所述预设数量的待读取存储对象缓存至所述第一缓存容器内;
从所述第一缓存容器内的所述预设数量的存储对象中,读取所述至少一个目标存储对象。
3.根据权利要求2所述的方法,其特征在于,所述将所述预设数量的待读取存储对象缓存至所述第一缓存容器内,包括:
根据每一个待读取存储对象从所述存储桶内调取的先后顺序,确定每一个待读取存储对象缓存至所述第一缓存容器内的存储位置。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
删除所述至少一个目标存储对象在所述第一缓存容器内的存储数据;
若所述第一缓存容器内的存储对象的剩余存储数量少于或者等于指定数量阈值,则从底层内置的存储桶内,调取预设数量的待读取存储对象;
将所述预设数量的待读取存储对象缓存至所述第一缓存容器内,作为所述第一缓存容器内新的存储对象。
5.根据权利要求1所述的方法,其特征在于,所述将所述至少一个目标存储对象传输至所述网络文件系统客户端,包括:
将所述至少一个目标存储对象传输至所述网络文件系统客户端内预置的第二缓存容器内。
6.根据权利要求5所述的方法,其特征在于,所述第二缓存容器为所述网络文件系统客户端首次发送所述获取请求时创建的缓存容器。
7.根据权利要求1所述的方法,其特征在于,所述服务端包括网络文件系统服务端或者对象存储网关服务端。
8.一种存储对象的获取装置,其特征在于,所述装置包括:
接收单元,用于接收网络文件系统客户端发送的存储对象的获取请求,所述获取请求用于请求获取至少一个目标存储对象;
获取单元,用于从服务端的第一缓存容器内读取所述至少一个目标存储对象;
传输单元,用于将所述至少一个目标存储对象传输至所述网络文件系统客户端,以响应所述获取请求。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-7中任一项所述的存储对象的获取方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的存储对象的获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210279861.2A CN114610691B (zh) | 2022-03-21 | 2022-03-21 | 存储对象的获取方法、存储对象的获取装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210279861.2A CN114610691B (zh) | 2022-03-21 | 2022-03-21 | 存储对象的获取方法、存储对象的获取装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114610691A true CN114610691A (zh) | 2022-06-10 |
CN114610691B CN114610691B (zh) | 2024-01-30 |
Family
ID=81864059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210279861.2A Active CN114610691B (zh) | 2022-03-21 | 2022-03-21 | 存储对象的获取方法、存储对象的获取装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114610691B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140280465A1 (en) * | 2013-03-12 | 2014-09-18 | Pixia Corp. | Method and system for accessing data by a client from a server |
CN109040207A (zh) * | 2018-07-20 | 2018-12-18 | 广东浪潮大数据研究有限公司 | 一种访问用户态网络文件系统的方法、装置及设备 |
WO2019157929A1 (zh) * | 2018-02-13 | 2019-08-22 | 阿里巴巴集团控股有限公司 | 一种文件处理方法、装置及设备 |
CN111177079A (zh) * | 2019-12-30 | 2020-05-19 | 浪潮电子信息产业股份有限公司 | 网络文件系统数据读取方法、装置、设备、介质 |
CN112351038A (zh) * | 2020-11-09 | 2021-02-09 | 苏州浪潮智能科技有限公司 | 一种基于网络文件系统的文件请求方法、系统及介质 |
CN112637287A (zh) * | 2020-12-10 | 2021-04-09 | 北京字节跳动网络技术有限公司 | 负载均衡方法及设备 |
CN113343088A (zh) * | 2021-06-09 | 2021-09-03 | 北京奇艺世纪科技有限公司 | 数据处理方法、系统、装置、设备及存储介质 |
-
2022
- 2022-03-21 CN CN202210279861.2A patent/CN114610691B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140280465A1 (en) * | 2013-03-12 | 2014-09-18 | Pixia Corp. | Method and system for accessing data by a client from a server |
WO2019157929A1 (zh) * | 2018-02-13 | 2019-08-22 | 阿里巴巴集团控股有限公司 | 一种文件处理方法、装置及设备 |
CN109040207A (zh) * | 2018-07-20 | 2018-12-18 | 广东浪潮大数据研究有限公司 | 一种访问用户态网络文件系统的方法、装置及设备 |
CN111177079A (zh) * | 2019-12-30 | 2020-05-19 | 浪潮电子信息产业股份有限公司 | 网络文件系统数据读取方法、装置、设备、介质 |
CN112351038A (zh) * | 2020-11-09 | 2021-02-09 | 苏州浪潮智能科技有限公司 | 一种基于网络文件系统的文件请求方法、系统及介质 |
CN112637287A (zh) * | 2020-12-10 | 2021-04-09 | 北京字节跳动网络技术有限公司 | 负载均衡方法及设备 |
CN113343088A (zh) * | 2021-06-09 | 2021-09-03 | 北京奇艺世纪科技有限公司 | 数据处理方法、系统、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114610691B (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8984058B2 (en) | Pre-fetching remote resources | |
CN108629029B (zh) | 一种应用于数据仓库的数据处理方法和装置 | |
US11914881B2 (en) | Data migration method and apparatus | |
CN111200657B (zh) | 一种管理资源状态信息的方法和资源下载系统 | |
CN107273213B (zh) | 一种计算控制方法、网卡及电子设备 | |
CN114153754B (zh) | 用于计算集群的数据传输方法、装置及存储介质 | |
US20170153909A1 (en) | Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine | |
CN113419824A (zh) | 数据处理方法、装置、系统及计算机存储介质 | |
CN113961510B (zh) | 一种文件处理方法、装置、设备及存储介质 | |
CN112671892B (zh) | 数据传输方法、装置、电子设备及介质 | |
CN111597213A (zh) | 一种缓存方法、软件服务器及存储介质 | |
US10938773B2 (en) | Method and apparatus for synchronizing contact information and medium | |
CN109150927B (zh) | 用于文件存储系统的文件下发方法和装置 | |
CN113364887A (zh) | 一种基于ftp的文件下载方法、代理服务器和系统 | |
CN110784534B (zh) | 数据服务方法、装置、系统及电子设备 | |
CN117082073A (zh) | 文件存储方法、文件下载方法、装置、设备及存储介质 | |
CN114610691B (zh) | 存储对象的获取方法、存储对象的获取装置、设备及介质 | |
US10949353B1 (en) | Data iterator with automatic caching | |
CN114785770A (zh) | 镜像层文件发送方法、装置、电子设备和计算机可读介质 | |
CN115587119A (zh) | 一种数据库查询方法、装置、电子设备及存储介质 | |
CN114064100A (zh) | 配置信息处理方法、系统和装置 | |
CN115269530A (zh) | 数据同步方法、电子设备及计算机可读存储介质 | |
CN110311952B (zh) | 一种http限速方法和装置 | |
CN113342837B (zh) | 数据发送方法、装置、电子设备和计算机可读介质 | |
CN116009920A (zh) | 应用更新包确定方法、装置、电子设备、存储介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |