CN111125031B - 一种对象存储方法、装置、电子设备和存储介质 - Google Patents

一种对象存储方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111125031B
CN111125031B CN201911350173.5A CN201911350173A CN111125031B CN 111125031 B CN111125031 B CN 111125031B CN 201911350173 A CN201911350173 A CN 201911350173A CN 111125031 B CN111125031 B CN 111125031B
Authority
CN
China
Prior art keywords
layer
module
data blocks
storage
mapping relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911350173.5A
Other languages
English (en)
Other versions
CN111125031A (zh
Inventor
邓练兵
薛剑
陈金鹿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN201911350173.5A priority Critical patent/CN111125031B/zh
Publication of CN111125031A publication Critical patent/CN111125031A/zh
Application granted granted Critical
Publication of CN111125031B publication Critical patent/CN111125031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/176Support for shared access to files; File sharing support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1847File system types specifically adapted to static storage, e.g. adapted to flash memory or SSD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种对象存储方法、装置、电子设备和存储介质,应用层接收业务系统发送的待存储数据流,并将待存储数据流封装为对象,将对象通过传输层传输至接入层;接入层接收对象,并将对象分割成多个数据块,多个数据块的大小均为预设存储空间阈值;中间层为接入层中接收的多个数据块分配存储空间,并建立多个数据块与存储空间的映射关系表;存储层根据中间层的映射关系表,将多个数据块并行存储至相应的存储空间。本申请可以有效提高数据传输效率,同时可以避免出现某些上传传输通道拥堵、而某些上传传输通道闲置的情况发生;本申请不需要计算数据的地址偏移量,以减小对象存储系统的数据计算量,可以对存储空间进行更好地、更快地管理。

Description

一种对象存储方法、装置、电子设备和存储介质
技术领域
本申请涉及存储技术领域,特别是涉及一种对象存储方法、装置、电子设备和存储介质。
背景技术
智慧城市是把新一代信息技术充分运用在城市中的各行各业,并基于知识社会的城市信息化高级形态,实现信息化、工业化,与城镇化深度融合,有助于提高城镇化质量,实现精细化和动态管理,并提升城市管理成效和改善市民生活质量。
智慧城市需要覆盖一个城市中的所有领域,包括城市管理、社会民生、资源环境、产业经济、特色服务等各个领域,而每一个领域又包括了各类层级明显的多个业务系统。可见,一个智慧城市的数据量是庞大的。
面对庞大的数据量,相关技术中提供了对象存储服务,将对象存储的对象存储在文件系统中,使用对象存储客户端访问对象存储服务,向文件系统上传或下载对象。而相关技术中提供的对象存储服务中,由于将存储管理分散至各个智能化的文件存储设备,导致所使用的对象存储软件开发难度较大、开发成本较高。
发明内容
本申请提供一种对象存储方法、装置、电子设备和存储介质,以解决上述问题。
本申请第一方面提供了一种对象存储方法,应用于对象存储系统,所述对象存储系统包括应用层、传输层、接入层、中间层以及存储层;
所述方法包括:
所述应用层接收业务系统发送的待存储数据流,并将所述待存储数据流封装为对象,将所述对象通过传输层传输至所述接入层;
所述接入层接收所述对象,并将所述对象分割成多个数据块,所述多个数据块的大小均为预设存储空间阈值;
所述中间层为所述接入层中接收的所述多个数据块分配存储空间,并建立所述多个数据块与所述存储空间的映射关系表;
所述存储层根据所述中间层的映射关系表,将所述多个数据块并行存储至相应的存储空间。
进一步地,所述方法还包括:
所述应用层建立所述对象与所述业务系统的映射关系表;
所述中间层将建立的所述多个数据块与所述存储空间的映射关系表发送至所述应用层;
所述应用层接收所述多个数据块与所述存储空间的映射关系表,并将所述对象与所述业务系统的映射关系表,与所述多个数据块与所述存储空间的映射关系表关联。
进一步地,所述应用层将所述待存储数据流封装为对象之后,所述方法还包括:
所述应用层查询所述对象与所述业务系统的映射关系表,确定所述对象与所述业务系统的映射关系表中是否存在与所述对象相同的原始对象;
如果所述对象与所述业务系统的映射关系表中存在与所述对象相同的原始对象,则为所述原始对象和所述对象分配版本号,并记录在所述对象与所述业务系统的映射关系表中。
进一步地,所述传输层包括负载均衡层和多个上传传输通道;
将所述对象通过传输层传输至所述接入层,具体包括:
所述应用层将所述对象传输至所述负载均衡层;
所述负载均衡层接收所述对象,并从所述多个上传传输通道中选择传输任务量最小的上传传输通道,将所述对象通过所述多个上传传输通道中传输任务量最小的上传传输通道,传输至所述接入层。
本申请第二方面提供了一种对象存储装置,应用于对象存储系统,所述对象存储系统包括应用层、传输层、接入层、中间层以及存储层;
所述装置包括:
所述应用层包括第一接收模块、封装模块以及第一传输模块,所述第一接收模块用于接收业务系统发送的待存储数据流;所述封装模块用于将所述待存储数据流封装为对象;所述第一传输模块用于将所述对象通过传输层传输至所述接入层;
所述接入层包括第二接收模块和分割模块,所述第二接收模块用于接收所述对象所述分割模块用于将所述对象分割成多个数据块,所述多个数据块的大小均为预设存储空间阈值;
所述中间层包括第一分配模块和第一建立模块,所述第一分配模块用于为所述接入层中接收的所述多个数据块分配存储空间;所述第一建立模块用于建立所述多个数据块与所述存储空间的映射关系表;
所述存储层包括存储模块,所述存储模块用于根据所述中间层的映射关系表,将所述多个数据块并行存储至相应的存储空间。
进一步地,所述装置还包括:
所述应用层包括第二建立模块,所述第二建立模块用于建立所述对象与所述业务系统的映射关系表;
所述中间层包括发送模块,所述发送模块用于将建立的所述多个数据块与所述存储空间的映射关系表发送至所述应用层;
所述应用层包括第三接收模块和关联模块,所述第三接收模块用于接收所述多个数据块与所述存储空间的映射关系表;所述关联模块用于将所述对象与所述业务系统的映射关系表,与所述多个数据块与所述存储空间的映射关系表关联。
进一步地,所述装置还包括:
所述应用层包括查询模块,所述查询模块用于查询所述对象与所述业务系统的映射关系表,确定所述对象与所述业务系统的映射关系表中是否存在与所述对象相同的原始对象;
所述应用层包括第二分配模块,所述第二分配模块用于当所述对象与所述业务系统的映射关系表中存在与所述对象相同的原始对象时,则为所述原始对象和所述对象分配版本号,并记录在所述对象与所述业务系统的映射关系表中。
进一步地,所述传输层包括负载均衡层和多个上传传输通道;
将所述对象通过传输层传输至所述接入层,具体包括:
所述应用层包括第二传输模块,所述第二传输模块用于将所述对象传输至所述负载均衡层;
所述负载均衡层包括第四接收模块和选择模块,所述第四接收模块用于接收所述对象所述选择模块用于从所述多个上传传输通道中选择传输任务量最小的上传传输通道,将所述对象通过所述多个上传传输通道中传输任务量最小的上传传输通道,传输至所述接入层。
本申请第三方面提供了一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行以实现所述的一种对象存储方法。
本申请第四方面提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行实现所述的一种对象存储方法。
与现有技术相比,本申请包括以下优点:
本申请通过在传输层设置负载均衡层和多个上传传输通道,可以有效提高数据传输效率,同时可以避免出现某些上传传输通道拥堵、而某些上传传输通道闲置的情况发生;本申请将存储空间划分为大小相同的空间块,将接入层接收的对象也划分为与空间块大小相同的数据块,将数据块输入数据块中就完成了数据的存储,因此,本申请不需要计算数据的地址偏移量,以减小对象存储系统的数据计算量,这样可以使得存储空间更规则,可以对存储空间进行更好地、更快地管理;此外,当删除某些对象的数据块之后,所留下的存储空间也是规则的,当需要存储新对象的数据块,只需要将数据块输入至相应的空间块即可,并不需要对数据块进行再次拆分或者对存储空间进行调整。本申请设置中间层,使用中间层为接入层中接收的多个数据块分配存储空间,并建立所述多个数据块与所述存储空间的映射关系表,即通过中间层对存储空间和接收的数据块进行匹配,可以承担存储层的各个智能化的文件存储设备对数据块的部分处理压力。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
为了更清楚地说明本申请各个实施例的技术方案,下面将对本申请各个实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种对象存储方法的步骤流程图;
图2是本申请提供的对象存储系统的结构示意图;
图3是本申请提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
智慧城市的目标在于,以数据集中和共享为途径,建设大数据中心,推进技术融合、业务融合、数据融合,实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务。
智慧城市所涉及的跨领域、垮系统、垮部门的数据存储,所面临的是领域广、系统多、部门多的应用环境。例如,领域包括城市管理、社会民生、资源环境、产业经济、特色服务等各个领域,更具体地,城市管理领域的业务系统可以是政务、交通、城管、平安、消防等业务系统;社会民生领域的业务系统可以是医疗、社区、社保、教育等业务系统;资源环境领域的业务系统可以是能源、环保、生态等业务系统;产业经济领域的业务系统可以是旅游、金融、口岸、园区、企业服务等业务系统;特色服务领域的业务系统可以是城市生态服务平台、博士后管理服务平台、科技企业管理服务平台、自用企业管理平台等业务系统。更具体地,在各个业务系统还包括了各个部门。
而在上述涉及的各个业务系统中又涉及了大量的非结构化数据,例如视频和图片,为了能够对非结构化数据存储,需要使用对象存储服务技术。相关技术中所提供的对象服务存储技术,是将存储管理分散至各个智能化的文件存储设备,所涉及的文件存储设备数量较多,导致其软件开发难度较大、开发周期较长,成本较高。
本申请为了解决上述技术问题,提供了如图1所示的,一种对象存储方法,应用于如图2所示的对象存储系统,所述对象存储系统包括应用层、传输层、接入层、中间层以及存储层;
所述方法包括:
步骤S11,所述应用层接收业务系统发送的待存储数据流,并将所述待存储数据流封装为对象,将所述对象通过传输层传输至所述接入层;
由于所涉及的业务系统数量较多,应用层可以根据不同的业务系统设置不同的系统编号,以方便管理。
应用层接收业务系统发送的待存储数据流,先确定待存储数据流的属性数据,包括待存储数据流的大小、发送至应用层的时间、待存储数据流的数据类型等基本信息,再将属性数据与待存储数据流打包,封装为对象。
由于应用层所面对的业务系统的数量众多,应用层的数据吞吐量较大,为了能够缓解传输层的压力,本申请的所述传输层包括负载均衡层和多个上传传输通道;其中,负载均衡层用于监控多个上传传输通道的传输任务量;而多个上传传输通道则用于传输应用层封装得到的对象。
将所述对象通过传输层传输至所述接入层,具体包括:
所述应用层将所述对象传输至所述负载均衡层;
所述负载均衡层接收所述对象,并从所述多个上传传输通道中选择传输任务量最小的上传传输通道,将所述对象通过所述多个上传传输通道中传输任务量最小的上传传输通道,传输至所述接入层。
负载均衡层监控多个上传传输通道的传输任务量,确定多个上传传输通道中传输任务量最小的上传传输通道,将需要传输的对象通过多个上传传输通道中传输任务量最小的上传传输通道进行传输。一方面,可以提供多个上传传输通道,以分散传输层的数据传输压力,另一方面,可以均衡各个上传传输通道的传输任务量,避免某些上传传输通道的任务繁忙,而某些上传传输通道被闲置的情况发生,这样就可以有效提高传输层的传输效率。
步骤S12,所述接入层接收所述对象,并将所述对象分割成多个数据块,所述多个数据块的大小均为预设存储空间阈值;
存储空间被分为由多个具有预设存储空间阈值大小的空间块。接入层将接收的对象也按照预设存储空间阈值大小被分解为多个数据块,在存储时,只需要将数据块输入至相应的空间块即可,而不需要计算数据的地址偏移量,以减小对象存储系统的数据计算量,这样可以使得存储空间更规则,可以对存储空间进行更好地、更快地管理。当删除某些对象的数据块之后,所留下的存储空间也是规则的,当需要存储新对象的数据块,只需要将数据块输入至相应的空间块即可,并不需要对数据块进行再次拆分或者对存储空间进行调整。
步骤S13,所述中间层为所述接入层中接收的所述多个数据块分配存储空间,并建立所述多个数据块与所述存储空间的映射关系表;
中间层监控存储层中的空间块,同时维护有存储层中已经存在的数据块与空间块的映射关系,以及存储层中还没有存入数据的空间块。中间层仅仅是为数据库分配存储空间以及监控存储层的空间块。
应用层面对的是对象,中间层面对的则是数据块,中间层监控接入层,当监控到接入层将对象分解为多个数据块之后,则为多个数据块分配存储空间,该存储空间是指由多个还未存入数据的空间块构成的存储空间,而这多个空间块的数量与多个数据块的数量是匹配的。该存储空间中的多个空间块可以是连续的,也可以是不连续的,还可以是分布在不同存储设备的空间块。
步骤S14,所述存储层根据所述中间层的映射关系表,将所述多个数据块并行存储至相应的存储空间。
当中间层为数据库分配好存储空间后,存储层则根据中间层的映射关系表,将多个数据块输入至相应的存储空间,即将多个数据块输入至相应的空间块中。
具体地,所述方法还包括:
所述应用层建立所述对象与所述业务系统的映射关系表;
所述中间层将建立的所述多个数据块与所述存储空间的映射关系表发送至所述应用层;
所述应用层接收所述多个数据块与所述存储空间的映射关系表,并将所述对象与所述业务系统的映射关系表,与所述多个数据块与所述存储空间的映射关系表关联。
应用层建立对象与业务系统的映射关系表,同时,中间层将建立的所述多个数据块与所述存储空间的映射关系表发送至所述应用层也发送至应用层,并将两个映射关系表关联,当业务系统需要查询或者下载某个对象时,可以通过查询这两个关联的映射关系表,快速确定存储所需要查找的对象的空间块,进而提高对象存储系统在查询或下载对象的速度。即,业务系统在需要下载或查询某个对象的时候,只需要访问应用层就能够实现目的,而不需要再依次访问应用层和中间层,从而进一步的提高查询或下载的速度。
具体地,所述应用层将所述待存储数据流封装为对象之后,所述方法还包括:
所述应用层查询所述对象与所述业务系统的映射关系表,确定所述对象与所述业务系统的映射关系表中是否存在与所述对象相同的原始对象;
如果所述对象与所述业务系统的映射关系表中存在与所述对象相同的原始对象,则为所述原始对象和所述对象分配版本号,并记录在所述对象与所述业务系统的映射关系表中。
相关技术中提供的对象存储系统,在对已经存储的对象进行更改之后,直接将原始对象覆盖,这样在对对象更改之后,就不能再回到原始对象的内容了。为了解决这一问题,本申请在应用层将待存储数据流封装为对象之后,判断生成的对象是否已经存在在所述对象与所述业务系统的映射关系表中,如果存在,那意味着当前生成的对象是更改后的对象,为了能够保留之前的原始对象,应用层则为原始对象和当前生成的对象各自分配版本号,使得原始对象和当前生成的对象均能够存储在存储层中。当业务系统需要查询原始对象时,只需要通过应用层就能直接获得。
具体地,所述对象存储系统还可以包括对比层,在所述应用层为所述原始对象和所述对象分配版本号,并记录在所述对象与所述业务系统的映射关系表中之后,所述方法还包括:
所述接入层接收所述对象,并将所述对象分割成多个数据块,所述多个数据块的大小均为预设存储空间阈值;
所述接入层将所述对象分割得到的多个数据块发送至对比层;
同时所述接入层将所述原始对象对应的多个数据块也发送至对比层;所述对比层将所述对象的多个数据块和所述原始对象的多个数据块进行比对,确定所述对象的多个数据块和所述原始对象的多个数据块中相同的数据块和不同的数据块,将所述对象的多个数据块中与和所述原始对象的多个数据块相同的数据块删除,将所述对象的多个数据块中与和所述原始对象的多个数据块不同的数据块返回至所述接入层;
所述中间层为所述对象的多个数据块中与所述原始对象的多个数据块不同的数据块分配存储空间,并为其建立所述对象的多个数据块中与所述原始对象的多个数据块不同的数据块与所述存储空间的映射关系表;
所述存储层根据所述中间层的映射关系表,将所述不同的数据块并行存储至相应的存储空间。
例如,对象的数据块为A、B1、C、D1,而原始对象的数据块为A、B1、C、D1,可见,对象的数据块A、C和原始对象的数据块A、C相同,则只需要保存其中一份就可以了,则删除对象的数据块A、C;同时,对象的数据块B1、D1和原始对象的数据块B、D不同,则需要将对象的数据块B1、D1和原始对象的数据块B、D都保存,因此,将对象的数据块B1、D1返回至接入层,中间层为对象的数据块B1、D1分配存储空间,并建立对象的数据块B1、D1与所述存储空间的映射关系表,存储层根据映射关系表将对象的数据块B1、D1并行存储至相应的存储空间。这样可以减轻对象存储系统中数据的冗余程度,节约存储空间,提高存储空间利用率。
本申请通过在传输层设置负载均衡层和多个上传传输通道,可以有效提高数据传输效率,同时可以避免出现某些上传传输通道拥堵、而某些上传传输通道闲置的情况发生;本申请将存储空间划分为大小相同的空间块,将接入层接收的对象也划分为与空间块大小相同的数据块,将数据块输入数据块中就完成了数据的存储,因此,本申请不需要计算数据的地址偏移量,以减小对象存储系统的数据计算量,这样可以使得存储空间更规则,可以对存储空间进行更好地、更快地管理;此外,当删除某些对象的数据块之后,所留下的存储空间也是规则的,当需要存储新对象的数据块,只需要将数据块输入至相应的空间块即可,并不需要对数据块进行再次拆分或者对存储空间进行调整。本申请设置中间层,使用中间层为接入层中接收的多个数据块分配存储空间,并建立所述多个数据块与所述存储空间的映射关系表,即通过中间层对存储空间和接收的数据块进行匹配,可以承担存储层的各个智能化的文件存储设备对数据块的部分处理压力。
本申请基于同一技术构思,提供了一种对象存储装置,其特征在于,应用于对象存储系统,所述对象存储系统包括应用层、传输层、接入层、中间层以及存储层;
所述装置包括:
所述应用层包括第一接收模块、封装模块以及第一传输模块,所述第一接收模块用于接收业务系统发送的待存储数据流;所述封装模块用于将所述待存储数据流封装为对象;所述第一传输模块用于将所述对象通过传输层传输至所述接入层;
所述接入层包括第二接收模块和分割模块,所述第二接收模块用于接收所述对象所述分割模块用于将所述对象分割成多个数据块,所述多个数据块的大小均为预设存储空间阈值;
所述中间层包括第一分配模块和第一建立模块,所述第一分配模块用于为所述接入层中接收的所述多个数据块分配存储空间;所述第一建立模块用于建立所述多个数据块与所述存储空间的映射关系表;
所述存储层包括存储模块,所述存储模块用于根据所述中间层的映射关系表,将所述多个数据块并行存储至相应的存储空间。
具体地,所述装置还包括:
所述应用层包括第二建立模块,所述第二建立模块用于建立所述对象与所述业务系统的映射关系表;
所述中间层包括发送模块,所述发送模块用于将建立的所述多个数据块与所述存储空间的映射关系表发送至所述应用层;
所述应用层包括第三接收模块和关联模块,所述第三接收模块用于接收所述多个数据块与所述存储空间的映射关系表;所述关联模块用于将所述对象与所述业务系统的映射关系表,与所述多个数据块与所述存储空间的映射关系表关联。
具体地,所述装置还包括:
所述应用层包括查询模块,所述查询模块用于查询所述对象与所述业务系统的映射关系表,确定所述对象与所述业务系统的映射关系表中是否存在与所述对象相同的原始对象;
所述应用层包括第二分配模块,所述第二分配模块用于当所述对象与所述业务系统的映射关系表中存在与所述对象相同的原始对象时,则为所述原始对象和所述对象分配版本号,并记录在所述对象与所述业务系统的映射关系表中。
具体地,所述传输层包括负载均衡层和多个上传传输通道;
将所述对象通过传输层传输至所述接入层,具体包括:
所述应用层包括第二传输模块,所述第二传输模块用于将所述对象传输至所述负载均衡层;
所述负载均衡层包括第四接收模块和选择模块,所述第四接收模块用于接收所述对象,所述选择模块用于从所述多个上传传输通道中选择传输任务量最小的上传传输通道,将所述对象通过所述多个上传传输通道中传输任务量最小的上传传输通道,传输至所述接入层。
本申请还提供了如图3所示的一种电子设备,包括:
处理器31;
用于存储所述处理器31可执行指令的存储器32;
其中,所述处理器31被配置为执行以实现所述的一种对象存储方法。
本申请还提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器31执行时,使得电子设备能够执行实现所述的一种对象存储方法。
对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
以上对本申请所提供的一种对象存储方法、装置、电子设备和存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种对象存储方法,其特征在于,应用于对象存储系统,所述对象存储系统包括应用层、传输层、接入层、中间层以及存储层;
所述方法包括:
所述应用层接收业务系统发送的待存储数据流,并将所述待存储数据流封装为对象,将所述对象通过传输层传输至所述接入层;
所述接入层接收所述对象,并将所述对象分割成多个数据块,所述多个数据块的大小均为预设存储空间阈值;
所述中间层为所述接入层中接收的所述多个数据块分配存储空间,并建立所述多个数据块与所述存储空间的映射关系表;
所述存储层根据所述中间层的映射关系表,将所述多个数据块并行存储至相应的存储空间;
所述方法还包括:
所述应用层建立所述对象与所述业务系统的映射关系表;
所述中间层将建立的所述多个数据块与所述存储空间的映射关系表发送至所述应用层;
所述应用层接收所述多个数据块与所述存储空间的映射关系表,并将所述对象与所述业务系统的映射关系表,与所述多个数据块与所述存储空间的映射关系表关联。
2.根据权利要求1所述的方法,其特征在于,所述应用层将所述待存储数据流封装为对象之后,所述方法还包括:
所述应用层查询所述对象与所述业务系统的映射关系表,确定所述对象与所述业务系统的映射关系表中是否存在与所述对象相同的原始对象;
如果所述对象与所述业务系统的映射关系表中存在与所述对象相同的原始对象,则为所述原始对象和所述对象分配版本号,并记录在所述对象与所述业务系统的映射关系表中。
3.根据权利要求1所述的方法,其特征在于,所述传输层包括负载均衡层和多个上传传输通道;
将所述对象通过传输层传输至所述接入层,具体包括:
所述应用层将所述对象传输至所述负载均衡层;
所述负载均衡层接收所述对象,并从所述多个上传传输通道中选择传输任务量最小的上传传输通道,将所述对象通过所述多个上传传输通道中传输任务量最小的上传传输通道,传输至所述接入层。
4.一种对象存储装置,其特征在于,应用于对象存储系统,所述对象存储系统包括应用层、传输层、接入层、中间层以及存储层;
所述装置包括:
所述应用层包括第一接收模块、封装模块以及第一传输模块,所述第一接收模块用于接收业务系统发送的待存储数据流;所述封装模块用于将所述待存储数据流封装为对象;所述第一传输模块用于将所述对象通过传输层传输至所述接入层;
所述接入层包括第二接收模块和分割模块,所述第二接收模块用于接收所述对象,所述分割模块用于将所述对象分割成多个数据块,所述多个数据块的大小均为预设存储空间阈值;
所述中间层包括第一分配模块和第一建立模块,所述第一分配模块用于为所述接入层中接收的所述多个数据块分配存储空间;所述第一建立模块用于建立所述多个数据块与所述存储空间的映射关系表;
所述存储层包括存储模块,所述存储模块用于根据所述中间层的映射关系表,将所述多个数据块并行存储至相应的存储空间;
所述装置还包括:
所述应用层包括第二建立模块,所述第二建立模块用于建立所述对象与所述业务系统的映射关系表;
所述中间层包括发送模块,所述发送模块用于将建立的所述多个数据块与所述存储空间的映射关系表发送至所述应用层;
所述应用层包括第三接收模块和关联模块,所述第三接收模块用于接收所述多个数据块与所述存储空间的映射关系表;所述关联模块用于将所述对象与所述业务系统的映射关系表,与所述多个数据块与所述存储空间的映射关系表关联。
5.根据权利要求4所述的装置,其特征在于,所述装置还包括:
所述应用层包括查询模块,所述查询模块用于查询所述对象与所述业务系统的映射关系表,确定所述对象与所述业务系统的映射关系表中是否存在与所述对象相同的原始对象;
所述应用层包括第二分配模块,所述第二分配模块用于当所述对象与所述业务系统的映射关系表中存在与所述对象相同的原始对象时,则为所述原始对象和所述对象分配版本号,并记录在所述对象与所述业务系统的映射关系表中。
6.根据权利要求4所述的装置,其特征在于,所述传输层包括负载均衡层和多个上传传输通道;
将所述对象通过传输层传输至所述接入层,具体包括:
所述应用层包括第二传输模块,所述第二传输模块用于将所述对象传输至所述负载均衡层;
所述负载均衡层包括第四接收模块和选择模块,所述第四接收模块用于接收所述对象所述选择模块用于从所述多个上传传输通道中选择传输任务量最小的上传传输通道,将所述对象通过所述多个上传传输通道中传输任务量最小的上传传输通道,传输至所述接入层。
7.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行以实现如权利要求1至3中任一项所述的一种对象存储方法。
8.一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行实现如权利要求1至3中任一项所述的一种对象存储方法。
CN201911350173.5A 2019-12-24 2019-12-24 一种对象存储方法、装置、电子设备和存储介质 Active CN111125031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911350173.5A CN111125031B (zh) 2019-12-24 2019-12-24 一种对象存储方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911350173.5A CN111125031B (zh) 2019-12-24 2019-12-24 一种对象存储方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111125031A CN111125031A (zh) 2020-05-08
CN111125031B true CN111125031B (zh) 2020-10-23

Family

ID=70502039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911350173.5A Active CN111125031B (zh) 2019-12-24 2019-12-24 一种对象存储方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111125031B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164172A (zh) * 2013-03-11 2013-06-19 华为技术有限公司 数据流存储方法及装置
CN107153661A (zh) * 2016-03-04 2017-09-12 中国移动通信集团山东有限公司 一种基于hdfs系统的数据的存储、读取方法及其装置
CN107194016A (zh) * 2017-07-14 2017-09-22 上海瀚之友信息技术服务有限公司 一种数据分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7197031B2 (en) * 2001-11-26 2007-03-27 Nortel Networks Limited Cross-connection of high bandwidth signal traffic across independent parallel shelves
CN101599011B (zh) * 2008-06-05 2016-11-16 天津书生投资有限公司 文档处理系统和方法
US8620884B2 (en) * 2008-10-24 2013-12-31 Microsoft Corporation Scalable blob storage integrated with scalable structured storage
CN101599079B (zh) * 2009-07-22 2011-08-31 中国科学院计算技术研究所 一种备份数据集中存储的管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164172A (zh) * 2013-03-11 2013-06-19 华为技术有限公司 数据流存储方法及装置
CN107153661A (zh) * 2016-03-04 2017-09-12 中国移动通信集团山东有限公司 一种基于hdfs系统的数据的存储、读取方法及其装置
CN107194016A (zh) * 2017-07-14 2017-09-22 上海瀚之友信息技术服务有限公司 一种数据分割方法

Also Published As

Publication number Publication date
CN111125031A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
US10127086B2 (en) Dynamic management of data stream processing
US9712835B2 (en) Video encoding system and method
CN108920111B (zh) 数据共享方法及分布式数据共享系统
CN107092686B (zh) 一种基于云存储平台的文件管理方法及装置
CN109639643A (zh) 基于区块链的客户经理信息共享方法、电子装置及可读存储介质
US20200366660A1 (en) System and methods for securely storing data for efficient access by cloud-based computing instances
CN112261094A (zh) 一种报文处理方法及代理服务器
CN110740293A (zh) 一种数据传输方法、系统、装置及计算机存储介质
CN111901490A (zh) 资源共享方法、装置、计算机装置及存储介质
CN111125031B (zh) 一种对象存储方法、装置、电子设备和存储介质
CN111666509A (zh) 基于跨网络地理数据的云查询方法及系统
CN111049927B (zh) 一种文件存储方法、装置、电子设备和存储介质
CN116775712A (zh) 联表查询方法、装置、电子设备、分布式系统和存储介质
CN115176452B (zh) 通信网络中的数据管理的方法和系统
CN110472406B (zh) 一种跨业务系统的数据权限控制方法及系统
CN111124682B (zh) 一种弹性资源分配方法、装置、电子设备和存储介质
CN116886626A (zh) 一种业务数据限流方法、装置、计算机设备及存储介质
CN113946857B (zh) 一种基于数据路由的分布式跨链调度方法及装置
CN108023920B (zh) 一种数据包传输方法、设备及应用接口
CN112491066B (zh) 负载均衡方法、装置、系统、目标负载均衡设备及介质
CN111049929B (zh) 一种虚拟网络资源服务方法、装置、电子设备和存储介质
CN116155829A (zh) 网络流量处理方法、装置、介质及电子设备
CN111143364A (zh) 一种数据块存储方法、装置、电子设备和存储介质
CN116760885B (zh) 算力网络业务管理方法、装置、设备、介质及程序产品
KR101799835B1 (ko) 클라우드 기반의 동적 작업 관리 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant