CN113064859A - 一种元数据处理方法、装置及电子设备和存储介质 - Google Patents

一种元数据处理方法、装置及电子设备和存储介质 Download PDF

Info

Publication number
CN113064859A
CN113064859A CN202110326013.8A CN202110326013A CN113064859A CN 113064859 A CN113064859 A CN 113064859A CN 202110326013 A CN202110326013 A CN 202110326013A CN 113064859 A CN113064859 A CN 113064859A
Authority
CN
China
Prior art keywords
metadata
aggregation
metadata information
information
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110326013.8A
Other languages
English (en)
Other versions
CN113064859B (zh
Inventor
陶桐桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yingxin Computer Technology Co Ltd
Original Assignee
Shandong Yingxin Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yingxin Computer Technology Co Ltd filed Critical Shandong Yingxin Computer Technology Co Ltd
Priority to CN202110326013.8A priority Critical patent/CN113064859B/zh
Publication of CN113064859A publication Critical patent/CN113064859A/zh
Application granted granted Critical
Publication of CN113064859B publication Critical patent/CN113064859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/137Hash-based
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766Error or fault reporting or storing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/178Techniques for file synchronisation in file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种元数据处理方法、装置及一种电子设备和计算机可读存储介质,该方法包括:读取存储桶中桶索引分片上的原始元数据信息,并对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息;将聚合元数据信息保存至桶索引元数据分片上,将聚合元数据信息的属性信息保存至桶索引分片上;删除桶索引分片上的原始元数据信息。由此可见,本申请提供的元数据处理方法,减少了单个桶索引分片的大小,从而提升了故障恢复时的重构速度和站点间的同步速度。

Description

一种元数据处理方法、装置及电子设备和存储介质
技术领域
本申请涉及计算机技术领域,更具体地说,涉及一种元数据处理方法、装置及一种电子设备和一种计算机可读存储介质。
背景技术
在大数据时代,对象存储服务(Object Storage Service,OSS)是一种新兴的海量、安全、低成本、高可靠的云存储服务,适合存放非结构化的数据。一般来说,每个存储桶有多个索引分片,对象的元数据通过哈希计算存储在各个索引分片上。随着桶内对象越来越多,达到上亿级别,每个桶索引分片上记录的对象元数据信息就会越来越多。
集群故障后,恢复时需要对存储的数据和元数据进行重构,数据和元数据越多,数据量越大,重构的速度就越慢。站点间的同步需要同步数据和元数据,数据和元数据越多,数据量越大,同步速度就越慢。可见,元数据量大会导致故障恢复时重构速度变慢、站点间的同步速度慢。
因此,如何减少单个桶索引分片的大小,从而提升故障恢复时的重构速度和站点间的同步速度是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种元数据处理方法、装置及一种电子设备和一种计算机可读存储介质,减少了单个桶索引分片的大小,从而提升了故障恢复时的重构速度和站点间的同步速度。
为实现上述目的,本申请提供了一种元数据处理方法,包括:
读取存储桶中桶索引分片上的原始元数据信息,并对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息;
将所述聚合元数据信息保存至桶索引元数据分片上,将所述聚合元数据信息的属性信息保存至所述桶索引分片上;
删除所述桶索引分片上的所述原始元数据信息。
其中,所述对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息,包括:
确定聚合对象数量,对同一桶索引分片上的原始元数据信息进行聚合操作,使得聚合元数据信息包含的对象数量为所述聚合对象数量。
其中,若所述原始元数据信息以键值对的形式保存在所述桶索引分片上,则所述对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息,包括:
对同一桶索引分片上的原始元数据信息中的键和值分别进行聚合操作,得到聚合元数据信息的聚合键和聚合值;
相应的,将所述聚合元数据信息保存至桶索引元数据分片上,包括:
将所述聚合元数据信息以键值对的形式保存至桶索引元数据分片上。
其中,所述对同一桶索引分片上的原始元数据信息进行聚合操作,包括:
确定所述存储桶中桶索引分片的数量,并创建对应数量的元数据聚合线程;
利用所述元数据聚合线程对对应桶索引分片上的原始元数据信息进行聚合操作;其中,所述元数据聚合线程与所述桶索引分片一一对应。
其中,所述读取存储桶中桶索引分片上的原始元数据信息之前,还包括:
判断是否开启元数据聚合;
若是,则执行所述读取存储桶中桶索引分片上的原始元数据信息的步骤。
其中,所述聚合元数据信息的属性信息包括所述聚合元数据信息包含的对象、聚合时间、对象数量、总大小中任一项或任几项的组合。
其中,还包括:
若接收到目标元数据信息的读写请求,则获取所述桶索引分片上的属性信息,并基于所述属性信息确定所述目标元数据信息所属的目标聚合元数据信息;
从所述桶索引元数据分片上获取所述目标聚合元数据信息,并在所述目标聚合元数据信息中确定所述目标元数据信息。
为实现上述目的,本申请提供了一种元数据处理装置,包括:
聚合模块,用于读取存储桶中桶索引分片上的原始元数据信息,并对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息;
保存模块,用于将所述聚合元数据信息保存至桶索引元数据分片上,将所述聚合元数据信息的属性信息保存至所述桶索引分片上;
删除模块,用于删除所述桶索引分片上的所述原始元数据信息。
为实现上述目的,本申请提供了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述元数据处理方法的步骤。
为实现上述目的,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述元数据处理方法的步骤。
通过以上方案可知,本申请提供的一种元数据处理方法,包括:读取存储桶中桶索引分片上的原始元数据信息,并对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息;将所述聚合元数据信息保存至桶索引元数据分片上,将所述聚合元数据信息的属性信息保存至所述桶索引分片上;删除所述桶索引分片上的所述原始元数据信息。
本申请提供的元数据处理方法,通过对每个存储桶的桶索引分片进行扫描,将多个对象元数据信息进行聚合成一条数据,保存在桶索引元数据分片中,并将聚合元数据的属性信息保存在原有的桶索引分片中,减少了桶索引分片中的信息条数,能够提高故障恢复的重构速度和站点间的同步速度,而且兼顾了对象的读写。由此可见,本申请提供的元数据处理方法,减少了单个桶索引分片的大小,从而提升了故障恢复时的重构速度和站点间的同步速度。本申请还公开了一种元数据处理装置及一种电子设备和一种计算机可读存储介质,同样能实现上述技术效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1为根据一示例性实施例示出的一种元数据处理方法的流程图;
图2为根据一示例性实施例示出的另一种元数据处理方法的流程图;
图3为根据一示例性实施例示出的一种元数据重分布的流程图;
图4为根据一示例性实施例示出的一种元数据处理装置的结构图;
图5为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。另外,在本申请实施例中,“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例公开了一种元数据处理方法,减少了单个桶索引分片的大小,从而提升了故障恢复时的重构速度和站点间的同步速度。
参见图1,根据一示例性实施例示出的一种元数据处理方法的流程图,如图1所示,包括:
S101:读取存储桶中桶索引分片上的原始元数据信息,并对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息;
在具体实施中,用户可以通过配置文件设置是否开启元数据聚合,即若开启元数据聚合,则执行所述读取存储桶中桶索引分片上的原始元数据信息的步骤。
在本步骤中,遍历存储桶中的桶索引分片,读取每个桶索引分片上的原始元数据信息,并对同一桶索引分片上的原始元数据信息进行聚合操作,得到每个桶索引分片对应的聚合元数据信息。作为一种可行的实施方式,可以利用元数据聚合线程对桶索引分片上的原始元数据信息进行聚合操作,元数据聚合线程的数量与桶索引分片的数量相同,每个元数据聚合线程用于对对应桶索引分片上的原始元数据信息进行聚合操作,即所述对同一桶索引分片上的原始元数据信息进行聚合操作,包括:确定所述存储桶中桶索引分片的数量,并创建对应数量的元数据聚合线程;利用所述元数据聚合线程对对应桶索引分片上的原始元数据信息进行聚合操作;其中,所述元数据聚合线程与所述桶索引分片一一对应。
作为一种优选实施方式,所述对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息,包括:确定聚合对象数量,对同一桶索引分片上的原始元数据信息进行聚合操作,使得聚合元数据信息包含的对象数量为所述聚合对象数量。在具体实施中,用户可以通过配置文件设置聚合对象数量n,对同一桶索引分片上的原始元数据信息按照聚合对象数量n进行聚合操作,即每n条原始元数据信息聚合为一条聚合元数据信息。
可以理解的是,原始元数据信息可以以键值对的形式保存在桶索引分片上,所述对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息,包括:对同一桶索引分片上的原始元数据信息中的键和值分别进行聚合操作,得到聚合元数据信息的聚合键和聚合值。例如,原始元数据信息为K1-V1、K2-V2、……、Kn-Vn,聚合键为(K1、K2、……、Kn),聚合值为(V1、V2、……、Vn)。
S102:将所述聚合元数据信息保存至桶索引元数据分片上,将所述聚合元数据信息的属性信息保存至所述桶索引分片上;
在本实施例中,在桶索引元数据分片上保存聚合元数据信息,在桶索引分片上仅保存各个聚合元数据信息的属性信息,不仅可以减少桶索引分片中的信息条数,同时可以精确记录聚合元数据的信息。本实施例中聚合元数据信息的属性信息可以包括聚合元数据信息包含的对象、聚合时间、对象数量、总大小等,在此不进行具体限定。
可以理解是,聚合元数据信息同样可以以键值对的形式保存至桶索引元数据分片上,即以(K1、K2、……、Kn)-(V1、V2、……、Vn)的形式进行保存。
S103:删除所述桶索引分片上的所述原始元数据信息。
在具体实施中,完成元数据的聚合操作后,删除桶索引分片上保存的原始元数据信息。
本申请实施例提供的元数据处理方法,通过对每个存储桶的桶索引分片进行扫描,将多个对象元数据信息进行聚合成一条数据,保存在桶索引元数据分片中,并将聚合元数据的属性信息保存在原有的桶索引分片中,减少了桶索引分片中的信息条数,能够提高故障恢复的重构速度和站点间的同步速度,而且兼顾了对象的读写。由此可见,本申请实施例提供的元数据处理方法,减少了单个桶索引分片的大小,从而提升了故障恢复时的重构速度和站点间的同步速度。
下面介绍元数据的读写过程,具体的:
参见图2,根据一示例性实施例示出的另一种元数据处理方法的流程图,如图2所示,包括:
S201:若接收到目标元数据信息的读写请求,则获取所述桶索引分片上的属性信息,并基于所述属性信息确定所述目标元数据信息所属的目标聚合元数据信息;
S202:从所述桶索引元数据分片上获取所述目标聚合元数据信息,并在所述目标聚合元数据信息中确定所述目标元数据信息。
在具体实施中,当接收到目标元数据信息的读写请求时,首先读取存储桶的桶索引分片上各个聚合元数据的属性信息,确定目标元数据信息所属的目标聚合元数据信息,其次读取存储桶的索引元数据分片上的目标聚合元数据信息,然后从中确定目标元数据信息进行读写。
由此可见,本实施例通过对每个桶索引分片上的元数据信息进行二级索引,提高了数据重构和数据同步的速度,有利于在故障恢复和多站点场景下的性能优化。
下面介绍本申请提供的一种应用实施例,存储桶内对象的元数据重分布流程如图3所示,通过配置项设置元数据聚合开关和聚合对象个数n,存储服务开启时,会根据元数据聚合开关决定是否启动存储桶元数据聚合扫描线程。扫描线程在设定的时间段内,扫描每一个存储桶的桶索引分片,根据设定的聚合对象个数n对每n个对象元数据的K1-V1、K2-V2、……、Kn-Vn信息进行聚合处理成新的K-V结构记录进桶索引元数据分片中。并且在桶索引分片中,记录聚合元数据对象中包含了哪些对象,聚合时间,对象数目,聚合对象的总大小等属性信息。
重分布后的对象元数据读写流程为:首先需要读写存储桶的索引分片上的聚合元数据属性信息,找到对象所在的聚合元数据块,然后读取存储桶的索引元数据分片信息,然后找到对应对象的元数据信息,进行读写。
下面对本申请实施例提供的一种元数据处理装置进行介绍,下文描述的一种元数据处理装置与上文描述的一种元数据处理方法可以相互参照。
参见图4,根据一示例性实施例示出的一种元数据处理装置的结构图,如图4所示,包括:
聚合模块401,用于读取存储桶中桶索引分片上的原始元数据信息,并对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息;
保存模块402,用于将所述聚合元数据信息保存至桶索引元数据分片上,将所述聚合元数据信息的属性信息保存至所述桶索引分片上;
删除模块403,用于删除所述桶索引分片上的所述原始元数据信息。
本申请实施例提供的元数据处理装置,通过对每个存储桶的桶索引分片进行扫描,将多个对象元数据信息进行聚合成一条数据,保存在桶索引元数据分片中,并将聚合元数据的属性信息保存在原有的桶索引分片中,减少了桶索引分片中的信息条数,能够提高故障恢复的重构速度和站点间的同步速度,而且兼顾了对象的读写。由此可见,本申请实施例提供的元数据处理装置,减少了单个桶索引分片的大小,从而提升了故障恢复时的重构速度和站点间的同步速度。
在上述实施例的基础上,作为一种优选实施方式,所述聚合模块401包括:
读取单元,用于读取存储桶中桶索引分片上的原始元数据信息;
第一聚合单元,用于确定聚合对象数量,对同一桶索引分片上的原始元数据信息进行聚合操作,使得聚合元数据信息包含的对象数量为所述聚合对象数量。
在上述实施例的基础上,作为一种优选实施方式,若所述原始元数据信息以键值对的形式保存在所述桶索引分片上,则所述聚合模块401包括:
读取单元,用于读取存储桶中桶索引分片上的原始元数据信息;
第二聚合单元,用于对同一桶索引分片上的原始元数据信息中的键和值分别进行聚合操作,得到聚合元数据信息的聚合键和聚合值;
相应的,所述保存模块402具体为将所述聚合元数据信息以键值对的形式保存至桶索引元数据分片上,将所述聚合元数据信息的属性信息保存至所述桶索引分片上的模块。
在上述实施例的基础上,作为一种优选实施方式,所述聚合模块401包括:
读取单元,用于读取存储桶中桶索引分片上的原始元数据信息;
创建单元,用于确定所述存储桶中桶索引分片的数量,并创建对应数量的元数据聚合线程;
第三聚合单元,用于利用所述元数据聚合线程对对应桶索引分片上的原始元数据信息进行聚合操作;其中,所述元数据聚合线程与所述桶索引分片一一对应。
在上述实施例的基础上,作为一种优选实施方式,还包括:
判断模块,用于判断是否开启元数据聚合;若是,则启动所述聚合模块401的工作流程。
在上述实施例的基础上,作为一种优选实施方式,所述聚合元数据信息的属性信息包括所述聚合元数据信息包含的对象、聚合时间、对象数量、总大小中任一项或任几项的组合。
在上述实施例的基础上,作为一种优选实施方式,还包括:
获取模块,用于若接收到目标元数据信息的读写请求,则获取所述桶索引分片上的属性信息,并基于所述属性信息确定所述目标元数据信息所属的目标聚合元数据信息;
确定模块,用于从所述桶索引元数据分片上获取所述目标聚合元数据信息,并在所述目标聚合元数据信息中确定所述目标元数据信息。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
基于上述程序模块的硬件实现,且为了实现本申请实施例的方法,本申请实施例还提供了一种电子设备,图5为根据一示例性实施例示出的一种电子设备的结构图,如图5所示,电子设备包括:
通信接口1,能够与其它设备比如网络设备等进行信息交互;
处理器2,与通信接口1连接,以实现与其它设备进行信息交互,用于运行计算机程序时,执行上述一个或多个技术方案提供的元数据处理方法。而所述计算机程序存储在存储器3上。
当然,实际应用时,电子设备中的各个组件通过总线系统4耦合在一起。可理解,总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统4。
本申请实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括:用于在电子设备上操作的任何计算机程序。
可以理解,存储器3可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器2旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器2中,或者由处理器2实现。处理器2可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器3,处理器2读取存储器3中的程序,结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程,为了简洁,在此不再赘述。
在示例性实施例中,本申请实施例还提供了一种存储介质,即计算机存储介质,具体为计算机可读存储介质,例如包括存储计算机程序的存储器3,上述计算机程序可由处理器2执行,以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种元数据处理方法,其特征在于,包括:
读取存储桶中桶索引分片上的原始元数据信息,并对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息;
将所述聚合元数据信息保存至桶索引元数据分片上,将所述聚合元数据信息的属性信息保存至所述桶索引分片上;
删除所述桶索引分片上的所述原始元数据信息。
2.根据权利要求1所述元数据处理方法,其特征在于,所述对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息,包括:
确定聚合对象数量,对同一桶索引分片上的原始元数据信息进行聚合操作,使得聚合元数据信息包含的对象数量为所述聚合对象数量。
3.根据权利要求1所述元数据处理方法,其特征在于,若所述原始元数据信息以键值对的形式保存在所述桶索引分片上,则所述对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息,包括:
对同一桶索引分片上的原始元数据信息中的键和值分别进行聚合操作,得到聚合元数据信息的聚合键和聚合值;
相应的,将所述聚合元数据信息保存至桶索引元数据分片上,包括:
将所述聚合元数据信息以键值对的形式保存至桶索引元数据分片上。
4.根据权利要求1所述元数据处理方法,其特征在于,所述对同一桶索引分片上的原始元数据信息进行聚合操作,包括:
确定所述存储桶中桶索引分片的数量,并创建对应数量的元数据聚合线程;
利用所述元数据聚合线程对对应桶索引分片上的原始元数据信息进行聚合操作;其中,所述元数据聚合线程与所述桶索引分片一一对应。
5.根据权利要求1所述元数据处理方法,其特征在于,所述读取存储桶中桶索引分片上的原始元数据信息之前,还包括:
判断是否开启元数据聚合;
若是,则执行所述读取存储桶中桶索引分片上的原始元数据信息的步骤。
6.根据权利要求1所述元数据处理方法,其特征在于,所述聚合元数据信息的属性信息包括所述聚合元数据信息包含的对象、聚合时间、对象数量、总大小中任一项或任几项的组合。
7.根据权利要求1至6中任一项所述元数据处理方法,其特征在于,还包括:
若接收到目标元数据信息的读写请求,则获取所述桶索引分片上的属性信息,并基于所述属性信息确定所述目标元数据信息所属的目标聚合元数据信息;
从所述桶索引元数据分片上获取所述目标聚合元数据信息,并在所述目标聚合元数据信息中确定所述目标元数据信息。
8.一种元数据处理装置,其特征在于,包括:
聚合模块,用于读取存储桶中桶索引分片上的原始元数据信息,并对同一桶索引分片上的原始元数据信息进行聚合操作,得到聚合元数据信息;
保存模块,用于将所述聚合元数据信息保存至桶索引元数据分片上,将所述聚合元数据信息的属性信息保存至所述桶索引分片上;
删除模块,用于删除所述桶索引分片上的所述原始元数据信息。
9.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述元数据处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述元数据处理方法的步骤。
CN202110326013.8A 2021-03-26 2021-03-26 一种元数据处理方法、装置及电子设备和存储介质 Active CN113064859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110326013.8A CN113064859B (zh) 2021-03-26 2021-03-26 一种元数据处理方法、装置及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110326013.8A CN113064859B (zh) 2021-03-26 2021-03-26 一种元数据处理方法、装置及电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113064859A true CN113064859A (zh) 2021-07-02
CN113064859B CN113064859B (zh) 2022-11-04

Family

ID=76563660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110326013.8A Active CN113064859B (zh) 2021-03-26 2021-03-26 一种元数据处理方法、装置及电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113064859B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113703678A (zh) * 2021-08-20 2021-11-26 济南浪潮数据技术有限公司 一种存储桶索引重分裂的方法、装置、设备和介质
CN113791740A (zh) * 2021-11-10 2021-12-14 深圳市杉岩数据技术有限公司 一种记录对象存储桶统计计数的方法
CN114237519A (zh) * 2022-02-23 2022-03-25 苏州浪潮智能科技有限公司 一种对象存储数据迁移的方法、装置、设备及介质
CN114442947A (zh) * 2022-01-14 2022-05-06 苏州浪潮智能科技有限公司 跨域桶删除方法、系统、终端及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150149500A1 (en) * 2013-11-26 2015-05-28 Dropbox, Inc. Multi-level lookup architecture to facilitate failure recovery
US9734180B1 (en) * 2014-09-30 2017-08-15 EMC IP Holding Company LLC Object metadata query with secondary indexes
CN107656939A (zh) * 2016-07-26 2018-02-02 南京中兴新软件有限责任公司 文件写入方法及装置
CN109241178A (zh) * 2018-07-20 2019-01-18 华为技术有限公司 管理存储空间的方法和装置
CN111176574A (zh) * 2019-12-27 2020-05-19 浪潮电子信息产业股份有限公司 一种小文件存储方法、装置、设备及介质
CN111881133A (zh) * 2020-07-24 2020-11-03 苏州浪潮智能科技有限公司 存储桶管理方法、装置、计算机设备及可读存储介质
CN111966677A (zh) * 2020-06-28 2020-11-20 北京百度网讯科技有限公司 数据报表的处理方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150149500A1 (en) * 2013-11-26 2015-05-28 Dropbox, Inc. Multi-level lookup architecture to facilitate failure recovery
US9734180B1 (en) * 2014-09-30 2017-08-15 EMC IP Holding Company LLC Object metadata query with secondary indexes
CN107656939A (zh) * 2016-07-26 2018-02-02 南京中兴新软件有限责任公司 文件写入方法及装置
CN109241178A (zh) * 2018-07-20 2019-01-18 华为技术有限公司 管理存储空间的方法和装置
CN111176574A (zh) * 2019-12-27 2020-05-19 浪潮电子信息产业股份有限公司 一种小文件存储方法、装置、设备及介质
CN111966677A (zh) * 2020-06-28 2020-11-20 北京百度网讯科技有限公司 数据报表的处理方法、装置、电子设备及存储介质
CN111881133A (zh) * 2020-07-24 2020-11-03 苏州浪潮智能科技有限公司 存储桶管理方法、装置、计算机设备及可读存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113703678A (zh) * 2021-08-20 2021-11-26 济南浪潮数据技术有限公司 一种存储桶索引重分裂的方法、装置、设备和介质
CN113703678B (zh) * 2021-08-20 2023-12-22 济南浪潮数据技术有限公司 一种存储桶索引重分裂的方法、装置、设备和介质
CN113791740A (zh) * 2021-11-10 2021-12-14 深圳市杉岩数据技术有限公司 一种记录对象存储桶统计计数的方法
CN113791740B (zh) * 2021-11-10 2022-02-18 深圳市杉岩数据技术有限公司 一种记录对象存储桶统计计数的方法
CN114442947A (zh) * 2022-01-14 2022-05-06 苏州浪潮智能科技有限公司 跨域桶删除方法、系统、终端及存储介质
CN114442947B (zh) * 2022-01-14 2023-08-22 苏州浪潮智能科技有限公司 跨域桶删除方法、系统、终端及存储介质
CN114237519A (zh) * 2022-02-23 2022-03-25 苏州浪潮智能科技有限公司 一种对象存储数据迁移的方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113064859B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN113064859B (zh) 一种元数据处理方法、装置及电子设备和存储介质
US10795871B2 (en) Key-value stores implemented using fragmented log-structured merge trees
US20200150890A1 (en) Data Deduplication Method and Apparatus
US9830101B2 (en) Managing data storage in a set of storage systems using usage counters
CN110764706B (zh) 存储系统、数据管理方法及存储介质
US11269902B2 (en) Time series data management method, device, and apparatus
US20170286150A1 (en) Transaction Processing Method and Apparatus, and Computer System
CN109213432B (zh) 利用日志结构合并树将数据写入的存储设备及其方法
CN108667917B (zh) 一种实现数据存储的方法、装置、计算机存储介质及终端
CN110888837B (zh) 对象存储小文件归并方法及装置
CN107423425B (zh) 一种对k/v格式的数据快速存储和查询方法
CN115114232A (zh) 一种历史版本对象列举方法、装置及其介质
CN104035822A (zh) 一种低开销的高效内存去冗余方法及系统
CN110895545B (zh) 共享数据同步方法及装置
CN111382179B (zh) 数据处理方法、装置及电子设备
CN111008233B (zh) 一种kv数据库的访问方法、装置及设备
CN110851434A (zh) 一种数据存储方法、装置及设备
CN115599299A (zh) 一种存储桶管理方法、装置及电子设备和存储介质
CN111966845B (zh) 图片管理方法、装置、存储节点及存储介质
CN113625952A (zh) 一种对象存储方法、装置、设备及存储介质
CN114416676A (zh) 数据处理方法、装置、设备和存储介质
CN114675995A (zh) 数据备份方法、装置和电子设备
CN111104381A (zh) 一种日志管理方法、装置、设备及计算机可读存储介质
CN113111194B (zh) 对象元数据聚合方法、读取方法、装置、设备及存储介质
CN117170942B (zh) 一种基于文件系统快照的数据库备份方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant