CN113111194B - 对象元数据聚合方法、读取方法、装置、设备及存储介质 - Google Patents

对象元数据聚合方法、读取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113111194B
CN113111194B CN202110371652.6A CN202110371652A CN113111194B CN 113111194 B CN113111194 B CN 113111194B CN 202110371652 A CN202110371652 A CN 202110371652A CN 113111194 B CN113111194 B CN 113111194B
Authority
CN
China
Prior art keywords
metadata
aggregation
metadata aggregation
bucket
object metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110371652.6A
Other languages
English (en)
Other versions
CN113111194A (zh
Inventor
陶桐桐
胡永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yingxin Computer Technology Co Ltd
Original Assignee
Shandong Yingxin Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yingxin Computer Technology Co Ltd filed Critical Shandong Yingxin Computer Technology Co Ltd
Priority to CN202110371652.6A priority Critical patent/CN113111194B/zh
Publication of CN113111194A publication Critical patent/CN113111194A/zh
Application granted granted Critical
Publication of CN113111194B publication Critical patent/CN113111194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了对象元数据聚合方法、读取方法、装置、设备及存储介质，对象元数据聚合方法，包括：配置元数据聚合的对象个数N和元数据聚合开关；根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。在元数据聚合线程中对每个存储桶内的索引分片进行扫描，将多个对象元数据信息进行聚合成一条数据，保存在桶索引分片中，能够提高故障恢复的重构速度和站点间的同步速度。

Description

对象元数据聚合方法、读取方法、装置、设备及存储介质
技术领域
本发明涉及对象元数据的存储技术领域，尤其涉及一种对象元数据聚合方法、读取方法、装置、设备及存储介质。
背景技术
在大数据时代，对象存储服务(Object Storage Service，OSS)是一种新兴的海量、安全、低成本、高可靠的云存储服务，适合存放非结构化的数据，例如：视频，图片，文档等。上述非结构化数据的一大特点就是数据量大，产生的元数据也越来越大。元数据是关于数据的数据，是对象的重要信息。对象落盘存储后，越来越多的对象元数据进行操作，在很多场景下，例如重构，同步等过程中，逐渐成为性能的瓶颈点。针对上述问题，行业内目前的方案是通过提高SSD容量提升元数据的读写速度，但是该解决方案不能从根本上解决元数据导致的性能瓶颈问题。
发明内容
本发明的目的就是为了解决上述问题，提供一种对象元数据聚合方法、读取方法、装置、设备及存储介质，通过对每个桶索引分片上的元数据信息进行聚合存储的方法，提高了数据重构和数据同步的速度，有利于在故障恢复和多站点场景下的性能优化。
为了实现上述目的，本发明采用如下技术方案：
一种对象元数据聚合方法，包括：
配置元数据聚合的对象个数N和元数据聚合开关；
根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；
如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。
存储服务开启时，立即根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程。
启动元数据聚合扫描线程后，扫描线程在设定的时间段内，扫描每一个存储桶的桶索引分片。
进行元数据聚合时，对于K1-V1,K2-V2,…,KN-VN,N个对象的元数据，组织成一个新的K-V结构：(K1,K2,…KN)-(V1,V2…VN)存储到桶索引分片上。
数据聚合以后，删除原有元数据信息。
一种对象元数据聚合的读取方法，对象元数据采用所述一种对象元数据聚合方法进行聚合，当需要读写已经聚合后的对象元数据时，首先需要读取存储桶的索引分片信息，然后逐步找到对应对象的元数据信息。
一种对象元数据聚合装置，包括：
配置模块，用于配置元数据聚合的对象个数N和元数据聚合开关；
判断模块，用于根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；
执行模块，如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。
一种设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种对象元数据聚合方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种对象元数据聚合方法的步骤。
本发明的有益效果：
通过对每个桶索引分片上的元数据信息进行聚合存储的方法，提高了数据重构和数据同步的速度，有利于在故障恢复和多站点场景下的性能优化。
本发明重新规划了元数据的存储方式，减少了单个桶索引分片的大小。提升了故障恢复时的重构速度和站点间的同步速度。
附图说明
图1为存储桶内对象的元数据聚合过程。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
一般来说：针对存储桶，每个存储桶有多个索引分片，对象的元数据通过哈希计算存储在各个索引分片上。随着桶内对象越来越多，达到上亿级别，每个桶索引分片上记录的对象元数据信息就会越来越多。元数据越来越大，会导致故障恢复时重构速度变慢(集群故障后，恢复时会对存储的数据和元数据进行重构，数据和元数据越多，数据量越大，重构的速度就越慢)、会影响站点间的同步速度(站点间的同步，需要同步数据和元数据，数据和元数据越多，数据量越大，同步速度就越慢)。因此本设计方案致力于重新规划元数据的存储方式，减少单个桶索引分片的大小。提升故障恢复时的重构速度和站点间的同步速度。
本发明将同一桶索引分片上的元数据信息(以Key-Value的格式存储在桶索引分片中)，按照配置的对象个数(可以通过配置文件进行配置)进行聚合，重新聚合成一个大的Key-Value，存储在桶索引分片中。聚合前，每个对象的元数据信息都是以单独的Key-Value格式，存储在桶索引分片中；聚合后，多个对象(配置文件中的配置个数)的元数据信息以聚合后的一个总的Key-Value格式存储在桶索引分片中。具体方法为：
一种对象元数据聚合方法，包括：
用户配置元数据聚合的对象个数N。对每一个桶索引分片，按照设置的对象个数N，进行元数据聚合，即每N个对象进行元数据聚合，组成一条Key-Value信息，存储在桶索引分片中。具体聚合的过程为：对于K1-V1,K2-V2,…,KN-VN等N个对象的元数据，按照一定的规则方式组织成一个新的K-V结构：(K1,K2,…KN)-(V1,V2…VN)；减少桶索引分片中的信息条数。
存储桶内对象的元数据聚合过程：如图1所示，存储服务开启时，会根据元数据聚合开关(可通过配置项进行设置)，决定是否启动存储桶元数据聚合扫描线程。扫描线程在设定的时间段内，扫描每一个存储桶的桶索引分片，根据设定的聚合对象个数N(可通过配置项进行设置)，每N个对象元数据的K1-V1,K2-V2,…,KN-VN信息，进行聚合处理成新的K-V结构记录进桶索引分片中。
本发明通过设置对象元数据聚合的相关配置，在元数据聚合线程中对每个存储桶内的索引分片进行扫描，将多个对象元数据信息进行聚合成一条数据，保存在桶索引分片中。
一种对象元数据聚合的读取方法，对象元数据采用所述一种对象元数据聚合方法进行聚合，当需要读写已经聚合后的对象元数据时，首先需要读取存储桶的索引分片信息，然后逐步找到对应对象的元数据信息。
一种对象元数据聚合装置，包括：
配置模块，用于配置元数据聚合的对象个数N和元数据聚合开关；
判断模块，用于根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；
执行模块，如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。
一种设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种对象元数据聚合方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种对象元数据聚合方法的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种对象元数据聚合方法，其特征在于，包括：
配置元数据聚合的对象个数N和元数据聚合开关；
根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；
如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束；
进行元数据聚合时，对于K1-V1,K2-V2,…,KN-VN,N个对象的元数据，组织成一个新的K-V结构：(K1,K2,…KN)-(V1,V2…VN)存储到桶索引分片上。
2.如权利要求1所述一种对象元数据聚合方法，其特征在于，存储服务开启时，立即根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程。
3.如权利要求1所述一种对象元数据聚合方法，其特征在于，启动元数据聚合扫描线程后，扫描线程在设定的时间段内，扫描每一个存储桶的桶索引分片。
4.如权利要求1所述一种对象元数据聚合方法，其特征在于，数据聚合以后，删除原有元数据信息。
5.一种对象元数据聚合的读取方法，其特征在于，对象元数据采用权利要求1-4任意一项所述一种对象元数据聚合方法进行聚合，当需要读写已经聚合后的对象元数据时，首先需要读取存储桶的索引分片信息，然后逐步找到对应对象的元数据信息。
6.一种采用权利要求1所述的一种对象元数据聚合方法的对象元数据聚合装置，其特征在于，包括：
配置模块，用于配置元数据聚合的对象个数N和元数据聚合开关；
判断模块，用于根据元数据聚合开关判断是否启动存储桶元数据聚合扫描线程；
执行模块，如果启动元数据聚合扫描线程，则对每一个桶索引分片，按照设置的对象个数N进行元数据聚合后存储到桶索引分片上，否则结束。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述一种对象元数据聚合方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的一种对象元数据聚合方法的步骤。
CN202110371652.6A 2021-04-07 2021-04-07 对象元数据聚合方法、读取方法、装置、设备及存储介质 Active CN113111194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110371652.6A CN113111194B (zh) 2021-04-07 2021-04-07 对象元数据聚合方法、读取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110371652.6A CN113111194B (zh) 2021-04-07 2021-04-07 对象元数据聚合方法、读取方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113111194A CN113111194A (zh) 2021-07-13
CN113111194B true CN113111194B (zh) 2022-11-18

Family

ID=76714204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110371652.6A Active CN113111194B (zh) 2021-04-07 2021-04-07 对象元数据聚合方法、读取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113111194B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817946A (zh) * 2016-09-13 2018-03-20 阿里巴巴集团控股有限公司 用于混合存储设备读写数据的方法以及装置
CN109299190A (zh) * 2018-09-10 2019-02-01 华为技术有限公司 分布式存储系统中处理对象的元数据的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241178A (zh) * 2018-07-20 2019-01-18 华为技术有限公司 管理存储空间的方法和装置
CN111176574B (zh) * 2019-12-27 2022-03-22 浪潮电子信息产业股份有限公司 一种小文件存储方法、装置、设备及介质
CN111176578B (zh) * 2019-12-29 2022-03-22 浪潮电子信息产业股份有限公司 一种对象聚合方法、装置、设备及可读存储介质
CN111881133B (zh) * 2020-07-24 2022-12-06 苏州浪潮智能科技有限公司 存储桶管理方法、装置、计算机设备及可读存储介质
CN112231276A (zh) * 2020-09-28 2021-01-15 苏州浪潮智能科技有限公司 一种对象存储系统中数据的聚合方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817946A (zh) * 2016-09-13 2018-03-20 阿里巴巴集团控股有限公司 用于混合存储设备读写数据的方法以及装置
CN109299190A (zh) * 2018-09-10 2019-02-01 华为技术有限公司 分布式存储系统中处理对象的元数据的方法及装置

Also Published As

Publication number Publication date
CN113111194A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN109254733B (zh) 用于存储数据的方法、装置和系统
CN110019218B (zh) 数据存储与查询方法及设备
CN108170768B (zh) 数据库同步方法、装置及可读介质
CN110764706B (zh) 存储系统、数据管理方法及存储介质
CN103020255B (zh) 分级存储方法和装置
US9619512B2 (en) Memory searching system and method, real-time searching system and method, and computer storage medium
CN113064859B (zh) 一种元数据处理方法、装置及电子设备和存储介质
CN109582213B (zh) 数据重构方法及装置、数据存储系统
CN110888837B (zh) 对象存储小文件归并方法及装置
US20240281471A1 (en) Retrieval method and apparatus for graph database
CN111414424B (zh) 一种配置数据自动同步redis的方法、系统、介质及设备
CN114416670B (zh) 适用于网盘文档的索引创建方法、装置、网盘及存储介质
US20240143456A1 (en) Log replay methods and apparatuses, data recovery methods and apparatuses, and electronic devices
CN113110801A (zh) 一种加快小文件读取速度的方法、系统、设备和存储介质
CN112965939A (zh) 一种文件合并方法、装置和设备
CN107423425B (zh) 一种对k/v格式的数据快速存储和查询方法
CN112597348A (zh) 一种大数据存储优化的方法及装置
CN115114232A (zh) 一种历史版本对象列举方法、装置及其介质
CN109902070B (zh) 一种面向WiFi日志数据的解析存储搜索方法
CN113111194B (zh) 对象元数据聚合方法、读取方法、装置、设备及存储介质
CN113625952B (zh) 一种对象存储方法、装置、设备及存储介质
US12093234B2 (en) Data processing method, apparatus, electronic device, and computer storage medium
CN115576947A (zh) 一种数据管理方法、装置、组合库、电子设备及存储介质
WO2022001626A1 (zh) 注入时序数据的方法、查询时序数据的方法及数据库系统
CN114461635A (zh) 一种MySQL数据库数据存储方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant