CN111641700A - 基于Ceph对象存储元数据的管理及检索的实现方法 - Google Patents

基于Ceph对象存储元数据的管理及检索的实现方法 Download PDF

Info

Publication number
CN111641700A
CN111641700A CN202010448546.9A CN202010448546A CN111641700A CN 111641700 A CN111641700 A CN 111641700A CN 202010448546 A CN202010448546 A CN 202010448546A CN 111641700 A CN111641700 A CN 111641700A
Authority
CN
China
Prior art keywords
object storage
retrieval
queue
consumer
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010448546.9A
Other languages
English (en)
Other versions
CN111641700B (zh
Inventor
邓睿璇
金剑
王万泉
谢赟
孙卓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Radio And Television Group (nanjing Radio And Television Station)
Shanghai Datatom Information Technology Co ltd
Original Assignee
Nanjing Radio And Television Group (nanjing Radio And Television Station)
Shanghai Datatom Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Radio And Television Group (nanjing Radio And Television Station), Shanghai Datatom Information Technology Co ltd filed Critical Nanjing Radio And Television Group (nanjing Radio And Television Station)
Priority to CN202010448546.9A priority Critical patent/CN111641700B/zh
Publication of CN111641700A publication Critical patent/CN111641700A/zh
Application granted granted Critical
Publication of CN111641700B publication Critical patent/CN111641700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于Ceph对象存储元数据的管理及检索的实现方法，包括：客户端发送写请求给对象存储系统；对象存储系统的对象存储网关收到写请求后，首先检查写请求的合法性和权限；对象存储网关一方面将写请求转发到对象存储数据处理层，另一方面发起异步任务，推送对象存储元数据信息到分布式消息队列；分布式消息队列服务推送对象存储元数据信息至所有的消费者队列和检索队列；步各个消费者和检索服务从消费者队列或检索队列通过订阅消息的形式获取对象存储元数据信息；对象存储数据处理层完成写操作，并向对象存储网关返回成功信息；对象存储网关向客户端返回请求成功信息。实现对象存储元数据的高效管理和检索。

Description

基于Ceph对象存储元数据的管理及检索的实现方法
技术领域
本发明涉及对象存储功能支持领域，尤其涉及基于Ceph(一个统一的、分布式的的存储系统)对象存储元数据的管理及检索的实现方法。
背景技术
随着大数据、云计算等技术的发展，媒资、医疗、金融等各大行业对于海量数据的存储需求越来越迫切，传统的文件系统、块存储在面对海量数据的支撑时逐渐显得乏力。而扁平化数据组织的对象存储的优势逐渐显现，各大行业对于对象存储的应用越来越广发，因此逐步诞生了各种各样的对象存储扩展需求。
对象存储元数据是管理对象的核心，是描述数据的数据(data about data)，主要是描述数据属性(property)的信息，主要包括对象大小、创建时间、修改时间等系统元数据与自定义元数据。元数据能够从多个不同的维度去反馈数据的属性，元数据的管理与应用对于上层应用至关重要，尤其是对于大数据应用，高效的元数据检索能力，可以为大数据应用提供更强大的能力。另一方面，在提供元数据信息即可满足上层应用要求的情况下，单独的元数据检索服务明显可以提供更强的性能。
发明内容
本发明的目的在于提供一种基于Ceph对象存储元数据的管理及检索的实现方法，以实现对象存储元数据的管理及检索。
实现上述目的的技术方案是：
一种基于Ceph对象存储元数据的管理及检索的实现方法，包括：
步骤S1，客户端发送写请求给对象存储系统；
步骤S2，对象存储系统的对象存储网关收到写请求后，首先检查写请求的合法性和权限，通过后进入下一步骤；
步骤S3，对象存储网关一方面将写请求转发到对象存储数据处理层，另一方面发起异步任务，推送对象存储元数据信息到分布式消息队列；
步骤S4，分布式消息队列服务推送对象存储元数据信息至所有的消费者队列和检索队列；
步骤S5，各个消费者和检索服务从消费者队列或检索队列通过订阅消息的形式获取对象存储元数据信息；
步骤S6，对象存储数据处理层完成写操作，并向对象存储网关返回成功信息；对象存储网关向客户端返回请求成功信息。
优选的，客户端通过RESTful API接口(基于HTTP协议的Web应用程序接口)发送写请求给对象存储系统。
优选的，客户端发送写请求给对象存储系统之前，对象存储网关初次启动时，初始化用于元数据同步的分布式消息队列，并初始化检索队列。
优选的，所述的异步任务指：从写请求的请求头中提取对象存储元数据信息，重新组合为json格式并发送到分布式消息队列。
优选的，步骤S5中，各个消费者从各自的消费者队列获取对象存储元数据信息，进行逻辑处理；
检索服务从检索队列获取对象存储元数据信息后，存入检索服务器的分布式检索数据库，进行逻辑处理。
优选的，步骤S5中，如果消息推送或消费者处理失败，记录针对元数据同步的日志并上报告警；同时提供单独的工具，在消费者队列、检索队列或消费者恢复正常时，该工具可以根据失败日志，同步失败的元数据信息到检索服务或各消费者。
本发明的有益效果是：本发明通过对象存储网关推送对象存储元数据信息到分布式消息队列，上层应用(包括检索服务)通过订阅消息的形式获取对象存储元数据信息，并根据自己的业务流程进行处理。本发明能够提供灵活的配置方式，可以根据客户的应用场景选择不同的配置方式。可以选择默认不配置对象存储检索服务，也可以选择通过配置文件的形式适配第三方应用接受元数据信息，从而为不同的客户提供了灵活的配置，达到最高效的资源利用。以json格式同步元数据信息，任意第三方应用都可以接受解析，对于自定义元数据信息支持也没有任何问题。元数据同步采用异步的设计，支持异常告警、重新同步失败元数据等功能，一方面保证同步可靠性，另一方面不会影响对象存储读写性能。提供可靠的容错机制，无论是存储、消息队列、检索服务器都以分布式系统的形式提供容错机制，不存在单点故障。各个组件之间也可以灵活的扩容，以解决容量或性能瓶颈。同时，存储默认支持的检索服务，具体高效的检索性能，同时内置分析引擎并提供RESTful API接口，可以对接第三方大数据处理服务，为其提供强大的数据分析能力。
附图说明
图1是本发明的基于Ceph对象存储元数据的管理及检索的实现方法的流程图；
图2是本发明的基于Ceph对象存储元数据的管理及检索的架构示意图。
具体实施方式
下面将结合附图对本发明作进一步说明。
请参阅图1和图2，本发明的基于Ceph对象存储元数据的管理及检索的实现方法，包括下列步骤：
步骤S1，对象存储系统提供标准的RESTful API接口，客户端通过RESTful API进行访问，即发起写请求。在这之前，对象存储网关初次启动时，初始化用于元数据同步的分布式消息队列(MQ exchange)，并初始化检索队列。检索服务由对象存储提供(也可以选择不配置)，如果上层应用需要接受元数据做其他处理以完成定制化功能，在配置文件注册新的队列。
步骤S2，对象存储网关收到写请求后，首先检查写请求的合法性、权限，若合法性检查不通过或者权限检测不通过，则结束；否则，进入下一步；
步骤S3，对象存储网关一方面将写请求转发到对象存储数据处理层，另一方面发起异步任务：从写请求的请求头中提取对象存储元数据信息，重新组合为json格式并发送到分布式消息队列。
步骤S4，分布式消息队列服务推送对象存储元数据信息至所有队列，包括：各消费者队列，检索队列。即：由分布式消息队列发布消息。
步骤S5，各个消费者从各自的消费者队列获取对象存储元数据信息，进行逻辑处理。检索服务从检索队列获取对象存储元数据信息后，存入检索服务器的分布式检索数据库，进行建立索引等逻辑处理，从而提供强大检索查询、数据分类等功能。即：由上层应用(包括检索服务)通过订阅消息的形式获取对象存储元数据信息。
过程中，如果消息推送或消费者处理失败，记录针对元数据同步的日志并上报告警。同时提供单独的工具，在消费者队列、检索队列或消费者恢复正常时，该工具可以根据失败日志，同步失败的元数据信息到检索服务或各消费者，或其他注册的上层应用。
保证无论是存储本身、元数据检索服务还是第三方应用服务，都可以独立的、灵活的进行扩展，保证高内聚、低耦合。
步骤S6，对象存储数据处理层完成写操作，并向对象存储网关返回成功信息；对象存储网关向客户端返回请求成功信息。
以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以作出各种变换或变型，因此所有等同的技术方案也应该属于本发明的范畴，应由各权利要求所限定。

Claims (6)

1.一种基于Ceph对象存储元数据的管理及检索的实现方法，其特征在于，包括：
步骤S1，客户端发送写请求给对象存储系统；
步骤S2，对象存储系统的对象存储网关收到写请求后，首先检查写请求的合法性和权限，通过后进入下一步骤；
步骤S3，对象存储网关一方面将写请求转发到对象存储数据处理层，另一方面发起异步任务，推送对象存储元数据信息到分布式消息队列；
步骤S4，分布式消息队列服务推送对象存储元数据信息至所有的消费者队列和检索队列；
步骤S5，各个消费者和检索服务从消费者队列或检索队列通过订阅消息的形式获取对象存储元数据信息；
步骤S6，对象存储数据处理层完成写操作，并向对象存储网关返回成功信息；对象存储网关向客户端返回请求成功信息。
2.根据权利要求1所述的基于Ceph对象存储元数据的管理及检索的实现方法，其特征在于，客户端通过RESTful API接口发送写请求给对象存储系统。
3.根据权利要求1所述的基于Ceph对象存储元数据的管理及检索的实现方法，其特征在于，客户端发送写请求给对象存储系统之前，对象存储网关初次启动时，初始化用于元数据同步的分布式消息队列，并初始化检索队列。
4.根据权利要求1所述的基于Ceph对象存储元数据的管理及检索的实现方法，其特征在于，所述的异步任务指：从写请求的请求头中提取对象存储元数据信息，重新组合为json格式并发送到分布式消息队列。
5.根据权利要求1所述的基于Ceph对象存储元数据的管理及检索的实现方法，其特征在于，步骤S5中，各个消费者从各自的消费者队列获取对象存储元数据信息，进行逻辑处理；
检索服务从检索队列获取对象存储元数据信息后，存入检索服务器的分布式检索数据库，进行逻辑处理。
6.根据权利要求5所述的基于Ceph对象存储元数据的管理及检索的实现方法，其特征在于，步骤S5中，如果消息推送或消费者处理失败，记录针对元数据同步的日志并上报告警；同时提供单独的工具，在消费者队列、检索队列或消费者恢复正常时，该工具可以根据失败日志，同步失败的元数据信息到检索服务或各消费者。
CN202010448546.9A 2020-05-25 2020-05-25 基于Ceph对象存储元数据的管理及检索的实现方法 Active CN111641700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010448546.9A CN111641700B (zh) 2020-05-25 2020-05-25 基于Ceph对象存储元数据的管理及检索的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010448546.9A CN111641700B (zh) 2020-05-25 2020-05-25 基于Ceph对象存储元数据的管理及检索的实现方法

Publications (2)

Publication Number Publication Date
CN111641700A true CN111641700A (zh) 2020-09-08
CN111641700B CN111641700B (zh) 2023-04-28

Family

ID=72332270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010448546.9A Active CN111641700B (zh) 2020-05-25 2020-05-25 基于Ceph对象存储元数据的管理及检索的实现方法

Country Status (1)

Country Link
CN (1) CN111641700B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199048A (zh) * 2020-10-20 2021-01-08 重庆紫光华山智安科技有限公司 数据读取方法、系统、设备及介质
CN114205323A (zh) * 2021-12-13 2022-03-18 厦门傲播网络科技有限公司 一种体育消息推送处理方法及推送处理系统
CN114385090A (zh) * 2022-03-23 2022-04-22 深圳市杉岩数据技术有限公司 基于对象存储站点同步机制的数据自动处理方法及装置
US11481143B2 (en) 2020-11-10 2022-10-25 Red Hat, Inc. Metadata management for extent-based storage system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294786A (zh) * 2013-05-17 2013-09-11 华中科技大学 一种分布式文件系统的元数据组织管理方法和系统
CN103875229A (zh) * 2013-12-02 2014-06-18 华为技术有限公司 异步复制方法、装置与系统
CN107317838A (zh) * 2017-05-24 2017-11-03 重庆邮电大学 一种基于流式数据处理架构的天文元数据归档方法及系统
CN107479827A (zh) * 2017-07-24 2017-12-15 上海德拓信息技术股份有限公司 一种基于io和元数据分离的混合存储系统实现方法
CN110232049A (zh) * 2019-06-12 2019-09-13 腾讯科技（深圳）有限公司 一种元数据缓存管理方法和装置
CN110531933A (zh) * 2019-08-23 2019-12-03 北京浪潮数据技术有限公司 数据处理方法及服务器
US20200104181A1 (en) * 2018-09-29 2020-04-02 Western Digital Technologies, Inc. Object Storage System with Priority Metadata Processing
CN111124301A (zh) * 2019-12-18 2020-05-08 深圳供电局有限公司 一种对象存储设备的数据一致性存储方法及系统
CN111191094A (zh) * 2019-12-31 2020-05-22 深圳创新科技术有限公司 一种ceph存储对象搜索方法、装置及存储设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294786A (zh) * 2013-05-17 2013-09-11 华中科技大学 一种分布式文件系统的元数据组织管理方法和系统
CN103875229A (zh) * 2013-12-02 2014-06-18 华为技术有限公司 异步复制方法、装置与系统
CN107317838A (zh) * 2017-05-24 2017-11-03 重庆邮电大学 一种基于流式数据处理架构的天文元数据归档方法及系统
CN107479827A (zh) * 2017-07-24 2017-12-15 上海德拓信息技术股份有限公司 一种基于io和元数据分离的混合存储系统实现方法
US20200104181A1 (en) * 2018-09-29 2020-04-02 Western Digital Technologies, Inc. Object Storage System with Priority Metadata Processing
CN110232049A (zh) * 2019-06-12 2019-09-13 腾讯科技（深圳）有限公司 一种元数据缓存管理方法和装置
CN110531933A (zh) * 2019-08-23 2019-12-03 北京浪潮数据技术有限公司 数据处理方法及服务器
CN111124301A (zh) * 2019-12-18 2020-05-08 深圳供电局有限公司 一种对象存储设备的数据一致性存储方法及系统
CN111191094A (zh) * 2019-12-31 2020-05-22 深圳创新科技术有限公司 一种ceph存储对象搜索方法、装置及存储设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KISIK JEONG: "Optimizing the Ceph Distributed File System for High Performance Computing" *
方圆: "基于对象存储的新型元数据管理策略", 《计算机工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199048A (zh) * 2020-10-20 2021-01-08 重庆紫光华山智安科技有限公司 数据读取方法、系统、设备及介质
US11481143B2 (en) 2020-11-10 2022-10-25 Red Hat, Inc. Metadata management for extent-based storage system
CN114205323A (zh) * 2021-12-13 2022-03-18 厦门傲播网络科技有限公司 一种体育消息推送处理方法及推送处理系统
CN114385090A (zh) * 2022-03-23 2022-04-22 深圳市杉岩数据技术有限公司 基于对象存储站点同步机制的数据自动处理方法及装置

Also Published As

Publication number Publication date
CN111641700B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN111641700B (zh) 基于Ceph对象存储元数据的管理及检索的实现方法
CN110300056B (zh) 一种实时响应式api网关及其请求处理方法
CN110209726B (zh) 分布式数据库集群系统、数据同步方法及存储介质
WO2019174129A1 (zh) 事件提醒方法、装置、计算机设备和存储介质
CN106874334B (zh) 一种数据处理方法及装置、资讯处理系统
US20150256504A1 (en) Distributed synchronization data in a message management service
US20120278429A1 (en) Cluster system, synchronization controlling method, server, and synchronization controlling program
CN108712457A (zh) 基于Nginx反向代理的后端服务器动态负载调整方法及装置
CN102411598A (zh) 一种实现数据一致性的方法及其系统
US20140006541A1 (en) Persistent messaging
CN110837423A (zh) 一种自动导引运输车数据采集的方法和装置
US7788330B2 (en) System and method for processing data associated with a transmission in a data communication system
CN112351068A (zh) 信息同步方法、系统、装置、计算机设备和存储介质
CN111221793A (zh) 数据挖掘方法、平台、计算机设备及存储介质
CN111416823A (zh) 一种数据传输方法和装置
CN112865927B (zh) 消息送达验证方法、装置、计算机设备和存储介质
CN112689248A (zh) 一种消息处理方法及系统
CN116662035A (zh) 消息队列事务消息的处理方法和装置
US9852031B2 (en) Computer system and method of identifying a failure
CN116185298A (zh) 一种日志分布式存储的方法
CN111382132A (zh) 医学影像数据云存储系统
CN112667698B (zh) 一种基于融媒体平台的MongoDB数据同步方法
CN100417256C (zh) 一种多媒体消息业务中心的消息存贮方法
CN113641760A (zh) 数据同步方法及装置
CN103067419A (zh) 一种分布式文件系统及在该系统中控制文件存储的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant