CN110968704B - 一种RADOS Gateway的多媒体处理方法 - Google Patents

一种RADOS Gateway的多媒体处理方法 Download PDF

Info

Publication number
CN110968704B
CN110968704B CN201911343404.XA CN201911343404A CN110968704B CN 110968704 B CN110968704 B CN 110968704B CN 201911343404 A CN201911343404 A CN 201911343404A CN 110968704 B CN110968704 B CN 110968704B
Authority
CN
China
Prior art keywords
processing
multimedia
request
gateway
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911343404.XA
Other languages
English (en)
Other versions
CN110968704A (zh
Inventor
曹磊
王大帅
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN201911343404.XA priority Critical patent/CN110968704B/zh
Publication of CN110968704A publication Critical patent/CN110968704A/zh
Application granted granted Critical
Publication of CN110968704B publication Critical patent/CN110968704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种RADOS Gateway的多媒体处理方法，属于对象存储技术领域，将多媒体的资源处理参数放在请求header中的用户自定义元数据字段中，客户端将请求发送至Openresty服务网关中，Openresty将请求转发到RADOS Gateway中，当RADOS Gateway完成操作后，同步方式使用http_image_filter_module模块直接处理多媒体数据并返回给客户端，异步方式将任务下发到Kafka再由专门的多媒体处理程序进行处理，进而更新处理结果到数据库中以方便后续客户端查询。从而利用一个请求同时完成了对象存储一般服务和多媒体数据处理。

Description

一种RADOS Gateway的多媒体处理方法
技术领域
本发明涉及对象存储技术，尤其涉及一种RADOS Gateway的多媒体处理方法。
背景技术
OpenResty集成了Nginx核心以及众多Lua库和第三方模块，是一个能无阻塞地处理高并发连接的全功能的Web平台，工程师可以使用Lua脚本分阶段调动Nginx的资源，而且将任务拆解后通过SOCKET技术分发到分布式计算服务端并进行结果处理。对象存储所用的RADOS Gateway本身并不支持多媒体处理，但是提供多媒体存储服务，利用OpenResty技术就可以解决这一矛盾，提升用户体验并扩展对象存储的功能。
发明内容
为了解决以上技术问题，本发明提出了一种RADOS Gateway的多媒体处理方法，支持多媒体处理、提供多媒体存储服务，提升用户体验并扩展对象存储的功能。
本发明的技术方案是：
一种RADOS Gateway的多媒体处理方法，
利用s3协议可以自定义元数据的特性，将多媒体的资源处理参数放在请求header中的用户自定义元数据字段(x-amz-meta-开头)中，客户端将请求发送至Openresty服务网关中，网关根据多媒体数据的大小选择同步或异步两种方式下发多媒体处理任务，Openresty将请求转发到RADOS Gateway中，当RADOS Gateway完成操作后，同步方式使用http_image_filter_module模块直接处理多媒体数据并返回给客户端，异步方式将任务下发到Kafka再由专门的多媒体处理程序进行处理，进而更新处理结果到数据库中以方便后续客户端查询，从而利用一个请求同时完成了对象存储一般服务和多媒体数据处理。
进一步的，包括以下三个部分：
1)在请求中添加用户自定义元数据标识数据处理参数，
2)OpenResty分发任务到不同的多媒体处理模块，
3)数据状态返回。
在请求中添加用户自定义元数据标识数据处理参数，这种方式通过灵活定义元数据可以满足几乎所有的多媒体数据处理要求。
在请求中添加用户自定义元数据标识数据处理参数，不改变原生RADOS Gateway接口和鉴权体系，对原生RADOS Gateway的入侵极小。
在请求中添加用户自定义元数据标识数据处理参数，这种方式的特点在于同时在一个请求中既能完成一般的对象存储提供的功能又能处理多媒体数据。
使用OpenResty的特点在于OpenResty不仅可以直接同步处理多媒体数据，而且可以将复杂的数据处理任务转发到专门的多媒体处理模块异步进行。
进一步的，
将多媒体数据处理参数写入到s3请求中的用户自定义元数据字段：
定制S3协议中request header中自定义元数据字段，将多媒体处理的相关参数通过header的方式传给对象存储服务端。
进一步的，
复杂均衡层根据处理数据的大小决定同步还是异步进行多媒体数据的处理。
同步处理：
请求发送到OpenResty以后，处理图片和音频的时候，直接向RADOS Gateway请求数据，拿到数据后利用http_image_filter_module模块完成对象数据的多媒体处理过程，处理结束后将结果返回给客户端；
当同步处理多媒体数据时，处理完成后数据状态直接返回客户端，不需要额外设计查询接口。
同步的处理多媒体数据合理利用了OpenResty数据缓存能力，这样做的特点是可以减轻对象存储服务的压力，缩短io路径。
异步处理：
请求发送到OpenResty以后，处理视频的时候，OpenResty先将请求转发到RADOSGateway，返会后利用log_by_lua_file模块向多媒体处理服务端发送异步任务到kafka，然后多媒体处理程序进行处理并将处理状态存入数据库中，等待客户端查询。
具体的过程为：
1).先将请求转分发到RADOS Gateway进行除多媒体处理外的其他任务；
2).将多媒体处理任务通过kafka转发到多媒体处理模块；
3).多媒体处理模块从RADOS Gateway中拿到对象后进行数据处理；
4).多媒体处理模块完成数据处理后将结果存入数据库，等待客户端查询。
进一步的，
多媒体数据处理状态的返回：
当异步完成多媒体数据处理时，客户端向Openresty层发起任务查询请求，Openresty接收到请求后去数据库中查询相应的处理状态返回给客户端。
当采用异步处理多媒体数据时，客户端需要通过额外增加的状态查询接口去数据库中将数据处理状态取回。
本发明的有益效果是
本方法通过在header中添加自定义元数据的方式利用OpenResty的数据缓存和处理能力，在不改变RADOS Gateway现有接口以及鉴权方式的情况下，完成了多媒体数据的处理。同时在异步场景，用户发一个请求就可以完成上传对象或者其他对象存储提供的功能以及多媒体数据的处理，大大减少了请求数量。同步场景下由于在OpenResty中完成了小数据的多媒体处理，从而降低了RADOS Gateway的压力。总体来看，本方法实现方式较为简单，且对已有的RADOS Gateway和IAM系统侵入性与依赖性小，基本上适用于所有云平台。
附图说明
图1是本发明的多媒体处理流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的一种RADOS Gateway的多媒体处理方法，该方法的步骤如下
1、将多媒体数据处理参数写入到s3请求中的用户自定义元数据字段：
定制S3协议中request header中自定义元数据字段，如为图片数据的resize处理定义x-amz-meta-height和x-amz-meta-width来声明resize后的高和宽，将多媒体处理的相关参数通过header的方式传给对象存储服务端。
2、复杂均衡层根据处理数据的大小决定同步还是异步进行多媒体数据的处理：
请求发送到OpenResty以后，数据量小的时候直接向RADOS Gateway请求数据，拿到数据后利用http_image_filter_module模块完成对象数据的多媒体处理过程，处理结束后将结果返回给客户端；数据量大的时候，OpenResty先将请求转发到RADOS Gateway，返会后利用log_by_lua_file模块向多媒体处理服务端发送异步任务到kafka，然后多媒体处理程序进行处理并将处理状态存入数据库中，等待客户端查询。
3、多媒体数据处理状态的返回：
当异步完成多媒体数据处理时，客户端向Openresty层发起任务查询请求，Openresty接收到请求后去数据库中查询相应的处理状态返回给客户端。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (5)

1.一种RADOS Gateway的多媒体处理方法，其特征在于，
利用s3协议可以自定义元数据的特性，将多媒体的资源处理参数放在s3请求header中的用户自定义元数据字段即x-amz-meta-开头中，客户端将s3请求发送至OpenResty服务网关中，OpenResty服务网关根据多媒体数据的大小选择同步或异步两种方式下发多媒体处理任务，OpenResty服务网关将s3请求转发到RADOS Gateway中，当RADOS Gateway完成操作后，同步方式使用http_image_filter_module模块直接处理多媒体数据并返回给客户端，异步方式将任务下发到Kafka再由多媒体处理程序进行处理，进而更新处理结果到数据库中以方便后续客户端查询；
包括以下三个部分：
1）在s3请求中添加用户自定义元数据用以标识资源处理参数，具体为：
将多媒体的资源处理参数写入到s3请求中的用户自定义元数据字段；
定制s3协议中request header中自定义元数据字段，将多媒体的资源处理参数通过header的方式传给对象存储服务端；
2）OpenResty服务网关分发任务到不同的多媒体处理模块，
3）数据状态返回，具体为：
当同步处理多媒体数据时，处理完成后的数据状态直接返回客户端，不需要额外设计查询接口；
当异步完成多媒体数据处理时，客户端向OpenResty服务网关发起任务查询请求，OpenResty服务网关接收到请求后去数据库中查询相应的处理状态返回给客户端。
2.根据权利要求1所述的方法，其特征在于，
请求发送到OpenResty服务网关以后，处理图片和音频的时候，直接向RADOS Gateway请求数据，拿到数据后利用http_image_filter_module模块完成对象数据的多媒体处理过程，处理结束后将结果返回给客户端。
3.根据权利要求1所述的方法，其特征在于，
请求发送到OpenResty服务网关以后，处理视频的时候，OpenResty服务网关先将请求转发到RADOS Gateway，返回后利用log_by_lua_file模块向多媒体处理服务端发送异步任务到kafka，然后多媒体处理程序进行处理并将处理状态存入数据库中，等待客户端查询。
4.根据权利要求3所述的方法，其特征在于，
具体的过程为：
1）先将请求转分发到RADOS Gateway进行除多媒体处理外的其他任务；
2）将多媒体处理任务通过kafka转发到多媒体处理模块；
3）多媒体处理模块从RADOS Gateway中拿到对象后进行数据处理；
4）多媒体处理模块完成数据处理后将结果存入数据库，等待客户端查询。
5.根据权利要求1所述的方法，其特征在于，
当采用异步处理多媒体数据时，客户端需要通过额外增加的状态查询接口去数据库中将数据的处理状态取回。
CN201911343404.XA 2019-12-24 2019-12-24 一种RADOS Gateway的多媒体处理方法 Active CN110968704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911343404.XA CN110968704B (zh) 2019-12-24 2019-12-24 一种RADOS Gateway的多媒体处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911343404.XA CN110968704B (zh) 2019-12-24 2019-12-24 一种RADOS Gateway的多媒体处理方法

Publications (2)

Publication Number Publication Date
CN110968704A CN110968704A (zh) 2020-04-07
CN110968704B true CN110968704B (zh) 2023-04-07

Family

ID=70036012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911343404.XA Active CN110968704B (zh) 2019-12-24 2019-12-24 一种RADOS Gateway的多媒体处理方法

Country Status (1)

Country Link
CN (1) CN110968704B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138419B (zh) * 2021-12-07 2022-09-23 北京睿芯高通量科技有限公司 一种基于Openresty的跨类型服务间数据共享方法及系统
CN114385090B (zh) * 2022-03-23 2022-06-07 深圳市杉岩数据技术有限公司 基于对象存储站点同步机制的数据自动处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110392015A (zh) * 2018-04-17 2019-10-29 网宿科技股份有限公司 一种处理业务请求的方法和系统
CN110572703A (zh) * 2019-10-08 2019-12-13 广州创维平面显示科技有限公司 多媒体数据同步播放方法、系统、终端及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120078712A1 (en) * 2010-09-27 2012-03-29 Fontana James A Systems and methods for processing and delivery of multimedia content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110392015A (zh) * 2018-04-17 2019-10-29 网宿科技股份有限公司 一种处理业务请求的方法和系统
CN110572703A (zh) * 2019-10-08 2019-12-13 广州创维平面显示科技有限公司 多媒体数据同步播放方法、系统、终端及存储介质

Also Published As

Publication number Publication date
CN110968704A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN106657213B (zh) 文件传输方法和装置
WO2018054195A1 (zh) 一种资源分配的方法及基站
CN107679560B (zh) 数据传输方法、装置、移动终端及计算机可读存储介质
CN110968704B (zh) 一种RADOS Gateway的多媒体处理方法
CN109462631B (zh) 数据处理方法、装置、存储介质及电子装置
CN112860479A (zh) 存储数据的方法及云数据中心
CN104185036A (zh) 一种视频文件回源方法及装置
CN105868251A (zh) 一种缓存数据更新方法及装置
CN106453572A (zh) 基于云服务器同步图像的方法及系统
WO2021203918A1 (zh) 用于处理模型参数的方法和装置
CN113014510B (zh) 惯导系统分布式测试中数据缓存方法及装置
CN111159265B (zh) 一种etl数据迁移方法和系统
CN110764688A (zh) 对数据进行处理的方法和装置
US20170061007A1 (en) System and Method for Providing Data as a Service (DaaS) in Real-time
CN113742290B (zh) 一种数据存储方法、装置、存储介质及电子装置
CN111200640B (zh) 基于客户端的上传方法以及客户端
CN106649528A (zh) 图片写入和读取方法、装置
CN111090782A (zh) 一种图数据存储方法、装置、设备及存储介质
CN104580276A (zh) 信息推送方法、装置、系统及信息接入装置
CN112688980B (zh) 资源分发方法、装置、计算机设备
CN106453596A (zh) 一种分享图片的方法、装置和系统
CN113468275A (zh) 图数据库的数据导入方法和装置、存储介质及电子设备
US8484182B1 (en) Wireless device content searching
CN113365231A (zh) 一种发送短信的方法和装置
CN113342837B (zh) 数据发送方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant after: Inspur cloud Information Technology Co.,Ltd.

Address before: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Applicant before: Tidal Cloud Information Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant