CN112188235B - 媒体处理方式的选择方法及媒体处理方法 - Google Patents

媒体处理方式的选择方法及媒体处理方法 Download PDF

Info

Publication number
CN112188235B
CN112188235B CN201910862257.0A CN201910862257A CN112188235B CN 112188235 B CN112188235 B CN 112188235B CN 201910862257 A CN201910862257 A CN 201910862257A CN 112188235 B CN112188235 B CN 112188235B
Authority
CN
China
Prior art keywords
media processing
media
function
mode
processing mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910862257.0A
Other languages
English (en)
Other versions
CN112188235A (zh
Inventor
徐异凌
杨琦
张文军
管云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to EP20837305.0A priority Critical patent/EP3996374A4/en
Priority to KR1020217042745A priority patent/KR102674457B1/ko
Priority to JP2022500152A priority patent/JP7336161B2/ja
Priority to US17/597,427 priority patent/US11973994B2/en
Priority to PCT/CN2020/100297 priority patent/WO2021004411A1/zh
Publication of CN112188235A publication Critical patent/CN112188235A/zh
Application granted granted Critical
Publication of CN112188235B publication Critical patent/CN112188235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Stored Programmes (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明揭示了一种媒体处理方式的选择方法及媒体处理方法，用于实现用户或第三方提供函数的上传与用户提供媒体处理参数的获取，包括如下步骤：获取媒体流的媒体处理描述；根据媒体流的媒体处理描述，从云系统中或通过应用程序接口从外部选取与媒体处理描述相对应的媒体处理方式或媒体处理函数；根据选取的媒体处理方式或媒体处理函数生成媒体处理任务；根据所述媒体处理任务对媒体流进行处理。采用了本发明的技术方案，可实现云系统基于用户或第三方的个性化媒体处理，从而提高用户的消费体验、系统的完整性与鲁棒性。

Description

媒体处理方式的选择方法及媒体处理方法
技术领域
本发明属于云处理系统领域，尤其是一种媒体处理方式的选择方法及媒体处理方法。
背景技术
随着视觉媒体的迅速发展，虚拟现实(Virtual Reality，VR)，点云(Point Cloud，PC)应用到越来越多的消费场景，例如游戏、比赛直播、医疗等。在这些场景中，往往要求具有较低的响应时延，这对数据的处理与传输时延提出了更高的要求。以全景视频为例，服务器需要收集多路相机流，然后通过拼接、渲染，将多路视频拼接成一个球形数据，然后供用户消费。其中拼接这一过程比较复杂，在本地处理器能力有限的情况下，往往会产生一定时延。在直播场景下，这种时延会对用户的体验会造成一定的影响。点云数据则是通过扫描或者电脑直接生成，一个简单的点云对象拥有几万甚至十几万的点，对这些点的几何及属性信息进行压缩十分耗时，难以达到实时的要求。针对以上存在的问题，现在的解决方案是将复杂的媒体处理过程放到云端，利用云端服务器强大的处理能力来加速数据的处理速度。MPEG专家组已针对媒体云处理建立Network Based Media Processing(NBMP)工作组，就媒体云处理的一系列机制进行标准化研究。而目前针对沉浸式媒体处理的研究发展极为迅速，其中以深度学习为代表的方法表现出了较好的性能。通过训练学习网络，可以提高媒体处理效率。以点云压缩为例，南京大学提出使用基于三维卷积神经网络(3D CNN)的变分自编码器(VAE)进行点云的几何压缩，达到了良好的压缩性能。
现实中，用户或其他第三方可能会针对媒体处理形成自己的解决方案，提供媒体处理方式或媒体处理函数，这些解决方案可以指导云系统中的服务器进行媒体处理。但目前的云系统没有允许用户上传媒体处理方式或者媒体处理函数的机制或者接口，如何使云系统采用用户或第三方形成的解决方案是本领域的一个难题。
发明内容
本发明提供了一种媒体处理方式的选择方法及媒体处理方法，设计云系统与用户端或第三方的交互机制，实现云系统对用户端或第三方提供的媒体处理解决方案的收集和上传。
依据上述目的，实施本发明的一种媒体处理方式的选择方法，其特征在于，包括如下步骤：
步骤S1，根据媒体流的媒体处理描述，判断云系统上是否存在满足媒体处理描述的要求的媒体处理方式或媒体处理函数，如果是，执行步骤S2；否则，执行步骤S3；
步骤S2，从云系统中选取满足媒体处理描述的要求的媒体处理方式或媒体处理函数；
步骤S3，从云系统外部选取满足媒体处理描述的要求的媒体处理方式或媒体处理函数，并通过应用程序接口上传至云系统。
可选的，所述步骤S1包括如下步骤：
步骤S11，查找所有可用的媒体处理方式和/或媒体处理函数；
步骤S12，采用关键字匹配和/或确定优先级的方式，判断云系统上是否存在满足媒体处理描述的要求的媒体处理方式或媒体处理函数。
可选的，所述步骤S12中，当满足关键字匹配的媒体处理方式或媒体处理函数的个数≥2时，根据媒体处理描述的要求的需求指标与媒体处理方式或媒体处理函数对应的性能指标，确定各媒体处理方式或媒体处理函数的优先级。
可选的，所述步骤S2中，从云系统中选取唯一满足关键字匹配或优先级最高的媒体处理方式或媒体处理函数。
可选的，所述应用程序接口包含的信息如下表所示：
Figure BDA0002200149880000031
依据上述目的，实施本发明的一种媒体处理方法，其特征在于，包括如下步骤：
获取媒体流的媒体处理描述；
采用如权利要求前述的媒体处理方式的选择方法，选取媒体处理方式或媒体处理函数；
根据选取的媒体处理方式或媒体处理函数生成媒体处理任务；
根据所述媒体处理任务对媒体流进行处理。
采用了本发明的技术方案，针对现有技术的不足，通过在现有云系统中添加系统层应用程序接口的钩子程序(Hook API)或者函数库上传应用程序接口API的方式，可上传用户或第三方提供的媒体处理方式或媒体处理函数，实现基于用户端或第三方的个性化媒体处理。
附图说明
图1是：采用应用程序接口的钩子程序(Hook API)方案的云系统结构图；
图2是：采用函数库上传应用程序接口(API)方案的云系统结构图。
具体实施方式
下面结合附图和实施例进一步说明本发明的技术方案。本发明设计了云系统与用户端的交互机制，通过使用定义的应用程序接口(Application Program Interface，API)收集用户个性化处理方法或者参数指导媒体处理；设计的应用程序接口(API)不仅适用于用户端上传与更新函数，还可满足任何第三方对函数库进行更新。
实施例一
如图1所示为本发明的云媒体处理系统(云系统)的结构。云系统的组成成分主要包括媒体源、用户端、管理器、处理实体和函数库。该云系统的媒体处理方式为：管理器首先从媒体源发送的媒体流中收集媒体处理描述，媒体处理描述可以是需要处理的媒体类型、处理函数调用方式等等，包含压缩、上采样、视频转码等信息。然后管理器根据媒体处理描述从函数库选取可满足要求的具体媒体处理方式或媒体处理函数，例如媒体处理方式可以为H.264视频编码方式，其主要组成部分包括访问单元符分隔、附加增强信息、基本图像编码、冗余图像编码、及时解码刷新、假想参考解码、假象码流调度器等函数模块。管理器通过这些具体的媒体处理方式或者媒体处理函数生成具体的媒体处理任务；管理器在确定函数库中的媒体处理方式或者函数后，会使用该媒体处理方式或者媒体处理函数的地址创建具体的媒体处理任务生成工作流，该工作流首先运行对应的媒体处理方式或者媒体处理函数得到具体的媒体处理参数信息，然后指导媒体处理任务任务的生成。处理实体同时接收从媒体源发送的媒体流和从管理器生成的媒体处理任务，通过生成的媒体处理任务对接受到的媒体流进行处理后发送给用户端。
本发明针对每个媒体处理方式或媒体处理函数设计应用程序接口的钩子程序(Hook API)，当需要采用用户或其他第三方形成的解决方案进行媒体处理时，程序接口的钩子程序将用户或第三方提供的媒体处理方式或媒体处理函数上传至云系统。
应用程序接口的钩子程序(Hook API)是一种用于改变应用程序接口(API)执行结果的技术。当诸如控件这些现成的手段不能实现一些功能时，我们还需要借助应用程序接口(API)。例如，对某些应用程序接口(API)函数的功能不太满意，可修改这些应用程序接口(API)，使之能够更好的提供服务。通过应用程序接口的钩子程序(Hook API)，能够改变一个系统的应用程序接口(API)的原有功能。基本的方法就是通过钩子程序(Hook)“接触”到需要修改的应用程序接口(API)函数入口点，改变它的地址指向新的自定义的媒体处理方式或媒体处理函数。
在管理器与处理实体之间存在一个应用程序接口(API)，称之为处理实体应用程序接口(处理实体API)。通过应用程序接口的钩子程序(Hook API)技术，用户或第三方可以钩取到处理实体API；钩取的方式使用钩子程序(Hook)的基本原理，每一个钩子程序(Hook)都有一个与之相关联的指针列表，称之为钩子链表，由系统来维护。使用钩子程序(Hook)的钩取技术，修改处理实体API中的媒体处理方式或媒体处理函数的函数入口地址，即将原先通过函数库选取的媒体处理方式或媒体处理函数的地址替换为用户或第三方自己媒体处理方式或媒体处理函数的地址；运行的媒体处理方式或者函数后，提供每个参数对应的具体参数值，则可实现媒体处理方式或媒体处理参数的替换。然后通过处理实体API传输给处理实体，执行具体的媒体处理任务。
以基于转码的应用程序接口的钩子程序(Hook API)为例，视频转码时需要指定媒体处理的类别(本处即为视频转码)，视频的帧率、分辨率、量化步长、编码器、比特率、采样率等。这些参数原本是通过函数库提供的具体的媒体处理方式或者媒体处理函数生成用于指导任务生成，这些参数定义在处理实体API中，即管理器将该处理实体API中定义的信息传输给处理实体，处理实体根据这些信息具体执行媒体处理。在将处理实体API中函数库的入口函数地址替换为用户或第三方的函数地址，管理器确定用户端或第三方提供的媒体处理方式或者函数后，会使用用户或第三方提供的媒体处理方式或者媒体处理函数的地址创建具体的媒体处理任务生成工作流，该工作流首先运行对应的媒体处理方式或者媒体处理函数得到具体的媒体处理参数信息，然后指导任务的生成。
视频转码采用应用程序接口的钩子程序(Hook API)时，则该应用程序接口的钩子程序(Hook API)所包括的信息如下表一：
表一Hook API_Transcode
Figure BDA0002200149880000071
Figure BDA0002200149880000081
上述表一中的参数的传输方式不限于MMT，DSAH等任何传输协议，所传输的信息须包括但不限于如下信息：
(1)一般参数：用于该传输的识别与传输端口配置；
(2)输入输出描述参数：用于说明该参数指导的媒体处理类型，媒体处理具体细节，例如，转码中的转码参数，包括分辨率、帧率、编码器、编码方式、媒体封装格式等；
(3)其余参数：用于可选的要求信息，监控信息等。
实施例二
实施例二与实施例一的不同之处在于用户或第三方提供的媒体处理方式或媒体处理函数上传至云系统的方式。
管理器根据媒体处理描述，判断函数库中是否存在可满足要求的具体媒体处理方式或媒体处理函数；如果是，管理器从函数库中选取相对应的媒体处理方式或媒体处理函数；如果否，管理器既可从云系统中选取与媒体处理描述相关的优先级最高的媒体处理方式或媒体处理函数，也可从外部用户或第三方选取与媒体处理描述相对应的媒体处理方式或媒体处理函数，并通过应用程序接口(API)上传至云系统。
如图2所示，本发明采用定义函数库上传应用程序接口(API)的方案。该函数库上传应用程序接口(API)可用来接收用户端或者第三方向函数库传输具体的媒体处理方式或媒体处理函数。管理器通过这些上传的媒体处理方式或者媒体处理函数生成具体的媒体处理任务，处理实体可以使用接收到的媒体处理任务对接收到的媒体流进行媒体处理。
基于云系统的媒体处理还可存在以下工作流程：媒体源在向管理器发送媒体处理描述之前，可以向函数库发出函数查询请求，现有云系统会提供相应的函数查询应用程序接口(函数查询API)，通过关键字检索即可查找出所有的对应函数，例如所有可以实现视频编码的函数，包括H.264，H.265等等。关键字匹配可存在多种方式，例如部分匹配(包括头匹配，尾匹配)，全匹配。
如果媒体源发现函数库中满足关键字匹配的函数且不止一个，则需要通过优先级计算机制实现函数排序，然后择优使用，具体计算方式如下：
假设函数需求指标有A,B,C，对应函数性能指标有a,b,c，<A,a>为性能指标A(a)匹配程度，范围为(0,1)，则函数优先级如下：
Figure BDA0002200149880000091
S代表某一性能指标，Req代表需求指标集合。Pf越大，优先级越大。匹配程度的计算方式取决于具体的函数需求指标，并不局限于某一种计算方式。
如果媒体源发现函数库中没有满足要求的函数且媒体源本身有相应的解决方式或者函数，可以通过函数库上传应用程序接口(API)将媒体源有的函数上传至函数库，并在之后的媒体处理任务的生成中使用。
该应用程序接口(API)应包括用户函数的识别信息以及具体的函数描述信息，具体的，该应用程序接口(API)需要包括上传函数的名称、函数输入描述信息、输出描述信息、媒体处理附加信息(例如编码器要求)等等。
若采用函数库上传应用程序接口(API)，则管理器向函数库发出函数查找请求，函数库则通过函数库上传应用程序接口(API)接收来自用户端或者第三方的媒体处理方式或媒体处理函数，该函数库上传应用程序接口(API)的具体设计如下表二：
表二Function Repository API(函数库上传应用程序接口)
Figure BDA0002200149880000101
函数库上传应用程序接口(API)涉及的交互信息应该包括但不限于以下信息：
(1)函数识别信息：该信息用于函数库标记用户提供的函数，并在管理器生成处理任务时调用；
(2)函数位置信息：该信息用于描述用户提供函数的存放位置；
(3)函数输入输出信息：该信息描述该用户提供函数所需的输入参数，及输出参数。
本发明应用程序接口的钩子程序(Hook API)和函数库上传应用程序接口(API)的设计均可扩展到任何媒体处理类型。对于应用程序接口的钩子程序(Hook API)，通过修改一般信息、输入输出信息即可针对不同媒体处理类型实现参数获取，例如，General:brand:function_name(通用描述：名牌：函数名)，替换function_name(函数名)即可表明不同媒体处理目的，该信息可以是压缩(compression)、上采样(upsampling)等；输入输出参数则可根据媒体处理过程中涉及的具体参数进行设置，只需替换Input:value中的value字节，其余同理。对于函数库上传应用程序接口(API)，与应用程序接口的钩子程序(Hook API)同理，替换对应字节即可实现不同用户或者第三方函数的上传与使用。
本发明所提供的媒体处理的技术方案，通过在现有云系统中添加系统层应用程序接口的钩子程序(Hook API)或者函数库上传应用程序接口API的方式，可以实现基于用户端或第三方的个性化媒体处理，从而提高用户的消费体验、系统的完整性与鲁棒性。
所属领域的技术人员应当认识到，以上的说明书仅是本发明众多实施例中的两种或几种实施方式，而并非用对本发明的限定。任何对于以上所述实施例的均等变化、变型以及等同替代等技术方案，只要符合本发明的实质精神范围，都将落在本发明的权利要求书所保护的范围内。

Claims (3)

1.一种媒体处理方式的选择方法，其特征在于，包括如下步骤：
步骤S1，根据媒体流的媒体处理描述，判断云系统上是否存在满足媒体处理描述的要求的媒体处理方式或媒体处理函数，如果是，执行步骤S2；否则，执行步骤S3；
步骤S2，从云系统中选取满足媒体处理描述的要求的媒体处理方式或媒体处理函数；
步骤S3，从云系统外部选取满足媒体处理描述的要求的媒体处理方式或媒体处理函数，并通过应用程序接口上传至云系统；
所述步骤S1包括如下步骤：
步骤S11，查找所有可用的媒体处理方式和/或媒体处理函数；
步骤S12，采用关键字匹配和/或确定优先级的方式，判断云系统上是否存在满足媒体处理描述的要求的媒体处理方式或媒体处理函数；
所述步骤S12中，当满足关键字匹配的媒体处理方式或媒体处理函数的个数≥2时，根据媒体处理描述的要求的需求指标与媒体处理方式或媒体处理函数对应的性能指标，确定各媒体处理方式或媒体处理函数的优先级，具体计算方式如下：
Figure FDF0000018249010000011
其中，Req代表需求指标集合，S为媒体处理描述的要求的需求指标，s为对应的媒体处理方式或媒体处理函数的性能指标有，<S,s>为性能指标S(s)匹配程度，范围为(0,1)；
所述步骤S2中，从云系统中选取唯一满足关键字匹配或优先级最高的媒体处理方式或媒体处理函数。
2.如权利要求1所述的一种媒体处理方式的选择方法，其特征在于，
所述应用程序接口包含的信息如下表所示：
Figure FDF0000018249010000021
3.一种媒体处理方法，其特征在于，包括如下步骤：
获取媒体流的媒体处理描述；
采用如权利要求1-2任意一项所述的媒体处理方式的选择方法，选取媒体处理方式或媒体处理函数；
根据选取的媒体处理方式或媒体处理函数生成媒体处理任务；
根据所述媒体处理任务对媒体流进行处理。
CN201910862257.0A 2019-07-05 2019-09-12 媒体处理方式的选择方法及媒体处理方法 Active CN112188235B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20837305.0A EP3996374A4 (en) 2019-07-05 2020-07-04 MULTIMEDIA PROCESSING PROCESS
KR1020217042745A KR102674457B1 (ko) 2019-07-05 2020-07-04 미디어 처리 방법
JP2022500152A JP7336161B2 (ja) 2019-07-05 2020-07-04 メディア処理方法
US17/597,427 US11973994B2 (en) 2019-07-05 2020-07-04 Media processing method
PCT/CN2020/100297 WO2021004411A1 (zh) 2019-07-05 2020-07-04 一种媒体处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910604344 2019-07-05
CN2019106043446 2019-07-05

Publications (2)

Publication Number Publication Date
CN112188235A CN112188235A (zh) 2021-01-05
CN112188235B true CN112188235B (zh) 2023-03-24

Family

ID=73919902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910862257.0A Active CN112188235B (zh) 2019-07-05 2019-09-12 媒体处理方式的选择方法及媒体处理方法

Country Status (6)

Country Link
US (1) US11973994B2 (zh)
EP (1) EP3996374A4 (zh)
JP (1) JP7336161B2 (zh)
KR (1) KR102674457B1 (zh)
CN (1) CN112188235B (zh)
WO (1) WO2021004411A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230015697A1 (en) * 2021-07-13 2023-01-19 Citrix Systems, Inc. Application programming interface (api) authorization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067924A (zh) * 2007-05-28 2007-11-07 广东威创日新电子有限公司 一种基于第三方播放软件的视频加速方法
CN109685015A (zh) * 2018-12-25 2019-04-26 北京旷视科技有限公司 图像的处理方法、装置、电子设备和计算机存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6216152B1 (en) * 1997-10-27 2001-04-10 Sun Microsystems, Inc. Method and apparatus for providing plug in media decoders
JP2004348437A (ja) * 2003-05-22 2004-12-09 Matsushita Electric Ind Co Ltd リソース管理装置、リソース管理方法及び記録媒体
US7957413B2 (en) * 2005-04-07 2011-06-07 International Business Machines Corporation Method, system and program product for outsourcing resources in a grid computing environment
JP2006295586A (ja) * 2005-04-12 2006-10-26 Hitachi Ltd コンテンツ変換装置及びトランスコードシステム
US9076311B2 (en) * 2005-09-07 2015-07-07 Verizon Patent And Licensing Inc. Method and apparatus for providing remote workflow management
JP2007221401A (ja) * 2006-02-16 2007-08-30 Kenwood Corp 再生装置、プログラム、及びネットワーク型コンテンツ再生方法
JP5223678B2 (ja) * 2006-11-07 2013-06-26 ソニー株式会社 電子機器、コンテンツ再生方法及びコンテンツ復号方法
JP4685040B2 (ja) * 2007-01-24 2011-05-18 パナソニック株式会社 半導体集積回路及びその電源供給制御方法
EP2176975A2 (en) * 2007-08-07 2010-04-21 Thomson Licensing Broadcast clip scheduler
CN101339789B (zh) * 2008-08-13 2010-08-18 中兴通讯股份有限公司 一种多媒体引擎的实现方法
JP2010166339A (ja) 2009-01-15 2010-07-29 Nippon Hoso Kyokai <Nhk> プログラムファイル取得装置
US9009294B2 (en) * 2009-12-11 2015-04-14 International Business Machines Corporation Dynamic provisioning of resources within a cloud computing environment
JP2011166748A (ja) * 2010-01-14 2011-08-25 Canon Inc 画像処理装置、その制御方法、及びプログラム
CN102123269B (zh) 2010-12-16 2013-03-20 华为数字技术（成都）有限公司 视频监控数据获取方法、装置以及视频监控系统
US8745122B2 (en) * 2011-06-14 2014-06-03 At&T Intellectual Property I, L.P. System and method for providing an adjunct device in a content delivery network
US9158455B2 (en) 2011-07-12 2015-10-13 Apple Inc. Multifunctional environment for image cropping
US9832247B2 (en) * 2012-09-28 2017-11-28 Intel Corporation Processing video data in a cloud
CN103731672A (zh) 2013-12-16 2014-04-16 乐视致新电子科技（天津）有限公司 一种音视频解码方法及智能电视
US9407944B1 (en) * 2015-05-08 2016-08-02 Istreamplanet Co. Resource allocation optimization for cloud-based video processing
CN106295489B (zh) * 2015-06-29 2021-09-28 株式会社日立制作所 信息处理方法、信息处理装置和视频监控系统
CN106358042B (zh) * 2015-07-17 2020-10-09 恩智浦美国有限公司 使用视频图像的帧间预测的并行解码器
US10033816B2 (en) * 2015-09-30 2018-07-24 Amazon Technologies, Inc. Workflow service using state transfer
CN106169065B (zh) 2016-06-30 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN109213991A (zh) * 2017-07-05 2019-01-15 中兴通讯股份有限公司 消息处理方法、系统、云平台及存储介质
CN109831636B (zh) * 2019-01-28 2021-03-16 努比亚技术有限公司 互动视频控制方法、终端及计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067924A (zh) * 2007-05-28 2007-11-07 广东威创日新电子有限公司 一种基于第三方播放软件的视频加速方法
CN109685015A (zh) * 2018-12-25 2019-04-26 北京旷视科技有限公司 图像的处理方法、装置、电子设备和计算机存储介质

Also Published As

Publication number Publication date
EP3996374A1 (en) 2022-05-11
JP2022539798A (ja) 2022-09-13
US20220272391A1 (en) 2022-08-25
CN112188235A (zh) 2021-01-05
KR102674457B1 (ko) 2024-06-11
JP7336161B2 (ja) 2023-08-31
US11973994B2 (en) 2024-04-30
EP3996374A4 (en) 2023-07-26
KR20220012941A (ko) 2022-02-04
WO2021004411A1 (zh) 2021-01-14

Similar Documents

Publication Publication Date Title
US10171541B2 (en) Methods, devices, and computer programs for improving coding of media presentation description data
CN108989885B (zh) 视频文件转码系统、分割方法、转码方法及装置
EP3721636B1 (en) Method for adaptive streaming of media
CN103299600A (zh) 用于传输直播媒体内容的装置和方法
WO2024037137A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、介质和产品
CN111031389B (zh) 视频处理方法、电子装置和存储介质
CN111093094A (zh) 视频转码方法、装置、系统及电子设备及可读存储介质
KR102612528B1 (ko) 인터럽트 가능한 비디오 트랜스코딩
KR20040048853A (ko) 영상 컨텐츠의 적응 변환 장치 및 그 방법
WO2023207119A1 (zh) 沉浸媒体的处理方法、装置、设备及存储介质
CN117201862B (zh) 一种基于多屏幕协同的实时互动方法及相关装置
KR20210134776A (ko) 컴퓨팅 플랫폼에서의 기능 구현을 위한 컴퓨팅 리소스 추정
CN113225585A (zh) 一种视频清晰度的切换方法、装置、电子设备以及存储介质
CN113965751A (zh) 屏幕内容编码方法、装置、设备及存储介质
CN112188235B (zh) 媒体处理方式的选择方法及媒体处理方法
CN108989905B (zh) 媒体流控制方法、装置、计算设备及存储介质
CN117793454A (zh) 视频流处理方法、装置、电子设备及存储介质
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
CN112953944A (zh) 基于MapReduce的影音转码方法
Li et al. Emerging technologies and applications on interactive entertainments
Kopf et al. Mobile cinema: Canonical processes for video adaptation
EP4391550A1 (en) Processing content for extended reality applications
Chen et al. Toward Adaptive Volumetric Video Streaming: A Joint Network-Viewport Adaptation Framework
Reveiu et al. Using content-based multimedia data retrieval for multimedia content adaptation
WO2023136907A1 (en) Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant