CN111858967A - 基于网络的媒体处理中处理媒体内容的方法、装置以及存储介质 - Google Patents

基于网络的媒体处理中处理媒体内容的方法、装置以及存储介质 Download PDF

Info

Publication number
CN111858967A
CN111858967A CN202010321842.2A CN202010321842A CN111858967A CN 111858967 A CN111858967 A CN 111858967A CN 202010321842 A CN202010321842 A CN 202010321842A CN 111858967 A CN111858967 A CN 111858967A
Authority
CN
China
Prior art keywords
function
functions
processing
ranking
media content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010321842.2A
Other languages
English (en)
Inventor
赵帅
索达加伊拉吉
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN111858967A publication Critical patent/CN111858967A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请提供一种基于网络的媒体处理NBMP中处理媒体内容的方法、装置以及存储介质，该方法包括：执行功能和功能组发现，在功能和功能组发现中启用通配符搜索；向功能储存库发送针对功能储存库中一个或多个功能中的至少一个功能的搜索查询，所述搜索查询包括所述至少一个功能对应的通配符；基于发送的搜索查询，从功能储存库接收应答响应，所述应答响应标识了一个或多个功能中的至少一个功能，并包括至少一个功能在一个或多个功能中的排名；以及根据所述至少一个功能在所述一个或多个功能中的排名的顺序，使用一个或多个功能中的被标识的至少一个功能，来处理媒体内容。

Description

基于网络的媒体处理中处理媒体内容的方法、装置以及存储 介质
交叉引用
本申请要求2019年4月26日在美国专利和商标局提交的第62/839,603号美国临时专利申请以及2020年4月17日在美国专利和商标局提交的第16851431号美国专利申请的优先权，其全部内容通过引用结合在本申请中。
背景技术
运动图像专家组(MPEG：Moving Picture Experts Group)基于网络的媒体处理(NBMP：Network Based Media Processing)项目已经开发了一种处理云上媒体的概念。然而，当前NBMP设计不提供用于网络管理的应用程序接口(API：Application ProgramInterface)的抽象化。当前NBMP设计仅提供用于云资源的API，诸如硬件平台。
进一步地，在NBMP中，当前响应参数定义不明确。当从功能储存库返回多个条目时，源或NBMP管理器可在所返回的条目之间做出决策。例如，由于源可以读取所返回的多个条目并且执行手动选择，因此源可能更容易做出这样的决策。然而，即使在这种情况下，源也可能很难从所返回的多个条目中选择出正确的功能。在另一个示例中，如果NBMP管理器在从源解析NBMP工作流描述文档(WDD：Workflow Description Document)并读取所返回的多个条目之后做出决策，则NBMP管理器需要某个参考点来完成决策。
发明内容
为了解决上述问题，本申请实施例提供一种基于网络的媒体处理(NBMP)中处理媒体内容的方法、装置以及存储介质。
本申请实施例提供一种基于网络的媒体处理(NBMP)中处理媒体内容的方法，包括：执行功能和功能组发现，在功能和功能组发现中启用通配符搜索；向功能储存库发送针对功能储存库中一个或多个功能中的至少一个功能的搜索查询，所述功能储存库存储用于处理所述媒体内容的所述一个或多个功能，所述搜索查询包括所述至少一个功能对应的通配符；基于发送的搜索查询，从功能储存库接收应答响应，所述应答响应标识了一个或多个功能中的至少一个功能，并包括至少一个功能在一个或多个功能中的排名；以及根据所述至少一个功能在所述一个或多个功能中的排名的顺序,使用一个或多个功能中被标识的至少一个功能，来处理媒体内容。
本申请实施例还提供一种基于网络的媒体处理(NBMP)中处理媒体内容的装置包括：处理模块，用于执行功能和功能组发现，在功能和功能组发现中启用通配符搜索；发送模块，用于向功能储存库发送针对功能储存库中一个或多个功能中的至少一个功能的搜索查询，所述功能储存库存储用于处理所述媒体内容的一个或多个功能，所述搜索查询包括所述至少一个功能对应的通配符；接收模块，用于基于发送的搜索查询，从功能储存库接收应答响应，所述应答响应标识了一个或多个功能中的至少一个功能，并包括至少一个功能在一个或多个功能中的排名；以及处理模块，用于根据所述至少一个功能在所述一个或多个功能中的排名的顺序,使用一个或多个功能中被标识的至少一个功能，来处理媒体内容。
本申请实施例还提供一种非易失性计算机可读存储介质，该存储介质存储有多条指令，可以使至少一个处理器执行如本申请实施例所述的方法。
本申请实施例提供的技术方案，通过向功能储存库发送针对其存储的一个或多个功能中的至少一个功能的搜索查询，接收该功能储存库返回的应答响应，该应答响应标识了所述至少一个功能并包括所述至少一个功能在功能储存库中的一个或多个功能中的排名，并根据该排名，使用所述至少一个功能来处理媒体内容。这样可以避免功能储存库返回多个功能时，源或NBMP管理器不能做出正确选择的问题，提高了媒体内容的处理效率。
附图说明
图1是根据实施例的，可以实施本文描述的方法、装置和系统的环境的示意图。
图2是本申请实施例中图1的一个或多个设备的示例组件的框图。
图3是根据实施例的NBMP系统的框图。
图4是根据实施例的处理MPEG NBMP中的媒体内容的方法的流程图。
图5是根据实施例的处理MPEG NBMP中的媒体内容的装置的框图。
具体实施方式
NBMP功能由当前NBMP委员会草案定义，并且可从功能储存库中搜索到，该功能储存库可以位于网络中的任何地方，例如，可以位于本地数据中心或远程数据中心。NBMP委员会草案定义了源设备或NBMP管理器如何通过使用被传递到功能发现API的功能关键词来搜索网络中的可用功能。
本申请实施例提供功能发现API操作的数据格式，并且包括功能返回参数，以及功能名称和功能标识符(ID)。
图1是根据实施例的，可以实施本文所描述的方法、装置和系统的环境100的示意图。如图1所示，环境100可以包括用户设备110、平台120和网络130。环境100的设备可以通过有线连接、无线连接或有线和无线连接的组合进行互连。
用户设备110包括一个或多个设备，该一个或多个设备能够接收、生成、存储、处理和/或提供与平台120相关的信息。例如，用户设备110可以包括计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴设备(例如，智能眼镜或智能手表)或相似设备。在一些实施方式中，用户设备110可以从平台120接收信息和/或向平台120发送信息。
平台120包括如本文中其它地方所描述的一个或多个设备。在一些实施方式中，平台120可以包括云服务器或云服务器组。在一些实施方式中，平台120可以被设计成模块化，使得软件组件可以根据特定需要被换入或换出。这样，可以容易地和/或快速地重新配置平台120以具有不同的用途。
在一些实施方式中，如图所示，平台120可以被托管(hosted)在云计算环境122中。值得注意的是，虽然本文所述的实施方式将平台120描述为托管在云计算环境122中，但是在一些实施方式中，平台120不是基于云的(即，可以在云计算环境外部实现)或者可以是部分基于云的。
云计算环境122包括托管平台120的环境。云计算环境122可以提供计算、软件、数据访问、存储等服务，这些服务不需要终端用户(例如，用户设备110)了解托管平台120的系统和/或设备的物理位置和配置。如图所示，云计算环境122可以包括一组计算资源124(统称为“计算资源(computing resources)124”并分别称为“计算资源(computing resource)124”)。
计算资源124包括一个或多个个人计算机、工作站计算机、服务器设备或其它类型的计算和/或通信设备。在一些实施方式中，计算资源124可以托管平台120。云资源可以包括在计算资源124中执行的计算实例、在计算资源124中提供的存储设备、由计算资源124提供的数据传输设备等。在一些实施方式中，计算资源124可以通过有线连接、无线连接或有线和无线连接的组合与其它计算资源124通信。
进一步如图1所示，计算资源124包括一组云资源，例如一个或多个应用程序(“APP”)124-1、一个或多个虚拟机(“VM”)124-2、虚拟化存储(“VS”)124-3、一个或多个管理程序(“HYP”)124-4等。
应用程序124-1包括一个或多个软件应用程序，其可以提供给用户设备110和/或平台120，或由用户设备110和/或平台120访问。应用程序124-1无需在用户设备110上安装和执行软件应用程序。例如，应用程序124-1可以包括与平台120相关的软件，和/或，能够通过云计算环境122提供的任何其它软件。在一些实施方式中，一个应用程序124-1可以通过虚拟机124-2向或从一个或多个其它应用程序124-1发送/接收信息。
虚拟机124-2包括机器(例如，计算机)的软件实现，该机器执行程序，类似于物理机。虚拟机124-2可以是系统虚拟机，也可以是进程虚拟机，这取决于虚拟机124-2对任何真实机的使用和对应程度。系统虚拟机可以提供完整系统平台，其支持完整操作系统(“OS”)的执行。进程虚拟机可以执行单个程序，并且可以支持单个进程。在一些实施方式中，虚拟机124-2可以代表用户(例如，用户设备110)执行，并且可以管理云计算环境122的基础架构，例如数据管理、同步或长期数据传输。
虚拟化存储124-3包括一个或多个存储系统和/或一个或多个设备，该一个或多个设备在计算资源124的存储系统或设备内使用虚拟化技术。在一些实施方式中，在存储系统的上下文内，虚拟化的类型可以包括块虚拟化和文件虚拟化。块虚拟化可以指逻辑存储从物理存储的抽象(或分离)，以便可以在不考虑物理存储或异构结构的情况下访问存储系统。分离可以允许存储系统的管理员灵活地管理终端用户的存储。文件虚拟化可以消除在文件级别存取的数据与物理存储文件的位置之间的依赖性。这可以优化存储使用、服务器整合和/或无中断文件迁移的性能。
管理程序(Hypervisor)124-4可以提供硬件虚拟化技术，其允许多个操作系统(例如，“客户操作系统”)在诸如计算资源124的主计算机上同时执行。管理程序124-4可以向客户操作系统提供虚拟操作平台，并且可以管理客户操作系统的执行。各种操作系统的多个实例可以共享虚拟化硬件资源。
网络130包括一个或多个有线和/或无线网络。例如，网络130可以包括蜂窝网络(例如，第五代(fifth generation,5G)网络、长期演进(Long-Term Evolution,LTE)网络、第三代(third generation,3G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PublicLand Mobile Network,PLMN)、局域网(Local Area Network,LAN)、广域网(Wide AreaNetwork,WAN)、城域网(Metropolitan Area Network,MAN)、电话网络(例如，公共交换电话网络(Public Switched Telephone Network,PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络等，和/或这些或其它类型的网络的组合。
图1所示的设备和网络的数量和排列被作为示例来提供。实际上，与图1所示的设备和/或网络相比，可以有更多的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或排列不同的设备和/或网络。此外，图1所示的两个或更多个设备可以在单个设备内实现，或者图1所示的单个设备可以实现为多个分布式设备。另外或可替代地，环境100的一组设备(例如，一个或多个设备)可以执行被描述为由环境100的另一组设备执行的一个或多个功能。
图2是图1中一个或多个设备的示例组件的框图。设备200可以对应于用户设备110和/或平台120。如图2所示，设备200可以包括总线210、处理器220、存储器230、存储组件240、输入组件250、输出组件260和通信接口270。
总线210包括允许设备200的组件之间进行通信的组件。处理器220以硬件、固件或硬件和软件的组合来实现。处理器220是中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或另一类型的处理组件。在一些实施方式中，处理器220包括一个或多个能够被编程以执行功能的处理器。存储器230包括随机存取存储器(RAM)、只读存储器(ROM)和/或另一类型的动态或静态存储设备(例如，闪存、磁存储器和/或光存储器)，其存储供处理器220使用的信息和/或指令。
存储组件240存储与设备200的操作和使用相关的信息和/或软件。例如，存储组件240可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、光盘(CD)、数字通用盘(DVD)、软盘、盒式磁带、磁带和/或另一类型的非易失性计算机可读介质，以及相应的驱动器。
输入组件250包括允许设备200例如通过用户输入接收信息的组件，例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风。另外或可替代地，输入组件250可以包括用于感测信息的传感器(例如，全球定位系统(GPS)组件、加速计、陀螺仪和/或致动器)。输出组件260包括提供来自设备200的输出信息的组件，例如，显示器、扬声器和/或一个或多个发光二极管(LED)。
通信接口270包括类似收发器的组件(例如，收发器和/或单独的接收器和发送器)，该组件使设备200能够例如通过有线连接、无线连接或有线和无线连接的组合与其它设备通信。通信接口270可以允许设备200从另一设备接收信息和/或向另一设备提供信息。例如，通信接口270可以包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、Wi-Fi接口、蜂窝网络接口等。
设备200可以执行本文中所描述的一个或多个过程。设备200可以响应于处理器220执行由非易失性计算机可读介质(例如存储器230和/或存储组件240)存储的软件指令来执行这些过程。计算机可读介质在本文中被定义为非易失性存储器设备。存储器设备包括单个物理存储设备内的存储空间或分布在多个物理存储设备上的存储空间。
软件指令可以通过通信接口270从另一计算机可读介质或从另一设备读入存储器230和/或存储组件240。当被执行时，存储在存储器230和/或存储组件240中的软件指令可以使处理器220执行本文中所描述的一个或多个过程。另外或可替代地，可以使用硬件连线电路来代替软件指令或与软件指令结合以执行本文中所描述的一个或多个过程。因此，本文中所描述的实施方式不限于硬件电路和软件的任何特定组合。
图2所示的组件的数量和排列被作为示例来提供。实际上，与图2所示的组件相比，设备200可能包括更多的组件、更少的组件、不同的组件或排列不同的组件。另外或可替代地，设备200的一组组件(例如，一个或多个组件)可以执行被描述为由设备200的另一组组件执行的一个或多个功能。
图3是根据实施例的NBMP系统300的框图。
参考图3，NBMP系统300包括NBMP源310、NBMP工作流管理器320、功能储存库330、网络控制器340、一个或多个媒体处理装置350、媒体源360和媒体接收器370。
NBMP源310可从第三方装置380接收指令、可经由NBMP工作流API与NBMP工作流管理器320通信，并且可经由功能发现API与功能储存库330通信。例如，NBMP源310可将工作流描述符文档发送到NBMP工作流管理器320，并且可读取存储在功能储存库330的存储器中的各个功能的功能描述。所述功能可以包括媒体处理功能，例如媒体解码、特征点提取、相机参数提取、投影方法、接缝信息提取、混合、后处理和编码的功能。NBMP源310可以包括至少一个处理器和存储代码的存储器，该代码被配置为使该至少一个处理器执行NBMP源310的功能。
NBMP源310可通过将工作流描述符文档发送到NBMP工作流管理器320，来请求NBMP工作流管理器320创建包括任务351和352的工作流，其中所述任务351和352将由一个或多个媒体处理装置350执行。所述工作流描述符文档可包括描述符，每个描述符可包括参数。
例如，NBMP源310可选择存储在功能储存库330中的一个或多个功能，并向NBMP工作流管理器320发送工作流描述符文档，所述工作流描述符文档包括用于描述细节(诸如输入和输出数据、所选择的一个或多个功能以及工作流的要求)的描述符。工作流描述符文档可进一步包括任务描述集，以及将由一个或多个媒体处理装置350执行的任务351和352的输入和输出的连接映射。当NBMP工作流管理器320从NBMP源310接收此信息时，NBMP工作流管理器320可基于功能名称实例化任务351和352，并根据连接映射连接任务351和352来创建工作流。
可替代地或附加地，NBMP源310可以请求NBMP工作流管理器320使用一组关键词创建工作流。例如，NBMP源310可以将包括该组关键词的工作流描述符文档发送给NBMP工作流管理器320，NBMP工作流管理器320可以使用该组关键词来查找存储在功能储存库330中的适当的一个或多个功能。当NBMP工作流管理器320从NBMP源310接收到此信息时，NBMP工作流管理器320可以使用在工作流描述符文档的处理描述符中指定的关键词来搜索适当的一个或多个功能，以及使用工作流描述符文档中的其它描述符来提供和连接任务351和352，从而创建工作流。
NBMP工作流管理器320可经由功能发现API与功能储存库330通信，并且可经由NBMP任务API、NBMP链路API和功能发现API，通过网络控制器340与一个或多个媒体处理装置350通信。NBMP工作流管理器320可以包括至少一个处理器和存储代码的存储器，该代码被配置为使至少一个处理器执行NBMP工作流管理器320的功能。
NBMP工作流管理器320可使用NBMP任务API来设置、配置、管理和监视工作流的任务351和352中的一个或多个，其中所述工作流的任务351和352中的一个或多个可由一个或多个媒体处理装置350执行。在实施例中，NBMP工作流管理器320可使用NBMP任务API来更新和销毁任务351和352。为了配置、管理和监视工作流的任务351和352，NBMP工作流管理器320可将诸如请求的消息发送到一个或多个媒体处理装置350，其中每个消息可具有描述符，每个描述符可包括参数。任务351和352可各自包括一个或多个媒体处理功能354，以及用于一个或多个媒体处理功能354的一个或多个配置353。
在实施例中，在从NBMP源310接收不包括任务列表(例如，包括关键词列表而非任务列表)的工作流描述符文档之后，NBMP工作流管理器320可基于工作流描述符文档中对任务的描述来选择任务，以经由功能发现API搜索功能储存库330，从而查找到一个或多个适当的功能，以作为当前工作流的任务351和352运行。例如，NBMP工作流管理器320可基于工作流描述符文档中提供的关键词选择任务。在使用NBMP源310提供的关键词或一组任务描述集来标识一个或多个适当的功能之后，NBMP工作流管理器320可使用NBMP任务API来配置工作流中的已选择任务。例如，NBMP工作流管理器320可从接收自NBMP源的信息中提取配置数据，并且基于提取的配置数据配置任务351和352。
一个或多个媒体处理装置350可被配置为从媒体源360接收媒体内容，根据包括任务351和352并由NBMP工作流管理器320创建的工作流来处理接收的媒体内容，并且将处理的媒体内容输出到媒体接收器370。一个或多个媒体处理装置350可各自包括至少一个处理器和存储代码的存储器，该代码被配置为使至少一个处理器执行一个或多个媒体处理装置350的功能。
网络控制器340可包括至少一个处理器和存储代码的存储器，该代码被配置为使至少一个处理器执行网络控制器340的功能。
媒体源360可包括存储媒体的存储器，并且可与NBMP源310集成或分离。在实施例中，当工作流已经准备好时，NBMP工作流管理器320通知NBMP源310和/或媒体源360，并且媒体源360可基于工作流已准备好的通知，将媒体内容传输到一个或多个媒体处理装置350。
媒体接收器370可包括至少一个处理器和至少一个显示器，所述至少一个显示器被配置为显示由一个或多个媒体处理装置350处理的媒体内容。
第三方装置380可包括至少一个处理器和存储代码的存储器，该代码被配置为使至少一个处理器执行第三方装置380的功能。
如上所讨论，从NBMP源310到NBMP工作流管理器320的消息(例如，请求创建工作流的工作流描述符文档)，以及从NBMP工作流管理器320到一个或多个媒体处理装置350的消息(例如，使工作流被执行的消息)可包括描述符，每个描述符包括参数。在实施例中，使用API在NBMP系统300的任何组件之间进行的通信可包括描述符，每个所述描述符包括参数。
下面的表1列出了添加到上述NBMP系统300的元数据的细节，即，存储在功能储存库330中的每个功能的功能名称、功能组名称、功能ID和/或功能组ID。添加的元数据允许对功能和/或包括多个功能的功能组进行通配符搜索(例如，基于文本的关键词搜索)。在通配符搜索中，星号*表示包括0的任何字符，问号？仅表示一个字符。
表1
Figure BDA0002461713180000101
Figure BDA0002461713180000111
功能组名称可为一组功能的字符串描述，例如“HEVC解码器”。
进一步地，将每个功能的排名参数添加到当前NBMP通用描述符。由于某些功能可能是他人经常使用的流行功能，因此，更高排名的功能意味着更好的选择。功能储存库330通过遵循功能的主要排名的顺序，向每个功能分配排名参数的值。例如，可基于受欢迎度评分来确定排名的顺序，该受欢迎度评分可以由搜索引擎根据每个功能的使用次数来确定。排名参数的定义在下面表2中。
表2
Figure BDA0002461713180000112
Figure BDA0002461713180000121
下面的表3中定义了功能返回数据格式或参数。功能返回数据格式包括被存储在功能储存库330中的各个功能中的一个的统一资源定位符(URL：Universal ResourceLocator)和所述各个功能中的一个的排名参数。
表3
Figure BDA0002461713180000122
参考图3，NBMP源310和/或NBMP工作流管理器320可向功能储存库330发送搜索查询(在表1中描述)，并且响应于所述搜索查询，功能储存库330向NBMP源310和/或NBMP工作流管理器320发送具有功能返回数据格式(在表2和3中描述)的应答响应。例如，搜索查询可包括ID、名称和基于文本的描述或功能的关键词(例如，类型)。
下面描述所添加的功能返回数据参数的实施例。如果由于功能储存库330处仅有一个可用的功能版本而导致功能储存库330仅返回一个功能，则功能返回数据参数将如下表4所示，其中不存在该功能的排名顺序：
表4
Figure BDA0002461713180000123
Figure BDA0002461713180000131
如果由于功能储存库330处有多个可用的功能版本而导致功能储存库330返回多个功能，则功能返回数据参数将如下表5所示，其中存在功能的排名顺序：
表5
Figure BDA0002461713180000132
在该实施例下，NBMP工作流管理器320将在执行功能x.x.2之前，执行具有比功能x.x.2更高排名的功能x.x.1。
可使用如下所示的JavaScript对象(JSON：JavaScript Object Notation)返回模式来展示添加有“排名”描述符的响应参数：
Figure BDA0002461713180000133
Figure BDA0002461713180000141
图4是根据实施例的在MPEG NBMP中处理媒体内容的方法400的流程图。在一些实施方案中，图4的一个或多个步骤可由实施NBMP系统300的平台120执行。在一些实施例中，图4的一个或多个步骤可由与实施NBMP系统300的平台120分离或包括该平台120的另一个设备或一组设备(诸如用户设备110)执行。
如图4所示，在步骤S410中，方法400包括向功能储存库发送针对所述功能储存库中一个或多个功能中的至少一个功能的搜索查询，所述功能储存库存储用于处理所述媒体内容的所述一个或多个功能，所述搜索查询包括所述至少一个功能对应的通配符。
更进一步的，方法400还进一步包括步骤S400，步骤S400中，方法400包括执行功能和功能组发现，在功能和功能组发现中启用通配符搜索；
在步骤S420中，方法400包括基于发送的搜索查询，从功能储存库接收应答响应，所述应答响应标识了所述一个或多个功能中的所述至少一个功能，并包括所述至少一个功能在所述一个或多个功能中的排名。
在步骤S430中，方法400包括根据所述至少一个功能在所述一个或多个功能中的排名的顺序，使用所述一个或多个功能中被标识的所述至少一个功能，来处理媒体内容。
所述搜索查询包括所述一个或多个功能中的所述至少一个功能的名称和标识符或包含所述一个或多个功能中的所述至少一个功能的组的名称和标识符。
所述搜索查询包括所述一个或多个功能中的所述至少一个功能的基于文本的描述或关键词。
所述搜索查询可以包括表示任何字符的星号以及仅表示一个字符的问号。
所述应答响应可以进一步包括所述一个或多个功能中的所述至少一个功能的统一资源定位符(URL)。
所述排名可以指示所述一个或多个功能中的所述至少一个功能相比于所述一个或多个功能中的其它功能的使用频度。
根据所述至少一个功能中的各个功能在所述一个或多个功能中的排名的顺序，在所述一个或多个功能中被标识的所述至少一个功能中，使用所述至少一个功能中具有较低排名的第二功能之前的具有较高排名的第一功能来处理所述媒体内容。
所述至少一个功能中的各个功能在所述一个或多个功能中的排名的顺序包含在所述应答响应中的排名参数对应的描述符中，所述排名参数包括所述至少一个功能在所述一个或多个功能中的排名。
尽管图4示出了方法400的示例性步骤，但是在一些实施例中，方法400可包括相比图4中描绘的那些方框更多的步骤、更少的步骤、不同的步骤或不同布置的步骤。另外或可替代地，方法400的步骤中的两个或两个以上的步骤可以被并行执行。
本申请实施例提供的上述方法，通过向功能储存库发送针对其存储的一个或多个功能中的至少一个功能的搜索查询，接收该功能储存库返回的应答响应，该应答响应标识了所述至少一个功能并包括所述至少一个功能在功能储存库中的一个或多个功能中的排名，并根据该排名，使用所述至少一个功能来处理媒体内容。这样可以避免功能储存库返回多个功能时，源或NBMP管理器不能做出正确选择的问题，提高了媒体内容的处理效率。
图5是根据实施例的，用于在MPEG NBMP中处理媒体内容的装置500的框图。如图5所示，装置500包括发送模块510、接收模块520和处理模块530。
处理模块530，用于执行功能和功能组发现，在功能和功能组发现中启用通配符搜索。
发送模块510，用于向功能储存库发送针对所述一个或多个功能中的至少一个功能的搜索查询，所述功能储存库存储用于处理所述媒体内容的所述一个或多个功能，所述搜索查询包括所述至少一个功能对应的通配符。
接收模块520，用于基于发送的搜索查询，从功能储存库接收应答响应，所述应答响应标识了所述一个或多个功能中的所述至少一个功能，并包括所述至少一个功能在所述一个或多个功能中的排名。
处理模块530，用于根据所述至少一个功能在所述一个或多个功能中的排名的顺序，使用所述一个或多个功能中被标识的所述至少一个功能，来处理媒体内容。
所述搜索查询包括所述一个或多个功能中的所述至少一个功能的名称和标识符或者包含所述一个或多个功能中的所述至少一个功能的组的名称和标识符。
所述搜索查询包括所述一个或多个功能中的所述至少一个功能的基于文本的描述或关键词。
所述搜索查询可以包括表示任何字符的星号以及仅表示一个字符的问号。
所述应答响应可以进一步包括所述一个或多个功能中的所述至少一个功能的统一资源定位符(URL)。
所述排名可以指示所述一个或多个功能中的所述至少一个功能相比于所述一个或多个功能中的其它功能的使用频度。
根据所述至少一个功能中的各个功能在所述一个或多个功能中的排名的顺序，在所述一个或多个功能中的被标识的所述至少一个功能中，使用所述至少一个功能中具有较低排名的第二功能之前的具有较高排名的第一功能来处理所述媒体内容。
所述至少一个功能中的各个功能在所述一个或多个功能中的排名的顺序包含在所述应答响应中的排名参数对应的描述符中，所述排名参数包括所述至少一个功能在所述一个或多个功能中的排名。
本申请实施例提供的上述装置，通过向功能储存库发送针对其存储的一个或多个功能中的至少一个功能的搜索查询，接收该功能储存库返回的应答响应，该应答响应标识了所述至少一个功能并包括所述至少一个功能在功能储存库中的一个或多个功能中的排名，并根据该排名，使用所述至少一个功能来处理媒体内容。这样可以避免功能储存库返回多个功能时，源或NBMP管理器不能做出正确选择的问题，提高了媒体内容的处理效率。
前述公开内容提供了说明和描述，但并不旨在穷举或将实施方式限制为所公开的精确形式。根据在上述公开的基础上，是可能的，或者修改和变化可以从实施方式的实践中获得。
如本文所用，术语“组件”旨在被广义地解释为硬件、固件，或者硬件和软件的组合。
显然，本申请实施例所述的系统和/或方法可以以不同形式的硬件、固件，或者硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限于这些实施方式。因此，在不参考特定软件代码的情况下在本文描述了系统和/或方法的操作和行为——应当理解，可基于在本文的描述来设计软件和硬件以实现系统和/或方法。
虽然特征的组合在权利要求中陈述和/或在说明书中公开，但是这些组合也不旨在限制可能的实施方式的公开。事实上，这些特征中的许多特征可以以权利要求中未具体列举和/或说明书中未具体公开的方式组合。虽然下面列出的每个从属权利要求直接从属于仅一个权利要求，但是可能的实施方式的公开包括每个从属权利要求与权利要求组中每个其他权利要求的组合。
除非明确地描述，本文中使用的元件、动作或指令都不应被解释为关键的或必要的。此外，如本申请所用，冠词“一”和“一个”旨在包括一个或多个项目，并且可与“一个或多个”互换使用。此外，如本申请所用，术语“集”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关项目和不相关项目的组合等)，并且可与“一个或多个”互换使用。当仅意指一个项目时，使用术语“一个”或类似语言。此外，如本申请所用，术语“具有”、“有”、“含有”等旨在是开放式术语。进一步地，除非另外明确声明，短语“基于”旨在表示“至少部分地基于”。

Claims (10)

1.一种基于网络的媒体处理NBMP中处理媒体内容的方法，其特征在于，所述方法包括：
执行功能和功能组发现，在功能和功能组发现中启用通配符搜索；
向功能储存库发送针对所述功能储存库中一个或多个功能中的至少一个功能的搜索查询，所述功能储存库存储用于处理所述媒体内容的所述一个或多个功能，所述搜索查询包括所述至少一个功能对应的通配符；
基于发送的所述搜索查询，从所述功能储存库接收应答响应，所述应答响应标识了所述一个或多个功能中的所述至少一个功能，并包括所述至少一个功能在所述一个或多个功能中的排名；以及
根据所述至少一个功能在所述一个或多个功能中的排名的顺序，使用所述一个或多个功能中被标识的所述至少一个功能，来处理所述媒体内容。
2.根据权利要求1所述的方法，其特征在于，所述搜索查询包括所述一个或多个功能中的所述至少一个功能的名称和标识符或者包含所述一个或多个功能中的所述至少一个功能的组的名称和标识符。
3.根据权利要求1所述的方法，其特征在于，所述搜索查询包括所述一个或多个功能中的所述至少一个功能的基于文本的描述或关键词。
4.根据权利要求1所述的方法，其特征在于，所述搜索查询包括表示任何字符的星号。
5.根据权利要求1所述的方法，其特征在于，所述排名指示所述一个或多个功能中的所述至少一个功能相比于所述一个或多个功能中的其它功能的使用频度。
6.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个功能在所述一个或多个功能中的排名的顺序，使用所述一个或多个功能中被标识的所述至少一个功能，来处理所述媒体内容，包括：
根据所述至少一个功能中的各个功能在所述一个或多个功能中的排名的顺序，在所述一个或多个功能中被标识的所述至少一个功能中，使用具有较低排名的第二功能之前的具有较高排名的第一功能来处理所述媒体内容。
7.根据权利要求6所述的方法，其特征在于，所述至少一个功能中的各个功能在所述一个或多个功能中的排名的顺序包含在所述应答响应中的排名参数对应的描述符中，所述排名参数包括所述至少一个功能在所述一个或多个功能中的排名。
8.一种基于网络的媒体处理NBMP中处理媒体内容的装置，其特征在于，所述装置包括：
处理模块，用于执行功能和功能组发现，在功能和功能组发现中启用通配符搜索；
发送模块，用于向功能储存库发送针对所述功能储存库中一个或多个功能中的至少一个功能的搜索查询，所述功能储存库存储用于处理所述媒体内容的一个或多个功能，所述搜索查询包括所述至少一个功能对应的通配符；
接收模块，用于基于发送的所述搜索查询，从所述功能储存库接收应答响应，所述应答响应标识了所述一个或多个功能中的所述至少一个功能，并包括所述至少一个功能在所述一个或多个功能中的排名；以及
所述处理模块，用于根据所述至少一个功能在所述一个或多个功能中的排名的顺序，使用所述一个或多个功能中被标识的所述至少一个功能，来处理所述媒体内容。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至7中任一项所述的基于网络的媒体处理NBMP中处理媒体内容的方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述存储介质存储有多条指令，可以使至少一个处理器执行如权利要求1～7任一项所述的方法。
CN202010321842.2A 2019-04-26 2020-04-22 基于网络的媒体处理中处理媒体内容的方法、装置以及存储介质 Pending CN111858967A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962839603P 2019-04-26 2019-04-26
US62/839,603 2019-04-26
US16/851,431 2020-04-17
US16/851,431 US11675796B2 (en) 2019-04-26 2020-04-17 Method and apparatus for metadata of function and function group search in moving picture experts group network based media processing

Publications (1)

Publication Number Publication Date
CN111858967A true CN111858967A (zh) 2020-10-30

Family

ID=72917119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010321842.2A Pending CN111858967A (zh) 2019-04-26 2020-04-22 基于网络的媒体处理中处理媒体内容的方法、装置以及存储介质

Country Status (2)

Country Link
US (1) US11675796B2 (zh)
CN (1) CN111858967A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11539776B2 (en) * 2021-04-19 2022-12-27 Tencent America LLC Method for signaling protocol characteristics for cloud workflow inputs and outputs

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962470B2 (en) * 2006-06-01 2011-06-14 Sap Ag System and method for searching web services
EP2388701A1 (en) * 2010-05-17 2011-11-23 Siemens Aktiengesellschaft Method and apparatus for providing a service implementation

Also Published As

Publication number Publication date
US20200341989A1 (en) 2020-10-29
US11675796B2 (en) 2023-06-13

Similar Documents

Publication Publication Date Title
CN113557747B (zh) 基于网络的媒体处理中处理媒体内容的方法和装置
CN113545024B (zh) 在运动图像专家组基于网络的媒体处理中用于包络描述符的方法和装置
US11356534B2 (en) Function repository selection mode and signaling for cloud based processing
CN111865649B (zh) 处理媒体内容的方法和装置、计算机设备和存储介质
US11520630B2 (en) Extensible schemes and scheme signaling for cloud based processing
US11544108B2 (en) Method and apparatus for functional improvements to moving picture experts group network based media processing
US20230035558A1 (en) Extensible schemes and scheme signaling for cloud based processing
US11675796B2 (en) Method and apparatus for metadata of function and function group search in moving picture experts group network based media processing
CN111831834A (zh) 基于网络的媒体处理（nbmp）中处理媒体内容的方法和装置
US11838390B2 (en) Function repository selection mode and signaling for cloud based processing
US11539776B2 (en) Method for signaling protocol characteristics for cloud workflow inputs and outputs
US11917269B2 (en) Multidimensional metadata for parallel processing of segmented media data
EP4018310A1 (en) Task proximity for cloud services
KR20220160050A (ko) 데이터흐름에서 연속성을 갖고 중단 없이 작업흐름을 스위칭하기 위한 또는 작업흐름을 업데이트하기 위한 방법
CN116249965A (zh) 云平台系统变量和事件的监测、报告以及通知的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination