CN113748685A - 基于网络的媒体处理控制 - Google Patents

基于网络的媒体处理控制 Download PDF

Info

Publication number
CN113748685A
CN113748685A CN201980095889.7A CN201980095889A CN113748685A CN 113748685 A CN113748685 A CN 113748685A CN 201980095889 A CN201980095889 A CN 201980095889A CN 113748685 A CN113748685 A CN 113748685A
Authority
CN
China
Prior art keywords
workflow
media processing
task
information element
description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980095889.7A
Other languages
English (en)
Inventor
由宇
S·S·梅特
K·坎玛奇·斯雷德哈
W·范莱姆唐克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN113748685A publication Critical patent/CN113748685A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/237—Communication with additional data server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

根据本发明的一个示例方面，提供了一种方法，该方法包括：由工作流管理器从源实体接收用于基于网络的媒体处理的工作流描述，该工作流描述包括工作流任务优化信息元素；基于工作流描述生成工作流，该工作流包括一组连接的媒体处理任务；以及引起工作流任务修改以基于优化信息元素中的一个或多个参数来优化工作流。

Description

基于网络的媒体处理控制
技术领域
各种示例实施例涉及基于网络的媒体处理，并且具体地涉及其动态工作流控制管理。
背景技术
基于网络的媒体处理(NBMP)允许服务提供方和最终用户分发媒体处理操作。NBMP提供了可以在IT和电信云网络中执行的分布式媒体和元数据处理的框架。
NBMP抽象了底层计算平台交互，以建立、加载、实例化和监测将要运行媒体处理任务的媒体处理实体。NBMP系统可以执行：将媒体数据上传到网络以进行处理；实例化媒体处理实体(MPE)；配置MPE以动态创建媒体处理管道；以及以可扩展方式实时地或以延迟方式访问处理后的媒体数据和所得到的元数据。MPE可以由NBMP平台中的工作流管理器控制和操作，NBMP平台包括用于实现工作流管理器和MPE的计算资源。
发明内容
本发明的某些方面由独立权利要求的特征限定。一些特定实施例在从属权利要求中限定。
根据第一示例方面，提供了一种方法，该方法包括：由工作流管理器从源实体接收用于基于网络的媒体处理的工作流描述，该工作流描述包括工作流任务优化信息元素，基于工作流描述生成工作流，该工作流包括一组连接的媒体处理任务，并且引起工作流任务修改以基于优化信息元素中的一个或多个参数来优化工作流。
根据第二示例方面，提供了一种方法，该方法包括：生成用于基于网络的媒体处理的工作流描述，在工作流描述中包括工作流任务优化信息元素，该工作流任务优化信息元素定义一个或多个参数来执行工作流任务修改，以优化基于工作流描述而生成的工作流，并且引起向工作流管理器传输包括工作流任务优化信息元素的工作流描述。
还提供了一种装置，该装置包括至少一个处理器、包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起引起该装置至少执行根据第一方面和/或第二方面或其任何实施例的特征。
根据另外的示例方面，提供了一种计算机程序和计算机可读介质或非暂态计算机可读介质，其被配置为当在数据处理装置中被执行时执行根据第一方面和/或第二方面或其实施例的特征。
附图说明
现在将参考附图描述一些示例实施例。
图1示出了NBMP系统的一个示例；
图2至图4是根据至少一些实施例的方法的流程图；
图5示出了工作流和所得到的任务部署；
图6示出了媒体处理工作流和任务布置(placement)的示例；
图7示出了任务增强；
图8示出了任务融合；以及
图9示出了能够支持至少一些实施例的示例装置。
具体实施方式
图1示出了基于网络的媒体处理(NBMP)系统100，NBMP系统100是一种用于跨网络中的处理实体被执行的处理的系统。
系统100包括NBMP源110，NBMP源110是提供要处理的媒体内容的实体。NBMP源通过工作流描述来触发并描述NBMP系统的媒体处理。NBMP源描述所请求的媒体处理，并且在工作流描述中提供关于相关联的媒体数据的性质和格式的信息。NBMP源可以包括或连接到一个或多个媒体源112，例如摄像机、编码器或持久存储器。NBMP源110可以由第三方实体(例如用户设备或者向NBMP源110提供反馈、元数据或网络度量的另一类型的实体或设备)控制。
工作流管理器120是协调基于网络的媒体处理的实体，并且也可以被称为(NBMP)控制功能。工作流管理器经由工作流API从NBMP源接收工作流描述，并且为所请求的媒体处理构建工作流。工作流描述(本文中也被称为工作流描述文档(WDD))描述启用NBMP工作流的信息。工作流管理器120基于工作流描述文档和功能描述来供应任务并且连接任务以创建完整的工作流。NBMP工作流提供一个或多个任务的链(chain)以实现特定媒体处理。在工作流的任何级别，(多个)任务的链可以是顺序的、并行的或这两者。工作流可以表示为有向无环图(DAG)。
工作流管理器120可以用可以被虚拟化的专用服务器来实现，但也可以作为云计算中的功能。因此，也可以是，代替处理器和存储器，工作流管理器120包括用于处理和存储数据的处理功能和存储器功能。除包括这些功能外，工作流管理器120还可以类似于本文中的各种其他实体包括一些另外的功能(例如持久存储功能和通信接口功能)，但是为了简洁和简单起见，这样的功能没有示出。
系统100还包括功能库130。在示例实施例中，功能库130是基于网络的功能。在示例实施例中，功能储存库130存储供工作流管理器120在向媒体处理实体140定义任务时使用的多个功能规范132。功能储存库130的功能发现API启用工作流管理器和/或NBMP源(由104)以发现可以作为媒体处理工作流的一部分加载的媒体处理功能。
媒体处理实体(MPE)是执行由工作流管理器120供应的一个或多个媒体处理任务的实体。MPE执行应用于媒体数据和相关元数据的任务，这些媒体数据和相关元数据是经由NBMP任务API或另一MPE从NBMP源110接收的。MPE中的(多个)任务产生媒体数据和相关元数据以供媒体宿实体150或另一MPE中的(多个)其他任务来消费。媒体宿实体150通常是MPE的任务的输出的消费方。由任务142处理的内容可以通过具有合适媒体格式的现有递送方法以NBMP发布格式发送到媒体宿实体，例如通过下载、DASH、MMT或其他方式。
基于网络的媒体处理(或NBMP)功能可以是独立的和自包含的媒体处理操作以及该操作的对应描述。NBMP功能对输入媒体进行处理，这可以生成输出媒体或元数据。这样的媒体处理的非限制性示例包括；内容编码、解码、内容加密、内容转换为HDR、容器格式的内容多路复用、流媒体清单生成、帧速率或纵横比转换、以及内容拼接等。媒体处理任务(为简洁起见也称为“任务”)是由MPE 140执行的基于网络的媒体处理功能的运行实例。
在示例实施例中，MPE 140是计算机中的进程或执行上下文(例如，适当的硬件加速)。也可以在单个计算机中定义多个MPE。在这种情况下，跨MPE的任务之间的通信可以通过进程友好的协议(例如，进程间通信(IPC))来进行。
在示例实施例中，MPE 140是专用装置，例如服务器计算机。在另一示例实施例中，MPE 140是由工作流管理器120为此目的使用例如合适的虚拟化平台或云计算而建立的功能。在这些情况下，任务之间的通信是跨通常使用基于IP的协议的MPE而执行的。
工作流管理器120与NBMP源110和功能库130具有通信连接。在示例实施例中，功能库130还与NBMP源110具有通信连接。工作流管理器120与底层基础设施(例如，云协调器)通信以供应执行环境，例如容器、虚拟机(VM)或物理计算机主机，因此该执行环境可以作为MPE进行操作。
NBMP系统100还可以包括一个或多个流桥接器，该一个或多个流桥接器可选地分别将媒体处理实体140通过接口与媒体源112和媒体宿150连接。
由于工作流和相关联的DAG可能变得非常复杂，因此重要的是，要有完善的控制和粒度级别来定义如何以及在何处部署媒体处理任务，即，媒体处理任务与MPE之间的相关性、以及处理任务之间的相关性。现在提供用于指导或控制基于网络的媒体处理工作流生成的改进。现在定义更细粒度的策略来指导工作流生成和优化，这些策略可以作为新的信息元素(IE)和参数被包括在WDD中。
图2示出了用于控制基于网络的媒体处理工作流生成及其优化的方法。该方法可以由生成或控制媒体处理工作流的装置(例如，工作流管理器120)来实现。
从源实体(例如，NBMP源实体110)接收200用于基于网络的媒体处理的工作流描述。工作流描述包括工作流任务优化信息元素。在部署到媒体处理实体之前(或在一些实施例中，在部署到媒体处理实体之后)，工作流任务优化信息元素可以定义一个或多个策略，该一个或多个策略定义如何优化工作流。应当理解，工作流任务优化信息元素可以包括一个或多个参数，并且可以包括工作流描述中包括的一个或多个字段。
基于工作流描述生成210工作流，该工作流包括一组连接的媒体处理任务。例如，工作流可以是基于WDD而生成的NBMP工作流DAG。
执行220工作流任务修改以基于优化信息元素中的一个或多个参数来优化工作流。在一些实施例中，任务融合、任务增强和/或任务分组被应用于至少一些任务。
在一些实施例中，响应于在所接收的工作流描述中检测到工作流任务优化信息元素而进入框220。在示例实施例中，检查工作流任务优化信息元素，并且如果信息元素启用一个或多个工作流任务优化/修改(子)过程，则发起相应(子)过程。
然后，工作流管理器可以在工作流任务修改之后基于工作流来通过一组所选择的MPE部署媒体处理任务。
图3示出了一种用于控制基于网络的媒体处理工作流生成及其优化的方法。该方法可以在发起媒体处理工作流的生成的装置(例如，向执行图2的方法的工作流管理器120提供工作流描述的NBMP源实体110)中实现。
工作流描述被生成300用于基于网络的媒体处理。在工作流描述中包括310工作流任务优化信息元素。工作流任务优化信息元素定义一个或多个参数用于执行工作流任务修改以优化基于工作流描述而生成的工作流。包括工作流任务优化信息元素的工作流描述被从源实体发送320给工作流管理器。
在框300之前，NBMP源110可以连接功能储存库130并且从功能储存库接收功能规范数据。基于所接收的功能规范数据，可以在框300中定义或生成工作流描述。
图4示出了被配置为执行图2的方法的装置(例如，工作流管理器120)的另外的特征。
当从NBMP源110接收到媒体处理请求和工作流描述时，工作流管理器120连接400功能库130。工作流管理器因此可以扫描功能库以找到可以满足请求的所有功能的列表。在框410中，基于工作流描述接收用于一个或多个媒体处理任务的功能规范数据。
基于所接收的媒体处理功能规范数据(和工作流描述)定义420NBMP任务。使用来自NBMP源110的工作流描述，工作流管理器120因此可以检查以检测需要从功能库中选择哪些功能用来满足工作流描述。该检查可以取决于来自NBMP源的用于媒体处理的信息，例如输入和输出描述、所请求的媒体处理的描述；以及用于功能目录中的每个功能的不同描述符。(多个)请求被映射到要包括在工作流中的适当的媒体处理任务。一旦使用功能存储库标识出要包括在工作流中的功能，下一步就是将它们作为任务运行并且配置这些任务，以便它们可以被添加到工作流中。
一旦定义了所需要的任务(例如，作为任务列表)，就可以基于所定义的任务来生成工作流DAG 430。在框440中，基于优化IE来执行工作流任务优化。可以向所选择的MPE部署450(经优化的)工作流的任务。
工作流管理器120因此可以计算任务所需要的资源，并且然后在框450中向(多个)基础设施提供方申请(多个)所选择的MPE 140。所分配的MPE的数目和它们的能力可以基于工作流和任务的所估计的总资源要求，在实践中具有一些超额供应能力。实际布置可以由可以驻留在云系统平台中的云协调器执行。
使用工作流信息，一旦工作流完成，工作流管理器就可以提取配置数据并且配置所选择的任务。这些任务的配置可以使用这些任务所支持的任务API来执行。NBMP源实体110可以进一步被通知工作流已经准备好并且媒体处理可以开始。(多个)NBMP源110然后可以开始将它们的媒体传输到网络用于进行处理。
在一些实施例中，NBMP工作流管理器120可以生成包括每个任务的最小和最大MPE要求的MPE应用表，并且将该表(或其部分)发送到云基础设施/协调器用于进行MPE分配。
在一些实施例中，如图4中进一步所示，可以从(多个)MPE中的一个或多个接收460关于它们的(多个)被部署的任务的(多个)响应。响应可以包括关于(多个)任务的部署的信息。在示例实施例中，响应包括响应参数用于任务配置API的创建任务请求。
工作流管理器120然后可以分析470(多个)MPE响应，例如评估MPE及其适当地完成(多个)任务的能力。如有必要，工作流管理器可以使480基于媒体处理实体的评估和优化IE的工作流任务重新进行修改。
响应于(多个)响应460，工作流管理器120可以重新优化480工作流并且可以产生不同的工作流DAG。该过程可以重复，直到工作流管理器检测到工作流是最佳的或可接受的。
代替递归工作流生成和优化，可以应用并行工作流生成和优化，其中可以针对多个工作流候选执行框430至470中的至少一些。最后，由工作流管理器选择候选中的一个用于最终部署。
由工作流管理器120生成430和优化440的工作流可以使用DAG来表示。DAG的每个节点表示工作流中的一个处理任务。图中将一个节点连接到另一节点的链路表示前者的输出作为输入转移到后者。任务的输入端口和输出端口的细节可以在任务的通用描述符中提供。
任务连接图(task connection map)参数可以应用于静态地描述DAG边缘，并且是读/写属性。任务连接图可以为任务优化IE提供占位符并指示参数。此外，可以存在任务标识符列表，其可以被称为任务集。任务集可以定义任务实例及其与NBMP功能的关系，并且包括对任务描述符资源的引用，经由工作流API被管理。
图5示出了WDD 102。WDD可以是具有关键数据结构的容器文件或清单，关键数据结构包括(从功能描述符(例如，输入/输出/处理)到非功能描述符(例如，要求))的多个描述符510、520、530。WDD 102通过该组描述符510、520、530描述工作流的细节，诸如输入和输出数据、所需要的功能、要求等。例如，WDD可以包括通用描述符、输入描述符、输出描述符、处理描述符、(多个)要求描述符520、客户端辅助描述符、故障转移描述符、监测描述符、断言描述符、报告描述符和通知描述符中的至少一些。
优化信息元素可以是独立的描述符或与另一描述符组合或被包括在另一描述符中。在一些实施例中，优化信息元素被包括作为WDD102的要求描述符520的一部分522。工作流优化信息元素可以被包括作为WDD 102或其要求描述符520的处理和/或部署要求的一部分。例如，工作流描述和工作流任务优化信息元素可以用JavaScript对象表示法(JSON)或可扩展标记语言(XML)被编码。
图5还示出了基于WDD 102生成个体NBMP任务142。NBMP任务142是NBMP功能模板(来自功能储存库130)的实例，该NBMP功能模板可以重用和共享来自也适用于WDD的一些描述符的一些语法和语义。
基于要求描述符520，例如每个任务的部署要求，可以选择一个或多个MPE并且可以生成涉及一个或多个MPE 140的工作流DAG。在图5的简单示例中，任务T1和T2由第一MPE1140a部署，并且后续任务T3和T4由第二MPE2 140b部署。
图6提供了另一示例，示出了包括从NBMP源110到用户设备(其可以是媒体宿)600的任务T1-T8的媒体处理工作流。一些任务已经被分配给(中央)云系统，而其他任务由移动边缘计算云系统执行。
在一些实施例中，工作流任务优化信息元素定义NBMP系统任务是否可以被添加到工作流和/或从工作流中被移除。任务布置可以由工作流管理器基于工作流优化信息元素的要求来优化。工作流任务修改220可以包括在需要时由WDD 102在所分配的两个任务之间动态地添加和/或移除一些支持性任务，例如缓冲和媒体内容转码任务。当这样的任务被规划以部署在在不同主机中运行的不同MPE中时，工作流管理器120可能需要用重新配置的任务连接器(task connector)来确定和重新配置工作流图。例如，工作流管理器可能还需要通过到MPE的适当任务创建API来确定和配置适当的基于套接字(socket-based)的网络组件。
在一个实施例中，策略可以在需要时在工作流优化信息元素中被表示为具有嵌套分层节点的键值结构(key-value structure)或树(tree)。在一个实施例中，NBMP工作流和任务的层次结构可以反映部署要求的相似结构。即，工作流级别的要求可以适用于工作流的所有任务。当发生冲突的要求时，个体任务的要求可以覆盖工作流级别的要求。
在一些实施例中，工作流任务优化信息元素指示媒体处理任务增强或任务增强策略。任务增强可以在框220和440中执行，并且可以包括作为任务增强分析的结果来修改和/或添加一个或多个任务以优化工作流。任务增强分析可以包括评估是否需要针对工作流的一个或多个任务而执行一个或多个任务增强动作，并且还可以包括定义所需要的任务增强动作以及针对它们的另外的控制信息。任务增强信息元素可以指示工作流或任务的输入和/或输出是否可以用系统提供的内置任务(例如媒体转码、用于同步的媒体传输缓冲、或用于通过不同网络流式传输数据的传输任务)来修改或增强。
例如，任务增强可以包括以下一项或多项：任务的输入端口的重新配置、任务的输出端口的重新配置、以及任务的协议的重新配置。这种重新配置可能需要向工作流注入(多个)附加任务。
工作流任务优化IE中的任务增强信息可以指示任务增强是否被启用和/或用于任务增强的另外的参数。在一个示例实施例中，任务增强信息作为IE 522被包括在要求描述符520中，例如在要求描述符的处理要求中，例如作为任务或工作流要求。工作流管理器120可以被配置为，响应于基于任务增强IE而检测到任务增强被允许，分析(初始)工作流以检测任务增强机会。
任务增强可以表示一种反向的任务融合方法。工作流管理器可以被配置为将任务布置在不同/专用MPE中以保证服务质量，例如，具有用于AI/机器学习任务的专用硬件加速环境。
在一些实施例中，任务增强可以包括或启用由工作流管理器120添加的以下新特征和任务中的至少一些：
-自动网络流发送器和接收器任务：在云提供方确认最终任务布置并且MPE信息从云基础设施被传送回工作流管理器之后，可以由工作流管理器配置连接；
-自动媒体内容编码和解码，当一个MPE中的两个任务之间的数据传输从本地改变为基于网络时可能需要。通常，媒体数据也应当被压缩，而不是原始比特流。这样的编码和解码格式(例如，H264 AVC或H265 HEVC)可以由工作流管理器以透明方式自动确定。替代地，特定压缩或加密方法的使用可以在WDD中提供。
图7示出了用于初始简化示例工作流700的任务增强。初始工作流包括具有输出端口700的任务T1和具有输入端口702的任务T2，例如，该任务T1和任务T2可以被分配给中央云系统。基于工作流任务优化IE，工作流管理器120检测到任务增强被启用。基于初始工作流的任务增强分析，工作流管理器120检测到任务T1应当由边缘云执行。
在工作流任务修改220之后，所得到的工作流实质上不同；它包括由边缘云MPE执行的第一部分和由中央云MPE执行的第二部分。为了启用这一点，新的编码任务ET和新的解码任务DT被添加，其分别具有输入端口704、716和输出端口706、718。例如，ET可以包括H.265编码器和有效载荷任务以及DT解包器和H.265解码器任务。此外，可能需要添加(多个)适当的传输任务。例如，新的传输层服务器(例如，TCP服务器宿)任务ST和传输层客户端(例如，TCP客户端)任务CT被添加，其分别具有输入端口708、712和输出端口710、714。
在一些实施例中，任务增强可以包括任务拆分，任务拆分可以是指将初始任务划分为两个或更多个任务。替代地，任务拆分是一种独立的优化方法，并且可以作为特定IE被包括在WDD 102中，例如类似于上面针对任务增强信息所说明的。
在一些实施例中，工作流任务优化IE指示媒体处理任务融合或任务融合策略。任务融合可以在框220和440中执行，并且可以包括移除和/或组合一个或多个任务作为任务融合分析的结果，以优化工作流。任务融合分析可以包括评估是否需要针对工作流的一个或多个任务而执行一个或多个任务融合动作，并且还可以包括定义所需要的任务融合动作以及针对它们的另外的控制信息。工作流任务优化IE中的任务融合信息可以指示任务融合是否被启用、和/或用于任务融合的另外的参数。在一个示例实施例中，任务融合信息被作为IE 522包括在要求描述符520中，例如在要求描述符的处理要求中，例如作为任务或工作流要求。工作流管理器120可以被配置为，响应于基于任务优化IE而检测到任务融合被允许，来分析(初始)工作流以检测任务融合机会。任务融合能够移除不必要的媒体转码和/或网络传输任务以获取更好的性能，例如，降低延迟并且改善带宽和吞吐量。
图8示出了针对初始简化示例工作流800的任务融合。初始工作流包括涉及媒体流的编码的任务TE和涉及媒体流的解码的后续任务TD。例如，任务TE、TD可以涉及H264编码和解码，并且可以被定义为在不同MPE中执行。基于工作流任务优化IE，工作流管理器120检测到任务融合被启用。基于初始工作流800的任务融合分析，工作流管理器120检测到任务TE、TD是多余的并且可以被移除。作为工作流任务修改220的结果，工作流被相应地更新，并且所得到的工作流810可以被部署。
任务融合可以在专用MPE上执行，例如在硬件加速的MPE(例如，用于快速媒体处理或用于AI/ML训练和推理任务的GPU驱动的MPE)上执行。那些特殊的MPE通常是固定的和预先配置的。另一种方法是，媒体处理功能由一组功能组成，这个概念可以称为“功能组”。功能组可以构建为部分DAG或子DAG。工作流管理器可以检查为功能组定义的所有功能，并且决定最终工作流DAG。任务融合可以基于低级别处理任务来进行，这些低级别处理任务可以定义为具有更细粒度的部署控制。高级别媒体处理任务可能更难融合，但仍有可能，只要相关操作逻辑可以由其他低级别处理任务重新定义。
在一些实施例中，WDD 102包括媒体处理任务分组信息。基于任务分组信息，工作流管理器120可以将工作流的两个或更多个任务分组在一起。例如，在图6中，任务T1至T4可以基于任务分组信息被分组610，并且被控制以部署在单个MPE中。任务分组信息可以指示任务分组是否被启用、和/或用于任务分组的另外的参数，例如(多个)逻辑组名称。在一个示例实施例中，任务分组信息被包括在要求描述符520中，例如在要求描述符的处理要求中，例如作为部署要求。
在一些实施例中，WDD 102包括用于控制工作流的一个或多个媒体处理任务的布置的位置策略信息。位置策略信息可以包括用于一个或多个媒体处理任务中的每个的以下各组位置中的至少一项：禁止位置、允许位置和/或优选位置。因此，例如，可以避免或确保将媒体处理任务分配给某些国家或网络。位置策略信息可以包括媒体源所定义的位置偏好，例如(多个)地理数据中心或(多个)逻辑位置。在一个示例实施例中，位置策略信息被包括在要求描述符520中，例如在要求描述符的处理要求中，例如作为部署要求。
在一些实施例中，工作流描述包括任务亲和性和/或反亲和性信息，这些信息指示相对于媒体处理任务和/或媒体处理实体的布置偏好。
任务亲和性信息可以指示相对于关联任务的布置偏好。任务反亲和性信息可以指示相对于不应当一起在同一MPE中的那些任务的布置偏好。例如，不应当在同一MPE中调度和运行两个计算密集型任务。在另一示例中，亲和性信息可以指定来自不同工作流的任务不得共享一个MPE等。
在一个实施例中，工作流描述包括MPE亲和性和/或反亲和性信息，这些信息可以指定针对MPE(而非任务)的(反)亲和性控制。
在一个示例实施例中，亲和性信息和/或反亲和性信息被包括在要求描述符520中，例如在要求描述符的处理要求中，例如作为部署要求。
附件1是信息元素和相关联的参数的示例图表，这些相关联的参数包括任务/工作流要求、部署要求以及QoS要求。例如，任务/工作流要求和/或部署要求可以被包括在WDD102的要求描述符的处理要求中。应当理解，附件1中所示的至少一些参数可以通过应用上述实施例中的至少一些而应用于工作流中。
应当理解，以上实施例仅示出了用于在NBMP信令和WDD 102中并入工作流要求和工作流优化信息元素的可用选项的一些示例，并且可以使用各种其他布置和命名选项。
一种包括电子电路的电子设备可以是一种用于实现本发明的至少一些实施例的装置。该装置可以是计算机、网络服务器、蜂窝电话、机器对机器(M2M)设备(例如，IoT传感器设备)、或者提供有通信能力的任何其他网络或计算设备，或者可以被包括在其中。在另一实施例中，执行上述功能的装置被包括在这样的设备中，例如，该装置可以包括电路系统，例如芯片、芯片组、微控制器、或上述设备中的任何一个中的这些电路的组合。
在本申请中，术语“电路系统”可以是指以下一项或多项或全部：
(a)纯硬件电路实现(例如，仅在模拟和/或数字电路系统中的实现)，以及
(b)硬件电路和软件的组合，例如(如适用)：
(i)模拟和/或数字硬件电路与软件/固件的组合，以及
(ii)带有软件的硬件处理器的任何部分(包括数字信号处理器、软件和存储器，它们一起工作以使装置(例如，移动电话或服务器)执行各种功能)，以及
(c)硬件电路和/或处理器，例如微处理器或微处理器的一部分，需要软件(例如，固件)进行操作，但当操作不需要软件时，该软件可以不存在。该电路系统的定义适用于该术语在本申请中(包括在任何权利要求中)的所有使用。作为另一示例，如本申请中使用的，术语电路系统还涵盖仅硬件电路或处理器(或多个处理器)或硬件电路或处理器的一部分及其(或它们的)伴随软件和/或固件的实现。术语电路系统还涵盖(例如并且如果适用于特定权利要求元素)用于移动设备的基带集成电路或处理器集成电路、或者服务器、蜂窝网络设备或其他计算或网络设备中的类似集成电路。
图9示出了能够支持本发明的至少一些实施例的示例设备。图示的是设备900，设备900可以包括被配置为控制基于网络的媒体处理的通信设备。该设备可以包括一个或多个控制器，该控制器被配置为根据以上所示实施例中的至少一些执行操作，例如以上结合图2至图8所示的一些或多个特征。例如，设备900可以被配置为作为执行附图的方法的工作流管理器或NBMP源来操作。
设备900中包括处理器902，处理器902可以包括例如单核或多核处理器，其中单核处理器包括一个处理核并且多核处理器包括一个以上的处理核。处理器902可以包括一个以上的处理器。处理器可以包括至少一个专用集成电路ASIC。处理器可以包括至少一个现场可编程门阵列FPGA。处理器可以是用于在设备中执行方法步骤的装置。处理器可以至少部分地被配置为通过计算机指令来执行动作。
设备900可以包括存储器904。存储器可以包括随机存取存储器和/或持久存储器。存储器可以包括至少一个RAM芯片。例如，存储器可以包括固态、磁、光和/或全息存储器。存储器可以至少部分被包括在处理器902中。存储器904可以是用于存储信息的部件。存储器可以包括计算机指令，处理器被配置为执行该计算机指令。当被配置为使处理器执行某些动作的计算机指令存储在存储器中，并且设备总体上被配置为使用来自存储器的计算机指令在处理器的指导下运行时，处理器和/或其至少一个处理核可以被认为被配置为执行上述某些动作。存储器可以至少部分被包括在处理器中。存储器可以至少部分在设备900外部，但是对于设备是可访问的。例如，影响与基于网络的媒体处理工作流控制相关的操作的控制参数可以存储在存储器的一个或多个部分中，并且用于控制装置的操作。此外，存储器可以包括设备特定密码信息，例如设备900的秘钥和公钥。
设备900可以包括发射器906。设备可以包括接收器908。发射器和接收器可以被配置为根据至少一种蜂窝或非蜂窝标准而分别发射和接收信息。发射器可以包括一个以上的发射器。接收器可以包括一个以上的接收器。例如，发射器和/或接收器可以被配置为根据全球移动通信系统GSM、宽带码分多址WCDMA、长期演进LTE、3GPP新无线电接入技术(N-RAT)、IS-95、无线局域网WLAN和/或以太网标准进行操作。设备900可以包括近场通信NFC收发器910。NFC收发器可以支持至少一种NFC技术，例如NFC、Bluetooth、Wibree或类似技术。
设备900可以包括用户界面UI 912。UI可以包括显示器、键盘、触摸屏、被布置为通过使设备振动来向用户发信号通知的振动器、扬声器和麦克风中的至少一种。用户能够经由UI操作设备，例如以接听来电、发起电话或视频通话、浏览互联网、引起和控制媒体处理操作、和/或管理存储在存储器904中的数字文件或在经由发射器906和接收器908或经由NFC收发器910可访问的云上的数字文件。
设备900可以包括或被布置为接受用户身份模块914。用户身份模块可以包括例如可安装在设备900中的订户身份模块(SIM)卡。用户身份模块914可以包括标识设备900的用户的订阅(subscription)的信息。用户身份模块914可以包括密码信息，该密码信息可用于验证设备900的用户的身份和/或促进用于经由设备900实现的通信的通信媒体和/或元数据信息的加密。
处理器902可以配备有发射器，该发射器被布置为将来自处理器的信息经由设备900内部的电引线输出到设备中包括的其他设备。这种发射器可以包括串行总线发射器，串行总线发射器被布置为例如经由至少一个电引线将信息输出到存储器904以存储在其中。作为串行总线的替代，发射器可以包括并行总线发射器。同样，处理器可以包括接收器，该接收器被布置为在处理器中经由设备900内部的电引线从设备900中包括的其他设备接收信息。这样的接收器可以包括串行总线接收器，串行总线接收器被布置为例如经由至少一个电引线从接收器908接收信息以在处理器中进行处理。作为串行总线的替代，接收器可以包括并行总线接收器。
设备900可以包括图9中未示出的其他设备。例如，该设备可以包括至少一个数码相机。一些设备900可以包括后置摄像头和前置摄像头。该设备可以包括被布置为至少部分验证该设备的用户的指纹传感器。在一些实施例中，该设备可以缺少至少一种上述设备。例如，一些设备可以缺少NFC收发器910和/或用户身份模块914。
处理器902、存储器904、发射器906、接收器908、NFC收发器910、UI 912和/或用户身份模块914可以通过设备900内部的电引线以多种不同方式互连。例如，上述设备中的每个可以单独连接到设备内部的主总线，以允许设备交换信息。然而，本领域技术人员将理解，这仅是一个示例，并且根据实施例，可以在不脱离本发明的范围的情况下选择将上述设备中的至少两个设备互连的各种方式。
应当理解，所公开的本发明的实施例不限于本文中公开的特定结构、工艺步骤或材料，而是扩展为相关领域的普通技术人员将认识到的等效物。还应当理解，本文中使用的术语仅用于描述特定实施例的目的，并不旨在进行限制。
在说明书整体中对一个实施例或实施例的引用表示结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，在本说明书各处出现的短语“在一个实施例中”或“在实施例中”不一定都指代相同的实施例。在使用诸如例如大约或基本上等术语来引用数值的情况下，也公开了准确的数值。
如本文中使用的，为了方便起见，可以在公共列表中呈现多个项目、结构元素、组成元素和/或材料。然而，这些列表应当被解释为好像列表中的每个成员都被个体地标识为单独的和唯一的成员。因此，这样的列表中的任何个体成员均不应当在没有相反的指示的情况下仅基于它们在共同群体中的存在而被解释为事实上等同于同一列表中的任何其他成员。此外，本发明的各种实施例和示例连同其各种组件的替代方案可以在本文中提及。
此外，在一个或多个实施例中，所描述的特征、结构或特性可以以任何合适的方式组合。在前面的描述中提供了很多具体细节，例如长度、宽度、形状等的示例，以提供对本发明的实施例的透彻理解。然而，相关领域的技术人员将认识到，本发明可以在没有一个或多个具体细节的情况下来实践，或者可以使用其他方法、组件、材料等来实践。在其他情况下，为了避免混淆本发明的方面，未详细示出或描述公知的结构、材料或操作。
动词“包括(to comprise)”和“包括(to include)”在本文中用作公开限制，既不排除也不要求存在未列举的特征。除非另有明确说明，否则从属权利要求中记载的特征可以相互自由组合。此外，应当理解，贯穿本文件对“一个(a)”或“一个(an)”(即，单数形式)的使用并不排除多个的情况。
附件1：
Figure BDA0003325885590000181
Figure BDA0003325885590000191

Claims (39)

1.一种装置，包括用于执行以下操作的部件：
-从源实体接收用于基于网络的媒体处理的工作流描述，所述工作流描述包括工作流任务优化信息元素，
-基于所述工作流描述生成工作流，所述工作流包括一组连接的媒体处理任务，以及
-引起工作流任务修改以基于所述优化信息元素中的一个或多个参数来优化所述工作流。
2.根据权利要求1所述的装置，其中所述部件还被配置用于由工作流管理器在所述工作流任务修改之后基于所述工作流来实例化由一组媒体处理实体进行的媒体处理任务。
3.根据权利要求2所述的装置，其中所述部件还被配置用于
-在所述工作流任务修改之后基于所述工作流来选择媒体处理实体，以及
-针对所选择的所述媒体处理实体引起所述媒体处理任务的部署。
4.根据权利要求3所述的装置，其中所述部件还被配置用于：
-从一个或多个所选择的媒体处理实体接收一个或多个响应，
-基于所述响应来评估所选择的所述媒体处理实体，以及
-基于所述媒体处理实体的所述评估和所述工作流任务优化信息元素，引起工作流任务重新修改。
5.根据任一前述权利要求所述的装置，其中所述部件还被配置用于：
-响应于接收到所述工作流描述而连接到功能库，
-基于所述工作流描述从所述功能库接收用于一个或多个媒体处理任务的媒体处理功能规范数据，
-基于所述媒体处理功能规范数据而定义一个或多个基于网络的媒体处理任务，以及
-基于所定义的所述媒体处理任务生成所述工作流，所述工作流可表示为有向无环图。
6.一种装置，包括用于执行以下操作的部件：
-生成用于基于网络的媒体处理的工作流描述，
-在所述工作流描述中包括工作流任务优化信息元素，所述工作流任务优化信息元素定义一个或多个参数来执行工作流任务修改，以优化基于所述工作流描述而生成的工作流，以及
-引起向工作流管理器传输包括所述工作流任务优化信息元素的所述工作流描述。
7.根据权利要求6所述的装置，其中所述部件还被配置用于：
-从功能库接收功能规范数据；以及
-基于所接收的所述功能规范数据来定义所述工作流描述。
8.根据任一前述权利要求所述的装置，其中所述工作流任务优化信息元素指示媒体处理任务融合。
9.根据任一前述权利要求所述的装置，其中所述工作流任务优化信息元素指示媒体处理任务增强。
10.根据任一前述权利要求所述的装置，其中所述工作流任务优化信息元素包括定义媒体处理工作流或媒体处理任务的输入和/或输出的修改或增强的参数。
11.根据任一前述权利要求所述的装置，其中所述工作流任务优化信息元素定义系统任务是否能够被添加到所述工作流和/或是否能够从所述工作流中被移除。
12.根据任一前述权利要求所述的装置，其中所述优化信息元素被包括在所述工作流描述的要求描述符中。
13.根据权利要求12所述的装置，其中所述优化信息元素被包括作为所述要求描述符的处理要求。
14.根据任一前述权利要求所述的装置，其中所述工作流描述包括亲和性和/或反亲和性信息，所述亲和性和/或反亲和性信息指示相对于媒体处理任务和/或媒体处理实体的布置偏好。
15.根据任一前述权利要求所述的装置，其中所述工作流描述包括位置策略信息，所述位置策略信息用于控制所述工作流的一个或多个媒体处理任务的布置。
16.根据权利要求15所述的装置，其中所述位置策略信息包括用于所述一个或多个媒体处理任务中的每个媒体处理任务的以下各组位置中的至少一项：禁止位置、允许位置和/或优选位置。
17.根据任一前述权利要求所述的装置，其中所述工作流描述包括媒体处理任务分组信息。
18.根据任一前述权利要求所述的装置，其中所述工作流描述和所述工作流任务优化信息元素以JavaScript对象表示法或可扩展标记语言被编码。
19.根据任一前述权利要求所述的装置，其中所述部件包括
至少一个处理器；以及
包括计算机程序代码的至少一个存储器，所述至少一个存储器和计算机程序代码被配置为与所述至少一个处理器一起引起所述装置的执行。
20.一种方法，包括：
-由工作流管理器从源实体接收用于基于网络的媒体处理的工作流描述，所述工作流描述包括工作流任务优化信息元素，
-基于所述工作流描述生成工作流，所述工作流包括一组连接的媒体处理任务，以及
-引起工作流任务修改，以基于所述优化信息元素中的一个或多个参数来优化所述工作流。
21.根据权利要求20所述的方法，还包括：由工作流管理器在所述工作流任务修改之后基于所述工作流，来实例化由一组媒体处理实体进行的媒体处理任务。
22.根据权利要求21所述的方法，还包括：
-在所述工作流任务修改之后基于所述工作流来选择媒体处理实体，以及
-针对所选择的所述媒体处理实体引起所述媒体处理任务的部署。
23.根据权利要求22所述的方法，还包括：
-从一个或多个所选择的媒体处理实体接收一个或多个响应，
-基于所述响应来评估所选择的所述媒体处理实体，以及
-基于所述媒体处理实体的所述评估和所述工作流任务优化信息元素，引起工作流任务重新修改。
24.根据前述权利要求20至23中任一项所述的方法，还包括：
-响应于接收到所述工作流描述而连接到功能库，
-基于所述工作流描述，从所述功能库接收用于一个或多个媒体处理任务的媒体处理功能规范数据，
-基于所述媒体处理功能规范数据，定义一个或多个基于网络的媒体处理任务，以及
-基于所定义的所述媒体处理任务来生成所述工作流，所述工作流可表示为有向无环图。
25.一种方法，包括：
-生成用于基于网络的媒体处理的工作流描述，
-在所述工作流描述中包括工作流任务优化信息元素，所述工作流任务优化信息元素定义一个或多个参数来执行工作流任务修改，以优化基于所述工作流描述而生成的工作流，以及
-引起向工作流管理器传输包括所述工作流任务优化信息元素的所述工作流描述。
26.根据权利要求25所述的方法，还包括：
-从功能库接收功能规范数据；以及
-基于所接收的所述功能规范数据来定义所述工作流描述。
27.根据前述权利要求20至26中任一项所述的方法，其中所述工作流任务优化信息元素指示媒体处理任务融合。
28.根据前述权利要求20至27中任一项所述的方法，其中所述工作流任务优化信息元素指示媒体处理任务增强。
29.根据前述权利要求20至28中任一项所述的方法，其中所述工作流任务优化信息元素包括定义媒体处理工作流或媒体处理任务的输入和/或输出的修改或增强的参数。
30.根据前述权利要求20至29中任一项所述的方法，其中所述工作流任务优化信息元素定义系统任务是否能够被添加到所述工作流和/或是否能够从所述工作流中被移除。
31.根据前述权利要求20至30中任一项所述的方法，其中所述优化信息元素被包括在所述工作流描述的要求描述符中。
32.根据权利要求31所述的方法，其中所述优化信息元素被包括作为所述要求描述符的处理要求。
33.根据前述权利要求20至32中任一项所述的方法，其中所述工作流描述包括亲和性和/或反亲和性信息，所述亲和性和/或反亲和性信息指示相对于媒体处理任务和/或媒体处理实体的布置偏好。
34.根据前述权利要求20至33中任一项所述的方法，其中所述工作流描述包括位置策略信息，所述位置策略信息用于控制所述工作流的一个或多个媒体处理任务的布置。
35.根据权利要求34所述的方法，其中所述位置策略信息包括用于所述一个或多个媒体处理任务中的每个媒体处理任务的位置中的至少一个位置：禁止位置、允许位置和优选位置。
36.根据前述权利要求20至35中任一项所述的方法，其中所述工作流描述包括媒体处理任务分组信息。
37.根据前述权利要求20至36中任一项所述的方法，其中所述工作流描述和所述工作流任务优化信息元素以JavaScript对象表示法或可扩展标记语言被编码。
38.一种非暂态计算机可读介质，在其上存储有一组计算机可读指令，所述一组计算机可读指令在由至少一个处理器执行时使装置执行根据前述权利要求20至37中任一项所述的方法。
39.一种计算机程序，包括用于当在数据处理装置中被执行时引起根据权利要求20至37中的至少一项所述的方法被执行的代码。
CN201980095889.7A 2019-03-21 2019-03-21 基于网络的媒体处理控制 Pending CN113748685A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2019/050236 WO2020188140A1 (en) 2019-03-21 2019-03-21 Network based media processing control

Publications (1)

Publication Number Publication Date
CN113748685A true CN113748685A (zh) 2021-12-03

Family

ID=72519733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980095889.7A Pending CN113748685A (zh) 2019-03-21 2019-03-21 基于网络的媒体处理控制

Country Status (5)

Country Link
US (1) US20220167026A1 (zh)
EP (1) EP3942835A4 (zh)
KR (2) KR102664946B1 (zh)
CN (1) CN113748685A (zh)
WO (1) WO2020188140A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445047A (zh) * 2022-01-29 2022-05-06 北京百度网讯科技有限公司 工作流生成方法、装置、电子设备及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831842A (zh) 2019-04-23 2020-10-27 腾讯美国有限责任公司 Nbmp中处理媒体内容的方法、装置和存储介质
US11356534B2 (en) * 2019-04-23 2022-06-07 Tencent America LLC Function repository selection mode and signaling for cloud based processing
US11544108B2 (en) * 2019-04-23 2023-01-03 Tencent America LLC Method and apparatus for functional improvements to moving picture experts group network based media processing
US11256546B2 (en) 2019-07-02 2022-02-22 Nokia Technologies Oy Methods, apparatuses and computer readable mediums for network based media processing
US11388067B2 (en) * 2020-03-30 2022-07-12 Tencent America LLC Systems and methods for network-based media processing (NBMP) for describing capabilities
US11743307B2 (en) * 2020-06-22 2023-08-29 Tencent America LLC Nonessential input, output and task signaling in workflows on cloud platforms
US11593150B2 (en) 2020-10-05 2023-02-28 Tencent America LLC Method and apparatus for cloud service
US11632411B2 (en) * 2021-03-31 2023-04-18 Tencent America LLC Method and apparatus for cascaded multi-input content preparation templates for 5G networks
WO2022224058A1 (en) * 2021-04-19 2022-10-27 Nokia Technologies Oy A method and apparatus for enhanced task grouping
US11539776B2 (en) * 2021-04-19 2022-12-27 Tencent America LLC Method for signaling protocol characteristics for cloud workflow inputs and outputs
US20230020527A1 (en) 2021-07-06 2023-01-19 Tencent America LLC Method and apparatus for switching or updating partial or entire workflow on cloud with continuity in dataflow
US11917034B2 (en) * 2022-04-19 2024-02-27 Tencent America LLC Deployment of workflow tasks with fixed preconfigured parameters in cloud-based media applications

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120159503A1 (en) * 2010-12-17 2012-06-21 Verizon Patent And Licensing Inc. Work flow command processing system
CN102804221A (zh) * 2009-06-12 2012-11-28 索尼公司 发行骨干
US8583467B1 (en) * 2012-08-23 2013-11-12 Fmr Llc Method and system for optimized scheduling of workflows
CN103703443A (zh) * 2011-03-22 2014-04-02 亚马逊技术股份有限公司 针对计算应用程序功能的强大权限管理
CN104247333A (zh) * 2011-12-27 2014-12-24 思科技术公司 用于基于网络的服务的管理的系统和方法
CN104834722A (zh) * 2015-05-12 2015-08-12 网宿科技股份有限公司 基于cdn的内容管理系统
US20160034306A1 (en) * 2014-07-31 2016-02-04 Istreamplanet Co. Method and system for a graph based video streaming platform
US20170083380A1 (en) * 2015-09-18 2017-03-23 Salesforce.Com, Inc. Managing resource allocation in a stream processing framework
US20180152361A1 (en) * 2016-11-29 2018-05-31 Hong-Min Chu Distributed assignment of video analytics tasks in cloud computing environments to reduce bandwidth utilization
US20190028691A1 (en) * 2009-07-14 2019-01-24 Cable Television Laboratories, Inc Systems and methods for network-based media processing
CN109313572A (zh) * 2016-05-17 2019-02-05 亚马逊科技有限公司 通用自动缩放
CN109343940A (zh) * 2018-08-14 2019-02-15 西安理工大学 一种云平台中多媒体任务调度优化方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080195664A1 (en) * 2006-12-13 2008-08-14 Quickplay Media Inc. Automated Content Tag Processing for Mobile Media
US9619772B1 (en) * 2012-08-16 2017-04-11 Amazon Technologies, Inc. Availability risk assessment, resource simulation
US10951540B1 (en) * 2014-12-22 2021-03-16 Amazon Technologies, Inc. Capture and execution of provider network tasks
WO2018144059A1 (en) * 2017-02-05 2018-08-09 Intel Corporation Adaptive deployment of applications

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804221A (zh) * 2009-06-12 2012-11-28 索尼公司 发行骨干
US20190028691A1 (en) * 2009-07-14 2019-01-24 Cable Television Laboratories, Inc Systems and methods for network-based media processing
US20120159503A1 (en) * 2010-12-17 2012-06-21 Verizon Patent And Licensing Inc. Work flow command processing system
CN103703443A (zh) * 2011-03-22 2014-04-02 亚马逊技术股份有限公司 针对计算应用程序功能的强大权限管理
CN104247333A (zh) * 2011-12-27 2014-12-24 思科技术公司 用于基于网络的服务的管理的系统和方法
US8583467B1 (en) * 2012-08-23 2013-11-12 Fmr Llc Method and system for optimized scheduling of workflows
US20160034306A1 (en) * 2014-07-31 2016-02-04 Istreamplanet Co. Method and system for a graph based video streaming platform
CN104834722A (zh) * 2015-05-12 2015-08-12 网宿科技股份有限公司 基于cdn的内容管理系统
US20170083380A1 (en) * 2015-09-18 2017-03-23 Salesforce.Com, Inc. Managing resource allocation in a stream processing framework
CN109313572A (zh) * 2016-05-17 2019-02-05 亚马逊科技有限公司 通用自动缩放
US20180152361A1 (en) * 2016-11-29 2018-05-31 Hong-Min Chu Distributed assignment of video analytics tasks in cloud computing environments to reduce bandwidth utilization
CN109343940A (zh) * 2018-08-14 2019-02-15 西安理工大学 一种云平台中多媒体任务调度优化方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445047A (zh) * 2022-01-29 2022-05-06 北京百度网讯科技有限公司 工作流生成方法、装置、电子设备及存储介质
CN114445047B (zh) * 2022-01-29 2024-05-10 北京百度网讯科技有限公司 工作流生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR102664946B1 (ko) 2024-05-09
US20220167026A1 (en) 2022-05-26
WO2020188140A1 (en) 2020-09-24
KR20210138735A (ko) 2021-11-19
EP3942835A1 (en) 2022-01-26
EP3942835A4 (en) 2022-09-28
KR20240066200A (ko) 2024-05-14

Similar Documents

Publication Publication Date Title
KR102664946B1 (ko) 네트워크 기반 미디어 프로세싱 제어
JP7455204B2 (ja) ５ｇエッジのメディア機能の検出のための方法
US20160050128A1 (en) System and Method for Facilitating Communication with Network-Enabled Devices
US9047308B2 (en) Methods and apparatus for providing unified access to various data resources using virtualized services
JP7100154B6 (ja) プロセッサコアのスケジューリング方法、装置、端末及び記憶媒体
US11516628B2 (en) Media streaming with edge computing
EP3942832B1 (en) Network based media processing security
JP7449382B2 (ja) ５ｇのｆｌｕｓ制御を介したｎｂｍｐ展開のための方法
KR20160061306A (ko) 펌웨어 가상화를 위한 방법 및 장치
US11882154B2 (en) Template representation of security resources
CN112243016B (zh) 一种中间件平台、终端设备、5g人工智能云处理系统及处理方法
KR20220038740A (ko) 5g 라이브 업링크 스트리밍용 프레임워크(flus) 제어를 통한 네트워크 기반 미디어 처리(nbmp) 작업흐름 관리
US11349729B2 (en) Network service requests
US11736761B2 (en) Methods for media streaming content preparation for an application provider in 5G networks
CN114365467B (zh) 用于确定3gpp flus接收能力的方法、装置和计算机可读介质
US11296929B2 (en) Methods and network systems for enabling a network service in a visited network
CN110855539B (zh) 设备发现方法、装置及存储介质
US11799937B2 (en) CMAF content preparation template using NBMP workflow description document format in 5G networks
US20220321627A1 (en) Methods and apparatus for just-in-time content preparation in 5g networks
KR20230162805A (ko) 5g 미디어 스트리밍 아키텍처에서의 새로운 에지 서버들의 이벤트-중심 프로비저닝
CN117278415A (zh) 信息处理、业务流量路径规划方法、装置和系统
da Silva Service Modelling and End-to-End Orchestration in 5G Networks
CN115665741A (zh) 安全服务实现方法、装置、安全服务系统、设备及介质
CN113783713A (zh) 一种配置代理的方法、装置和系统
CN116828074A (zh) 服务调用方法及装置、设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination