CN109983777B - 启用媒体编排的方法、客户端设备和控制器系统 - Google Patents

Abstract

本发明涉及启用媒体编排的方法。媒体编排将多个设备编排成处理至少一个媒体流。例如由客户端设备执行的第一方法涉及接收（1）涉及某个媒体编排的通信信道构建信息，基于通信信道构建信息向控制器系统传输（3）请求，该请求表示在客户端设备与控制器系统之间建立与该某个媒体编排有关的通信信道的第一步骤，以及在已经建立所述通信信道之后通过该通信信道从控制器系统接收（11）控制信息。例如由控制器系统执行的第二方法涉及接收（5）该请求，基于该请求确定（7）编排会话，以及在已经建立所述通信信道之后通过该通信信道向客户端设备传输（9）涉及该编排会话的控制信息。

Description

启用媒体编排的方法、客户端设备和控制器系统

技术领域

本发明涉及启用媒体编排（media orchestration）的方法，所述媒体编排将多个设备编排成处理至少一个媒体流。

本发明还涉及一种使得计算机系统能够执行这样的方法中的任何方法的计算机程序产品。

本发明进一步涉及一种用于启用媒体编排的客户端设备和一种用于启用媒体编排的控制器系统，所述媒体编排将多个设备编排成处理至少一个媒体流。

背景技术

运动图像专家组（MPEG）是由ISO和IEC形成以设置用于音频和视频压缩及传输的标准的管理机构工作组。在最近创建用于在异构环境中的高效编码和媒体递送（MPEG-H）和通过HTTP的动态自适应流式传输（MPEG-DASH）的标准之后，MPEG已经开始致力于创建用于媒体编排（MPEG-MORE）的标准。在2016年2月美国加利福尼亚州圣地亚哥的ISO/IEC JTC1/SC29/WG11的MPEG会议114中公布的出版物“Context and Objectives for MediaOrchestration v.3”（N16131）提供了对MPEG-MORE的背景和目标的初始描述。媒体编排包括对媒体捕获的编排、对媒体消费的编排和对媒体变换的编排。媒体编排不包括媒体递送。

对媒体捕获的编排是关于控制哪个设备捕获什么以及何时和如何捕获，以及它们如何使这可用。它们捕获什么是关于它们的位置和定向以及它们用于捕获的能力，例如缩放能力。它们何时捕获是关于开始和停止捕获。如何捕获这是关于帧速率、分辨率、麦克风增益、白平衡设置等。它们如何使这可用是关于事物，比如使用的编解码器、递送的元数据、要应用的可能变换。

对媒体消费或呈现的编排是关于控制哪个设备播出什么以及何时和如何播出。播出什么是关于检索什么内容以及应当播出该内容的哪些部分。何时播出是关于与其他设备的播出同步。如何播出是关于确切地在哪里播出某些东西，例如在屏幕中的内容部分的定位、在房间中的音频对象的定位、要应用的可能变换，例如音量或亮度调整。

对媒体变换的编排是关于将变换应用于所捕获的媒体。这可能是改变捕获内容的方式，例如改变帧速率，进行编码，应用某些滤波器或掩码等。这也可以是组合内容，例如执行拼接或组合输入以用于增强输入。内容的编辑也可以被视为这的一部分，改变内容在空间和时间上的排列，例如将这与从各种镜头和记录中的完整电影的创建相比较。

与以服务器为中心（即服务器管理回放设备）的SMIL（同步多媒体集成语言，由万维网联盟颁布的标准）不同，MPEG-MORE以客户端设备为中心（在本规范中源和宿（sink）被共同称为“客户端设备”）。在传统的以客户端设备为中心的架构中，客户端周期性地检索新的配置文件。这具有如下缺点：服务器无法使客户端立即检索新配置，但具有容易通过防火墙通信的优点。

“Context and Objectives for Media Orchestration v.3”介绍了编排器功能和控制器功能的概念，但没有描述控制器功能传输什么控制信息和编排器功能与客户端设备如何通信。SMIL和“Context and Objectives for Media Orchestration v.3”都没有指定如何在以客户端设备为中心的架构中实现与媒体编排有关的客户端设备的实时协调。

发明内容

本发明的第一个目的是提供一种启用媒体编排以用于由客户端设备执行的方法，其帮助在以客户端设备为中心的架构中实现与媒体编排有关的客户端设备的实时协调。

本发明的第二个目的是提供一种启用媒体编排以用于由控制器系统执行的方法，其帮助在以客户端设备为中心的架构中实现与媒体编排有关的客户端设备的实时协调。

本发明的第三个目的是提供一种用于启用媒体编排的客户端设备，其帮助在以客户端设备为中心的架构中实现与媒体编排有关的客户端设备的实时协调。

本发明的第四个目的是提供一种用于启用媒体编排的控制器系统，其帮助在以客户端设备为中心的架构中实现与媒体编排有关的客户端设备的实时协调。

根据本发明，实现第一个目的，在于启用媒体编排的方法包括在客户端设备处接收涉及某个媒体编排的通信信道构建（setup）信息，基于所述通信信道构建信息向控制器系统传输请求，所述请求表示在所述客户端设备与所述控制器系统之间建立与所述某个媒体编排有关的（例如双向）通信信道的第一步骤，以及在所述客户端设备处通过所述通信信道从所述控制器系统接收控制信息。该方法可以进一步包括在已经建立所述通信信道之后，通过所述通信信道向所述控制器系统传输状态信息。

发明人已经认识到：在以客户端设备为中心的架构中，使客户端设备轮询其他客户端设备或服务器以便实现媒体编排的某些方面所需的实时协调并不是最佳的。为了实现该实时协调，发明人已经实现了一种架构，其中使用到集中功能的通信信道。为了维护以客户端设备为中心的架构，客户端设备主动构建该通信信道。然而，一旦已经建立通信信道，就可以从控制器系统向客户端设备发送控制信息，而不等待下一个轮询时间（这可能不排除客户端设备可以向控制器系统发送状态信息）。

作为一个附加优点，本发明减少防火墙的问题并且处理NAT穿越，这可以禁止服务器构建与客户端设备的连接，但是不禁止客户端设备构建与服务器的连接。作为另一附加优点，本发明可以使得发送多个控制消息更高效，因为需要更少的头信息。例如，控制消息不必涉及每条消息中的编排会话，因为该连接仅用于一个特定会话。通信信道因而优选地用于单个编排会话，但是如果有必要，也可以用于同一客户端设备所参与的多个编排会话（并且其由同一控制系统控制）。

本发明的另一优点是：在控制器系统上运行的控制器过程可以是相对轻量的。维护信道本身不需要任何显著的处理能力，并且控制器系统可能不需要执行任何基本任务以便使媒体流式传输处理发生。这允许控制器系统同时处理大量客户端设备。本发明的另一优点是：通信信道可能不需要是媒体流式传输过程的重要方面。如果信道被暂时中断/丢弃，例如由于网络中断，这不阻止客户端设备请求和播出媒体流。

客户端设备可以包括例如媒体数据和/或元数据的源（例如相机、麦克风或者包括提供与媒体体验相关的媒体数据或元数据的传感器的任何设备）和/或媒体数据和/或元数据的宿（例如TV、智能电话、平板电脑、PC、VR设备，例如HMD）。控制器系统可以包括一个或多个控制器设备。例如，控制器系统可以实现如在“Context and Objectives for MediaOrchestration v.3”中指定的控制器功能和/或编排器功能。替代地，例如，控制器系统可以将编排数据从如在“Context and Objectives for Media Orchestration v.3”中指定的编排器功能转发给客户端设备。

所述通信信道构建信息可以包括所述控制器系统的地址（例如统一资源标识符（URI）），标识可以用于访问所述控制器系统的一个或多个协议的一个或多个协议标识符，和/或编排会话标识符。地址可以是URI，例如完全限定的域名，或者IP地址等。然而，本发明也可以在使用另一形式的寻址的网络上。例如，通信信道构建信息可以是初始配置的一部分。替代地，例如，可以在已经建立通信信道之后经由通信信道获得初始配置。如果控制器系统没有实现上述编排器功能，则通信信道构建信息可以是还允许客户端设备找到实现该编排器功能的系统的信息的一部分。例如，控制信息可以包括MPEG MORE消息传递&控制和/或编排数据。

所述方法可以进一步包括在所述请求中包括标识符的步骤，所述标识符使得所述控制器系统能够确定编排会话。所述标识符还可以使得所述控制器系统能够确定编排会话由另一控制器系统控制。所述标识符可以包括编排会话标识符和/或位置标识符。例如，位置标识符可以包括GPS坐标、IP地址和/或无线网络的SSID。例如，可以使用位置标识符来确保在同一地理区域中的回放设备和/或在同一地理区域中的捕获设备是同一编排会话的一部分。

另外或替代地，设备可以共享它们的编排会话标识符以确保它们在同一编排会话中结束。这进一步允许设备所有者保持会话更加私密或排外。如果客户端设备不能够确定该标识符，则控制器系统可能能够在不具有从客户端设备接收的标识符的情况下确定相关编排会话。参与同一媒体编排的所有客户端设备都是同一编排会话的一部分，并且作为同一编排会话的一部分的客户端设备应当被一起编排。某个媒体数据的捕获和该媒体数据的回放可以是分离的编排。在该情况下，可能存在多个编排会话。

根据本发明，实现第二目的，在于启用媒体编排的方法包括在控制器系统处从客户端设备接收请求，所述请求表示在所述客户端设备与所述控制器系统之间建立与某个媒体编排有关的（例如双向）通信信道的第一步骤，基于所述请求确定编排会话，以及通过所述通信信道向所述客户端设备传输涉及所述编排会话的控制信息。该方法可以进一步包括在已经建立所述通信信道之后，在所述控制器系统处通过所述通信信道从所述客户端设备接收状态信息。

确定编排会话可以包括确定与参与同一媒体编排的一个或多个另外的客户端设备相关联的编排会话。如果另一客户端设备已经参与同一编排，则控制器系统可以在同一编排会话中将它们分组在一起。

所述方法可以进一步包括确定所述一个或多个另外的客户端设备中的至少一个已经停止参与同一媒体编排，响应于确定所述一个或多个另外的客户端设备中的所述至少一个已经停止参与同一媒体编排而确定新控制信息，以及通过所述通信信道向所述客户端设备传输所述新控制信息。立即行动有必要的情况中的一个是当媒体编排中的其他客户端设备中的一个停止参与时。例如，该另一客户端设备可以负责捕获或回放媒体数据的某个部分，并且可以请求剩余的客户端设备捕获或回放媒体数据的不同或附加部分以补偿不再参与的该另一客户端设备。注意：这可能导致仅单个客户端至少在某个时间点是媒体编排会话中的唯一客户端的情况。通常，媒体编排会话是关于对多个客户端的行为进行编排，但是这不防止编排会话暂时由仅单个客户端组成，例如，仅用单个客户端开始或结束该会话。

所述方法可以进一步包括确定与所述请求有关的标识符，并且确定编排会话可以包括基于所述标识符确定所述编排会话。例如，可以从该请求确定该标识符。例如，该标识符可以包括编排会话标识符和/或由客户端设备确定的位置标识符。替代地或另外，可以使用其他信息来确定该标识符。例如，该标识符可以包括由移动通信网络为客户端设备确定的位置标识符或者可以从该位置标识符来确定。位置标识符在某些媒体编排场景中可能是有利的，在所述场景中设备相对靠近在一起，例如用来在多个拍照手机记录同一事件时对拍照手机进行编排。

根据本发明，实现第三个目的，在于用于启用媒体编排的客户端设备包括通信接口和至少一个处理器，所述处理器被配置成使用所述通信接口接收涉及某个媒体编排的通信信道构建信息，被配置成使用所述通信接口基于所述通信信道构建信息向控制器系统传输请求，所述请求表示在所述客户端设备与所述控制器系统之间建立与所述某个媒体编排有关的（例如双向）通信信道的第一步骤，并且被配置成在已经建立所述通信信道之后使用所述通信接口通过所述通信信道从所述控制器系统接收控制信息。

所述通信信道构建信息可以包括所述控制器系统的地址（例如统一资源标识符）、标识可以用于访问所述控制器系统的一个或多个协议的一个或多个协议标识符，和/或编排会话标识符。

所述至少一个处理器可以被配置成在所述请求中包括标识符，所述标识符使得所述控制器系统能够确定编排会话。所述标识符可以包括编排会话标识符和/或位置标识符。

根据本发明，实现第四个目的，在于用于启用媒体编排的控制器系统包括通信接口和至少一个处理器，所述处理器被配置成使用所述通信接口从客户端设备接收请求，所述请求表示在所述客户端设备与所述控制器系统之间建立与某个媒体编排有关的（例如双向）通信信道的第一步骤，被配置成基于所述请求来确定编排会话，并且被配置成在建立所述通信信道之后使用所述通信接口通过所述通信信道向所述客户端设备传输涉及所述编排会话的控制信息。

所述至少一个处理器可以被配置成基于所述请求来确定与参与同一媒体编排的一个或多个另外的客户端设备相关联的编排会话。

所述至少一个处理器可以被配置成确定所述一个或多个另外的客户端设备中的至少一个已经停止参与同一媒体编排，被配置成响应于确定所述一个或多个另外的客户端设备中的所述至少一个已经停止参与同一媒体编排而确定新控制信息，并且被配置成使用所述通信接口通过所述通信信道向所述客户端设备传输所述新控制信息。

所述至少一个处理器可以被配置成确定与所述请求有关的标识符，并且被配置成基于所述标识符确定编排会话。所述标识符可以包括编排会话标识符和/或位置标识符。

所述控制器系统可以包括单个设备。这是确保参与同一媒体编排的所有客户端设备之间的协调的最高效方式，并且防止控制器系统的多个设备之间的通信，导致客户端设备与控制器系统之间的通信延迟。替代地，例如，控制器系统可以包括多个控制器设备。例如，控制器系统可以是在各种物理服务器上运行的基于云的系统。例如，控制器系统可以具有联合架构。例如，一个控制器设备可以充当用于朝向客户端设备的一个或多个其他控制器设备的代理。

如果控制器系统与一个或多个其他控制器系统协作，则控制器系统例如使用请求中包括的标识符确定它是否是负责客户端设备请求参与的媒体编排的控制器系统。如果客户端设备不确切地知道哪个控制器系统负责该媒体编排，则控制器系统可能能够将客户端设备委托给另一控制器系统。

客户端设备的用户可能能够从列表中选择某个媒体编排以允许客户端设备获得通信信道构建信息。如果客户端设备不确切地知道哪个控制器系统负责某个媒体编排，则客户端设备应当至少知道/找到与负责的控制器系统协作的另一控制器系统的URI。如果每个控制器系统彼此协作，则客户端设备可以联系（例如客户端设备中预先配置的）默认控制器系统，或者使用本地解析机制（比如DHCP）找到的本地控制器系统。

此外，提供了一种用于执行本文中描述的方法的计算机程序，以及一种存储该计算机程序的非暂时性计算机可读存储介质。计算机程序例如可以由现有设备下载或上传到现有设备，或者可以在制造这些系统时被存储。

非暂时性计算机可读存储介质存储至少一个软件代码部分，该软件代码部分在由计算机执行或处理时被配置成实行可执行操作，所述可执行操作包括：在客户端设备处接收涉及某个媒体编排的通信信道构建信息，基于所述通信信道构建信息向控制器系统传输请求，所述请求表示在所述客户端设备与所述控制器系统之间建立与所述某个媒体编排有关的（例如双向）通信信道的第一步骤，以及在已经建立所述通信信道之后在所述客户端设备处通过所述通信信道从所述控制器系统接收控制信息。

相同或不同的非暂时性计算机可读存储介质存储至少一个另外的软件代码部分，该另外的软件代码部分在由计算机执行或处理时被配置成实行可执行操作，所述可执行操作包括：在控制器系统处从客户端设备接收请求，所述请求表示在所述客户端设备与所述控制器系统之间建立与某个媒体编排有关的（例如双向）通信信道的第一步骤，基于所述请求确定编排会话，以及在已经建立所述通信信道之后通过所述通信信道向所述客户端设备传输涉及所述编排会话的控制信息。

如本领域技术人员将领会的，本发明的方面可以被体现为设备、方法或计算机程序产品。相应地，本发明的方面可以采取完全硬件实施例、完全软件实施例（包括固件、驻留软件、微代码等）或组合软件和硬件方面的实施例的形式，其在本文中一般都可以被称为“电路”、“模块”或“系统”。本公开中所描述的功能可以被实现为由计算机的处理器/微处理器执行的算法。此外，本发明的方面可以采取计算机程序产品的形式，该计算机程序产品被体现在具有体现（例如存储）在其上的计算机可读程序代码的一个或多个计算机可读介质中。

可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外或半导体系统、装置或设备，或者前述的任何合适的组合。计算机可读存储介质的更特定示例可以包括但不限于以下：具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或闪存）、光纤、便携式紧致盘只读存储器（CD-ROM）、光存储设备、磁存储设备、或者前述的任何合适组合。在本发明的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储用于由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序。

计算机可读信号介质可以包括具有体现在其中（例如，在基带中或作为载波的一部分）的计算机可读程序代码的传播数据信号。这样的传播信号可以采取多种形式中的任何形式，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以为不是计算机可读存储介质并且可以传送、传播或输送用于由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备使用的程序的任何计算机可读介质。

计算机可读介质上体现的程序代码可以使用任何适当的介质来传输，包括但不限于无线、有线、光纤、电缆、RF等，或者前述的任何合适的组合。用于执行用于本发明的方面的操作的计算机程序代码可以用一个或多个编程语言的任何组合来编写，所述编程语言包括面向对象的编程语言（诸如Java(TM)、Smalltalk、C++等）和传统的过程编程语言（诸如“C”编程语言和脚本或类似脚本的编程语言，诸如JavaScript、Python、PHP和Perl，或类似的编程语言）。程序代码可以完全在用户的计算机上、部分在用户的计算机上、作为独立的软件包、部分在用户的计算机上并且部分在远程计算机上、或者完全在远程计算机或服务器上执行。在后一场景中，远程计算机可以通过任何类型的网络连接到用户的计算机，所述网络包括局域网（LAN）或广域网（WAN），或者可以（例如使用因特网服务提供商通过因特网）连接到外部计算机。

以下参考根据本发明的实施例的方法、装置（系统）和计算机程序产品的流程图图示和/或框图来描述本发明的方面。将理解：流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，特别是微处理器或中央处理单元（CPU），以产生机器，使得经由计算机、其他可编程数据处理装置或其他设备的处理器执行的所述指令创建用于实现一个或多个流程图和/或框图框中指定的功能/动作的部件。

这些计算机程序指令还可以被存储在计算机可读介质中，该计算机可读介质可以引导计算机、其他可编程数据处理装置或其他设备以特定方式起作用，使得存储在计算机可读介质中的指令产生包括实现一个或多个流程图和/或框图框中指定的功能/动作的指令的制品。

计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现过程，使得在计算机或其他可编程装置上执行的指令提供用于实现一个或多个流程图和/或框图框中指定的功能/动作的过程。

附图中的流程图和框图图示了根据本发明的各种实施例的设备、方法和计算机程序产品的可能实现方式的架构、功能性和操作。在该点上，流程图或框图中的每个框可以表示代码的模块、段或部分，其包括用于实现（一个或多个）指定的逻辑功能的一个或多个可执行指令。还应当注意：在一些替代实现方式中，框中指出的功能可以不按图中指出的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者所述框有时可以以相反的顺序执行，这取决于涉及的功能性。还将注意：框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。

附图说明

本发明的这些和其他方面从附图中显而易见，并且将被参考附图、经由示例进一步阐明，在附图中：

•图1是本发明的方法的第一实施例的流程图；

•图2是示出在本发明的方法的第二实施例中执行的附加步骤的流程图；

•图3是本发明的控制器系统和客户端设备的第一实施例的框图；

•图4是本发明的控制器系统和客户端设备的第二实施例的框图；

•图5是本发明的使用查找服务器的客户端设备的第三实施例的框图；

•图6是本发明的控制器系统的第三实施例的框图。

•图7是本发明的控制器系统的第四实施例的框图；以及

•图8是用于执行本发明的方法的示例性数据处理系统的框图。

附图中的对应元件由相同的参考数字表示。

具体实施方式

图1中示出本发明的启用媒体编排的方法的第一实施例的流程图。媒体编排将多个设备编排成处理至少一个媒体流。步骤1包括客户端设备接收涉及某个媒体编排的通信信道构建信息。步骤3包括客户端设备基于通信信道构建信息向控制器系统传输请求。该请求表示在客户端设备与控制器系统之间建立与该某个媒体编排有关的通信信道的第一步骤。步骤5包括控制器系统从客户端设备接收该请求。

传输请求可以涉及传输建立（例如WebSocket）连接的请求，或者该请求可以在（例如WebSocket）连接被建立之后通过它来传输。在第一情况下，如果控制器系统是适当的控制器系统并且因此总是接受连接请求，则该控制器系统可以假设客户端设备仅向他传输连接请求。替代地，控制器系统可以在决定是否接受连接请求时考虑连接请求源于的IP地址或者会话标识符。会话标识符可以是连接请求的一部分，例如，它可以被包括在WebSocket握手的HTTP头中。在该第一情况下，接受连接请求意味着接受通信信道请求并建立通信信道。在第二情况下，控制器系统仍然可以决定是否接受通过建立的连接传输的通信信道请求。如果控制器系统接受通信信道请求，则例如可以关于已经存在的连接来建立通信信道。

步骤7包括控制器系统基于该请求确定编排会话。例如，如果控制器系统接受该请求，则它可以向客户端设备传输指示该请求已被接受的响应（图1中未示出）。替代地，例如，如果控制器系统接受该请求，则控制器系统可以仅仅开始传输控制信息。在两个情况下，都建立了通信信道。步骤9包括控制器系统通过通信信道向客户端设备传输涉及编排会话的控制信息。步骤11包括客户端设备通过通信信道从控制器系统接收控制信息。例如，通信信道构建信息可以包括控制器系统的地址（例如统一资源标识符）、标识可以用于访问控制器系统的一个或多个协议的一个或多个协议标识符，和/或编排会话标识符。

在实施例中，参见图1，该方法进一步包括在步骤3中传输请求之前客户端设备在请求中包括标识符的可选步骤2，和/或控制器系统的可选步骤，即确定（可能被在步骤2中提供的）与该请求有关的标识符的步骤6以及基于该标识符确定编排会话的步骤8，步骤8可以是步骤7的一部分。该标识符可以包括编排会话标识符和/或位置标识符。

确定编排会话的步骤7包括控制器系统确定与参与同一媒体编排的一个或多个另外的客户端设备相关联的编排会话。可以在由客户端设备传输的标识符的帮助下确定哪些客户端设备参与同一媒体编排。如果客户端设备不传输标识符，则控制器系统可能能够以不同的方式，例如根据从移动通信网络获得的客户端设备的位置或者根据存储器中与该客户端设备或其用户相关联的信息，确定标识符。例如，控制器系统可以接收标识参与媒体编排的客户端设备的客户端标识符（例如IP地址或者其他客户端特定的标识符）的列表。

媒体编排常常关于媒体的多设备捕获和多设备播出。多设备捕获可以被认为是用多个相机和麦克风（例如使用各种智能电话以及其他，例如专业相机）捕获一个场景或事件，例如音乐会。多设备播出是关于使用多个屏幕和/或多个扬声器来促进单个媒体体验。媒体编排是关于此的各个方面的协调，诸如用于捕获的空间编排：在空间上对齐各种传感器以用于视频拼接或用于创建单个空间音频记录，用于回放的空间编排：对齐各种屏幕和扬声器以创建单个空间上正确的体验，用于捕获的时间编排：在时间上对齐各种传感器以确保时间上正确的捕获，以及用于回放的时间编排：在时间上对齐各种回放设备以确保适当对齐的回放（也称为设备间媒体同步（IDMS）））。媒体编排还可以被用于确保适当的照明、颜色、音频音量、空间声音、用于拼接的类似质量水平，例如既用于捕获又用于回放。通常媒体编排过程还处理多个流，即，来自或到参与编排的每个设备的至少一个。但是，它也可以基于单个流，例如到多个播出设备的多播或广播流，该单个流可能包含多个基本流，其中每个接收器以被编排的方式播出该流的某个部分。

媒体编排的另一形式可以是媒体变换或媒体编辑。假设已经捕获了各种媒体部分。代替被编排的播出，各种客户端可以一起工作以编辑媒体或其部分，目的是创建可供其他客户端消费的新（或更改的）内容块。这例如可以是共享的注释，即向内容添加可以既时间同步又空间同步的评论。其他示例可以是将视频添加到视频的集合，在空间上将其链接到其他视频（例如将相机角度添加到音乐会记录的集合），或者将一些内容变换过程应用于该内容，例如应用视频滤波器或音频变换。

在客户端设备开始捕获或回放媒体数据之前和/或在客户端设备捕获或回放媒体数据时，可以向客户端设备发送编排数据：

•初始配置：当开始多设备捕获或回放时，需要向控制器系统提供关于可用设备（传感器、致动器）及其能力的信息。基于该信息，控制器系统向客户端设备提供编排数据，例如在捕获期间使用什么设置（分辨率、帧速率、缩放级别、麦克风增益、裁剪、哪个设备捕获什么、要应用的滤波器等）或在回放期间使用什么设置（在哪个设备上播放什么、何时开始回放、回放设置）。

·流时间对齐的元数据或（定时的）元数据流。每个媒体流（视频、音频、其他）可以由链接到它的元数据流伴随。这些元数据流可以携带空间信息（例如传感器或致动器的位置和定向）和/或时间信息（例如基于同步挂钟或与同步挂钟组合的捕获时间或呈现时间）和/或质量信息。通过将该元数据直接链接到媒体流，不断提供信息中的改变。这是媒体编排的实时方面，不断适应于改变的条件并且在多个设备之间不断对齐捕获或回放。

通常在正在进行的编排会话中，存在许多情况，其中控制器系统需要向一个或多个设备引起立即改变，例如：

·如果新的捕获源变得可用，则可能需要直接执行开始和停止捕获或者更新捕获掩码（即关于捕获什么的指令）。

•如果VR会议中的多个参与者不再适合当前的VR环境（例如让第五个参与者加入4个参与者的VR会议室），则所有客户端设备可能需要立即切换VR环境。

•2个媒体流之间的定时相关改变，例如因为一个媒体时间戳正在做环绕（wrap-around），或者因为媒体源执行时钟重置。如果该相关未被立即传递，则媒体回放将变得不同步。

·在多显示器回放中，添加更多显示器，并且因而跨显示器不同地划分要播放的内容。新显示器将检索其初始配置，但是现有的显示器需要接收配置的更新。

•对PTZ（泛倾斜变焦）相机的控制变得可用，并且媒体播放器因而可以控制它以控制创建的媒体流。

•例如由于网络拥塞或不同网络上的网络重新附连，情况针对各种客户端设备而改变，并且因而应当改变要使用或要供应的流。

•如果在某个环境（例如起居室）内完成回放但是它在其外部移动（即用户移动）到另一环境（例如移动到厨房），则回放应当立即适应于此。

在图2中，在流程图中示出本发明的方法的第二实施例的附加步骤。步骤20包括另一客户端设备通知控制器系统它正在停止其参与某个媒体编排，例如在多个客户端设备记录事件的场景中，其中每个设备基于编排信息记录空间或临时段。步骤21包括控制器系统确定一个或多个另外的客户端设备中的至少一个已经停止参与媒体编排。步骤23包括响应于确定所述一个或多个另外的客户端设备中的所述至少一个已经停止参与同一媒体编排，确定新控制信息。步骤25包括通过通信信道向客户端设备传输新控制信息。步骤26包括客户端设备通过通信信道从控制器系统接收新控制信息。如果媒体编排包括不止一个另外的客户端设备，则还可以向这些其他客户端设备传输新控制信息。这未在图2中示出。

当需要通过通信信道向客户端传输控制信息时，控制器系统可以例如通过通信信道发送指示初始配置的新版本可用的控制消息，可以通过通信信道推送初始配置的修改版本而不是仅用信号通知新版本的可用性，或者可以通过信道推送初始配置的部分元素（已经改变/需要更新的特定部分）。

可以用MPEG-MORE标准实现本发明，从而创建MPEG-MORE通信信道。为了将MPEG-MORE通信信道用信号通知给源和宿，可以使用新定义的samo：在“urn:mpeg:more:schema:samo:2016”命名空间中定义并且在表1中列出的Channel元素，经由编排数据来用信号通知MPEG-MORE通信信道（samo，服务器辅助的媒体编排）的存在。建议的命名空间前缀是“samo：”。

表1

指定MPEG-MORE源或宿可以与该MPEG-MORE信道一起使用哪个协议。下面的表2列出作为协议提出的协议。

表2

可以通过如在IETF RFC 6455[RFC6455]中指定的WebSocket协议来交换MPEG-MORE控制数据消息。WebSocket协议的数据帧消息可以被设置成文本类型，并且内容可以被进行UTF-8编码，如由WebSocket协议指定的。每个WebSocket消息可以包含符合MORE消息XML模式的有效MORE消息。可以代替WebSocket使用的替代协议例如是SIP、SIMPLE、XMPP、BOSH和具有类似属性的其他协议。

图3示出用于启用媒体编排的客户端设备31、客户端设备37和控制器系统41。客户端设备31包括通信接口33和处理器35。处理器35被配置成使用通信接口33来接收涉及某个媒体编排的通信信道构建信息，并被配置成使用通信接口33来基于该通信信道构建信息向控制器系统41传输请求。该请求表示在客户端设备31与控制器系统41之间建立与所述某个媒体编排有关的通信信道的第一步骤，如关于图1所描述的。

建立通信信道优选地涉及建立（例如WebSocket）连接。可以例如通过2次或3次握手来执行建立连接。在2次握手中，一个实体（即客户端设备）向第二实体（即控制器系统）发送请求，并且另一实体以其同意进行回复，从而建立连接。有时使用3次握手，其中作为第三步，客户端设备向后向控制器系统确认连接的构建。因此，这里说由客户端设备发送的请求（其也可以被称为邀请）是建立通信信道的第一步骤：例如在构建连接中使用2次或3次握手时，通常执行更多步骤。

处理器35被进一步配置成在已经建立通信信道之后，使用通信接口33来通过通信信道从控制器系统41接收控制信息。客户端设备37可以包括与上面关于客户端设备31所描述的组件相同的组件，并且可以以与上面关于客户端设备31所描述的方式相同的方式来配置。

控制器系统41包括通信接口43和处理器45。处理器45被配置成使用通信接口43来从客户端设备31接收请求，被配置成基于该请求确定编排会话，并且被配置成在已经建立通信信道之后使用通信接口43来通过通信信道向客户端设备31传输涉及编排会话的控制信息。控制器系统41优选地包括单个设备。

例如，客户端设备31可以是回放设备和/或捕获设备。例如，客户端设备31可以是PC、平板电脑、移动电话、独立麦克风或具有网络连接的独立相机（例如摄像机、照相机、网络相机或运动相机）。例如，控制器系统41可以包括一个或多个服务器。

在图3中所示的实施例中，客户端设备31包括一个处理器35。在替代实施例中，客户端设备31包括多个处理器。在图3中所示的实施例中，在客户端设备31的通信接口33中组合接收器和发射器。在替代实施例中，客户端设备31包括分离的接收器和发射器。通信接口35和45每个都可以包括多个接收器和/或多个发射器，并且每个都可以支持多个通信技术，例如将客户端设备31连接到不同的网络，其中一个通信技术（例如通过WiFi或以太网的IP）用于通信信道，并且另一技术（例如LTE广播）用于实际的媒体递送。在图3中所示的实施例中，控制器系统41包括一个处理器45。在替代实施例中，控制器系统41包括多个处理器。在图3中所示的实施例中，在控制器系统41的通信接口43中组合接收器和发射器。在替代实施例中，控制器系统41包括分离的接收器和发射器。通信接口、发射器和/或接收器可以支持多个通信技术和/或可以包括多个硬件组件。

例如，通信接口35和45可以包括一个或多个光学端口、一个或多个无线收发器和/或一个或多个以太网端口。通信接口35和45可以包括一个或多个内部接口。处理器35可以是通用处理器，例如ARM或Qualcomm处理器，或专用处理器。客户端设备31可以包括通常用于客户端设备的其他组件，例如随机存取存储器、固态非易失性存储器以及电池。处理器45可以是通用处理器，例如Intel或AMD处理器。例如，处理器45可以包括多个核。例如，处理器45可以运行基于Unix的操作系或Windows操作系统。控制器系统41可以包括通常用于服务器的其他组件，例如电源、随机存取存储器以及固态非易失性或硬盘存储器。

当客户端设备想要参与媒体编排/对媒体编排作出贡献时，客户端设备可以执行寻找某个媒体编排的第一步骤。这可以在用户的帮助下完成，例如用户可以选择用于提供捕获的应用程序，并且然后被给予他可以从中选择一个来作出贡献的编排的列表。或者，类似的东西可以在网站上获得，在诸如音乐会或体育赛事之类的事件时的QR码可以给出该信息等。对于媒体播出，例如通过从网站上的内容指南选择内容或者通过例如经由社交网络从朋友接收推荐（例如链接），用户可以选择要在设备上回放的内容。而且，可以经由网络发现设备及其捕获或呈现能力。这通常是本地过程，使用本地网络上的多播来执行设备和服务发现，例如使用UpnP或DLNA或修改版本或等效协议。该设备然后可以由某个其他设备指示开始，例如回放，如在Chromecast或Airplay中那样。替代地，该配对可能需要设备上的某种确认，例如类似于蓝牙中的首次配对，以防止恶意使用。

编排的常见场景是：

•用户主动在多个设备上选择编排。这的一个示例是用户在事件时扫描QR码，该事件将他们引导到专用应用程序以用于为该特定事件提供用户生成的内容。另一示例是用户在家打开他的所有装备，并且然后使用他的平板电脑选择内容块并一起选择电视、立体声和他的平板电脑以用于组合的回放。

•一个设备开始捕获或回放，并且其他设备发现此并加入编排。发现可以是主动的（在本地网络上搜索它）或被动的（被邀请）。

该第一步骤的结果是：客户端接收用于其捕获或播出的初始配置，作为媒体编排的一部分。这样的配置将通常包含：

·针对捕获：用来将内容提供给编解码器和容器以要用于要使用的媒体和特定设置（诸如帧速率、比特率、视频滤波器、相机设置）的目的地网络地址，用于捕获的开始和结束时间，使挂钟与某个时钟服务器同步的指令，提供以某个格式的时间戳、提供位置和定向元数据的指令等。

·针对回放（常常也称为播出或呈现）：内容位置、关于何时开始播出以及播出内容的哪些部分的指令。

可以动态地创建这样的初始配置。一旦客户端请求用于特定捕获或播出的初始配置，关于客户端的可用信息（例如网络地址、位置、能力）就可以用于已经确定合适的控制器系统以及可能某些其他设置，诸如上面提及的那些。配置因而不是用于针对所涉及的所有客户端设备的会话的静态设置，而可以是设备特定的，并且一旦客户端设备加入会话就被匆忙创建。

该初始配置的一部分可以是构建到控制器系统的通信信道的指令。该指令可以例如包括控制器系统的URI、用于控制信道的协议以及媒体编排会话ID。一旦构建这样的信道，它就可以由控制器系统用于主动地向客户端设备发送附加指令。初始配置可以是MPEG-DASH清单的一部分，或者可以是一些其他内容公告的一部分，例如EPG信息的一部分或SAP公告的一部分，或者被作为媒体会话构建中供应的SDP描述中的参数而供应等。

通常，用户控制他们的设备，并且因而用户的意图是开始对某个媒体编排作出贡献。但是，许多设备也被启用以被远程控制，所述设备例如是安全相机以及商店橱窗中或机场上的数字符号。这样的设备可以用作编排的一部分，其中它们通常将被远程告知参与这样的编排。这可以在本地鼓动，例如用户扫描可以用于编排的屏幕的QR码。

为了启用媒体编排，客户端设备需要由同一功能实体（即，同一控制器系统）控制，并且优选地由同一设备控制。为了确保客户端设备31和37参与控制器系统41处的同一媒体编排，需要安排两件事。首先，客户端设备31和37两者都需要连接到同一控制器系统41。这是动态过程，因为可以在不同时间一起使用不同的客户端设备。

其次，控制器系统41需要意识到客户端设备31和37两者都是同一编排的一部分（因为单个控制器系统可以控制涉及许多不同客户端设备的大量编排）。控制器系统41因此确定客户端设备31和37是否是同一编排会话的一部分。这可能需要在会话中涉及的所有客户端设备与控制器系统之间共享该同一编排会话标识符，该控制器系统在同一会话中将各种客户端设备链接在一起，以便将它们编排在一起。然而，客户端设备可能没有意识到会话中涉及哪些其他客户端设备，或者甚至没有意识到其他客户端设备是编排会话的一部分。

如果客户端设备不知道控制器系统和/或不知道会话ID，则需要找到解决方案以确保客户端设备可以参与由同一控制器系统控制的同一媒体编排。表3示出两个问题维度，并且因而示出四个解决方案区域：

表3

场景（A）是最简单的场景。客户端设备31和37知道会话ID并且知道控制器系统41的URI。这里，预先在客户端设备31与37之间以某种方式共享会话ID和控制器系统41的URI。这可以被安排用于典型的使用场景中。

在第一使用场景中，客户端设备31和37预先由用户配对。如今，当用户使用播（casting）机制（例如Chromecast、Airplay）时，他们的设备通常使用某个广播或多播机制首先发现可用的其他设备和服务，如也从DLNA或UPnP中所知的，常常被称为设备发现和服务发现。然后，向用户示出可用设备和/或服务的列表，用户可以从列表中选择适当的（一个或多个）设备和（一个或多个）服务。例如，用户可以在客户端设备31上开始媒体播出会话。另一客户端设备37然后可以使用设备和服务发现来检测客户端设备31和该特定媒体播出会话（即作为服务），并选择它以加入会议。可以在发现过程期间指示会话ID，或者可以在加入会话之后（例如仅在授权过程之后）使会话ID可用。相同的结果可以使用其他配对技术（诸如蓝牙配对或使用近场通信）来实现。

在第二使用场景中，客户端设备31和37可以使用其他（消息传递）基础结构来彼此共享会话ID。典型的场景是用户使用某个消息传递平台（例如WhatsApp、SMS、Twitter、Facebook消息传递）或者共享站点上的链接（例如他们的Facebook页面，或者在直播博客上）向其他用户发送邀请，从而与他人共享会话ID。其他用户然后可以通过单击链接而“指示”他们的设备加入会话。这样的机制当然也可以被包括在新的软件块中，例如包括这样的社交网络特征的内容回放应用程序。

在第三使用场景中，可以向客户端设备31和37提供活动会话的列表以通过使用某个应用程序加入。例如，当用户在体育场中时，主队可能具有允许直播用户生成内容的app。当用户安装该app并且他们打开它时，app可能示出当前在进行中的实况事件，用户可以选择该实况事件以加入该特定的捕获编排会话。替代地，用户可以安装示出（例如在地图上示出）附近的媒体编排的app，并且选择一个以加入到那里。

在第四使用场景中，用户可以通过其他手段共享会话ID，例如离线共享它并手动将此输入到他们的应用程序中。这与当前的会议呼叫相当相似，其中会议ID被预先共享并由加入会议的用户手动输入。或者，例如，事件可以提供包含该信息的QR码。当共享会话ID时，也可以包括控制器系统的URI，并且可能还可以包括要使用的一个或多个协议。控制器系统的URI和（一个或多个）协议可以包括在所使用的应用程序中配置的默认URI和（一个或多个）默认协议。

在场景B中，客户端设备31和37两者都构建到同一服务器的通信信道，但是客户端设备（或客户端设备中的至少一个）不能够例如通过供应编排会话ID来指示编排会话。这的典型示例是由新闻提供者提供的通用用户生成的内容应用程序。许多用户可以提供他们认为有新闻价值的（实况）内容流，并且新闻提供者可以将各种流组合（即，编排）在一起以创建新闻项。代替使用会话ID，新闻提供者的控制器系统41可以被配置成基于接近度将客户端设备（包括客户端设备31和37）聚集在一起。例如，当新闻提供者定义某个兴趣点时，此点500米范围内的所有客户端设备都被一起分组在同一编排中。在该情况下，当客户端设备传输它们的请求以便建立通信信道时，它们可以指示它们的位置，或者该位置可以由网络检测和指示。位置信息的示例可以是GPS坐标、小区ID、地址信息。

其他类型的信息也可以可用于确定客户端设备31和37可能属于的编排（会话）。网络地址（例如IP地址）可以用于此，因为NAT后面的多个设备共享同一IP地址。在这样的设置中，例如家庭中的同一本地网络中的多个客户端、具有同一IP地址的多个客户端设备可能在物理上接近，并且因而可以被在共享会话中使用。附近的SSID也可以提供位置信息，类似于Google位置服务中所使用的。

如果控制器系统41本身确定编排会话ID而不是从客户端设备31和37接收它，如关于场景B所描述的，则控制器系统41可以或可以不向客户端设备31和37提供所确定的编排会话ID。会话ID的目标是用于使控制器系统能够标识哪些客户端设备属于哪个编排会话。如果控制器系统本身确定会话ID并且是正确的控制器系统，则客户端设备可能不需要接收会话ID。另一方面，如果控制器系统本身确定会话ID但不是正确的控制器系统，即客户端设备需要使用不同的控制器系统（也参见场景C），则使控制器系统向客户端设备提供会话ID可能是有利的。

在场景C中，客户端设备31和37确实具有/知道共享会话ID，但是它们不知道联系哪个控制器系统。如果出于可扩展性的目的存在多个控制器系统，或者例如如果不同的控制器系统由不同的公司提供，则情况可能就是这样。

在该场景中，客户端设备可以首先联系初始控制器系统，例如预先配置的控制器系统，或者如在信道构建信息中提供的默认控制器系统。单个会话中的两个客户端设备可能偶然连接到同一控制器系统，但是也可能最终连接到不同的控制器系统。因此，需要机制来确保同一编排会话中的客户端设备与同一控制器系统建立通信信道。例如，这可以使用以下机制来完成。

第一机制涉及客户端设备31联系控制器系统41，但是被重定向到不同的控制器系统47。这在图4中示出。客户端设备31首先联系控制器系统41，但是控制器系统41不是负责该编排会话的控制器系统。控制器系统41可以使用如下所描述的查找，在该情况下以确定控制器系统47是负责该会话的控制器系统，并且向客户端设备31发送重定向消息以将客户端设备31重定向到控制器系统47。客户端设备31然后可以构建到控制器系统47的通信信道。替代地，在到达正确的控制器系统之前，可以多次执行重定向过程，而不是仅一次。

第二机制涉及客户端设备31和37首先使用编排会话ID执行对控制器系统地址的查找。这在图5中示出。首先，客户端设备31和37两者都使用会话ID在查找服务器49处执行查找。为了执行查找，可以使用各种机制。已知的机制包括分层方案（诸如或类似于DNS查找）、泛洪方法（例如向所涉及的各种/所有服务器发送多播或广播消息）、使用诸如从对等联网中知道的闲聊协议、使用分布式哈希表。客户端设备31和/或客户端设备37使用这样的机制，或者客户端设备31和/或客户端设备37联系查找服务器49，并且查找服务器49使用这样的机制来例如在某个其他查找服务器处找到正确的控制器系统41的UR。一旦客户端设备31和37已经发现控制器系统41的URI，它们就可以构建到控制器系统41的通信信道。在查找之后，该场景的这部分类似于场景A。

例如，查找服务器49可以包括固态存储器，例如由闪存制成的一个或多个固态盘（SSD），或者一个或多个硬盘。

第三机制涉及控制器41和控制器47协作。这在图6中示出。使单个服务器控制各种客户端设备作为单个媒体编排的一部分是确保单个实体控制整个编排的简单方式。但是，这不是唯一的方式：单个功能控制器可以分布在各种物理服务器上。

作为第一示例，控制器41可以充当用于控制器47的代理。客户端设备31联系控制器系统41，但是控制器系统41以某种方式（例如使用查找或从本地可用的信息）确定控制器系统47是负责该会话的控制器系统，如由客户端设备31提供的会话ID所指示的。在该情况下，控制器系统41将对通信信道的请求转发给控制器系统47。可以在转发该请求或消息之前执行一些变换（例如协议转换）。客户端设备31与控制器系统47之间的所有消息将通过控制器系统41。这可以被认为在客户端设备31与控制器系统41之间创建第一通信信道，并且在控制器系统41与控制器系统47之间创建第二通信信道。不止一个控制器系统可以是客户端设备与最终最后的控制器系统中间的代理，即可以存在一连串代理。

作为第二示例，可以实现不同控制器系统之间的联合。例如，控制器系统41可以控制客户端设备31，控制器系统47可以控制客户端设备37，并且控制器系统41和47可以交换信息以确定如何控制它们相应的客户端设备。该联合还可以涉及使用主控制器系统和客户端控制器系统。例如，主控制器系统可以对编排的一部分（例如什么客户端设备播放内容的什么部分）进行编排，并且客户端控制器系统可以对编排的不同部分（例如客户端设备之间的时间同步，或者客户端设备的空间对齐）进行编排。

出于可扩展性的原因，可以使用多个控制器系统，但是不同的控制器系统在它们提供的功能性方面也可以不同。例如，某个控制器系统可以是时间编排服务器（即MSAS或媒体同步应用服务器）或空间编排服务器。在该情况下，单个编排会话可能需要多个控制器系统。控制器系统的查找因而也可以基于所需的功能性和/或查找的结果可以包括多个结果，其中由控制器系统提供的功能性被包括在结果中。

这些类型的联合的组合当然也是可能的。在所有这些情况下，每个客户端设备具有到其自己的控制器系统的通信信道，或者在功能性分布在各种控制器系统之中的情况下（例如当不同的控制器系统控制媒体编排的不同方面时）可能具有到不止一个控制器系统的通信信道。

代替或附加于通过使用多个控制器系统来增加可扩展性，还可以通过使用基于云的控制器系统51来增强可扩展性，参见图7。基于云的控制器系统51包括云层53以及三个硬件组件55、56和57。云层53与某个URI相关联并形成朝向客户端设备31和37的通信接口。例如，某个硬件组件可以用于某个媒体编排会话，这取决于媒体编排的某些方面，例如参与的客户端设备的位置和/或媒体编排的类型，和/或取决于三个硬件组件55、56和57的负载。

另一编排模型是对等模型。并且在这样的模型中，构建通信信道是有意义的。这些通信信道可以被在所有对等体之间、仅在一些对等体之间构建，并且可以具有各种布局：全网状、环形拓扑、主-从。例如，如果一个客户端设备用完电池并且需要向其他客户端设备通知它正在离开编排，则它可以通知其他客户端设备关于此，所述其他客户端设备然后可以决定适当的动作以适应该离开。

可能发生：还没有控制器系统负责媒体编排，例如在添加新会话的情况下。控制器系统41可以执行查找以确定哪个控制器系统是负责特定编排的控制器系统。如果没有找到会话，则控制器系统41然后可能变成负责该会话的控制器系统，可能也（根据所使用的查找机制）将此通知其他控制器系统。从那时起，其他控制器系统可能能够执行查找以确定控制器系统41是负责该会话的控制器系统。

场景D是场景B和场景C的组合。一般地，首先（例如初始控制器系统）将确定用于客户端设备31和37的会话ID（参见场景B），并且然后可以找到适当的控制器系统（场景C）。有时这仅采取单个步骤，例如在局域网中，可能存在为本地设备编排所有会话的单个控制器系统，并且初始控制器系统可以常常或者总是适当的控制器系统。该场景可能在控制器系统上放置较大的负担，因为控制器系统可能需要能够既确定会话ID又找到适当的控制器系统。由于该场景将可能主要用在本地媒体编排中，即朋友打开他们的设备并开始他们的应用程序并搜索本地可用会话以加入，该场景仍然是可行的场景。

图8描绘图示示例性数据处理系统的框图，该示例性数据处理系统可以执行如参考图1和图2所描述的方法。

如图8中所示，数据处理系统200可以包括通过系统总线206耦合到存储器元件204的至少一个处理器202。照此，数据处理系统可以将程序代码存储在存储器元件204内。此外，处理器202可以执行经由系统总线206从存储器元件204访问的程序代码。一方面，数据处理系统可以被实现为适合于存储和/或执行程序代码的计算机。然而，应当领会：可以以包括处理器和存储器的能够执行本说明书内描述的功能的任何系统的形式实现数据处理系统200。

存储器元件204可以包括一个或多个物理存储器设备，诸如例如本地存储器208和一个或多个大容量存储设备210。本地存储器可以指一般在程序代码的实际执行期间使用的随机存取存储器或（一个或多个）其他非持久存储器设备。大容量存储设备可以被实现为硬盘驱动器或其他持久数据存储设备。处理系统200还可以包括一个或多个高速缓冲存储器（未示出），其提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储设备210检索程序代码的次数。

被描绘为输入设备212和输出设备214的输入/输出（I/O）设备可选地可以耦合到数据处理系统。输入设备的示例可以包括但不限于键盘、诸如鼠标之类的定点设备等。输出设备的示例可以包括但不限于监视器或显示器、扬声器等。输入和/或输出设备可以或者直接或者通过中间的I/O控制器耦合到数据处理系统。

在实施例中，输入和输出设备可以被实现为（在图8中用围绕输入设备212和输出设备214的虚线图示的）经组合的输入/输出设备。这样的经组合的设备的示例是触敏显示器，有时也称为“触摸屏显示器”或简称为“触摸屏”。在这样的实施例中，到设备的输入可以通过物理对象（诸如例如触笔或用户的手指）在触摸屏显示器上或附近的移动来提供。

网络适配器216也可以耦合到数据处理系统，以使得它能够通过中间的私有或公共网络变得耦合到其他系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括数据接收器，用于接收由所述系统、设备和/或网络向数据处理系统200传输的数据，以及数据发射器，用于从数据处理系统200向所述系统、设备和/或网络传输数据。调制解调器、电缆调制解调器和以太网卡是可以与数据处理系统200一起使用的不同类型的网络适配器的示例。

如图8中所画的，存储器元件204可以存储应用程序218。在各种实施例中，应用程序218可以被存储在本地存储器208、一个或多个大容量存储设备310中，或者与本地存储器和大容量存储设备分离。应当领会：数据处理系统200可以进一步执行可以促进应用程序218的执行的操作系统（图8中未示出）。以可执行程序代码的形式实现的应用程序218可以由数据处理系统200（例如由处理器202）执行。响应于执行该应用程序，数据处理系统200可以被配置成执行本文中描述的一个或多个操作或方法步骤。

本发明的各种实施例可以被实现为用于与计算机系统一起使用的程序产品，其中程序产品的（一个或多个）程序定义实施例（包括本文中描述的方法）的功能。在一个实施例中，（一个或多个）程序可以被包含在多种非暂时性计算机可读存储介质上，其中，如本文中所使用的，表述“非暂时性计算机可读存储介质”包括所有计算机可读介质，其中唯一的例外是暂时性传播信号。在另一实施例中，（一个或多个）程序可以被包含在多种暂时性计算机可读存储介质上。说明性的计算机可读存储介质包括但不限于：（i）在其上永久存储信息的不可写存储介质（例如，计算机内的只读存储器设备，诸如由CD-ROM驱动器可读的CD-ROM盘、ROM芯片或者任何类型的固态非易失性半导体存储器）；以及（ii）在其上存储可更改的信息的可写存储介质（例如，闪存、磁盘驱动器或硬盘驱动器内的软盘、或者任何类型的固态随机存取半导体存储器）。可以在本文中描述的处理器202上运行计算机程序。

本文中使用的术语仅用于描述特定实施例的目的，并不旨在限制本发明。如本文中使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外清楚地指示。将进一步理解：当在本说明书中使用时，术语“包括”和/或“包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组的存在或者添加。

以下权利要求中的所有手段或步骤加功能元件的对应结构、材料、动作和等同物旨在包括用于与如具体要求保护的其他要求保护的元件结合地执行功能的任何结构、材料或动作。已经出于图示的目的呈现了本发明的实施例的描述，但是并不旨在是详尽的或被限于以所公开的形式的实现方式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说将是显而易见的。选择和描述所述实施例以便最好地解释本发明的原理和一些实际应用，并且使得本领域的其他普通技术人员能够理解用于具有如适合于设想的特定用途的各种修改的各种实施例的本发明。

Claims (12)

1.一种启用MPEG-MORE媒体编排的方法，所述媒体编排将多个设备编排成处理至少一个媒体流，所述方法包括在客户端设备处：

-接收（1）涉及某个媒体编排的通信信道构建信息，其中所述通信信道构建信息包括编排会话标识符，所述编排会话标识符使得控制器系统能够确定编排会话；

-在向控制器系统传输请求之前在所述请求中包括（2）标识符，所述标识符包括所述编排会话标识符；

-基于所述通信信道构建信息，从所述客户端设备向所述控制器系统传输（3）所述请求，所述请求表示在所述客户端设备与所述控制器系统之间建立与所述某个媒体编排有关的通信信道的第一步骤；以及

-在已经建立所述通信信道之后，在所述客户端设备处通过所述通信信道从所述控制器系统接收（11）控制信息，所述控制信息包括MPEG MORE消息传递和控制和/或MPEG MORE编排数据。

2.如权利要求1中要求保护的方法，其中所述通信信道构建信息进一步包括所述控制器系统的地址和/或标识能够用于访问所述控制器系统的一个或多个协议的一个或多个协议标识符。

3.如权利要求1或2中要求保护的方法，其中所述标识符包括编排会话标识符和/或位置标识符。

4.一种启用MPEG-MORE媒体编排的方法，所述媒体编排将多个设备编排成处理至少一个媒体流，所述方法包括在控制器系统处：

-从客户端设备接收（5）请求，所述请求包括标识符，所述标识符包括编排会话标识符，所述请求表示在所述客户端设备与所述控制器系统之间建立与某个媒体编排有关的通信信道的第一步骤；

-基于所述请求，确定（7）与参与所述媒体编排的一个或多个另外的客户端设备相关联的编排会话；以及

-在已经建立所述通信信道之后，通过所述通信信道向所述客户端设备传输（9）涉及所述编排会话的控制信息，所述控制信息包括MPEG MORE消息传递和控制和/或MPEG MORE编排数据。

5.如权利要求4中要求保护的方法，进一步包括确定（21）所述一个或多个另外的客户端设备中的至少一个已经停止参与同一媒体编排，响应于确定所述一个或多个另外的客户端设备中的所述至少一个已经停止参与所述同一媒体编排而确定（23）新控制信息，以及通过所述通信信道向所述客户端设备传输（25）所述新控制信息。

6.如权利要求4中要求保护的方法，其中所述标识符进一步包括位置标识符。

7.一种存储至少一个软件代码部分的计算机可读存储介质，所述软件代码部分在计算机系统上运行时被配置用于执行权利要求1至6中任一项的方法。

8.一种用于启用MPEG-MORE媒体编排的客户端设备（31），所述媒体编排将多个设备编排成处理至少一个媒体流，所述客户端设备（31）包括：

-通信接口（33）；以及

-至少一个处理器（35），其被配置成使用所述通信接口（33）接收涉及某个媒体编排的通信信道构建信息，其中用于所述通信信道构建信息的数据格式包括编排会话标识符，被配置成在向控制器系统传输请求之前在所述请求中包括标识符，所述标识符包括所述编排会话标识符，被配置成使用所述通信接口（33）来基于所述通信信道构建信息向控制器系统（41）传输请求，所述请求表示在所述客户端设备（31）与所述控制器系统（41）之间建立与所述某个媒体编排有关的通信信道的第一步骤，并且被配置成在已经建立所述通信信道之后使用所述通信接口（33）来通过所述通信信道从所述控制器系统（41）接收控制信息，所述控制信息包括MPEG MORE消息传递和控制和/或MPEG MORE编排数据。

9.如权利要求8中要求保护的客户端设备（31），其中用于启用媒体编排的所述通信信道构建信息的所述数据格式包括用于启用媒体编排的控制器系统（41）的地址。

10.如权利要求9中要求保护的客户端设备（31），其中所述数据格式进一步包括标识能够用于访问所述控制器系统（41）的一个或多个协议的一个或多个协议标识符。

11.一种用于启用MPEG-MORE媒体编排的控制器系统（41），所述媒体编排将多个设备编排成处理至少一个媒体流，所述控制器系统包括：

-通信接口（43）；以及

-至少一个处理器（45），其被配置成使用所述通信接口（43）从客户端设备（31）接收请求，所述请求包括标识符，所述标识符包括编排会话标识符，所述请求表示在所述客户端设备（31）与所述控制器系统（41）之间建立与某个媒体编排有关的通信信道的第一步骤，被配置成基于包括所述编排会话标识符的所述请求确定与参与所述媒体编排的一个或多个另外的客户端设备相关联的编排会话，并且被配置成在已经建立所述通信信道之后使用所述通信接口（43）来通过所述通信信道向所述客户端设备（31）传输涉及所述编排会话的控制信息，所述控制信息包括MPEG MORE消息传递和控制和/或MPEG MORE编排数据。

12.如权利要求11中要求保护的控制器系统（41），其中所述控制器系统（41）包括单个设备。

Images