CN104272730A - 选择性地组合多个视频馈送以用于群通信会话 - Google Patents

Abstract

在一实施例中，通信设备(170；200；400)从多个视频捕捉设备接收(615A；620A；625A；600D；600E；605E；610E；920，925，930)提供给定的感兴趣的视觉主题的不同透视的多个视频输入馈送。该通信设备针对所接收到的多个视频输入馈送中的每一个视频输入馈送接收(615A；620A；625A；600D；600E；605E；610E；920，925，930)对(i)相关联的视频捕捉设备的位置、(ii)相关联的视频捕捉设备的朝向以及(iii)所接收到的视频输入馈送的格式的指示。通信设备选择(630A；605D；630E；820A；820B；820C；935)所接收到的多个视频输入馈送的集合，将选定的视频输入馈送交织(635A；600B；605B；600C；605C；610D；620E；625E；630E；830A；835B；830C；940)成符合目标格式的视频输出馈送，并将该视频输出馈送传送(640A；615D；635E；640E；645E；945)给目标视频呈现设备集。通信设备可对应于属于该多个视频捕捉设备或与之通信的远程服务器(170；400)或用户装备(UE)(200；400)。

Description

选择性地组合多个视频馈送以用于群通信会话

发明背景

发明领域

各实施例涉及选择性地组合多个视频馈送以用于群通信会话。

2.相关技术描述

无线通信系统已经经历了数代的发展，包括第一代模拟无线电话服务(1G)、第二代(2G)数字无线电话服务(包括过渡的2.5G和2.75G网络)、以及第三代(3G)高速数据、具有因特网能力的无线服务。目前在用的有许多不同类型的无线通信系统，包括蜂窝以及个人通信服务(PCS)系统。已知蜂窝系统的示例包括蜂窝模拟高级移动电话系统(AMPS)，以及基于码分多址(CDMA)、频分多址(FDMA)、时分多址(TDMA)、TDMA的全球移动接入系统(GSM)变型的数字蜂窝系统，以及使用TDMA和CDMA技术两者的更新的混合数字通信系统。

用于提供CDMA移动通信的方法在美国由电信行业协会/电子行业协会在题为“Mobile Station-Base Station Compatibility Standard for Dual-ModeWideband Spread Spectrum Cellular System(用于双模宽带扩频蜂窝系统的移动站-基站兼容性标准)”的TIA/EIA/IS-95-A(在本文中称为IS-95)中被标准化。组合的AMPS及CDMA系统在TIA/EIA标准IS-98中描述。在涵盖了被称为宽带CDMA(W-CDMA)、CDMA2000(诸如举例而言CDMA20001xEV-DO标准)或TD-SCDMA的IMT-2000/UM、或即国际移动电信系统2000/通用移动电信系统标准中描述了其他通信系统。

无线通信系统内的性能可在物理层或空中接口上，并且还在这些系统的回程部分内的有线连接上被阻碍。

概述

在一实施例中，通信设备从多个视频捕捉设备接收提供给定的感兴趣的视觉主题的不同透视的多个视频输入馈送。该通信设备针对所接收到的多个视频输入馈送中的每一视频输入馈送接收对(i)相关联的视频捕捉设备的位置、(ii)相关联的视频捕捉设备的朝向、以及(iii)所接收到的视频输入馈送的格式的指示。通信设备选择所接收到的多个视频输入馈送的集合，将选定的视频输入馈送交织成符合目标格式的视频输出馈送，并将该视频输出馈送传送给目标视频呈现设备集合。通信设备可对应于属于该多个视频捕捉设备或与之通信的远程服务器或用户装备(UE)。

附图简述

对本发明的实施例及其许多伴随优点的更完整领会将因其在参考结合附图考虑的以下详细描述时变得更好理解而易于获得，附图仅出于解说目的被给出而不对本发明构成任何限定，且其中：

图1是根据本发明的至少一个实施例的支持接入终端和接入网的无线网络架构的示图。

图2解说了根据本发明的一实施例的核心网。

图3A是根据本发明的至少一个实施例的用户装备(UE)的解说。

图3B解说了根据本发明的另一实施例的UE的软件和/或硬件模块。

图4解说了包括被配置成执行功能性的逻辑的通信设备。

图5解说了当由视频捕捉UE集合捕捉时共享与感兴趣的视觉主题有关的视频的常规过程。

图6A解说了根据本发明的一实施例的用于选择性地组合来自多个视频捕捉设备的多个视频输入馈送以形成符合目标格式的视频输出馈送的过程。

图6B解说了根据本发明的一实施例的在图6A的一部分期间的视频输入馈送交织操作的示例实现。

图6C解说了根据本发明的另一实施例的在图6A的一部分期间的视频输入馈送交织操作的示例实现。

图6D解说了根据本发明的一实施例的图6A的过程的延续。

图6E解说了根据本发明的另一实施例的图6A的过程的延续。

图7A解说了根据本发明的一实施例的在城市天际线附近的视频捕捉UE的示例。

图7B解说了根据本发明的一实施例的在体育馆附近的视频捕捉UE的示例。

图8A解说了根据本发明的一实施例的交织视频输入馈送以达成全景图的示例。

图8B解说了根据本发明的一实施例的交织视频输入馈送以达成多个不同透视图的示例。

图8C解说了根据本发明的一实施例的交织视频输入馈送以达成3D视图的示例。

图9解说了根据本发明的实施例的用于给定UE在本地群通信会话期间选择性地组合来自多个视频捕捉设备的多个视频输入馈送以形成符合目标格式的视频输出馈送的过程。

详细描述

本发明的各方面在以下针对本发明具体实施例的描述和有关附图中被公开。可以设计替换实施例而不会脱离本发明的范围。另外，本发明中众所周知的元素将不被详细描述或将被省去以免湮没本发明的相关细节。

措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何实施例并不必然被解释为优于或胜过其他实施例。同样，术语“本发明的实施例”并不要求本发明的所有实施例都包括所讨论的特征、优点、或工作模式。

本文中所使用的术语仅出于描述特定实施例的目的，而并不旨在限定本发明的实施例。如本文所使用的，单数形式的“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确指示并非如此。还将理解，术语“包括”、“具有”、“包含”和/或“含有”在本文中使用时指定所陈述的特征、整数、步骤、操作、要素、和/或组件的存在，但并不排除一个或多个其他特征、整数、步骤、操作、要素、组件和/或其群组的存在或添加。

此外，许多实施例是根据将由例如计算设备的元件执行的动作序列来描述的。将认识到，本文描述的各种动作能由专用电路(例如，专用集成电路(ASIC))、由正被一个或多个处理器执行的程序指令、或由这两者的组合来执行。另外，本文描述的这些动作序列可被认为是完全体现在任何形式的计算机可读存储介质内，其内存储有一经执行就将使相关联的处理器执行本文所描述的功能性的相应计算机指令集。因此，本发明的各种方面可以用数种不同形式来体现，所有这些形式都已被构想落在所要求保护的主题内容的范围内。另外，对于本文描述的每个实施例，任何此类实施例的对应形式可在本文被描述为例如被配置成执行所描述的动作的逻辑摂。

在本文被称为用户装备(UE)的高数据率(HDR)订户站可以是移动的或驻定的，并且可与一个或多个可被称为B节点的接入点(AP)通信。UE通过这些B节点中的一个或多个B节点向无线电网络控制器(RNC)传送和从其接收数据分组。B节点和RNC是被称为无线电接入网(RAN)的网络的部分。无线电接入网可在多个接入终端之间传输语音和数据分组。

无线电接入网可进一步连接至该无线电接入网外部的附加网络并且可在每个UE与此类网络之间传输语音和数据分组，此类核心网络包括特定承运商相关的服务器和设备以及至其他网络(诸如企业内联网、因特网、公共交换电话网(PSTN)、服务通用分组无线电服务(GPRS)支持节点(SGSN)、网关GPRS支持节点(GGSN))的连通性。已与一个或多个B节点建立活跃话务信道连接的UE可被称为活跃UE，并且可被称为处于话务状态。处在与一个或多个B节点建立活跃话务信道(TCH)连接的过程中的UE可被称为处于连接建立状态。UE可以是通过无线信道或通过有线信道进行通信的任何数据设备。UE还可以是数种类型设备中的任何设备，包括但不限于PC卡、致密闪存设备、外置或内置调制解调器、或者无线或有线电话。UE藉以向(诸)B节点发送信号的通信链路被称为上行链路信道(例如，反向话务信道、控制信道、接入信道等)。(诸)B节点藉以向UE发送信号的通信链路被称为下行链路信道(例如，寻呼信道、控制信道、广播信道、前向话务信道等)。如本文所使用的，术语话务信道(TCH)可以指上行链路/反向或下行链路/前向话务信道。

如本文所使用的，术语“如关于多个视频馈送的交织、经交织或进行交织”对应于按产生包括多个视频馈送的至少几部分的视频输出馈送以形成例如全景图、合成图像等的方式来拼接或组装图像或视频。

图1解说了根据本发明至少一个实施例的无线通信系统100的一个示例性实施例的框图。系统100可包含跨空中接口104与接入网或无线电接入网(RAN)120进行通信的UE(诸如蜂窝电话102)，接入网或无线电接入网(RAN)120能将UE 102连接至提供分组交换数据网(例如，内联网、因特网、和/或核心网126)与UE 102、108、110、112之间的数据连通性的网络装备。如此处所示，UE可以是蜂窝电话102、个人数字助理或平板计算机108、在此处示为双向文本寻呼机的寻呼机或膝上型计算机110、或者甚至是具有无线通信口的分开的计算机平台112。因此，本发明的各实施例能在任何形式的包括无线通信门户或具有无线通信能力的UE上实现，包括但不限于无线调制解调器、PCMCIA卡、个人计算机、电话、或者其任何组合或子组合。此外，如本文所使用的，术语“UE”在其他通信协议(即，除W-CDMA以外的其他通信协议)中可被互换地称为“接入终端”、“AT”、“无线设备”、“客户端设备”、“移动终端”、“移动站”及其变型。

参照回到图1，无线通信系统100的组件以及本发明示例性实施例的元件的相互关系不限于所解说的配置。系统100仅仅是示例性的并且可包括允许远程UE(诸如无线客户端计算设备102、108、110、112)通过空中在彼此之间或当中通信和/或在经由空中接口104和RAN 120连接的组件(包括但不限于核心网126、因特网、PSTN、SGSN、GGSN和/或其他远程服务器)之间和当中通信的任何系统。

RAN 120控制向RNC 122发送的消息(通常是作为数据分组发送的消息)。RNC 122负责信令通知、建立、以及拆除服务通用分组无线电服务(GPRS)支持节点(SGSN)与UE 102/108/110/112之间的承载信道(即，数据信道)。如果启用了链路层加密，则RNC 122还在通过空中接口104转发内容之前对该内容进行加密。RNC 122的功能在本领域是公知的且出于简明起见将不作进一步讨论。核心网126可通过网络、因特网和/或公共交换电话网(PSTN)与RNC 122通信。替换地，RNC 122可直接连接到因特网或外部网络。通常，核心网126与RNC 122之间的网络或因特网连接传递数据，而PSTN传递语音信息。RNC 122可连接到多个B节点124。以与核心网126相似的方式，RNC 122通常通过网络、因特网和/或PSTN连接到B节点124以用于数据传递和/或语音信息。B节点124可无线地向UE(诸如蜂窝电话102)广播数据消息。如本领域已知的，RNC 122及其它组件可形成RAN 120。然而，替换配置也可被使用并且本发明不限于所解说的配置。例如，在另一实施例中，RNC 122以及一个或多个B节点124的功能性可被折叠到具有RNC 122和(诸)B节点124两者的功能性的单个混合摂模块中。

图2更详细地解说了图1的无线通信系统100的示例。具体而言，参照图2，UE 1…N被示为在由不同分组数据网端点服务的位置处连接至RAN 120。图2的解说针对W-CDMA系统和术语，但是将领会图2可如何被修改以遵循各种其他无线通信协议(例如，LTE、EV-DO、UMTS等)，并且各种实施例不限于所解说的系统或元件。

UE 1和UE 2在由126a所标示的核心网的包括第一分组数据网端点162的部分(例如，其可对应于SGSN、GGSN、PDSN、归属代理(HA)、区外代理(FA)、LTE中的PGW/SGW等)服务的一部分处连接至RAN 120。第一分组数据网端点162进而连接至因特网175a，并且通过因特网175a连接至第一应用服务器170和路由单元205。UE 3和5…N在由126b所标示的核心网的包括第二分组数据网端点164的另一部分(例如，其可对应于SGSN、GGSN、PDSN、FA、HA等)处连接至RAN 120。类似于第一分组数据网端点162，第二分组数据网端点164进而连接至因特网175b，并且通过因特网175b连接至第二应用服务器172和路由单元205。核心网126a和126b至少经由路由单元205来耦合。UE 4直接连接至核心网126a内的因特网175(例如，经由有线以太网连接、经由WiFi热点或802.11b连接等，由此WiFi接入点或其它因特网桥接机制可被认为是至RAN 120的替换接入网)，并且通过因特网175可随后连接至以上描述的任何系统组件。

参照图2，UE 1、2和3被解说为无线蜂窝电话，UE 4被解说为台式计算机而UE5…N被解说为无线平板PC和/或膝上型PC。然而，在其他实施例中，将领会，无线通信系统100可连接至任何类型的UE，并且在图2中解说的示例并非旨在限制该系统内可实现的UE的类型。

参照图3A，诸如蜂窝电话之类的UE 200(这里为无线设备)具有平台202，该平台202能接收并执行传送自RAN 120的可能最终是来自核心网126、因特网、和/或其他远程服务器及网络的软件应用、数据和/或命令。平台202可包括收发机206，收发机206可操作地耦合到专用集成电路(“ASIC”208)或其他处理器、微处理器、逻辑电路、或其他数据处理设备。ASIC 208或其他处理器执行与无线设备的存储器212中的任何驻留程序对接的应用编程接口(“API”)210层。存储器212可包括只读或随机存取存储器(ROM和RAM)、EEPROM、闪存卡、或计算机平台常用的任何存储器。平台202还可包括能保持未在存储器212中活跃地使用的应用的本地数据库214。本地数据库214通常为闪存单元，但也可以是本领域已知的任何辅助存储设备，诸如磁介质、EEPROM、光学介质、带、软盘或硬盘、或诸如此类。内部平台202组件也可以可操作地耦合到外部设备，诸如天线222、显示器224、即按即讲按钮228和按键板226以及其他组件，如本领域中已知的。

相应地，本发明的实施例可包括有能力执行本文描述的功能的UE。如将由本领域技术人员领会的，各种逻辑元件可实施在在分立元件、在处理器上执行的软件模块、或软件与硬件的任何组合中以达成本文公开的功能性。例如，ASIC 208、存储器212、API 210和本地数据库214可以全部协作地用来加载、存储和执行本文所公开的各种功能，且用于执行这些功能的逻辑由此可分布在各种元件上。替换地，该功能性可被纳入到一个分立的组件中。因此，图3A中的UE 200的特征将仅被视为解说性的，且本发明不被限定于所解说的特征或安排。

UE 102或200与RAN 120之间的无线通信可以基于不同的技术，诸如码分多址(CDMA)、W-CDMA、时分多址(TDMA)、频分多址(FDMA)、正交频分复用(OFDM)、全球移动通信系统(GSM)、3GPP长期演进(LTE)、或可在无线通信网络或数据通信网络中使用的其他协议。因此，本文提供的解说并非意图限定本发明的实施例，而仅仅是帮助描述本发明的实施例的各方面。

图3B解说了根据本发明的另一实施例的UE 200的软件和/或硬件模块。参照图3B，UE 200包括多媒体客户端300B、无线广域网(WWAN)无线电和调制解调器310B以及于无线局域网(WLAN)无线电和调制解调器315B。

参照图3B，多媒体客户端300B对应于在UE 200上执行以支持RAN 120上的由应用服务器170或172仲裁的通信会话(例如，VoIP会话、PTT会话、PTX会话等)的客户端，由此以上关于图1到2描述的RAN 120形成WWAN的一部分。多媒体客户端300B被配置成经由WLAN无线电和调制解调器315B来支持个域网(PAN)和/或WLAN上的通信会话。

参照图3B，WWAN无线电和调制解调器310B对应于UE 200的被用于建立与RAN 120(诸如无线基站或蜂窝塔)的无线通信链路的硬件。在一示例中，当UE 200能建立与应用服务器170的良好连接时，能部分或完全依赖于应用服务器170来仲裁UE 200的通信会话，从而多媒体客户端300B能与WWAN无线电调制解调器310B交互(以经由RAN 120连接至应用服务器170)以参与该通信会话。

WLAN无线电和调制解调器315B对应于UE 200的被用于建立直接与其它本地UE的无线通信链路以形成PAN(例如，经由蓝牙、WiFi等)，或者替换地经由本地接入点(AP)(例如，WLAN AP或路由器、WiFi热点等)连接至其它本地UE的硬件。在一示例中，当UE 200不能建立与应用服务器170的可接受连接时(例如，由于较差的物理层和/或回程连接)，不能依赖于应用服务器170来完全仲裁UE 200的通信会话。在这一情形中，多媒体客户端300B能尝试(至少部分地)使用WLAN协议(例如，以仅客户端模式或以仲裁模式)经由PAN来支持给定的通信会话。

图4解说了包括被配置成执行功能性的逻辑的通信设备400。通信设备400可对应于上述通信设备中的任一者，包括但不限于UE 102、108、110、112或200，B节点或基站120，RNC或基站控制器122，分组数据网端点(例如，SGSN、GGSN、长期演进(LTE)中的移动性管理实体(MME)等)，服务器170到172中的任一者等。因此，通信设备400可对应于被配置成通过网络与一个或多个其它实体通信(或促成与一个或多个其它实体的通信)的任何电子设备。

参照图4，通信设备400包括配置成接收和/或传送信息的逻辑405。在一示例中，如果通信设备400对应于无线通信设备(例如，UE 200、B节点124等)，则配置成接收和/或传送信息的逻辑405可包括无线通信接口(例如，蓝牙、WiFi、2G、3G等)，诸如无线收发机和相关联的硬件(例如，RF天线、调制解调器、调制器和/或解调器等)。在另一示例中，配置成接收和/或传送信息的逻辑405可对应于有线通信接口(例如，串行连接、USB或火线连接、能用来接入因特网175a或175b的以太网连接等)。因此，如果通信设备400对应于某种类型的基于网络的服务器(例如，SGSN、GGSN、应用服务器170或172等)，则配置成接收和/或传送信息的逻辑405在一示例中可对应于以太网卡，该以太网卡经由以太网协议将基于网络的服务器连接至其它通信实体。在进一步示例中，配置成接收和/或传送信息的逻辑405可包括传感或测量硬件(例如，加速计、温度传感器、光传感器、用于监视本地RF信号的天线等)，通信设备400可藉由该传感或测量硬件来监视其本地环境。配置成接收和/或传送信息的逻辑405还可包括在被执行时允许配置成接收和/或传送信息的逻辑405的相关联硬件执行其接收和/或传送功能的软件。然而，配置成接收和/或传送信息的逻辑405不单单对应于软件，并且配置成接收和/或传送信息的逻辑405至少部分地依赖于硬件来实现其功能性。

参照图4，通信设备400进一步包括配置成处理信息的逻辑410。在一示例中，配置成处理信息的逻辑410可至少包括处理器。可由配置成处理信息的逻辑410执行的处理类型的示例实现包括但不限于执行确定、建立连接、在不同信息选项之间作出选择、执行与数据有关的评价、与耦合至通信设备400的传感器交互以执行测量操作、将信息从一种格式转换为另一种格式(例如，在不同协议之间转换(诸如，.wmv到.avi等))，等等。例如，包括在配置成处理信息的逻辑410中的处理器可对应于被设计成执行本文所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器或任何其它此类配置。配置成处理信息的逻辑410还可包括在被执行时允许配置成处理信息的逻辑410的相关联硬件执行其处理功能的软件。然而，配置成处理信息的逻辑410不单单对应于软件，并且配置成处理信息的逻辑410至少部分地依赖于硬件来实现其功能性。

参照图4，通信设备400进一步包括配置成存储信息的逻辑415。在一示例中，配置成存储信息的逻辑415可至少包括非瞬态存储器和相关联的硬件(例如，存储器控制器等)。例如，包括在配置成存储信息的逻辑415中的非瞬态存储器可对应于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中已知的任何其他形式的存储介质。配置成存储信息的逻辑415还可包括在被执行时允许配置成存储信息的逻辑415的相关联硬件执行其存储功能的软件。然而，配置成存储信息的逻辑415不单单对应于软件，并且配置成存储信息的逻辑415至少部分地依赖于硬件来实现其功能性。

参照图4，通信设备400进一步可任选地包括配置成呈现信息的逻辑420。在一示例中，配置成呈现信息的逻辑420可至少包括输出设备和相关联的硬件。例如，输出设备可包括视频输出设备(例如，显示屏、能承载视频信息的端口，诸如USB、HDMI等)、音频输出设备(例如，扬声器、能承载音频信息的端口，诸如话筒插孔、USB、HDMI等)、振动设备和/或信息可藉以被格式化以供输出或实际上由通信设备400的用户或操作者输出的任何其它设备。例如，如果通信设备400对应于如图3A中示出的UE 200，则配置成呈现信息的逻辑420可包括显示器224。在进一步示例中，对于某些通信设备，诸如不具有本地用户的网络通信设备(例如，网络交换机或路由器、远程服务器等)而言，配置成呈现信息的逻辑420可被省略。配置成呈现信息的逻辑420还可包括在被执行时允许配置成呈现信息的逻辑420的相关联硬件执行其呈现功能的软件。然而，配置成呈现信息的逻辑420不单单对应于软件，并且配置成呈现信息的逻辑420至少部分地依赖于硬件来实现其功能性。

参照图4，通信设备400进一步可任选地包括配置成接收本地用户输入的逻辑425。在一示例中，配置成接收本地用户输入的逻辑425可至少包括用户输入设备和相关联的硬件。例如，用户输入设备可包括按钮、触摸屏显示器、键盘、相机、音频输入设备(例如，话筒或可承载音频信息的端口，诸如话筒插孔等)、和/或可用来从通信设备400的用户或操作者接收信息的任何其它设备。例如，如果通信设备400对应于如图3A中示出的UE 200，则配置成接收本地用户输入的逻辑425可包括显示器224(若实现为触摸屏)、按键板226等。在进一步示例中，对于某些通信设备，诸如不具有本地用户的网络通信设备(例如，网络交换机或路由器、远程服务器等)而言，配置成接收本地用户输入的逻辑425可被省略。配置成接收本地用户输入的逻辑425还可包括在被执行时允许配置成接收本地用户输入的逻辑425的相关联硬件执行其输入接收功能的软件。然而，配置成接收本地用户输入的逻辑425不单单对应于软件，并且配置成接收本地用户输入的逻辑425至少部分地依赖于硬件来实现其功能性。

参照图4，尽管被配置的逻辑405到425在图4中被示出为分开或相异的块，但将领会，相应各个被配置的逻辑用来执行其功能性的硬件和/或软件可部分交迭。例如，用于促成被配置的逻辑405到425的功能性的任何软件可被存储在与配置成存储信息的逻辑415相关联的非瞬态存储器中，从而被配置的逻辑405到425各自部分地基于由配置成存储信息的逻辑415所存储的软件的操作来执行其功能性(即，在这一情形中为软件执行)。同样，直接与被配置的逻辑中的一个相关联的硬件可不时地被其它被配置的逻辑借用或使用。例如，配置成处理信息的逻辑410的处理器可在数据由配置成接收和/或传送信息的逻辑405传送之前将此数据格式化为适当格式，从而配置成接收和/或传送信息的逻辑405部分地基于与配置成处理信息的逻辑410相关联的硬件(即，处理器)的操作来执行其功能性(即，在这一情形中为数据传输)。

将理解，各个框中的配置逻辑或配置成“…的逻辑”并不限于具体的逻辑门或元件，而是一般地指代执行本文描述的功能性的能力(经由硬件或硬件和软件的组合)。因此，尽管共享措词“逻辑”，但如各个框中解说的配置逻辑或“配置成…的逻辑”不必被实现为逻辑门或逻辑元件。从以下更详细地描述的各实施例的概览中，各个框中的逻辑之间的其它交互或协作将对本领域普通技术人员而言变得清楚。

多个视频捕捉设备可以鉴于特定的感兴趣的视觉主题(例如，体育比赛、城市、天空中的星座、火山喷发等)。例如，对于体育比赛中的许多观众而言，在其各自相应的视频捕捉设备上捕捉比赛的一些或全部是常见的。将领会，每一个相应的视频捕捉设备具有提供感兴趣的视觉主题上的唯一性透视的位置和朝向的不同组合。例如，两个视频捕捉设备可能彼此非常靠近(即，基本上同一位置)，但朝向(或指向)不同方向(例如，分别关注于篮球场的不同侧)。在另一示例中，两个视频捕捉设备可以彼此远离但朝向(指向或成角度于)同一方向，由此导致感兴趣的视觉主题的不同透视。在又一示例中，即使从基本上同一位置和朝向捕捉视频的两个视频捕捉设备在其相应捕捉到的视频中也将具有细微不同。能导致在相应视频捕捉设备处捕捉到的视频中的发散度的附加因素是视频被捕捉的格式(例如，捕捉到的视频的分辨率和/或纵横比、在相应视频捕捉设备上的透镜的照明灵敏度和/或对焦、光学和/或数字缩放的程度、捕捉到的视频的压缩、捕捉到的视频中的颜色分辨率，捕捉到的视频是彩色还是黑白的，等等)。

在进一步方面，视频捕捉设备实施在无线通信设备或UE内现在是常见的。因此，在体育比赛示例中，体育比赛的数百甚至数千个观众能在体育场中其相应座位处捕捉视频，其中每一个捕捉到的视频供应该体育比赛的不同透视。

图5解说了当由视频捕捉UE集合捕捉时共享与感兴趣的视觉主题有关的视频的常规过程。参照图5，假定UE 1…3各自设置有视频捕捉设备并且各自连接至RAN 120(未在图5中显式示出)，UE 1…3能通过RAN 120向应用服务器170上传相应视频馈送以供传播至目标UE 4…N。谨记这些假定，UE 1从第一位置、朝向和/或格式捕捉与感兴趣的给定视觉主题相关联的视频(500)，UE 2从第二位置、朝向和/或格式捕捉与感兴趣的给定视觉主题相关联的视频(505)，而UE 3从第三位置、朝向和/或格式捕捉与感兴趣的给定视觉主题相关联的视频(510)。如上所提及的，与在500到510处由UE 1…3捕捉到的视频相关联的位置、朝向和/或格式中的一者或多者可以是相同或基本上是相同的，但是位置、朝向和格式的相应组合将至少在其相应捕捉到的视频方面具有可辨识的细微差异。UE 1传送其捕捉到的视频作为至应用服务器170的第一视频输入馈送(515)，UE 2传送其捕捉到的视频作为至应用服务器170的第二视频输入馈送(520)，而UE 3传送其捕捉到的视频作为至应用服务器170的第三视频输入馈送(525)。尽管未在图5中显式示出，但是来自UE 1…3的视频馈送可伴随有补充信息(诸如，音频馈送、字幕或描述性信息，等等)。

参照图5，应用服务器170从UE 1…3接收视频输入馈送并选择其中一个视频馈送以供传输至UE 4…N(530)。530处的选择可基于相应UE 1…3的优先级来发生，或者基于应用服务器170的操作者检查每一视频输入馈送并尝试推断哪个视频馈送将最流行或与目标UE 4...N最相关来手动发生。应用服务器170随后将选定的视频输入馈送转发给UE 4…N作为视频输出馈送(535)。UE 4…N接收并呈现视频输出馈送(540)。

如将由本领域普通技术人员所领会的，图5中的应用服务器170能尝试从UE 1...3中选择其中一个视频输入馈送以与通信群的其余部分共享。然而，在应用服务器170选择单个视频输入馈送的情形中，其它视频输入馈送被忽略并且不被传达给目标UE 4…N。同样，如果应用服务器170选择并且转发了多个视频输入馈送并且并行地将这些多个视频输入馈送发送给目标UE 4…N，则将领会，分配给视频输出馈送的带宽量将需要用选定的视频输入馈送的数量来缩放，这可能是不实际的并且可能使承运商网络以及目标UE本身两者竭尽全力以解码所有视频数据。因此，本发明的各实施例涉及根据节省带宽的目标格式来选择性地组合多个视频输入馈送，同时增强任何特定视频输入馈送上的视频输出帧中的视频信息。

图6A解说了根据本发明的一实施例的用于选择性地组合来自多个视频捕捉设备的多个视频输入馈送以形成符合目标格式的视频输出馈送的过程。

参照图6A，假定UE 1…3各自设置有视频捕捉设备并且各自连接至RAN120(未在图5中显式示出)或另一类型的接入网(例如，WiFi热点、直接或有线因特网连接等)，UE 1…3能通过RAN 120或另一类型的接入网向应用服务器170上传相应视频馈送以供传播至目标UE 4…N中的一者或多者。谨记这些假定，UE 1从第一位置、朝向和/或格式捕捉与感兴趣的给定视觉主题相关联的视频(600A)，UE 2从第二位置、朝向和/或格式捕捉与感兴趣的给定视觉主题相关联的视频(605A)，而UE 3从第三位置、朝向和/或格式捕捉与感兴趣的给定视觉主题相关联的视频(610A)。如上所提及的，与在600A到610A处由UE 1…3捕捉到的视频相关联的位置、朝向和/或格式中的一者或多者可以是相同或基本上是相同的，但是位置、朝向和格式的相应组合将至少在其相应捕捉到的视频方面具有可辨识的细微差异。

与图5不同，在图6A中，假定除了在600A到610A处在UE 1…3处捕捉视频之外，UE 1…3还检测其捕捉到的视频的相应位置、朝向和格式。例如，UE 1可以使用卫星定位系统(SPS)(诸如全球定位系统(GPS))来检测其位置，UE 1可以经由陀螺仪结合倾斜传感器来检测其朝向，并且UE 1可以经由其当前的视频捕捉设置来检测其格式(例如，UE 1可以检测当前视频以480p的颜色被捕捉并且经由H.264以2x数字缩放和2.5x光学缩放来编码)。在另一示例中，UE 2可以经由地面定位技术来确定其位置，而UE 3可以经由本地无线环境或射频(RF)指纹来检测其位置(例如，通过识别本地蓝牙连接、WiFi热点、蜂窝基站等)。在另一示例中，UE 2可以报告固定位置，诸如特定体育场的区域#22中的座位#4F。

在另一示例中，相应的UE可以报告其相对于其它向应用服务器170提供视频输入馈送的UE的位置。在这一情形中，提供视频输入馈送的不同UE之间的P2P距离和朝向可被绘制，即使在一个或多个不同UE的绝对位置未知的实例中亦是如此。此举可以给予呈现设备(即，图6A中的应用服务器170)更为容易地确定各个UE之间的关系的能力。各设备之间的相对距离和角度将允许3D呈现器(即，图6A中的应用服务器170)确定单个设备何时移动其位置(相对于大群，它将是示出相对于多个其它设备的变化的一个)。

因此，存在UE 1…3在视频捕捉期间藉由其确定其当前位置、朝向和/或格式的各种机制。

简要转向图7A-7B，提供了在600A到610A的视频捕捉期间的UE 1…3的位置和朝向的示例。参照图7A，感兴趣的视觉主题是城市天际线700A，而UE 1…3位于城市天际线700A附近的位置705A、710A和715A。UE 1…3的朝向由视频捕捉叶(lobe)720A、725A和730A来表示。基本上，嵌入或附连至UE 1…3的视频捕捉设备指向城市天际线700A以便沿相应视频捕捉叶(或视线)来捕捉光。基于UE 1…3上的相应视频捕捉设备的各种格式设置(例如，缩放的程度、聚焦等)，UE 1…3正捕捉由视频捕捉区735A、740A和745A表示的城市天际线700A的各部分。

参照图7B，UE 1…3各自是在体育馆处具有与球场或运动场705B相对应的感兴趣的视觉主题的观众，并且UE 1…3位于球场或运动场705B附近的位置710B、715B和720B(例如，在看台或露天看台中的其相应座位处)。UE 1…3的朝向由视频捕捉叶725B、730B和735B来表示。基本上，嵌入或附连至UE1…3的视频捕捉设备指向球场或运动场705B以便沿相应视频捕捉叶(或视线)来捕捉光。

返回至图6A，在群通信会话期间，UE 1传送其捕捉到的视频连同第一位置、朝向和/或格式的指示作为至应用服务器170的第一视频输入馈送(615A)，UE 2传送其捕捉到的视频连同第二位置、朝向和/或格式的指示作为至应用服务器170的第二视频输入馈送(620A)，而UE 3传送其捕捉到的视频连同第三位置、朝向和/或格式的指示作为至应用服务器170的第三视频输入馈送(625A)。尽管未在图6A中显式示出，但是来自UE 1…3的视频馈送可伴随有补充信息(诸如，音频馈送、字幕或描述性信息，等等)。

参照图6A，应用服务器170从UE 1…3接收视频输入馈送并选择多于一个视频输入馈送的视频输入馈送集合以供传输至UE 4…N中的一者或多者(630A)。具体而言，该选择选取相对于结果所得的视频输出馈送中要达成的特定目标格式的“非冗余”视频输入馈送集合。例如，如果目标格式对应于城市天际线的全景图，则显示视频输入馈送的显著交迭部分的视频输入馈送是冗余的，因为视频输入馈送的经交织版本将不会扩展超过个体视频输入馈送很多。另一方面，捕捉城市天际线的非交迭部分的视频输入馈送是用于全景图选择的良好候选，因为非交迭部分是非冗余的。类似地，如果目标格式正向目标UE提供城市天际线的大量不同的透视图，则集中在城市天际线的相同部分的视频输入馈送也是冗余的。在另一示例中，如果目标格式对应于3D视图，则要求视频输入馈送集中在城市天际线的相同部分，因为形成城市天际线的完全不同和不相关部分的3D视图将是困难的。然而，在3D视图的上下文中，具有相同朝向或角度的视频输入馈送被认为是冗余的，因为要求朝向多样性以形成3D视图。因此，使得视频输入馈送“冗余”或“不冗余”的定义能随要达成的特定目标格式而变化。在630A处通过选取适当的(即，非冗余的)视频输入馈送，可以改善达成目标格式和/或目标格式的质量的成功率。

在非冗余视频输入馈送检测和选择的又一示例中，以上描述的相对P2P关系信息(例如，相应P2P UE之间代替或除了其绝对位置以外的距离和朝向或角度)可被用于使冗余的视频输入馈送不合格或受抑制。在3D视图情境中，例如，P2P设备之间的相对P2P关系可被用于检测缺少用于适当的3D图像的足够角度多样性的视频输入馈送。

尽管未在图6A中显式示出，但是如果本地P2P UE变得知晓它们共享靠近位置以及相似的有利位置(例如，相似角度或朝向)，则本地P2P UE能彼此协商以便本地P2P UE中的仅一个P2P UE在615A到625A传送视频输入馈送(例如，具有较高带宽的P2P UE等)。因此，在一些实施例中，冗余视频输入馈送可经由视频捕捉UE间的P2P协商来减少，这能简化630A处针对目标格式转换而对视频输入馈送的后续选择。

在选择特定目标格式的非冗余视频输入馈送集合之后，应用服务器170随后同步来自630A的选定的非冗余视频输入馈送并将其交织成符合目标格式的视频输出馈送(635A)。在同步相应的视频输入馈送方面，应用服务器170能简单地依赖于指示何时捕捉、传送和/或接收到相应的视频输入馈送中的帧的时间戳。然而，在另一实施例中，基于事件的同步可由应用服务器170使用相应的视频输入馈送内的一个或多个共同可跟踪对象来实现。例如，如果共同的感兴趣的视觉主题是篮球比赛并且选定的非冗余视频输入馈送是从体育场中的不同座位捕捉篮球比赛，则对于基于事件的同步，应用服务器170将尝试“锁定”或关注的共同可跟踪对象可包括篮球、篮球场上的线、裁判员的运动衫、运动员中的一个或多个的运动衫等。在特定示例中，如果篮球运动员在比赛中的特定点处投篮，则应用服务器170可以在篮球被示为离开篮球运动员的手时在各自相应的视频输入馈送中尝试同步以达成基于事件的同步。作为一般事件，针对要用于基于事件的同步的共同可跟踪对象的良好候选包括固定的高对比度对象集和静止的高对比度对象集(每一类型中的至少一个被使用)。提供视频输入馈送之一的每一UE可被要求在每帧基础或其它某个周期性基础上向共同可跟踪对象集报告参数，诸如其距离和角度(即，朝向或度数)。在应用服务器170处，至特定共同跟踪对象的距离和角度信息准许应用服务器170在相应的视频输入馈送之间同步。一旦共同跟踪对象被跟踪，可以在多个不同的视频输入馈送(例如，篮球运球或投入篮筐)处检测与该共同跟踪对象相关联的事件，并且这些事件可随后变为用于在视频输入馈送之间进行同步的基础。在这些共同跟踪对象事件之间，不同的视频输入馈送可经由其它手段来同步，诸如以上提及的时间戳。

630A到635A处的视频输入馈送的选择和交织可用数种方式来实现，如现在将描述的。

在630A和635A的示例实现中，假定针对经交织的视频输入馈送的目标格式是由多个视频输入馈送构成的感兴趣的视觉主题的全景图。图8A内解说了交织个体视频输入馈送以达成视频输出馈送中的全景图的示例。参照图8A，假定感兴趣的视觉主题是城市天际线800A，其类似于图7A中的城市天际线700A。来自UE 1…3的视频输入馈送分别传达各部分(或视频捕捉区)805A、810A和815A处的城市天际线800A的视频。为了形成全景图，应用服务器170通过选择毗邻或毗连来选择非冗余的视频输入馈送，从而全景图将不具有任何显眼的间隙。在这一情形中，来自UE 1和2的视频输入馈送是全景图候选(即，非冗余和相关的)，但UE 3的视频输入馈送正捕捉城市天际线800A的将不容易与来自UE 1或2的视频输入馈送交织的远程部分(即，非冗余但也不与这一实例中的全景图相关)。因此，来自UE 1和2的视频输入馈送被选择用于全景图形成。接着，来自UE 1和2的视频输入馈送的相关部分被选择(820A)。例如，UE 2的视频输入馈送与UE 1的视频输入馈送不同地倾斜。应用服务器170可以尝试形成划出(carve out)与目标呈现设备处的可查看纵横比兼容的“平坦”或矩形视图的全景图，如在825A处所示。接着，来自825A的任何交迭部分可被平滑或集成(830A)，以便来自835A的结果所得的全景图对应于全景视频输出馈送。尽管未在图8A中显式示出，然而多个视频馈送可按某种方式来交织以产生用于全景图的视频输出馈送，与多个视频馈送之一相关联的单个代表性音频馈送可与视频输出馈送相关联并发送给(诸)目标UE。在一示例中，与最接近共同的感兴趣的视觉主题的视频输入馈送相关联的音频馈送可被选择(例如，图7A中的UE 1，因为UE 1比UE 2更靠近城市天际线700A)。替换地，应用服务器170可以尝试生成合并来自提供视频输入馈送的不同UE的两个或更多个音频馈送的3D音频形式。例如，来自物理上靠近共同的感兴趣的视觉主题但在其不同侧上的UE的音频馈送可被选择以形成3D音频输出馈送(例如，以达成环绕立体声类型效果，从而一个音频馈送变为左前方扬声器输出而另一音频馈送变为右后方扬声器输出，等等)。

在630A和635A的另一示例实现中，假定针对经交织的视频输入馈送的目标格式是反映多个视频输入馈送的感兴趣的视觉主题的多个不同透视图。图8B内解说了交织个体视频输入馈送以达成视频输出馈送中的多个不同透视图的示例。参照图8B，假定感兴趣的视觉主题是城市天际线800B，其类似于图7A中的城市天际线700A。来自UE 1…3的视频输入馈送分别传达各部分(或视频捕捉区)805B、810B和815B处的城市天际线800B的视频。为了选择视频输入馈送以填充视频输出馈送中的多个不同透视图，应用服务器170选择示出城市天际线800B的不同部分的视频输入馈送(例如，以便目标UE的用户能滚动各个透视图直至达到城市天际线800B的期望或较佳视图)。在这一情形中，来自UE 1和2的视频输入馈送805B和810B在一定程度上交迭并且不供应太多的透视图种类，由此视频输入馈送815B示出了城市天际线800B的不同部分。因此，在820B，假定应用服务器170选择来自UE 2和3的视频输入馈送，这由825B和830B来表示。接着，代替简单地将选定的视频输入馈送发送给目标UE作为视频输出馈送，应用服务器170压缩来自UE 2和3的视频输入馈送以便达成目标大小格式(835B)。例如，无论被封装为视频输出馈送的透视图的数量如何，目标大小格式可以是恒定的。例如，如果目标大小格式被标示为X(例如，每秒X等)并且透视图的数量被标示为Y，则在835B处分配给每个选定的视频输入馈送的数据部分可由X/Y来表达。尽管未在图8B中显式示出，然而多个视频馈送可按某种方式来交织以产生用于不同透视图的视频输出馈送，与多个视频馈送之一相关联的单个代表性音频馈送可与视频输出馈送相关联并发送给(诸)目标UE。在一示例中，与最接近共同的感兴趣的视觉主题的视频输入馈送相关联的音频馈送可被选择(例如，图7A中的UE 1，因为UE 1比UE 2更为靠近城市天际线700A)，或者与最突出显示在目标UE处的当前透视图相关联的音频馈送可被选择。替换地，应用服务器170可以尝试生成合并来自提供视频输入馈送的不同UE的两个或更多个音频馈送的3D音频形式。例如，来自物理上靠近共同的感兴趣的视觉主题但在其不同侧上的UE的音频馈送可被选择以形成3D音频输出馈送(例如，以达成环绕立体声类型效果，从而一个音频馈送变为左前方扬声器输出而另一音频馈送变为右后方扬声器输出，等等)。

在630A和635A的又一示例实现中，假定针对经交织的视频输入馈送的目标格式是由多个视频输入馈送构成的感兴趣的视觉主题的3D视图。图8C内解说了交织个体视频输入馈送以达成视频输出馈送中的3D视图的示例。参照图8C，假定感兴趣的视觉主题是城市天际线800C，其类似于图7A中的城市天际线700A。来自UE 1…3的视频输入馈送分别传达各部分(或视频捕捉区)805C、810C和815C处的城市天际线800C的视频。为了形成3D视图，应用服务器170选择交迭的视频输入馈送以便3D视图包括城市天际线800C的基本上相同部分的不同透视。在这一情形中，来自UE 1和2的视频输入馈送是3D视图候选，但UE 3的视频输入馈送正捕捉城市天际线800C的将不容易与来自UE 1或2的视频输入馈送交织成3D视图的远程部分。因此，来自UE 1和2的视频输入馈送被选择用于3D示图形成。接着，来自UE 1和2的视频输入馈送的相关部分被选择(820C)(例如，UE 1和2的视频捕捉区的交迭部分，以便相同城市天际线部分的不同透视可被用于产生经组合视频中的3D效果)。825C示出了UE 1和2的视频捕捉区的可被用于引入3D效果的交迭部分。接着，UE 1和2的视频捕捉区的交迭部分被交织以便引入3D效果(830C)。关于实际的3D形成，数种现成的2D-3D转换引擎可用于实现3D形成。这些现成的2D到3D转换引擎(例如，Faceworx等)依赖于个体2D馈送的详细信息并且还具有关于可接受的用于该引擎的2D输入的要求。在这一实施例中，由UE捕捉设备提供的位置、朝向和/或格式信息准许在630A处选择的适合于3D形成的视频输入馈送(例如，通过排除将不与3D形成兼容的视频输入馈送，诸如冗余朝向等等)。此外，尽管未在图8C中显式示出，然而多个视频馈送可按某种方式来交织以产生用于3D视图的视频输出馈送，与多个视频馈送之一相关联的单个代表性音频馈送可与视频输出馈送相关联并发送给(诸)目标UE。在一示例中，与最接近共同的感兴趣的视觉主题的视频输入馈送相关联的音频馈送可被选择(例如，图7A中的UE 1，因为UE 1比UE 2更为靠近城市天际线700A)，或者与最突出显示在目标UE处的当前透视图相关联的音频馈送可被选择。替换地，应用服务器170可以尝试生成合并来自提供视频输入馈送的不同UE的两个或更多个音频馈送的3D音频形式。例如，来自物理上靠近共同的感兴趣的视觉主题但在其不同侧上的UE的音频馈送可被选择以形成3D音频输出馈送(例如，以达成环绕立体声类型效果，从而一个音频馈送变为左前方扬声器输出而另一音频馈送变为右后方扬声器输出，等等)。

回到图6A，在选定的视频输入馈送被交织以便产生符合目标格式(例如，具有目标聚集文件大小或数据率的多个透视图、全景图、3D视图等)的视频输出馈送之后，视频输出馈送根据目标格式被传送给目标UE 4…N(640A)。UE 4…N接收并呈现视频输出馈送(645A)。

图6B和6C解说了根据本发明的实施例的在图6A的635A的视频输入馈送交织操作的替换实现。参照图6B，每个选定的视频输入馈送首先被转换为共同格式(600B)。例如，如果共同格式是720p并且以1080p流送一些视频输入馈送，则600B可包括将1080p的(诸)馈送下转换为720p。在600B的转换之后，经转换的视频输入馈送的各部分被组合以产生视频输出馈送(605B)。在一示例中，600B和605B的转换和组合操作可结合关于图8A-8C描述的情境中的任一者来实现。例如，在图8A中，一旦在820A处选择要被交织成全景图的各部分，则可应用600B的转换。

参照图6C，每一选定的视频输入馈送的各部分首先按如在应用服务器170处收到的其相应格式被组合(600C)。在600C的组合之后，结果所得的经组合视频输入馈送被选择性地压缩以产生视频输出馈送(605C)。在一示例中，600C和605C的组合和转换操作可结合关于图8A-8C描述的情境中的任一者来实现。例如，在图8A中，如果UE 1的视频输入馈送是720p而UE 2的视频输入馈送是1080p，则选定视频输入馈送的非交迭部分可首先如在825A中所示地被组合，以便由UE 1贡献的各部分是720p而由UE 2贡献的各部分是1080p。此时，假定目标格式是720p，则经组合的视频输入馈送中处于1080p的任何部分被压缩，以使得视频输出馈送全部与720p兼容。

图6D解说了根据本发明的一实施例的图6A的过程的延续。参照图6D，假定UE 1…3继续传送其相应视频输入馈送并继续指示其相应视频输入馈送的相应位置、朝向、或格式(600D)。在某个时间点，应用服务器170选择不同的视频输入馈送集合以组合成视频输出馈送(605D)。例如，UE 1的用户可能已经改变了朝向，以便给定的感兴趣的视觉主题不再被捕捉，或者UE 2的用户可能已经移至离开给定的感兴趣的视觉主题太远的位置。因此，应用服务器170将来自605D的选定的视频输入馈送交织成符合目标格式的新视频输出馈送(610D)，并根据目标格式将该视频输出馈送传送给目标UE 4…N(615D)。UE 4…N接收并呈现视频输出馈送(620D)。

尽管图6D解说了视频输出馈送中的作贡献的视频输入馈送如何能在群通信会话期间改变的示例，但图6E解说了个体视频输入馈送如何被用于填充视频输出馈送或者甚至目标格式本身如何能被选择性地改变以用于某些目标UE(例如，从全景图到3D视图等)的示例。相关视频输入馈送还可针对每一不同的目标格式而变化(例如，选择用于全景图的视频输入馈送可能与选择成提供各种代表性透视图或3D视图的视频输入馈送不同)。

因此，图6E解说了根据本发明的另一实施例的图6A的过程的延续。参照图6E，假定UE 1…3继续传送其相应视频输入馈送并继续指示其相应视频输入馈送的相应位置、朝向、或格式(600E)。在群通信会话期间的某个时间点处，UE 4指示对应用服务器170将其视频输出馈送从当前目标格式(“第一目标格式”)改变为不同的目标格式(“第二目标格式”)的请求(605E)。例如，第一目标格式可以对应于给定的感兴趣的视觉主题的多个低分辨率透视图(例如，如在图8B中)，而UE 4的用户可以决定他/她希望观看较高分辨率3D中的一个特定透视图(例如，如在图8C中)，从而所请求的第二目标格式是特定的一个或多个视频输入馈送的3D视图。此外，在群通信会话期间的某个时间点处，UE 5指示对应用服务器170改变用于填充其视频输出馈送的视频输入馈送集合的请求(610E)。例如，第一目标格式可以对应于给定的感兴趣的视觉主题的多个低分辨率透视图(例如，如在图8B中)，而UE 5的用户可以决定他/她希望查看透视图的较小子集，其中每个透视图处于较高分辨率。因此，610E中对视频输入馈送的不同集合的请求可以或可以不改变目标格式，并且如在605E中对不同目标格式的请求可以或可以不改变视频输出馈送中作贡献的视频输入馈送。同样，在图6E中，假定UE 6…N不请求其相应视频输出馈送的改变(615E)。

参照图6E，应用服务器170继续交织视频输入馈送的相同集合以根据第一(或先前建立的)目标格式来产生第一视频输出馈送，类似于图6A的635A，620E。应用服务器170还选择并随后交织视频输入馈送集合(其可以是来自620E的相同视频输入馈送集合或不同集合)，以便基于来自605E的UE 4的请求根据第二目标格式来产生第二视频输出馈送(625E)。应用服务器170还选择并随后交织另一视频输入馈送集合(不同于来自620E的视频输入馈送集合)，以便根据适合来自610E的UE 5的请求的目标格式来产生第三视频输出馈送(630E)。在产生第一到第三视频输出馈送后，应用服务器170将第一视频输出馈送传送给UE 6…N(635E)，应用服务器170将第二视频输出馈送传送给UE 4(640E)，并且应用服务器170将第三视频输出馈送传送给UE 5(645E)。UE 4…N中的每一者随后分别在650E、655E和660E处呈现其相应的视频输出馈送。

尽管由此已经关于由服务器仲裁的群通信会话描述了图6A到8C的各实施例，但其它实施例涉及至少部分地由一个或多个UE在PAN上仲裁的对等(P2P)或自组织会话。因此，图9解说了根据本发明的实施例的用于给定UE在基于PAN的群通信会话期间选择性地组合来自多个视频捕捉设备的多个视频输入馈送以形成符合目标格式的视频输出馈送的过程。

参照图9，UE 1…N建立本地群通信会话(900)。该本地群通信会话可在P2P连接或PAN上建立，从而该本地群通信会话不要求服务器仲裁，尽管在本地群通信会话期间交换的一些或所有视频可稍后在应用服务器170处被上传或存档。例如，UE 1…N可位于体育事件附近并且可以使用在相应UE之间共享的视频来获得体育比赛的延伸其自身的观看体验的视图或透视(例如，位于运动场或球场的西侧上的UE能将其视频馈送流送至位于运动场或球场的东侧上的UE，或者甚至流送至不在运动场或球场视场中的UE)。因此，支持UE 1…N之间的本地群通信会话的连接至少足以支持视频数据的交换。

参照图9，类似于图6A的600A到610A，UE 1从第一位置、朝向和/或格式捕捉与感兴趣的给定视觉主题相关联的视频(905)，UE 2从第二位置、朝向和/或格式捕捉与感兴趣的给定视觉主题相关联的视频(910)，而UE 3从第三位置、朝向和/或格式捕捉与感兴趣的给定视觉主题相关联的视频(915)。与图6A不同，代替将其相应捕捉到的视频上传至应用服务器170以供传播至目标UE，UE 1…3各自在920、925和930处分别将其相应捕捉到的视频连同相关联的位置、朝向和格式的指示传送给指定的仲裁者或“主管”UE(即，在这一情形中，UE 4)。接着，除了在UE 4而非应用服务器170处执行之外，935到945基本上对应于图6A的630A到640A，其出于简洁起见将不再作进一步讨论。在UE 4在945处将视频输出馈送传送给UE 5…N后，UE 5…N各自呈现视频输出馈送(950)。

尽管图9被解说为使得单个UE被指定为主管并负责生成单个视频输出馈送，但将领会，还可以在本地群通信会话上实现图6D和/或6E的变形，从而UE 4能产生针对不同的目标UE或UE群的多个不同的视频输出馈送。替换地，可在本地群通信内指定多个主管UE，不同的视频输出馈送由不同的主管UE来生成。

此外，尽管以上描述了图5-9，由此(诸)视频输出馈送被实时或与视频捕捉UE提供视频媒体同时期地发送给目标UE，但将领会，在本发明的其它实施例中，视频输入馈送可被存档，从而(诸)视频输出馈送可在视频捕捉UE不再捕捉给定的感兴趣的视觉主题之后的稍后时间点生成。替换地，视频输出馈送集合而非“原始”视频输入馈送可被存档。替换地，在视频捕捉UE仍在捕捉并传递其相应的视频输入馈送时，稍后加入的UE可以访问视频输入馈送和/或视频输出馈送的存档部分。

本领域技术人员将领会，信息和信号可使用各种不同技术和技艺中的任何一种来表示。例如，以上描述通篇可能引述的数据、指令、命令、信息、信号、位(比特)、码元、和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光学粒子、或其任何组合来表示。

此外，本领域技术人员将领会，结合本文中公开的实施例描述的各种解说性逻辑块、模块、电路、和算法步骤可被实现为电子硬件、计算机软件、或两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、块、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

结合本文所公开的实施例描述的各种解说性逻辑框、模块、以及电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文中描述的功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器或任何其它此类配置。

结合本文中公开的实施例描述的方法、序列和/或算法可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。替换地，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端(例如，UE)中。替换地，处理器和存储介质可作为分立组件驻留在用户终端中。

在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述组合应当也被包括在计算机可读介质的范围内。

尽管上述公开示出了本发明的解说性实施例，但是应当注意到，在其中可作出各种更换和改动而不会脱离如所附权利要求定义的本发明的范围。根据本文中所描述的本发明实施例的方法权利要求的功能、步骤和/或动作不必按任何特定次序来执行。此外，尽管本发明的要素可能是以单数来描述或主张权利的，但是复数也是已料想了的，除非显式地声明了限定于单数。

Claims (15)

1.一种用于在通信设备(170；200；400)处选择性地组合视频数据的方法，包括：

从多个视频捕捉设备接收(615A；620A；625A；600D；600E；605E；610E；920，925，930)多个视频输入馈送，所接收到的多个视频输入馈送中的每一个视频输入馈送提供给定的感兴趣的视觉主题的不同透视；

针对所接收到的多个视频输入馈送中的每一个视频输入馈送，接收(615A；620A；625A；600D；600E；605E；610E；920，925，930)对(i)相关联的视频捕捉设备的位置、(ii)所述相关联的视频捕捉设备的朝向以及(iii)所接收到的视频输入馈送的格式的指示；

选择(630A；605D；630E；820A；820B；820C；935)所接收到的多个视频输入馈送的集合；

将选定的视频输入馈送交织(635A；600B；605B；600C；605C；610D；620E；625E；630E；830A；835B；830C；90)成符合目标格式的视频输出馈送；以及

将所述视频输出馈送传送(640A；615D；635E；640E；645E；945)给目标视频呈现设备集合。

2.如权利要求1所述的方法，其特征在于，

所述选定的视频输入馈送各自是二维(2D)的，

其中所述目标格式对应于通过交织所述选定的视频输入馈送的各部分所形成的所述给定的感兴趣的视觉主题的三维(3D)视图。

3.如权利要求1所述的方法，其特征在于，所述目标格式对应于通过交织所述选定的视频输入馈送的非交迭部分所形成的所述给定的感兴趣的视觉主题的全景图。

4.如权利要求1所述的方法，其特征在于，

所述目标格式对应于针对所述视频输出馈送的聚集大小格式，所述方法进一步包括：

压缩所述选定的视频输入馈送中的一个或多个视频输入馈送，以使得所述视频输出馈送在所述交织之后达成所述聚集大小格式。

5.如权利要求1所述的方法，其特征在于，所述通信设备对应于远离所述多个视频捕捉设备和所述目标视频呈现设备集合的服务器。

6.如权利要求1所述的方法，其特征在于，

所述多个视频捕捉设备和所述目标视频呈现设备集合各自对应于参与本地群通信会话的用户装备(UE)，并且

其中所述通信设备对应于也参与所述群通信会话的给定UE。

7.如权利要求1所述的方法，其特征在于，进一步包括：

选择所接收到的多个视频输入馈送的不同集合；

将所述选定的不同视频输入馈送交织成符合给定的目标格式的不同视频输出馈送；以及

将所述不同的视频输出馈送传送给目标视频呈现设备的不同集合。

8.如权利要求1所述的方法，其特征在于，进一步包括：

选择所接收到的多个视频输入馈送的给定集合；

将所述选定的给定视频输入馈送交织成符合不同的目标格式的不同视频输出馈送；以及

将所述不同的视频输出馈送传送给目标视频呈现设备的不同集合。

9.如权利要求1所述的方法，其特征在于，所接收到的对位置的指示包括(i)所述多个视频捕捉设备中的至少一个视频捕捉设备的绝对位置的指示，和/或(ii)所述多个视频捕捉设备中的两个或更多个视频捕捉设备之间的相对位置的指示。

10.如权利要求1所述的方法，其特征在于，进一步包括：

以基于事件的方式来同步所述选定的视频输入馈送，

其中所述交织是针对经同步的视频输入馈送来执行的。

11.如权利要求10所述的方法，其特征在于，所述同步包括：

标识所述选定的视频输入馈送内的共同跟踪对象集合；

检测与所述共同跟踪对象集合相关联的在所述选定的视频输入馈送中的每一个视频输入馈送中可见的事件；以及

基于检测到的事件来同步所述选定的视频输入馈送。

12.如权利要求1所述的方法，其特征在于，所述选择包括：

将所接收到的多个视频输入馈送中的每一个视频输入馈送表征为(i)针对所述目标格式关于所接收到的多个视频输入馈送中的至少一个其它视频输入馈送冗余，或者(ii)不冗余；

通过(i)包括来自所接收到的多个视频输入馈送的被表征为非冗余的的一个或多个视频输入馈送，和/或(ii)包括关于来自所接收到的多个视频输入馈送中的被表征为冗余的每一个视频输入馈送集合的单个代表性视频输入馈送来形成非冗余视频输入馈送集合，

其中所述选定的视频输入馈送对应于所述非冗余视频输入馈送集合。

13.一种配置成选择性地组合视频数据的通信设备(170；200；400)，包括：

配置成从多个视频捕捉设备接收(615A；620A；625A；600D；600E；605E；610E；920，925，930)多个视频输入馈送的逻辑(405)，所接收到的多个视频输入馈送中的每一个视频输入馈送提供给定的感兴趣的视觉主题的不同透视；

配置成针对所接收到的多个视频输入馈送中的每一个视频输入馈送，接收(615A；620A；625A；600D；600E；605E；610E；920，925，930)对(i)相关联的视频捕捉设备的位置、(ii)所述相关联的视频捕捉设备的朝向以及(iii)所接收到的视频输入馈送的格式的指示的逻辑(405)；

配置成选择(630A；605D；630E；820A；820B；820C；935)所接收到的多个视频输入馈送的集合的逻辑(410)；

配置成将选定的视频输入馈送交织(635A；600B；605B；600C；605C；610D；620E；625E；630E；830A；835B；830C；90)成符合目标格式的视频输出馈送的逻辑(410)；以及

配置成将所述视频输出馈送传送(640A；615D；635E；640E；645E；945)给目标视频呈现设备集合的逻辑(405)。

14.一种包括用于执行根据权利要求1到12中任一项所述的方法的装置的设备(170；200；400)。

15.一种包括至少一条指令的计算机可读介质，所述至少一条指令用于使得计算机(170；200；400)或处理器(208；410)执行根据权利要求1到12中任一项所述的方法。