CN107211177A - 在通信会话期间经由不同链路来交换视频流的各部分 - Google Patents

在通信会话期间经由不同链路来交换视频流的各部分 Download PDF

Info

Publication number
CN107211177A
CN107211177A CN201680007497.7A CN201680007497A CN107211177A CN 107211177 A CN107211177 A CN 107211177A CN 201680007497 A CN201680007497 A CN 201680007497A CN 107211177 A CN107211177 A CN 107211177A
Authority
CN
China
Prior art keywords
video flowing
video
user
link
video feed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680007497.7A
Other languages
English (en)
Inventor
A·P·斯通费尔德
S·德维恩
M·A·林德纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/609,875 external-priority patent/US20150145944A1/en
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107211177A publication Critical patent/CN107211177A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

在一实施例中，UE正在参与与(诸)目标UE共享视频流的通信会话。UE接收标识视频流的(诸)高优先级部分的用户输入。UE基于(诸)高优先级部分来生成第一视频馈送并且至少基于该视频流的(诸)其他部分来生成第二视频馈送。分别在第一和第二链路上与(诸)目标UE交换第一和第二视频馈送。在一示例中，携带第一视频馈送的第一链路可被分配QoS。(诸)目标UE组合第一和第二视频馈送以重构该视频流的版本，并且随后呈现该视频流的经重构版本。

Description

在通信会话期间经由不同链路来交换视频流的各部分
背景技术
领域
诸实施例涉及在通信会话期间经由不同链路来交换视频流的各部分。
2.相关技术描述
无线通信系统已经历了数代的发展，包括第一代模拟无线电话服务(1G)、第二代(2G)数字无线电话服务(包括过渡的2.5G和2.75G网络)、以及第三代(3G)高速数据、具有因特网能力的无线服务。目前在用的有许多不同类型的无线通信系统，包括蜂窝以及个人通信服务(PCS)系统。已知蜂窝系统的示例包括蜂窝模拟高级移动电话系统(AMPS)，以及基于码分多址(CDMA)、频分多址(FDMA)、时分多址(TDMA)、TDMA的全球移动接入系统(GSM)变型的数字蜂窝系统，以及使用TDMA和CDMA技术两者的更新的混合数字通信系统。
用于提供CDMA移动通信的方法在美国由电信行业协会/电子行业协会在题为“Mobile Station-Base Station Compatibility Standard for Dual-Mode WidebandSpread Spectrum Cellular System(用于双模宽带扩频蜂窝系统的移动站-基站兼容性标准)”的TIA/EIA/IS-95-A(在本文中称为IS-95)中被标准化。组合的AMPS及CDMA系统在TIA/EIA标准IS-98中描述。在涵盖了被称为宽带CDMA(W-CDMA)、CDMA2000(诸如举例而言CDMA2000 1xEV-DO标准)或TD-SCDMA的IMT-2000/UM、或即国际移动电信系统2000/通用移动电信系统标准中描述了其他通信系统。
在W-CDMA无线通信系统中，用户装备(UE)接收来自固定位置B节点(也称为蜂窝小区站点或蜂窝小区)的信号，这些固定位置B节点支持基站附近或周围的特定地理区域内的通信链路或服务。B节点提供至一般为分组数据网络的接入网(AN)或无线电接入网(RAN)的入口点，该分组数据网络使用支持用于基于服务质量(QoS)要求来区分话务的方法的、基于因特网工程任务组(IETF)的标准协议。因此，B节点一般通过空中接口与UE交互并通过网际协议(IP)网络数据分组与RAN交互。
在无线电信系统中，即按即讲(PTT)能力正变得受到服务扇区和消费者的欢迎。PTT能支持在诸如W-CDMA、CDMA、FDMA、TDMA、GSM等标准商业无线基础设施上运行的“分派”语音服务。在分派模式中，端点(例如，UE)之间的通信发生在虚拟群内，其中一个“讲话者”的语音被传送给一个或多个“收听者”。此类通信的单个实例通常被称作分派呼叫，或者简称PTT呼叫。PTT呼叫是定义呼叫特性的群的实例化。群在本质上是由成员列表以及相关联信息(诸如群名称或群标识)定义的。
远程呈现(telepresence)指代允许人感觉就像他们在场那样，以给出在场的表象的一组技术。另外，用户可被给予影响远程位置的能力。在此情形中，用户的位置、移动、动作、语音可在远程位置被感测、传送和复制以达成此效果。因此，信息可在用户与远程位置之间的两个方向上行进。与传统视频会议相比，通过视频的远程呈现部署了更大的技术复杂性以及视野和声音两者的改进保真度。
移动通信系统中的技术进步还扩展了视频会议与移动设备联用的能力，由此实现了独立于位置的协作。不同于传统的视频远程呈现，移动协作利用了实现独立于位置的有效协作的无线、蜂窝和宽带技术。移动协作环境将视频、音频、和屏幕绘图能力的使用与使用移动设备相结合以实现实时、独立于位置的多方会议。
在远程呈现环境中，用户能使用触摸点、移动和姿势来物理地示出想法，想法可在其他UE上同步传达。本发明给出了用于根据UE显示器能力和带宽分配来在实时流送移动协作环境中按比例缩放和/或表示数据流的装置。
许多不同类型的UE存在有不同的显示器能力。UE的显示器能力可取决于屏幕尺寸、色彩分辨率、帧速率、显示器分辨率、色彩分辨率和纵横比而变化。另外，UE的显示器能力可取决于处理器速度、设备存储器、软件应用而变化。替换地，至每个UE的连接的带宽分配和性能水平可变化。因此，用于交换数据流的分配取决于每个UE的显示器能力而在不同的传送方UE和接收方UE当中变化。本发明的各实施例允许确定每个UE的显示器能力，以便防止用于每个UE的带宽分配欠利用或过度利用。本发明给出了用于确定每个UE的能力并相应地转变要传送的数据流的装置。
本发明给出了供服务器基于物理用户输入来转变显示数据流以在远程呈现环境中传送的装置。本发明还提供了用于确定目标UE的数据能力和到目标UE的连接性能、并用于相应地调节显示数据的传输的装置。
概述
在一实施例中，UE正在参与与(诸)目标UE共享视频流的通信会话。UE接收标识视频流的(诸)高优先级部分的用户输入。UE基于(诸)高优先级部分来生成第一视频馈送并且至少基于该视频流的(诸)其他部分来生成第二视频馈送。分别在第一和第二链路上与(诸)目标UE交换第一和第二视频馈送。在一示例中，携带第一视频馈送的第一链路可被分配QoS。(诸)目标UE组合第一和第二视频馈送以重构该视频流的版本，并且随后呈现该视频流的经重构版本。
附图简要说明
对本发明的各实施例及其许多伴随优点的更完整领会将因其在参考结合附图考虑的以下详细描述时变得更好理解而易于获得，附图仅出于解说目的被给出而不对本发明构成任何限定，并且其中：
图1是根据本发明的至少一个实施例的支持接入终端和接入网的无线网络架构的示图。
图2A解说了根据本发明一实施例的图1的核心网。
图2B解说了根据本发明另一实施例的图1的核心网。
图2C更详细地解说了图1的无线通信系统的示例。
图3是根据本发明的至少一个实施例的用户装备(UE)的解说。
图4解说了包括配置成接收和/或传送信息的逻辑的通信设备。
图5解说了根据本发明一实施例的在群通信期间交换表示物理用户输入的数据的过程。
图6解说了根据本发明一实施例的基于图5的过程的执行的通信流。
图7A解说了根据本发明一实施例的图5的过程的示例实现。
图7B解说了根据本发明一实施例的用户的用于在UE的显示屏上画圆的物理用户输入的原始表示以及目标UE处该物理用户输入的对应表示的示例。
图7C解说了根据本发明一实施例的图7A的更为详细的实现。
图8A解说了根据本发明一实施例的图7A的一部分的实现。
图8B解说了根据本发明一实施例的图8A的示例实现。
图9解说了基于所接收到的用户生成的物理输入在通信会话期间选择性地调节用于一个或多个目标UE的显示设置的过程。
图10解说了根据本发明一实施例的图9中描述的过程的示例实现。
图11涉及根据本发明的一实施例的用于向至少一个目标UE选择性地传送与正在给定UE上显示的视频流相关联的不同视频馈送的过程。
图12涉及根据本发明的一实施例的从分别经由第一和第二链路接收来自给定UE的第一和第二视频馈送的目标UE的角度而言的图11的过程的继续。
图13解说了根据本发明的一实施例的可如何在图11的过程期间标识视频流的高优先级部分集合的示例实现。
图14解说了根据本发明一实施例的可在图13的过程期间发生的对视频流部分的显式选择。
图15A解说了根据本发明一实施例的图12的过程的一部分的示例实现。
图15B解说了根据本发明一实施例的图12的过程的一部分的另一示例实现。
图16解说了根据本发明另一实施例的可如何在图11的过程期间标识视频流的高优先级部分集合的示例实现。
图17A解说了根据本发明一实施例的可触发图16的过程的一部分的用户输入的示例。
图17B解说了根据本发明一实施例的可触发图16的过程的一部分的用户输入的另一示例。
图18A-18D解说了根据本发明一实施例的图17A的过程结合图11和16的示例实现。
图19A解说了根据本发明一实施例的图12的一部分的示例实现。
图19B解说了根据本发明一实施例的图12的一部分的另一示例实现。根据本发明一实施例的图12的一部分。
详细描述
在以下针对本发明的具体实施例的描述和有关附图中公开了本发明的各方面。可以设计出替换实施例而不会脱离本发明的范围。另外，本发明中众所周知的元素将不被详细描述或将被省去以免湮没本发明的相关细节。
措辞“示例性”和/或“示例”在本文中用于意指“用作示例、实例或解说”。本文描述为“示例性”和/或“示例”的任何实施例不必被解释为优于或胜过其他实施例。同样，术语“本发明的各实施例”并不要求本发明的所有实施例都包括所讨论的特征、优点、或工作模式。
此外，许多实施例是根据将由例如计算设备的元件执行的动作序列来描述的。将认识到，本文描述的各种动作能由专用电路(例如，专用集成电路(ASIC))、由正被一个或多个处理器执行的程序指令、或由这两者的组合来执行。另外，本文描述的这些动作序列可被认为是完全体现在任何形式的计算机可读存储介质内，其内存储有一经执行就将使相关联的处理器执行本文所描述的功能性的相应计算机指令集。由此，本发明的各个方面可以用数种不同的形式来体现，所有这些形式都已被构想落在所要求保护的主题内容的范围内。另外，对于本文所描述的每个实施例，任何此类实施例的对应形式可在本文被描述为例如“被配置成执行所描述的动作的逻辑”(例如，在下文关于图4更详细地描述)。
在本文被称为用户装备(UE)的高数据率(HDR)订户站可以是移动的或驻定的，并且可与一个或多个可被称为B节点的接入点(AP)通信。UE通过这些B节点中的一个或多个B节点向无线电网络控制器(RNC)传送和从其接收数据分组。B节点和RNC是被称为无线电接入网(RAN)的网络的部分。无线电接入网可在多个接入终端之间传输语音和数据分组。
无线电接入网可进一步连接至该无线电接入网外部的附加网络并且可在每个UE与此类网络之间传输语音和数据分组，此类核心网络包括特定承运商相关的服务器和设备以及至其他网络(诸如企业内联网、因特网、公共交换电话网(PSTN)、服务通用分组无线电服务(GPRS)支持节点(SGSN)、网关GPRS支持节点(GGSN))的连通性。已与一个或多个B节点建立活跃话务信道连接的UE可被称为活跃UE，并且可被称为处于话务状态。处在与一个或多个B节点建立活跃话务信道(TCH)连接的过程中的UE可被称为处于连接建立状态。UE可以是通过无线信道或通过有线信道进行通信的任何数据设备。UE还可以是数种类型设备中的任何设备，包括但不限于PC卡、致密闪存设备、外置或内置调制解调器、或者无线或有线电话。UE藉以向(诸)B节点发送信号的通信链路被称为上行链路信道(例如，反向话务信道、控制信道、接入信道等)。(诸)B节点藉以向UE发送信号的通信链路被称为下行链路信道(例如，寻呼信道、控制信道、广播信道、前向话务信道等)。如本文所使用的，术语话务信道(TCH)可以指上行链路/反向或下行链路/前向话务信道。
图1解说了根据本发明至少一个实施例的无线通信系统100的一个示例性实施例的框图。系统100可包含跨空中接口104与接入网或无线电接入网(RAN)120进行通信的UE(诸如蜂窝电话102)，接入网或无线电接入网(RAN)120能将UE 102连接至提供分组交换数据网(例如，内联网、因特网、和/或核心网126)与UE 102、108、110、112之间的数据连通性的网络装备。如此处所示，UE可以是蜂窝电话102、个人数字助理108、在此处示为双向文本寻呼机的寻呼机110、或者甚至是具有无线通信口的分开的计算机平台112。因此，本发明的各实施例能在任何形式的包括无线通信口或具有无线通信能力的UE上实现，包括但不限于无线调制解调器、PCMCIA卡、个人计算机、电话、或者其任何组合或子组合。此外，如本文中所使用的，术语“UE”在其他通信协议(即，除W-CDMA以外的其他通信协议)中可被互换地称为“接入终端”、“AT”、“无线设备”、“客户端设备”、“移动终端”、“移动站”及其变型。
参照回到图1，无线通信系统100的组件以及本发明示例性实施例的元件的相互关系不限于所解说的配置。系统100仅仅是示例性的并且可包括允许远程UE(诸如无线客户端计算设备102、108、110、112)通过空中在彼此之间或当中通信和/或在经由空中接口104和RAN 120连接的组件(包括但不限于核心网126、因特网、PSTN、SGSN、GGSN和/或其他远程服务器)之间和当中通信的任何系统。
RAN 120控制向RNC 122发送的消息(通常是作为数据分组发送的消息)。RNC 122负责信令通知、建立、以及拆除服务通用分组无线电服务(GPRS)支持节点(SGSN)与UE 102/108/110/112之间的承载信道(即，数据信道)。如果启用了链路层加密，则RNC 122还在通过空中接口104转发内容之前对该内容进行加密。RNC 122的功能在本领域是公知的且出于简明起见将不作进一步讨论。核心网126可通过网络、因特网和/或公共交换电话网(PSTN)与RNC 122通信。替换地，RNC 122可直接连接到因特网或外部网络。通常，核心网126与RNC122之间的网络或因特网连接传递数据，而PSTN传递语音信息。RNC 122可连接到多个B节点124。以与核心网126相似的方式，RNC 122通常通过网络、因特网和/或PSTN连接到B节点124以用于数据传递和/或语音信息。B节点124可无线地向UE(诸如蜂窝电话102)广播数据消息。B节点124、RNC 122以及其他组件可如本领域已知的那样形成RAN 120。然而，替换配置也可被使用并且本发明不限于所解说的配置。例如，在另一实施例中，RNC 122以及一个或多个B节点124的功能性可被折叠到具有RNC 122和B节点124两者的功能性的单个“混合”模块中。
图2A解说了根据本发明的实施例的核心网126。具体而言，图2A解说了W-CDMA系统内实现的通用分组无线电服务(GPRS)核心网的组件。在图2A的实施例中，核心网126包括服务GPRS支持节点(SGSN)160、网关GPRS支持节点(GGSN)165和因特网175。然而应领会，在替换性实施例中，因特网175和/或其他组件的诸部分可位于核心网外部。
一般而言，GPRS是全球移动通信系统(GSM)电话用于传送网际协议(IP)分组的协议。GPRS核心网(例如，GGSN 165以及一个或多个SGSN 160)是GPRS系统的集中部分，并且还提供对基于W-CDMA的3G网络的支持。GPRS核心网是GSM核心网的集成部分，提供GSM和W-CDMA网络中的移动性管理、会话管理和IP分组服务传输。
GPRS隧穿协议(GTP)是GPRS核心网的定义IP协议。GTP是允许GSM或W-CDMA网络的终端用户(例如，UE)在各处移动，而同时继续如同从GGSN 165处的一个位置那样连接到因特网的协议。这是通过将订户的数据从该订户的当前SGSN 160传递到正在处置该订户的会话的GGSN 165来达成的。
GPRS核心网使用三种形式的GTP；即，(i)GTP-U、(ii)GTP-C以及(iii)GTP’(高级GTP)。GTP-U用于针对每种分组数据协议(PDP)的上下文在分开的隧道中传递用户数据。.GTP-C用于控制信令(例如，PDP上下文的建立和删除、GSN可达性的验证、诸如在订户从一个SGSN移至另一个SGSN时的更新或修改等)。GTP'用于从GSN向计费功能传递计费数据。
参照图2A，GGSN 165充当GPRS主干网(未示出)与因特网(即，外部分组数据网络)175之间的接口。GGSN 165从来自SGSN 160的GPRS分组提取具有相关联的分组数据协议(PDP)格式(例如，IP或PPP)的分组数据，并且在相应的分组数据网上将这些分组发送出去。在另一方向上，传入的数据分组被GGSN 165定向至SGSN 160，SGSN 160管理和控制由RAN120服务的目的地UE的无线电接入承载(RAB)。由此，GGSN 165在其位置寄存器中(例如，在PDP上下文内)存储目标UE的当前SGSN地址以及他/她的概况。GGSN负责IP地址指派并且是用于所连接UE的默认路由器。GGSN还执行认证和计费功能。
在一示例中，SGSN 160代表核心网126内的许多SGSN之一。每个SGSN负责从和向相关联的地理服务区域内的UE递送数据分组。SGSN 160的任务包括分组路由和传递、移动性管理(例如，附连/断开和位置管理)、逻辑链路管理、以及认证和计费功能。SGSN的位置寄存器例如在关于每个用户或UE的一个或多个PDP上下文内存储向SGSN 160注册的所有GPRS用户的位置信息(例如，当前蜂窝小区、当前VLR)和用户概况(例如，IMSI、在分组数据网中使用的(诸)PDP地址)。因此，SGSN负责(i)解除来自GGSN 165的下行链路GTP分组的隧穿，(ii)朝GGSN 165上行链路隧穿IP分组，(iii)当UE在SGSN服务区域之间移动时执行移动性管理，以及(iv)对移动订户记账。如本领域普通技术人员将领会的，除了(i)-(iv)以外，配置成用于GSM/EDGE网络的SGSN还具有与配置成用于W-CDMA网络的SGSN相比略微不同的功能性。
RAN 120(例如，或者在通用移动电信系统(UMTS)系统架构中为UTRAN)经由无线电接入网应用部分(RANAP)协议与SGSN 160通信。RANAP用传输协议(诸如帧中继或IP)在Iu接口(Iu-ps)上操作。SGSN 160经由Gn接口与GGSN 165通信，Gn接口是SGSN 160与其他SGSN(未示出)以及内部GGSN之间的基于IP的接口，并且使用以上定义的GTP协议(例如，GTP-U、GTP-C、GTP’等)。在图2A的实施例中，SGSN 160和GGSN 165之间的Gn承载GTP-C和GTP-U两者。尽管未在图2A中示出，但Gn接口也被域名系统(DNS)使用。GGSN 165经由Gi接口利用IP协议直接或通过无线应用协议(WAP)网关连接到公共数据网络(PDN)(未示出)且进而连接到因特网175。
图2B解说了根据本发明的另一实施例的核心网126。图2B类似于图2A，区别在于图2B解说了直接隧道功能性的实现。
直接隧道是Iu模式中允许SGSN 160在分组交换(PS)域内在RAN和GGSN之间建立直接用户面隧道、GTP-U的可任选功能。可在每GGSN和每RNC基础上配置具有直接隧道能力的SGSN(诸如图2B中的SGSN 160)，无论该SGSN能否使用直接用户面连接。图2B中的SGSN 160处置控制面信令并作出何时建立直接隧道的判决。当指派给PDP上下文的无线电承载(RAB)被释放(即，PDP上下文被保存)时，在GGSN 165和SGSN 160之间建立GTP-U隧道以便能够处置下行链路分组。
SGSN 160和GGSN 165之间的可任选的直接隧道通常在以下情形中不被允许(i)在漫游情形中(例如，因为SGSN需要知道GGSN处于相同还是不同PLMN中)，(ii)在SGSN已经从归属位置寄存器(HLR)收到订户简档中用于移动增强逻辑的定制应用(CAMEL)订阅信息的情况下和/或(iii)在GGSN 165不支持GTP协议版本1的情况下。关于CAMEL约束，如果建立直接隧道，则不可能有来自SGSN 160的话务量报告，因为SGSN 160不再具有用户面的可见性。因此，由于CAMEL服务器能在PDP上下文的寿命期间的任何时间调用话务量报告，故直接隧道的使用对于其简档包含CAMEL订阅信息的订户而言是禁止的。
SGSN 160能在分组移动性管理(PMM)-拆卸状态、PMM-空闲状态或PMM-连通状态中工作。在一示例中，图2B中示出的针对直接隧道功能的GTP-连接可被建立，由此SGSN 160处于PMM-连通状态并从UE接收Iu连接建立请求。SGSN 160确保新Iu连接和现有Iu连接用于同一UE，并且若是如此，则SGSN 160处理该新请求并释放现有Iu连接以及与之相关联的所有RAB。为了确保新Iu连接和现有Iu连接用于同一UE，SGSN 160可执行安全性功能。在Iu连接建立请求仅针对信令的情形中，如果建立了针对该UE的直接隧道，则SGSN 160向相关联的(诸)GGSN 165发送(诸)更新PDP上下文请求以在SGSN 160和(诸)GGSN 165之间建立GTP隧道。在Iu连接建立请求针对数据传递的情形中，SGSN 160可立即建立新的直接隧道并向相关联的(诸)GGSN 165发送(诸)更新PDP上下文请求并包括针对用户面的RNC地址、针对数据的下行链路隧道端点标识符(TEID)。
当UE已经收到具有理由“直接信令连接重新建立”的RRC连接释放消息时，即使路由区域自从上一次更新以来未曾改变，该UE也在进入PMM-空闲状态之际立即执行路由区域更新(RAU)规程。在一示例中，当RNC因缺少Iur连接而不能联系服务RNC以验证该UE时(例如，参见TS 25.331[52])，该RNC将发送具有理由“直接信令连接重新建立”的RRC连接释放消息。当UE具有要发送的待决用户数据时，UE在成功完成RAU规程以重新建立无线电接入承载之后执行后续的服务请求规程。
PDP上下文是在特定UE具有活跃GPRS会话时存在于SGSN 160和GGSN 165两者上的包含该UE的通信会话信息的数据结构。当UE希望发起GPRS通信会话时，该UE必须首先附连至SGSN 160并随后激活与GGSN 165的PDP上下文。此举在该订户当前正访问的SGSN 160以及服务该UE的接入点的GGSN 165中分配PDP上下文数据结构。
图2C更详细地解说了图1的无线通信系统100的示例。具体而言，参照图2C，UE 1…N被示为在由不同分组数据网端点服务的位置处连接至RAN 120。图2C的解说针对W-CDMA系统和术语，但是将领会图2C可如何被修改以适应1x EV-DO系统。相应地，UE 1和UE 3在由第一分组数据网端点162(例如，其可对应于SGSN、GGSN、PDSN、归属代理(HA)、区外代理(FA)等)服务的一部分处连接至RAN 120。第一分组数据网端点162进而经由路由单元188连接至因特网175和/或连接至以下一者或多者：认证、授权和记账(AAA)服务器182、置备服务器184、网际协议(IP)多媒体子系统(IMS)/会话发起协议(SIP)注册服务器186和/或应用服务器170。UE 2和5…N在由第二分组数据网端点164(例如，其可对应于SGSN、GGSN、PDSN、FA、HA等)服务的一部分处连接至RAN 120。类似于第一分组数据网端点162，第二分组数据网端点164进而经由路由单元188连接至因特网175和/或连接至以下一者或多者：AAA服务器182、置备服务器184、IMS/SIP注册服务器186和/或应用服务器170。UE 4直接连接至因特网175，并且通过因特网175可随后连接至以上描述的任何系统组件。
参照图2C，UE 1、3和5…N被解说为无线蜂窝电话，UE 2被解说为无线平板PC并且UE 4被解说为有线台式站。然而，在其他实施例中，将领会，无线通信系统100可连接至任何类型的UE，并且在图2C中解说的示例并非旨在限制该系统内可实现的UE的类型。同样，尽管AAA 182、配置服务器184、IMS/SIP注册服务器186和应用服务器170各自被解说为在结构上分开的服务器，但是在本发明的至少一个实施例中，这些服务器中的一者或多者可被合并。
进一步，参照图2C，应用服务器170被解说为包括多个媒体控制综合体(MCC)1…N170B、和多个区域分派器1…N 170A。区域分派器170A和MCC 170B共同地被包括在应用服务器170内，该应用服务器170在至少一个实施例中可对应于无线通信系统100内共同用于仲裁通信会话(例如，经由IP单播和/或IP多播协议的半双工群通信会话)的分布式服务器网络。例如，因为由应用服务器170仲裁的通信会话在理论上可发生在位于系统100内任何地方的UE之间，所以多个区域分派器170A和MCC是分布式的以缩减被仲裁的通信会话的等待时间(例如，以使得北美的MCC不在位于中国的会话参与者之间来回中继媒体)。因此，当参考应用服务器170时，将领会，相关联的功能性可由一个或多个区域分派器170A和/或一个或多个MCC 170B来施行。区域分派器170A通常负责与建立通信会话有关的任何功能性(例如，处置UE之间的信令消息，调度和/或发送宣告消息等)，而MCC 170B负责在该呼叫实例持续期间主存该通信会话，包括在被仲裁的通信会话期间进行呼叫中信令传递和实际媒体交换。
参照图3，诸如蜂窝电话之类的UE 200(这里为无线设备)具有平台202，该平台202能接收并执行传送自RAN 120的可能最终是来自核心网126、因特网、和/或其他远程服务器及网络的软件应用、数据和/或命令。平台202可包括收发机206，收发机206可操作地耦合至专用集成电路(“ASIC”208)或其他处理器、微处理器、逻辑电路、或其他数据处理设备。ASIC208或其他处理器执行与无线设备的存储器212中的任何驻留程序对接的应用编程接口(“API”)210层。存储器212可包括只读或随机存取存储器(RAM和ROM)、EEPROM、闪存卡、或计算机平台常用的任何存储器。平台202还可包括能将未活跃地使用的应用保存在存储器212中的本地数据库214。本地数据库214通常为闪存单元，但也可以是如本领域已知的任何辅助存储设备(诸如磁介质、EEPROM、光学介质、带、软盘或硬盘、或诸如此类)。内部平台202组件也可以能操作地耦合至外部设备(诸如天线222、显示器224、即按即讲按钮228和按键板226以及其他组件)，如本领域中已知的。
相应地，本发明的实施例可包括有能力执行本文描述的功能的UE。如本领域技术人员将领会的，各种逻辑元件可实施在分立元件、处理器上执行的软件模块、或软件与硬件的任何组合中以实现本文公开的功能性。例如，ASIC208、存储器212、API 210和本地数据库214可以全部协作地用来加载、存储和执行本文公开的各种功能，且用于执行这些功能的逻辑因此可分布在各种元件上。替换地，该功能性可被纳入到一个分立的组件中。因此，图3中的UE 200的特征将仅被视为解说性的，且本发明不被限定于所解说的特征或安排。
UE 102或UE 200与RAN 120之间的无线通信可以基于不同的技术，诸如码分多址(CDMA)、W-CDMA、时分多址(TDMA)、频分多址(FDMA)、正交频分复用(OFDM)、全球移动通信系统(GSM)、或可在无线通信网络或数据通信网络中使用的其他协议。例如，在W-CDMA中，数据通信通常发生在客户端设备102、(诸)B节点124和RNC 122之间。RNC 122可连接到多个数据网，诸如核心网126、PSTN、因特网、虚拟专用网络、SGSN、GGSN等，由此允许UE 102或200接入更广的通信网络。如上文所讨论的以及本领域中已知的，可以使用各种网络和配置来将语音传输和/或数据从RAN传送到UE。相应地，本文提供的解说并非意图限定本发明的各实施例，而仅仅是帮助描述本发明的各实施例的各方面。
图4解说了包括配置成执行功能性的逻辑的通信设备400。通信设备400可对应于上述通信设备中的任一者，包括但不限于UE 102、108、110、112或200，B节点或基站120，RNC或基站控制器122，分组数据网端点(例如，SGSN 160、GGSN 165、长期演进(LTE)中的移动性管理实体(MME)等)，服务器170到186中的任一者等。因此，通信设备400可对应于被配置成通过网络与一个或多个其它实体通信(或促成与一个或多个其它实体的通信)的任何电子设备。
参照图4，通信设备400包括被配置成接收和/或传送信息的逻辑405。在一示例中，如果通信设备400对应于无线通信设备(例如，UE 200、B节点124等)，则配置成接收和/或传送信息的逻辑405可包括无线通信接口(例如，蓝牙、WiFi、2G、3G等)，诸如无线收发机和相关联的硬件(例如，RF天线、调制解调器、调制器和/或解调器等)。在另一示例中，被配置成接收和/或传送信息的逻辑405可对应于有线通信接口(例如，串行连接、USB或火线连接、可藉以接入因特网175的以太网连接等)。因此，如果通信设备400对应于某种类型的基于网络的服务器(例如，SGSN 160、GGSN 165、应用服务器170等)，则配置成接收和/或传送信息的逻辑405在一示例中可对应于以太网卡，该以太网卡经由以太网协议将基于网络的服务器连接至其它通信实体。在进一步示例中，被配置成接收和/或传送信息的逻辑405可包括传感或测量硬件(例如，加速计、温度传感器、光传感器、用于监视本地RF信号的天线等)，通信设备400可藉由该传感或测量硬件来监视其本地环境。被配置成接收和/或传送信息的逻辑405还可包括在被执行时允许被配置成接收和/或传送信息的逻辑405的相关联硬件执行其(诸)接收和/或传送功能的软件。然而，被配置成接收和/或传送信息的逻辑405不单单对应于软件，并且被配置成接收和/或传送信息的逻辑405至少部分地依赖于硬件来实现其功能性。
参照图4，通信设备400进一步包括被配置成处理信息的逻辑410。在一示例中，被配置成处理信息的逻辑410可至少包括处理器。可由被配置成处理信息的逻辑410执行的处理类型的示例实现包括但不限于执行确定、建立连接、在不同信息选项之间作出选择、执行与数据有关的评估、与耦合到通信设备400的传感器交互以执行测量操作、将信息从一种格式转换成另一种格式(例如，在不同协议之间转换，诸如，.wmv到.avi等)，等等。例如，包括在配置成处理信息的逻辑410中的处理器可对应于被设计成执行本文所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其它此类配置。被配置成处理信息的逻辑410还可包括在被执行时允许被配置成处理信息的逻辑410的相关联硬件执行其(诸)处理功能的软件。然而，被配置成处理信息的逻辑410不单单对应于软件，并且被配置成处理信息的逻辑410至少部分地依赖于硬件来实现其功能性。
参照图4，通信设备400进一步包括被配置成存储信息的逻辑415。在一示例中，被配置成存储信息的逻辑415可至少包括非瞬态存储器和相关联的硬件(例如，存储器控制器等)。例如，包括在配置成存储信息的逻辑415中的非瞬态存储器可对应于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或者本领域中所知的任何其他形式的存储介质。被配置成存储信息的逻辑415还可包括在被执行时允许被配置成存储信息的逻辑415的相关联硬件执行其(诸)存储功能的软件。然而，被配置成存储信息的逻辑415不单单对应于软件，并且被配置成存储信息的逻辑415至少部分地依赖于硬件来实现其功能性。
参照图4，通信设备400进一步可任选地包括被配置成呈现信息的逻辑420。在一示例中，配置成显示信息的逻辑420可至少包括输出设备和相关联的硬件。例如，输出设备可包括视频输出设备(例如，显示屏、能承载视频信息的端口，诸如USB、HDMI等)、音频输出设备(例如，扬声器、能承载音频信息的端口，诸如话筒插孔、USB、HDMI等)、振动设备和/或信息可藉此被格式化以供输出或实际上由通信设备400的用户或操作者输出的任何其它设备。例如，如果通信设备400对应于如图3中示出的UE 200，则配置成呈现信息的逻辑420可包括显示器224。在进一步示例中，对于某些通信设备(诸如不具有本地用户的网络通信设备(例如，网络交换机或路由器、远程服务器等))而言，被配置成呈现信息的逻辑420可被省略。被配置成呈现信息的逻辑420还可包括在被执行时允许被配置成呈现信息的逻辑420的相关联硬件执行其(诸)呈现功能的软件。然而，被配置成呈现信息的逻辑420不单单对应于软件，并且被配置成呈现信息的逻辑420至少部分地依赖于硬件来实现其功能性。
参照图4，通信设备400进一步可任选地包括被配置成接收本地用户输入的逻辑425。在一示例中，被配置成接收本地用户输入的逻辑425可至少包括用户输入设备和相关联的硬件。例如，用户输入设备可包括按钮、触摸屏显示器、键盘、相机、音频输入设备(例如，话筒或可承载音频信息的端口，诸如话筒插孔等)、和/或可用来从通信设备400的用户或操作者接收信息的任何其它设备。例如，如果通信设备400对应于如图3中示出的UE 200，则配置成接收本地用户输入的逻辑425可包括显示器224(若实现为触摸屏)、按键板226等。在进一步示例中，对于某些通信设备(诸如不具有本地用户的网络通信设备(例如，网络交换机或路由器、远程服务器等))而言，被配置成接收本地用户输入的逻辑425可被省略。被配置成接收本地用户输入的逻辑425还可包括在被执行时允许被配置成接收本地用户输入的逻辑425的相关联硬件执行其(诸)输入接收功能的软件。然而，被配置成接收本地用户输入的逻辑425不单单对应于软件，并且被配置成接收本地用户输入的逻辑425至少部分地依赖于硬件来实现其功能性。
参照图4，尽管所配置的逻辑405到425在图4中被示出为分开或相异的块，但将领会，相应所配置的逻辑藉以执行其功能性的硬件和/或软件可部分交叠。例如，用于促成所配置的逻辑405到425的功能性的任何软件可被存储在与被配置成存储信息的逻辑415相关联的非瞬态存储器中，以使得所配置的逻辑405到425各自部分地基于由被配置成存储信息的逻辑405所存储的软件的操作来执行其功能性(即，在该情形中为软件执行)。同样地，直接与所配置的逻辑之一相关联的硬件可不时地被其它所配置的逻辑借用或使用。例如，被配置成处理信息的逻辑410的处理器可在数据由被配置成接收和/或传送信息的逻辑405传送之前将此数据格式化成恰适的格式，以使得被配置成接收和/或传送信息的逻辑405部分地基于与被配置成处理信息的逻辑410相关联的硬件(即，处理器)的操作来执行其功能性(即，在该情形中为数据传输)。此外，被配置的逻辑或“配置成…的逻辑”405到425并不限于具体的逻辑门或元件，而是一般地指代执行本文描述的功能性的能力(经由硬件、或硬件和软件的组合)。因此，尽管共享措词“逻辑”，但被配置的逻辑或“配置成…的逻辑”405到425不必被实现为逻辑门或逻辑元件。从以下详细描述的各实施例的概览中，被配置的逻辑405到425之间的其它交互或协作将对本领域普通技术人员而言变得清楚。
通常，媒体(例如，音频、视频、文本等)在服务器仲裁的群通信会话期间被UE呈现。例如，在半双工视频通信会话期间，视频媒体可从发言权持有者传送给应用服务器170，并且应用服务器170可随后将该视频媒体再传给群以供在目标UE处呈现。
与群通信会话期间的媒体呈现相结合，参与会话的一个或多个UE可从它们各自的用户处接收物理用户输入并随后向群的其余部分传送指示收到的物理用户输入的控制信息。例如，该物理用户输入可对应于远程图解(例如屏幕绘图)形式，藉此给定UE的用户圈出相关联显示器的一部分，表示用户圈出的圆的图形被添加到显示器并随后被传送给群的其余部分，其中该圆被重新构建。在此示例中，给定用户通过该圆来突出显示他/她的显示器上的兴趣点的尝试被散布给群的其余部分并在相应目标UE处覆盖在视频媒体的渲染的顶部。
然而，具有不同呈现能力和/或连接性能水平的UE可参与同一服务器仲裁的通信会话。例如，连接至3G网络的UE可以是与连接至4G或WLAN的UE相同的通信会话的一部分。在另一示例中，具有高分辨率显示器的UE可以是与具有低分辨率显示器的UE相同的通信会话的一部分。相应地，本发明的实施例针对藉以根据与(诸)目标UE相关联的能力和/或性能水平而在参与群通信会话的各UE之间共享物理用户输入的视觉表示的实现。
图5解说了根据本发明一实施例的在群通信期间交换表示物理用户输入的数据的过程。参照图5，假定UE 1…N(例如，其中N≥2)正参与通信会话，该通信会话涉及在UE 1…N中的每一个UE处的显示器上的图形媒体表示。在一示例中，该通信会话可对应于视频会议会话，藉此相同视频和/或图像媒体在UE 1…N中的每一个UE处显示(例如，协作地图会话等)。替换地，不同视频和/或图像媒体可在UE 1…N中的两个或更多个UE处呈现(例如，UE 1可观看UE 2的视频媒体，UE 2可观看UE 1的视频媒体，等等)。在一示例中，视频和/或图像媒体不需要通过应用服务器170来活跃地调停，但也可在UE 1…N处独立地渲染。例如，音频媒体可通过应用服务器170来调停(例如，半双工或全双工)，但视频和/或图像媒体可在UE1…N处单独地加载。例如，UE 1…N可在讨论他们的旅行计划时各自独立地渲染纽约的地图，从而地图数据不需要在通信会话期间在各UE之间活跃地交换。
参照图5，在通信会话期间，应用服务器170接收来自给定UE(“UE1”)的被配置成在该给定UE处视觉地表示物理用户输入的数据，500。被配置成由在500接收到的数据来视觉表示的物理用户输入可包括UE 1的用户用他/她的手指在该给定UE上圈出显示器的相关部分、用户在该给定UE上突出显示显示器的一部分，等等。在500接收到的表示物理用户输入的数据可按照许多不同格式或精度水平来接收。例如，在500接收到的数据可对应于与物理用户输入相关联的一组屏幕坐标(例如，这些坐标在被连接时一起形成圆、波纹，等等)。
参照图5，应用服务器170随后确定至少一个目标UE(例如，UE 2…N中的一个或多个UE)的数据呈现能力和/或从应用服务器170到该至少一个目标UE的连接性能水平，505。在一示例中，该至少一个目标UE的所确定呈现能力可包括该至少一个目标UE的显示器能力，诸如但不限于显示器尺寸、色彩分辨率、帧速率、显示器分辨率、纵横比，等等。在另一示例中，该至少一个目标UE的所确定数据呈现能力可取决于该至少一个目标UE的性能能力，诸如但不限于处理器速度、存储器容量、存储器类型、时钟频率、电池寿命和功率节省要求。
此外，如以上关于图5的505所提及的，应用服务器170还可确定与应用服务器170到该至少一个目标UE的连接相关联的连接性能水平。例如，到该至少一个目标UE的性能水平可以基于分组损耗、往返延迟或其他通话中参数来推断。在另一示例中，到目标UE的性能水平可以基于与该至少一个目标UE的服务网络相关的信息。例如，应用服务器170可以一般性地确定4G连接的UE与3G连接的UE相比有较高的性能能力。在另一示例中，应用服务器170可知晓因网络而异的性能期望(例如，来自在相同网络或相同类型的网络上服务UE的先前交互，等等)。
参照图5，应用服务器170基于所确定的关于目标UE的数据呈现能力和/或连接性能水平来选择性地将所接收到的数据从第一精度水平(例如，如在500从给定UE接收到的高质量或全质量格式)转变成第二精度水平(例如，降低的质量格式)，510。例如，如果从500接收到的物理用户输入的数据表示对应于一组1000个屏幕坐标，则510的转变可基于至少一个目标UE的所确定呈现能力和/或连接性能水平来将屏幕坐标的数目降低到适于递送和/或在该至少一个目标UE处呈现的数目(例如，700个屏幕坐标，关于预定义形状的中心点和尺寸的坐标，对应于预定义多边形的顶点以及相关联的中心点的屏幕坐标，等等)。在另一示例中，应用服务器170可基于人对针对转变或降低的每个方面的敏感度的期望水平来对510处接收到的数据的转变进行优先级排序以改善用户体验(例如，降低分辨率、但不降低帧速率等)。在另一示例中，假定从500接收到的表示物理用户输入的数据包括复杂形式、阴影和色彩编码。在此情形中，510处将此数据转变成第二精度水平可包括简化复杂形式、降低或消除阴影和/或减小相关联色彩的数目。
仍参照图5的510，在另一示例中，如果在505关于特定目标UE确定的连接性能水平很低，则在510转变的数据可按比例缩小到缩略图尺寸并且随后一旦被特定目标UE接收被“伸展”以供呈现以便于填满其显示器屏幕。在另一示例中，在510，500的所接收数据的形状可被重构以减小图像尺寸。在另一示例中，在510，500处从给定UE接收到的数据可包含表示用户在地图上的选择的图像数据，并且所接收到的数据可从图像数据转换成一组GPS位置和/或地图的笛卡尔坐标，从而该图像数据可在至少一个目标UE的显示器处重构。如以下将更详细讨论的，在应用服务器170处，在510转变所接收到的数据的方式可以对于每个目标UE都相同，或者替换地可基于来自505的因UE而异的确定而在各目标UE之间变化。
参照图5，在从给定UE接收到的表示物理用户输入的数据在510转变成第二精度水平之后，应用服务器170将经选择性转变的数据传送给至少一个目标UE以供在其上呈现，515。
图6解说了根据本发明一实施例的基于图5的过程的执行的通信流。参照图6，UE 1和UE 2正参与涉及某一类型的媒体协作图形显示的通信会话。在通信会话期间，UE 1的用户提供物理用户输入，该物理用户输入产生形状600中所示的波纹、复杂形状。例如，UE 1的用户可在UE 1的触摸显示器附近挥动他/她的手指，然后UE 1的传感器记录手指挥动以便显示为形状600。该形状600可被称为物理用户输入的原始或全质量(或高精度)表示(例如，至少相对于该物理用户输入的初始记录或捕捉)。在一示例中，物理用户输入的原始表示可包括对多个坐标和/或顶点的编码，这多个坐标和/或顶点在UE 1的显示器上渲染时共同定义形状。表示形状600的数据被UE 1传送给应用服务器170，605。
虽然未在图6中明确示出，但假定应用服务器170接收来自UE 1的表示数据并执行图5的过程。因此，图6的610示出表示形状600的经选择性转变数据的传输，虽然以降低或简化的精度水平。目标UE(例如，UE 2)接收该经选择性转变数据并呈现修改的形状615。该修改的形状615仍表示(或忠实于)UE 1处的初始物理用户输入，但修改的形状与在UE 1处捕捉并随后呈现的物理用户输入的全质量表示相比稍微简单和/或被简并。对表示物理用户输入的数据的该简并和/或简化可因以上关于图5提及的数种原因而发生，诸如应用服务器170与UE 2之间的低带宽连接、与UE 2相关联的显示器约束，等等。
图7A解说了根据本发明一实施例的图5的过程的示例实现。
参照图7A，在700A，UE 1在与UE 2…N的群通信会话期间接收物理用户输入。下一步，在705A，用户以第一精度水平呈现该物理用户输入的原始表示。例如，参照图7B，700B是在正显示纽约地图的UE 1的显示屏上画圆的用户的物理用户输入的原始表示的示例。如图7B的700B中所示，该圆包括许多细节并且相当复杂，这是因为用户的移动不完美或者故意为非线性的。物理用户输入的原始表示的呈现的另一示例是以上关于图6讨论的形状600。
参照图6，UE 1向应用服务器170发送来自700A的表示物理用户输入的数据，710A。710A处的数据的传送对应于图6的605和/或图5的500。应用服务器170接收来自UE 1的表示物理用户输入的数据，然后715A、720A和725A分别对应于图5的505、510和515。
在730A，一旦第二精度水平的数据被目标UE(例如，UE 2…N)接收到，该目标UE就呈现物理用户输入的经选择性转变表示。例如，参照图7B，目标UE 2…N处的物理用户输入的表示可对应于705B、710B或715B中的任何一个。在705B，取代700B的原始表示的复杂性，相对简单的圆被示出。例如，应用服务器170可将来自UE 1的视觉地表示物理用户输入的原始数据转变成定义705B处示出的圆的半径、厚度、色彩和/或中心点的数据格式。705B可以是在相对较低性能的目标UE或具有较差连接的目标UE处呈现的表示。另一方面，710B的呈现与700B相同(即，无转变)。在此情形中，710B可以是在相对较高性能的目标UE或具有良好连接的目标UE处呈现的表示，这是因为来自UE 1的原始表示并未经历质量(或精度)降低。在715B中，取代700B的原始表示的复杂性，相对简单的八边形被示出。例如，应用服务器170可将来自UE 1的表示物理用户输入的原始数据转变成定义715B处示出的八边形的顶点和/或中心点的数据格式(或精度水平)。715B可以是在相对较低性能的目标UE或具有较差连接的目标UE处呈现的另一表示的示例。
图7C解说了根据本发明一实施例的图7A的更为详细的实现。在图7C中，700C到715C和730C到740C分别对应于图7A的700A到730A，并因而为了简明起见将不再讨论。
图7C与图7A的不同之处在于包括720C和725C。参照图7C，在715C处确定目标UE的数据呈现能力和/或到目标UE的连接的性能水平之后，在720C，应用服务器170基于所确定数据呈现能力和/或连接的性能水平来确定目标UE当中的一组低性能UE。低性能UE可包括但不限于具有较低显示器性能规格(例如，不能处置高分辨率视频流)的UE、或具有较低吞吐量带宽连接(例如，与应用服务器170的1x连接)的UE。相应地，在725C处，应用服务器170可调节群会话中这一组低性能节点的参与水平。调节参与水平的示例包括但不限于：使这组低性能UE相对于通信会话的交互从全双工降低到半双工；降低传送给这组低性能UE的帧速率；降低从应用服务器170向这组低性能节点传送的图像媒体的图像分辨率；和/或降低从应用服务器170向这组低性能UE传送的音频媒体的音频速率。
图8A解说了根据本发明一实施例的图7A的720A的过程的实现。在图7A中，描述了UE 2…N，由此N可等于2或者替换地N可大于2。然而，图8A假定N大于2，由此应用服务器170负责为多个目标UE重新格式化表示UE 1的物理用户输入的数据。更具体地，图8A解说了其中应用服务器170为不同组目标UE基于每一组相应的所确定数据呈现能力和/或连接水平来选择性地将所接收到的数据转变成不同格式(或不同精度水平)的示例。
参照图8A，假定图7A的715A的确定导致应用服务器170将这多个目标UE归类成包括具有较低呈现能力和/或连接性能的目标UE的第一群、包括具有中等呈现能力和/或连接性能的目标UE的第二群、以及包括具有较高呈现能力(例如，顶级智能电话)和/或连接性能(例如，3G、4G、Wi-Fi连接)的目标UE的第三群。
在这些假定下，参照图8A和8B，图7A的720A的选择性转变可包括对于第一群而言所接收到的数据从第一精度水平(即，所接收到的精度水平，诸如图6的形状600或图7B或图8B的700B)到第二精度水平的第一转变(例如，如图7B和/或图8B的705B中所示)，800A；图7A的720A的选择性转变可包括对于第二群而言所接收到的数据从第一精度水平到第三精度水平的第二转变(例如，如图7B和/或图8B的715B中所示)，810A；以及图7A的720A的选择性转变可包括对于第三群而言对所接收到的数据没有转变(例如，如图7B和/或图8B的710B中所示)，820A。
虽然关于图5到8B的上述实施例针对在通信会话中的各UE之间共享表示物理用户输入的数据，但图9针对在给定UE处使用物理用户输入以控制参与通信会话的一个或多个其他UE处的设备显示设置。如将从以下关于图9和图10的描述领会的，以上关于图5到图8B描述的任何过程可与图9和/或图10的过程并行执行。替换地，图9和10可以独立方式执行，从而以下被描述为触发(诸)目标UE处的显示调节的物理用户输入不需要与以上关于图5到图8B描述的物理用户输入相关联。
图9解说了基于所接收到的用户生成的物理输入在通信会话期间选择性地调节用于一个或多个目标UE的显示设置的过程。具体而言，图9解说了一示例，藉此第一UE处的物理用户输入(例如，用户旋转UE 1)被报告给正在为UE 1…N仲裁通信会话的应用服务器170，并且应用服务器170选择性地控制或调节目标UE 2…N的显示设置(例如，诸如UE 2的显示设置通过旋转显示方向来被调节)。
参照图9，UE 1…N和应用服务器170在群通信会话期间在各UE 1…N之间交换媒体，900。在群通信会话期间，UE 1接收到被识别为调节目标UE 2…N中的一个或多个UE处的显示设置的提示的物理用户输入(例如，电话的旋转)，905。例如，UE 1可被提供一组预定义用户姿势(或物理用户输入)，其各自与要在和UE 1进行通信的各UE处实现的对应的显示设置调节相关联。例如，UE 1可检测到用户临时地对UE 1重新调整方向(例如从纵向模式到横向模式)。此检测可基于耦合至UE 1的传感器(诸如加速计、陀螺仪等)而发生。UE 1在910将所检测到的物理用户输入报告给应用服务器170以请求应用服务器170改变目标UE 2…N处的显示设置。表1(以下)列出了一组示例预定义的物理用户输入，这些物理用户输入在UE 1处被检测到时与针对目标UE 2…N中的一个或多个UE的显示设置调节相关联：
表1
响应于910的请求，应用服务器170选择性地调节目标UE(例如，UE 2…N)的显示设置，915。在一示例中，对显示设置的选择性调节可在正被应用服务器170调停的媒体流内实现，或者替换地可基于来自应用服务器170的控制信令间接地在目标UE 2…N处实现。例如，如果905处检测到的物理用户输入与针对UE 2…N的方向改变相关联，则该方向改变可以是服务器实现的，从而应用服务器170本身将图形媒体重新映射到目标方向。替换地，方向改变可以是UE实现的，藉此应用服务器170向UE 2…N发送方向调节命令，然后UE 2…N将在其端将未改变的传入媒体流重新调整方向成目标方向。不论显示设置调节是服务器实现还是UE实现的，在920，基于来自905的物理用户输入来调节目标UE 2…N处的显示设置。
图10解说了根据本发明一实施例的图9中描述的过程的示例实现。具体而言，图10解说了在图9的过程的示例实现期间传送方UE 1和目标UE 2处的示例屏幕截图。
参照图10，1000和1010分别解说了分别在图9的900和905期间UE 1和UE2处的群通信会话的状态。相应地，如1000和1005中所示，UE 1和UE 2各自由其相应的用户以直立位置(或即垂直方向)握持，并且UE 1和UE 2正显示垂直方向的笑脸图形。下一步，在通信会话期间，UE 1的用户将UE 1转动90度，从而UE 1获得水平方向，1010。用户转动UE对应于图9的905处UE 1检测到的物理用户输入。在一示例中，UE 1的转动可以是UE 1的用户对UE 1故意作出的翻转以改变UE 2处的方向。替换地，UE 1的转动可以仅作为UE 1的用户在他/她自己的电话上优选不同方向的结果而发生。如状态1010中所示，凭借UE 1的90度转动，笑脸偏移90度。然而，在另一示例中，UE 1可包括用于调节笑脸以使得即使UE 1本身是水平方向，该笑脸对UE 1的用户仍按照垂直方向显现的逻辑。
在910，UE 1报告UE 1的方向改变以提示应用服务器170调节正在UE 2处显示的图形的方向。相应地，在915，应用服务器170调节UE 2处的方向。在一示例中，在915，应用服务器170可将被流送给UE 2的图形媒体修改90度以实现针对UE 2的方向调节。在替换示例中，在915，应用服务器170可向UE 2发送未经修改的图形媒体(如有必要)并且可仅向UE 2发送控制命令以指示UE 2将其关于图形媒体的方向偏移90度(顺时针)。
在920处的调节之后，UE 2的状态在1015中示出。因此，在状态1015中，UE 2是垂直方向并且笑脸关于水平方向被转变了90度(顺时针)。虽然未在图10中明确示出，但方向转变可发生以鼓励UE 2的用户以横向模式而非纵向模式参与通信会话。因此，虽然状态1015以垂直方向示出UE 2，但UE 2的用户或许有可能更改UE 2的方向以符合笑脸方向。
虽然未在图9和/或图10中解说，但有可能某些目标UE可能会缺乏实现由UE 1的用户经由他/她的物理用户输入请求的显示设置调节的能力。例如，一些目标UE可能不能够调节他们的显示设置(例如，旋转显示器方向)，因此应用服务器170将不为这些目标UE调节显示设置。
虽然上述实施例涉及为在群通信会话期间交换的物理用户输入的表示选择性地修改精度水平(例如，参见图5-8B)，或者选择性地调整(诸)目标UE的显示设置(例如，参见图9-10)，但是以下关于图11-19B描述的实施例涉及基于用户输入来标识视频流的(诸)高优先级部分以及经由不同链路来将视频流的所标识出的(诸)高优先级部分与(诸)较低优先级部分分开地向(诸)目标UE传送。
图11涉及根据本发明一实施例的选择性地向至少一个目标UE(“UE 2…N”)传送与正在给定UE(“UE 1”)上显示的视频流相关联的不同视频馈送的过程。参照图11，类似于图5，假定UE 1…N(例如，其中N≥2)正参与通信会话，该通信会话涉及经由UE 1…N中的每一个UE处的相应显示屏在显示器上的图形媒体表示。在一示例中，该通信会话可对应于视频会议会话，藉此相同视频(和/或图像媒体)在UE 1…N中的每一个UE处显示(例如，协作地图会话等)。替换地，不同视频和/或图像媒体可在UE 1…N中的两个或更多个UE处呈现(例如，UE 1可观看UE 2的视频媒体，UE 2可观看UE 1的视频媒体，等等)。替换地，相同视频和/或图像媒体的不同版本可在UE 1…N中的两个或更多个UE处呈现(例如，UE 1和2可各自共享它们相应的相机馈送，从而UE 1的相机馈送被递送并且在UE 2的显示屏上呈现，而UE 2的相机馈送被递送并且在UE 1的显示屏上呈现，其中UE 1和2的相应显示屏还呈现它们自己的相机馈送的缩小版本，等等)。在一示例中，视频和/或图像媒体不需要通过应用服务器170来活跃地调停，但也可在UE 1…N处被独立地渲染。例如，音频媒体可通过应用服务器170来调停(例如，半双工或全双工)，但视频和/或图像媒体可在UE 1…N处单独地加载。例如，UE 1…N可在讨论他们的旅行计划时各自独立地渲染纽约的地图，从而地图数据不需要在通信会话期间在各UE之间活跃地交换。在进一步示例中，UE 1…N之间的通信会话可至少部分地经由对等(PTP)协议来进行，其中UE 1…N中的两个或更多个UE经由PTP连接来连接。
参照图11，在UE 1…N之间的通信会话期间，UE 1接收用户输入，该用户输入标识与该通信会话相关联的正在UE 1上显示并且正与UE 2…N共享的视频流的高优先级部分集合，1100。在1100处接收的用户输入可对应于明确指示该视频流的某些部分具有高优先级的物理用户输入(例如，UE 1的用户经由触摸屏接口来用他/她的手指圈出视频流的诸部分，参见以下更详细地描述的图13-15B)，或者在1100处接收的用户输入可对应于隐式地指示该视频流的某些部分具有高优先级的用户输入(例如，一个或多个对象被标识为是UE 1的用户感兴趣的，诸如通过UE 1的用户先前放大了这些对象，其中这些对象随后被检测为在该视频流的某些部分中，而这些部分凭借包含这些对象获得了高优先级状态，参见以下更详细地描述的图16-19B)。
参照图11，UE 1任选地基于并非基于用户输入(明确或暗示)的一个或多个副因素来将该视频流的一个或多个附加部分添加至在1100处标识的高优先级部分集合，1105。例如，视频流的某些部分可基于经由相关联的运动向量而具有高运动程度而被标识为高优先级，等等。
UE 1基于在1100处标识的视频流的高优先级部分集合来生成第一视频馈送，1110，并且UE 1还生成视频流的第二视频馈送，1115。在一示例中，第一视频馈送可仅包括视频流的高优先级部分集合，而第二视频馈送包括整个视频流，以使得第一视频馈送凭借包括该视频流的较少部分而具有比第二视频馈送更低的分辨率。替换地，第一视频馈送也可包括整个视频流并且因此具有与第二视频馈送相同的分辨率，区别在于与第一视频馈送中的高优先级部分集合分开的诸部分被“黑屏掉”，这减小了第一视频馈送相对于第二视频馈送的大小。
UE 1在第一链路上向UE 2…N传送第一视频馈送，1120，并且UE 1还在相对于第一链路具有较低可靠性的第二链路上向UE 2…N传送第二视频馈送，1125。在一示例中，第一链路可被分配QoS(例如，阈值水平的保障比特率(GBR))而第二链路不被分配QoS。在一替换示例中，第一和第二链路两者均可被分配QoS，其中第一链路相对于第二链路而言具有更多QoS(例如，更高GBR)。在任一情形中，第一链路一般而言预期比第二链路更可靠，这是(包含视频流的高优先级部分集合的)第一视频馈送被分配给第一链路的原因。
图12涉及根据本发明一实施例的从分别经由第一和第二链路来从UE 1接收第一和第二视频馈送的目标UE(例如，UE 2…N之一)的角度而言的图11的过程的继续。
参照图12，目标UE在第一链路上从UE 1接收如在图11的1120处传送的第一视频馈送，1200。目标UE还在第二链路上从UE 1接收如在图11的1125处传送的第二视频馈送，1205。目标UE组合第一和第二视频馈送以重构该视频流的版本，1210，并且随后经由显示器向目标UE的用户呈现该视频流的经重构版本，1215。如将领会的，第一链路一般而言预期比第二链路更可靠，因此视频流的经重构版本预期在描绘包含在第一视频馈送中的高优先级部分集合方面相当准确，而伪像可能在与高优先级部分集合分开的、仅经由第二链路上的第二视频馈送传达给目标UE的其他部分中出现。以下提供关于如何组合第一和第二视频馈送的更多细节。
图13解说了根据本发明一实施例的可如何在图11的1100处标识视频流的高优先级部分集合的示例实现。参照图13，UE 1接收指示对正在UE 1上显示的视频流的高优先级部分集合的显式选择的物理用户输入，1300。如将领会的，图13的1300构成了图11的1100的示例实现。在1300之后，该过程前进至图11的1105，其中更多高优先级部分被可任选地添加至高优先级部分集合。
参照图13，图14中示出了可进行1300的显式选择的一种方式。在图14中，示出了描绘纽约的地图的显示屏1400，藉此显示屏1400包括由UE 1的用户画出的第一圆1405和第二圆1410。在此情形中，圆1405-1410构成了在图13的1300处接收到来自用户的的显式选择。在图14的实施例中，假定UE 1的显示屏被划分成如1420处所示的九(9)个区段，其中第一圆1405对应于区段#1并且第二圆1410对应于区段#9。显示屏1420经由阴影来将区段#1和#9描绘为高优先级部分，其中区段#3基于图11的可任选的1105(例如，指示区段#3也应当为高优先级的一个或多个副因素)也被加阴影为高优先级区段。
参照图14，基于区段#1、#3和#9对应于高优先级部分集合，参照1425和1430示出了第一视频馈送的示例。第一视频馈送1425示出了藉此第一视频馈送包括孤立的区段#1、#3和#9以使得第一视频馈送1425的聚集分辨率凭借省略了区段#2和#4…#8而小于显示屏1420的分辨率的示例。作为对比，替换的第一视频馈送1430示出了藉此第一视频馈送包括区段#1…#9中的每一个区段的示例，其中区段#2和#4…#8被黑屏掉，以使得第一视频馈送1430的聚集分辨率等于显示屏1420的分辨率。第二视频馈送1435包括区段#1…#9中的每一个区段，但是第一视频馈送1430凭借黑屏掉区段#2和#4…#8，而可以比第二视频馈送1435更高效地被发送。
图15A解说了图12的1210的示例实现，藉此在第一链路上向目标UE传送图14的第一视频馈送1425并且在第二链路上向目标UE传送图14的第二视频馈送1435。第一和第二视频馈送被组合1210以产生如1500A处所示的视频流的经重构版本。具体而言，用来自第一链路的区段#1、#3和#9取代来自第二链路的区段#1、#3和#9，以产生(或重构)视频流。换言之，视频流的经重构版本填充有该视频流的高优先级部分集合(即，区段#1、#3和#9)加上来自第二视频馈送的不对应于第一视频馈送内的高优先级部分集合的一个或多个部分(即，区段#2和#4-#8)。在图15A的实施例中，将领会，区段#1、#3和#9是在更可靠的第一链路上发送的，因此区段#1、#3和#9在经重构的视频流1500A中被加阴影以描绘这些特定区段相对于仅在较不可靠的第二链路上发送的区段#2和#4…#8而言可具有较少的错误。
图15B解说了图12的1210的另一示例实现，藉此在第一链路上向目标UE传送图14的第一视频馈送1430并且在第二链路上向目标UE传送图14的第二视频馈送1435。第一和第二视频馈送被组合1210以产生如1500B处所示的视频流的经重构版本。在图15B的实施例中，将领会，区段#1、#3和#9是在更可靠的第一链路上发送的，因此区段#1、#3和#9在经重构的视频流1500B中被加阴影以描绘这些特定区段相对于仅在较不可靠的第二链路上发送的区段#2和#4…#8而言可具有较少的差错。此外，在1210的组合期间用第二视频馈送1435中的相应区段#2和#4…#8来取代第一视频馈送1430的被黑屏掉的区段(在可能的情况下)。换言之，视频流的经重构版本填充有视频流的高优先级部分集合(即，区段#1、#3和#9)以及来自第二视频馈送的与来自第一视频馈送的一个或多个被黑屏掉的部分相对应的一个或多个部分(即，区段#2和#4-#8)。
图16解说了根据本发明另一实施例的可如何在图11的1100处标识视频流的高优先级部分集合的示例实现。参照图16，UE 1基于用户输入通过跟踪对象集合位于正在UE 1上显示的视频流内的何处来确定要锁定到该对象集合上，1600。基于在1600处发生的对对象集合的跟踪，UE 1标识视频流的包含该对象集合(若有)的当前部分集合(例如，在UE 1的显示屏上显示的视频流的视场中)。在一示例中，在1605处标识的当前部分集合可按瞬时方式或者在该对象集合被标识为处在当前部分集合中达阈值时间段(例如，10秒、45秒等)以上之后对应于来自图11的1100的高优先级部分集合。相应地，对视频流的某个(些)部分内的某个(些)高优先级对象的识别可将那个(些)部分的状态升级到高优先级状态。此外，因为UE 1的用户可以能够以某种程度控制在视频流中的何处显示该对象集合(例如，通过将UE 1的相机移动到更靠近该对象集合、或者通过将UE 1的相机转到改变该对象集合在视频流中的位置的不同角度、或者通过对视频流的某些部分执行数字缩放操作等)，所以在1605处标识的当前部分集合至少部分地基于用户输入。如将领会的，图16的1600-1605构成图11的1100的示例实现。
参照图16，1605可在UE 1正锁定到至少一个对象上时连续地或周期性地执行。以此方式，随着被锁定的该至少一个对象就其在视频流中的相对位置而言“移动”了(例如，由于对象移动，诸如婴儿爬过地板)、或者由于UE 1处的改变该对象相对于相机的位置并且因此改变该对象在视频流中的相关联的位置的相机移动、或者其某种组合)，视频流的不同部分可被识别为包含该至少一个对象。因此，通过在1605处以连续或周期性方式标识当前部分集合，UE 1计及视频流内的相对对象移动，如将在以下更详细地描述的。
在1605之后，过程前进至1610，其中图11的剩余部分(即，1105-1125)被执行。在1615，UE 1确定是否要结束锁定操作。例如，如以下参照图18B更详细地示出的，如果视频流停止描绘被锁定的对象集合达某个时间段(例如，5秒等)(例如，由于UE 1的用户将相关联的相机从该组对象转移离开或者替换地由于该对象集合出于某个其他原因移出视场，该对象集合落在视场以外达一时间段)，则UE 1可推断该对象集合对于通信会话而言不再重要并且由此可在1615处决定要结束锁定操作。在另一示例中，UE 1可确定要锁定到不同的对象集合上，这可起到终止对先前对象集合的锁定操作的作用。在另一示例中，UE 1的用户可显式地指令UE 1结束锁定操作。在任何情形中，如果UE 1确定要结束锁定操作，则藉此高优先级状态被分配给视频流的包含该对象集合的(诸)部分的锁定操作被终止，1620(例如，第一视频馈送可被全部取消，或者第一视频馈送可被映射到不同区段以容适不同的高优先级部分集合等)。否则，如果UE 1确定要继续锁定操作，则过程返回到1605。如将领会的，随着通信会话的视频流改变，该视频流的包含“被锁定”的对象集合的部分也可改变。因此，在1605处标识的当前部分集合可在通信会话期间改变，即使在“被锁定”的对象集合保持相同的情况下亦是如此。
此外，虽然未参照图16具体地描述，但是可能存在其中该对象集合不存在于正在UE 1处显示的视频流内的短暂时段。在此情形中，只要该对象集合在“屏外”，UE 1就可停止生成和/或在第一视频馈送上传送第一视频馈送。在屏外时段期间，UE 1保持第一链路，以使得一旦该对象集合重新进入视频流，该第一链路就是可用的。当该对象集合被确定为在屏外达阈值时间段以上时，这可触发1615以结束锁定操作，其可在1620处结束了锁定操作之后没有视频流的其他(诸)高优先级部分的情况下潜在地触发第一链路的拆除。
图17A解说了根据本发明一实施例的可触发图16的1600的确定的用户输入的示例。参照图17A，UE 1检测正在UE 1上显示视频流内的对象集合上放大的缩放事件，1700A。1700A处对缩放事件的检测触发该对象集合被分配高优先级状态，以使得该过程从1700A前进至图16的1600。在一示例中，在前进至图16的1600之前，1700A处检测到的缩放事件可被要求发生达阈值时间段(例如，如果UE 1的用户仅瞬时放大一对象，则UE 1的用户可能无意中缩放了该对象或者该对象对于通信会话而言可能尚未特定重要)。例如，UE 1可响应于在缩放事件期间在UE 1的相关联的显示屏上的视场中检测到特定对象(例如，婴儿)而启动定时器。如果该特定对象基于定时器的执行保留在显示屏上的视场中达超过阈值时间段，则UE 1可确定要“锁定”到该对象上，即使在缩放事件结束之后和/或在该对象不再在显示屏上的视场内之后亦是如此。
图17A中所示的检测到的缩放事件可被认为是由UE 1的用户对该对象集合作出的隐式选择，因为通过在通信会话期间用户对视频馈送的操纵来推断出用户对该对象集合感兴趣。然而，用户能为了锁定操作的目的而显式地选择某些对象以被填充到该对象集合内也是可能的，如图17B中所示。
图17B解说了根据本发明一实施例的可触发图16的1600的确定的用户输入的另一示例。参照图17B，UE 1检测对在UE 1上显示的视频流内的对象集合的显式用户选择(例如，用户可经由UE 1处的触摸屏接口来物理地触摸视频流中的对象以促成“锁定”到这些对象上等)，1700B。1700B处对显式用户选择的检测触发该对象集合被分配高优先级状态，以使得该过程从1700B前进至图16的1600。在一示例中，UE 1的用户还可取消选择任何先前选择的对象以终止针对被取消选择的对象的锁定操作。
图18A-18D解说了根据本发明一实施例的结合图11和16的图17A的过程的示例实现。图18A-18D解说了被标记为(1)-(9)的一系列示例屏幕截图(或帧)，其中讨论了帧(1)-(9)的改变如何根据图16的过程的执行来导致通信会话的改变。在图18A中，示出了UE 1的描绘包含婴儿、奶瓶和沙滩球的托儿所场景的显示屏1800A。假定显示屏1800A构成通信会话中的帧。在通信会话期间的某一时间点，UE 1的用户通过物理地将UE 1的相机移动到更靠近婴儿或者通过用UE 1的相机来执行数字缩放操作来放大该婴儿，如显示屏1805A中所示。在此情形中，如显示屏1805A中描绘的聚焦在婴儿上的缩放构成如图17A的1700A中的缩放事件。稍后，UE 1的用户进行缩小，如显示屏1810A中所示。然而，此时，婴儿已被标识为高优先级对象以执行如图16的1600中的锁定操作。例如，UE 1可响应于在缩放事件期间在显示屏1805A上的视场中检测到特定对象(例如，在此情形中为婴儿)而启动定时器。如果该特定对象基于定时器的执行保留在显示屏1805A上的视场中达超过阈值时间段，则UE 1可确定要“锁定”到该对象上，即使在缩放事件结束之后和/或在该对象不再在显示屏1805A上的视场内之后亦是如此。一旦对象被“锁定”，另一定时器就可被启动以在期满之际触发该对象被“解锁”。用于解锁被锁定对象的定时器可响应于锁定延长事件而被延长，以延长相关联的对象的锁定时段(例如，每当被锁定对象被检测为在显示屏的视场中心时、每当被锁定对象被放大时等，该定时器可被延长)。
在图18A的实施例中，假定UE 1的显示屏被划分成如1815A处所示的四(4)个区段，其中根据图16的1605将婴儿标识为当前位于区段#3中。显示屏1815A由此根据图16的1605-1610经由阴影将区段#3描绘为高优先级，因为区段#3包括“被锁定”的对象(即，婴儿)。
参照图18B，基于区段#3对应于1810A-1815A处的高优先级部分集合，参照1800B和1805B示出了第一视频馈送的示例。第一视频馈送1800B示出了藉此第一视频馈送包括孤立的区段#3，以使得第一视频馈送1800B的聚集分辨率凭借省略了区段#1、#2和#4而小于显示屏1815A的分辨率的示例。作为对比，替换的第一视频馈送1805B示出了藉此第一视频馈送包括区段#1…#4中的每一个区段的示例，其中区段#1、#2和#4被黑屏掉，以使得第一视频馈送1805B的聚集分辨率等于正输出第一视频馈送1805B的显示屏(或显示屏部分)的分辨率。第二视频馈送1810B包括区段#1…#4中的每一个区段，但是第一视频馈送1805B凭借黑屏掉区段#1、#2和#4，而可以比第二视频馈送1810B更高效地被发送。
转到图18C，稍后在通信会话中，假定婴儿在UE 1的显示屏上的相对位置移到区段#2，如1800C中所示。如以上提及的，婴儿的“移动”是可基于实际的对象移动(例如，婴儿物理地爬到不同位置)、或相机移动(例如，UE 1的用户将UE 1的相机移到相对于婴儿而言不同的位置)、或通过其某种组合(例如，婴儿的绝对位置移动了而同时相机的位置也移动了)发生的相对屏幕位置改变。根据图16的1605-1610，凭借图16的1605是只要UE 1被锁定到婴儿就发生的连续或周期性操作，因而基于对象锁定，婴儿从图18A的1810A中的区段#3到1800C中的区段#2的相对移动使区段#2取代区段#3作为高优先级区段，如1805C中所描绘的，其中区段#2经由阴影被示为高优先级，因为区段#2现在包括“被锁定”的对象(即，婴儿)。
参照图18C，在通信会话中的某一稍后时间点，UE 1的用户通过物理地将UE 1的相机移到更靠近球或者通过用UE 1的相机来执行数字缩放操作来使球放大，如显示屏1810C中所示。在此情形中，如显示屏1810C中描绘的聚焦在球上的缩放构成如图17A的1700A中的缩放事件。稍后，UE 1的用户进行缩小，如显示屏1815C中所示。此时，对于通信会话而言，1810C中所示的“球”缩放事件触发婴儿被解锁并且球被锁定。相应地，球现在被标识为高优先级对象以执行如图16的1600中的锁定操作。
根据图16的1605-1610，如1815C中所示，球在显示屏的区段#2中，因此区段#2基于对象锁定而是高优先级区段，如1820C中所描绘的，其中区段#2经由阴影被示为高优先级，因为区段#2现在包括新的“被锁定”的对象(即，球)。
在通信会话中的某个稍后时间点，假定球离开显示屏的视场而同时球仍然被锁定，如1800D中所描绘的。相应地，即使球正被活跃地锁定，也不存在显示屏的高优先级区段，如1805D中所描绘的，因为实际上未在任何区段中示出球。稍后在通信会话中，与球相关联的锁定定时器期满，因为球尚未返回到显示屏的视场，如1810D中所示。相应地，仍不存在显示屏的高优先级区段，如1815D中所描绘的，因为UE 1在此时不再锁定到球。稍后在通信会话中，假定球返回到显示屏的视场，如1820D中所描绘的。此时，由于球先前从显示屏的视场离开导致球在1810D处被解锁，因而球在其在1820D处重新进入之后不再被锁定。相应地，仍不存在显示屏的高优先级区段，如1825D中所描绘的，因为UE 1不再锁定到该球。
图19A解说了图12的1210的示例实现，藉此在第一链路上向目标UE传送图18B的第一视频馈送1800B并且在第二链路上向目标UE传送图18B的第二视频馈送1810B。第一和第二视频馈送被组合1210以产生如1900A处所示的视频流的经重构版本。在图19A的实施例中，将领会，区段#3是在更可靠的第一链路上发送的，因此区段#1在经重构的视频流1900A中被加阴影以描绘该特定区段相对于仅在较不可靠的第二链路上发送的区段#1、#2和#4而言可具有较少的差错(或伪像)。
图19B解说了图12的1210的另一示例实现，藉此在第一链路上向目标UE传送图18B的第一视频馈送1805B并且在第二链路上向目标UE传送图18B的第二视频馈送1810B。第一和第二视频馈送被组合1210以产生如1900B处所示的视频流的经重构版本。在图19B的实施例中，将领会，区段#3是在更可靠的第一链路上发送的，因此区段#3在经重构的视频流1900B中被加阴影以描绘该特定区段相对于仅在较不可靠的第二链路上发送的区段#1、#2和#4而言可具有较少的差错(或伪像)。此外，在1210的组合期间用第二视频馈送1810B中的相应区段#1、#2和#4来取代第一视频馈送1805B的被黑屏掉的区段(在可能的情况下)。
虽然图10-19B涉及其中视频流由UE 1输出而同时还被流送至一个或多个目标UE的情景，但是将领会，在其他实施例中，视频流不必需要经由UE 1的显示屏来显示。例如，UE1可以正在用他/她的相机来捕捉视频媒体，并且将捕捉到的视频媒体流送给(诸)目标UE。在此情形中捕捉到的视频媒体实际上不在UE 1的显示屏上显示是可能的。在此情形中，虽然UE 1的用户可能无法如图14中所示的那样圈出视频流的诸部分，但是UE 1的用户可按其他方式来标识视频流的(诸)高优先级部分。例如，UE 1的用户可物理地将相机移到更靠近对象以缩放该对象并且藉此触发对象锁定，而无论是否实际上在UE 1上显示该视频流。
本领域技术人员将领会，信息和信号可使用各种不同技术和技艺中的任何一种来表示。例如，贯穿上面说明始终可能被述及的数据、指令、命令、信息、信号、比特、码元和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子、或其任何组合来表示。
此外，本领域技术人员将领会，结合本文所公开的各实施例描述的各种解说性逻辑框、模块、电路和算法步骤可被实现为电子硬件、计算机软件、或两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、块、模块、电路、以及步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员可针对每种特定应用以不同方式来实现所描述的功能性，但此类实现决策不应被解读为致使脱离本发明的范围。
结合本文公开的实施例描述的各个解说性逻辑框、模块、以及电路可用设计成执行本文中描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其它此类配置。
结合本文公开的各实施例描述的方法、序列和/或算法可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或者本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端(例如，UE)中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文所用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多功能碟(DVD)、软盘和蓝光碟，其中盘(disk)通常以磁的方式再现数据，而碟(disc)通常用激光以光学方式再现数据。上述的组合应当也被包括在计算机可读介质的范围内。
尽管上述公开示出了本发明的解说性实施例，但是应当注意到，在其中可作出各种变更和修改而不会脱离如所附权利要求定义的本发明的范围。根据本文中所描述的本发明实施例的方法权利要求的功能、步骤和/或动作不必按任何特定次序来执行。此外，尽管本发明的要素可能是以单数来描述或主张权利的，但是复数也是已料想了的，除非显式地声明了限定于单数。

Claims (28)

1.一种操作给定用户装备(UE)的方法，所述UE正在参与与至少一个目标UE共享视频流的通信会话，所述方法包括：
接收标识所述视频流的高优先级部分集合的用户输入；
基于所述视频流的所述高优先级部分集合来生成所述视频流的第一视频馈送；
至少部分地基于所述视频流的一个或多个其他部分来生成所述视频流的第二视频馈送；
在第一链路上向所述至少一个目标UE传送所述第一视频馈送；以及
在相对于所述第一链路而言具有较低可靠性的第二链路上向所述至少一个目标UE传送所述第二视频馈送。
2.如权利要求1所述的方法，其特征在于，所述用户输入对应于对所述视频流的所述高优先级部分集合的显式用户选择。
3.如权利要求2所述的方法，其特征在于，所述显式用户选择对应于所述给定UE的用户在所述视频流正被显示在所述给定UE上时经由所述给定UE的触摸屏接口来物理地接触所述高优先级部分集合。
4.如权利要求1所述的方法，其特征在于，进一步包括：
基于不与所述用户输入有关的一个或多个副因素来将所述视频流的一个或多个附加部分添加至所述高优先级部分集合。
5.如权利要求4所述的方法，其特征在于，所述一个或多个副因素包括在所述一个或多个附加部分中检测到的运动程度。
6.如权利要求1所述的方法，其特征在于，所述第一视频馈送仅包括所述视频流的所述高优先级部分集合，并且所述第二视频馈送包括所述视频流的每个部分，以使得所述第一视频馈送相对于所述第二视频馈送而言具有较低分辨率。
7.如权利要求1所述的方法，其特征在于，
所述第一视频馈送包括所述视频流的所述高优先级部分集合与所述视频流的每个其他部分的被黑屏掉的部分的组合，
其中所述第二视频馈送包括所述视频流的部分，并且
其中所述第一和第二视频馈送具有相等的分辨率。
8.如权利要求1所述的方法，其特征在于，
所述第一链路被分配具有阈值水平的保障比特率(GBR)的服务质量(QoS)，并且
其中所述第二链路不被分配具有所述阈值水平的GBR的QoS。
9.如权利要求1所述的方法，其特征在于，
所述第一和第二链路各自被分配具有阈值水平的保障比特率(GBR)的服务质量(QoS)，并且
其中所述第一链路被分配相对于所述第二链路而言更高的GBR。
10.如权利要求1所述的方法，其特征在于，所述接收包括：
基于所述用户输入来确定要锁定到所述视频流内的对象集合上；以及
通过将所述视频流的所述高优先级部分集合标识为所述视频流的包含所述对象集合的当前部分集合来锁定到所述对象集合上。
11.如权利要求10所述的方法，其特征在于，所述用户输入对应于所述给定UE的用户放大所述对象集合。
12.如权利要求11所述的方法，其特征在于，
所述用户输入对应于所述给定UE的所述用户对所述对象集合执行数字放大，或者
其中所述用户输入对应于所述给定UE的所述用户通过将所述给定UE的相机物理地移到更靠近所述对象集合来对所述对象集合执行手动放大。
13.如权利要求10所述的方法，其特征在于，所述用户输入对应于由所述给定UE的用户对所述对象集合作出的显式用户选择。
14.如权利要求10所述的方法，其特征在于，进一步包括：
基于附加的用户输入来确定要锁定到所述视频流内的另一对象集合上；以及
响应于确定要锁定到所述另一对象集合上，通过将所述视频流的所述高优先级部分集合标识为所述视频流的包含所述另一对象集合的当前部分集合来锁定到所述另一对象集合上。
15.如权利要求10所述的方法，其特征在于，响应于确定要锁定到所述另一对象集合上而取消对所述对象集合的锁定，以使得所述高优先级部分集合不再被标识为所述视频流的包含所述对象集合的所述当前部分集合。
16.如权利要求10所述的方法，其特征在于，进一步包括：
启动锁定定时器；以及
响应于所述锁定定时器的期满而取消对所述对象集合的锁定，以使得所述高优先级部分集合不再被标识为所述视频流的包含所述对象集合的所述当前部分集合。
17.如权利要求16所述的方法，其特征在于，所述锁定定时器基于所述对象集合在所述视频流内保持可见而被延长。
18.如权利要求1所述的方法，其特征在于，所述视频流被显示在所述给定UE的显示设备上。
19.如权利要求1所述的方法，其特征在于，所述视频流不被显示在所述给定UE的显示设备上。
20.一种操作目标用户装备(UE)的方法，所述目标UE正在参与与给定UE共享视频流的通信会话，所述方法包括：
在第一链路上接收包含所述视频流的高优先级部分集合的第一视频馈送；
接收所述视频流的至少部分地基于所述视频流的一个或多个其他部分的第二视频馈送；
组合所述第一和第二视频馈送以重构所述视频流的版本；以及
呈现所述视频流的经重构版本。
21.如权利要求20所述的方法，其特征在于，所述第一视频馈送仅包括所述视频流的所述高优先级部分集合，并且所述第二视频馈送包括所述视频流的每个部分，以使得所述第一视频馈送相对于所述第二视频馈送而言具有较低分辨率。
22.如权利要求21所述的方法，其特征在于，所述重构包括：
用所述视频流的所述高优先级部分集合和来自所述第二视频馈送的对应于所述第一视频馈送内的所述高优先级部分集合的一个或多个部分来填充所述视频流的经重构版本。
23.如权利要求20所述的方法，其特征在于，
所述第一视频馈送包括所述视频流的所述高优先级部分集合与所述视频流的一个或多个其他部分中的一个或多个被黑屏掉的部分的组合，
其中所述第二视频馈送包括所述视频流的部分，并且
其中所述第一和第二视频馈送具有相等的分辨率。
24.如权利要求23所述的方法，其特征在于，所述重构包括：
用所述视频流的所述高优先级部分集合和来自所述第二视频馈送的与来自所述第一视频馈送的所述一个或多个被黑屏掉的部分相对应的一个或多个部分来填充所述视频流的经重构版本。
25.如权利要求20所述的方法，其特征在于，
所述第一链路被分配具有阈值水平的保障比特率(GBR)的服务质量(QoS)，并且
其中所述第二链路不被分配具有所述阈值水平的GBR的QoS。
26.如权利要求26所述的方法，其特征在于，
所述第一和第二链路各自被分配具有阈值水平的保障比特率(GBR)的服务质量(QoS)，并且
其中所述第一链路被分配相对于所述第二链路而言更高的GBR。
27.一种用户装备(UE)，所述UE正在参与与至少一个目标UE共享视频流的通信会话，所述UE包括：
配置成接收标识所述视频流的高优先级部分集合的用户输入的逻辑；
配置成基于所述视频流的所述高优先级部分集合来生成所述视频流的第一视频馈送的逻辑；
配置成至少部分地基于所述视频流的一个或多个其他部分来生成所述视频流的第二视频馈送的逻辑；
配置成在第一链路上向所述至少一个目标UE传送所述第一视频馈送的逻辑；以及
配置成在相对于所述第一链路而言具有较低可靠性的第二链路上向所述至少一个目标UE传送所述第二视频馈送的逻辑。
28.一种目标用户装备(UE)，所述目标UE正在参与与给定UE共享视频流的通信会话，所述目标UE包括：
配置成在第一链路上接收包含所述视频流的高优先级部分集合的第一视频馈送的逻辑；
配置成接收所述视频流的至少部分地基于所述视频流的一个或多个其他部分的第二视频馈送的逻辑；
配置成组合所述第一和第二视频馈送以重构所述视频流的版本的逻辑；以及
配置成呈现所述视频流的经重构版本的逻辑。
CN201680007497.7A 2015-01-30 2016-01-28 在通信会话期间经由不同链路来交换视频流的各部分 Pending CN107211177A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/609,875 US20150145944A1 (en) 2012-01-03 2015-01-30 Exchanging portions of a video stream via different links during a communication session
US14/609,875 2015-01-30
PCT/US2016/015386 WO2016123353A1 (en) 2015-01-30 2016-01-28 Exchanging portions of a video stream via different links during a communication session

Publications (1)

Publication Number Publication Date
CN107211177A true CN107211177A (zh) 2017-09-26

Family

ID=55587318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680007497.7A Pending CN107211177A (zh) 2015-01-30 2016-01-28 在通信会话期间经由不同链路来交换视频流的各部分

Country Status (3)

Country Link
EP (1) EP3251371A1 (zh)
CN (1) CN107211177A (zh)
WO (1) WO2016123353A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008253A1 (en) * 2002-07-10 2004-01-15 Monroe David A. Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals
CN101632090A (zh) * 2005-02-08 2010-01-20 国际商业机器公司 用于选择性图像捕获、传输和重构的系统和方法
US20130336381A1 (en) * 2012-06-19 2013-12-19 Quanta Computer Inc. Video transmission system and transmitting device and receiving device thereof
US20140270487A1 (en) * 2013-03-12 2014-09-18 Samsung Techwin Co., Ltd. Method and apparatus for processing image

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1148687A1 (en) * 2000-04-20 2001-10-24 Telefonaktiebolaget L M Ericsson (Publ) Communication device
US8977063B2 (en) * 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
US8918453B2 (en) * 2012-01-03 2014-12-23 Qualcomm Incorporated Managing data representation for user equipments in a communication session
US9444746B2 (en) * 2013-06-25 2016-09-13 Qualcomm Incorporated Selectively transferring high-priority non-audio data over a quality of service channel

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008253A1 (en) * 2002-07-10 2004-01-15 Monroe David A. Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals
CN101632090A (zh) * 2005-02-08 2010-01-20 国际商业机器公司 用于选择性图像捕获、传输和重构的系统和方法
US20130336381A1 (en) * 2012-06-19 2013-12-19 Quanta Computer Inc. Video transmission system and transmitting device and receiving device thereof
US20140270487A1 (en) * 2013-03-12 2014-09-18 Samsung Techwin Co., Ltd. Method and apparatus for processing image

Also Published As

Publication number Publication date
EP3251371A1 (en) 2017-12-06
WO2016123353A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
CN104769905B (zh) 管理用于通信会话中用户装备的数据表示
US20150145944A1 (en) Exchanging portions of a video stream via different links during a communication session
CN104584629B (zh) 基于链路上的所监视的业务活动对服务质量的方向性调整
CN105556923B (zh) 通过基于客户端的WebRTC代理代表WebRTC多媒体客户端应用选择性复用传入WebRTC话务和/或解复用传出WebRTC话务
US9025474B2 (en) Recommending information associated with a user equipment or a communication group in a communications system
US8335192B2 (en) Selectively transitioning between physical-layer networks during a streaming communication session within a wireless communications system
CN105897442B (zh) 用于无线通信系统中的经客户端管理的群组通信会话的方法和设备
CN103262496B (zh) 无线通信系统中的组通信会话期间的用户设备间坐标共享
TW201622473A (zh) 基於與用於一同級間會話之發言權仲裁相關聯之一多播位址建立一多播信令控制頻道
TW201633763A (zh) 選擇一領導者以執行一同級間會話之一發言權仲裁功能
EP2529577A1 (en) Application-layer handoff of an access terminal from a first system of an access network to a second system of the access network during a communication session within a wireless communications system
CN105900519A (zh) 通信系统、通信设备以及通信控制方法
US20140119267A1 (en) Application-layer handoff of an access terminal from a first system of an access network to a second system of the access network during a communication session within a wireless communications system
US8707391B2 (en) Supporting a server-arbitrated group communication session over a local wireless network via a wireless wide area network proxy client
CN103875261B (zh) 一种用于使用带内信令来指示数据流的结尾的方法、装置及计算机可读介质
CN107211177A (zh) 在通信会话期间经由不同链路来交换视频流的各部分
WO2015103426A1 (en) Application-layer handoff of an access terminal from a first system of an access network to a second system of the access network during a communication session within a wireless communications system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170926

WD01 Invention patent application deemed withdrawn after publication