CN107113397A - 交互式视频会议 - Google Patents

交互式视频会议 Download PDF

Info

Publication number
CN107113397A
CN107113397A CN201580058961.0A CN201580058961A CN107113397A CN 107113397 A CN107113397 A CN 107113397A CN 201580058961 A CN201580058961 A CN 201580058961A CN 107113397 A CN107113397 A CN 107113397A
Authority
CN
China
Prior art keywords
roi
long
range
predefined
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580058961.0A
Other languages
English (en)
Other versions
CN107113397B (zh
Inventor
厄兹格尔·欧伊曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Intel IP Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel IP Corp filed Critical Intel IP Corp
Publication of CN107113397A publication Critical patent/CN107113397A/zh
Application granted granted Critical
Publication of CN107113397B publication Critical patent/CN107113397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1016—IP multimedia subsystem [IMS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

本申请公开了用于可操作为执行与远程UE的视频会议的本地用户设备(UE)的技术。本地UE可以从远程UE接收一组预定义感兴趣区域(ROI)。本地UE可以从接收自远程UE的这组预定义ROI中选择预定义ROI。本地UE可以向远程UE传输预定义ROI，该预定义ROI指示远程UE采集预定义ROI内的视频并对预定义ROI内的视频进行编码。本地UE可以从远程UE接收预定义ROI内的经编码的视频。经编码的视频可以包括预定义ROI内的区域但不包括预定义ROI以外的区域。本地UE可以提供预定义ROI内的经编码的视频以在本地UE处呈现和显示。

Description

交互式视频会议
背景技术
包括流和对话服务在内的多媒体服务的增长是发展新的移动宽带技术和标准的关键驱动力之一。在移动设备中，数字视频内容的消费越来越多。日常生活中有很多广泛用在移动设备上的视频应用。例如，在线视频流包括诸如YouTube和Hulu之类的颇受欢迎的服务。视频记录和视频会议包括诸如Skype和Google Hangout之类的服务。在2011年，YouTube有超过1万亿的全球浏览量。这些浏览量的百分之十是通过移动电话或平板计算机访问的。随着更多的智能电话、平板计算机和其它移动计算设备被购买，这些设备对视频记录和视频会议的使用将会有巨大的增长。考虑到这种对于多媒体服务的高消费者需求结合媒体压缩和无线网络架构的发展，以下设想是令人感兴趣的，即增强未来的蜂窝和移动宽带系统的多媒体服务能力和向消费者提供高质量的体验(QoE)，从而确保从任意地方、在任意时间、利用任意设备和技术都可以普遍适用地访问视频内容和服务。
附图说明
根据以下结合附图的详细描述将清楚本公开的特征和优点，所有附图一起通过示例的方式图示了本公开的特征，并且在附图中：
图1示出了根据示例的支持感兴趣区域(ROI)缩放特征的基于IMS(MTSI)的视频会议系统上的多媒体电话服务；
图2是示出了根据示例的在本地用户设备(UE)与远程UE之间的用于启动感兴趣区域(ROI)缩放特征的信令的流程图；
图3是示出了根据示例的在发送客户端与接收客户端之间的用于启动感兴趣区域(ROI)缩放特征的信令的流程图；
图4A示出了根据示例的利用实时传输协议(RTP)头部扩展技术传送的、指示预定义感兴趣区域(ROI)信令能力和任意ROI信令能力的会话描述协议(SDP)提议消息；
图4B示出了根据示例的利用实时传输协议(RTP)头部扩展技术传送的、接受任意感兴趣区域(ROI)信令能力的会话描述协议(SDP)提议消息；
图5A图示了根据示例的利用实时传输控制协议(RTCP)反馈技术传送的、指示任意感兴趣区域(ROI)信令能力和实际ROI的会话描述协议(SDP)提议消息；
图5B图示了根据示例的利用实时传输控制协议(RTCP)反馈技术传送的、接受任意感兴趣区域(ROI)信令能力和实际ROI的会话描述协议(SDP)应答消息；
图6示出了根据示例的可操作为执行与远程用户设备(UE)的视频会议的本地UE的功能；
图7示出了根据示例的可操作为执行与本地用户设备(UE)的视频会议的远程UE的功能；
图8示出了根据示例的其中包括指令的至少一个非暂态机器可读存储介质的流程图，所述指令用于在支持交互式缩放特征的本地用户设备(UE)处操作视频会议应用；以及
图9示出了根据示例的无线设备(例如UE)的示图。
现在将参考所图示的示例性实施例，并且将在本文中使用特定的语言来描述这些示例性实施例。但是应理解并没有意图限制本申请技术的范围。
具体实施方式
在本申请技术被公开和描述之前，应理解本申请技术不局限于本文中所公开的特定结构或材料，而是要扩展到相关领域的技术人员将意识到的等同物。还应理解本文中所采用的术语只是用于描述特定示例的目的，而不意图为限制性的。不同附图中的相同标号代表相同的元件。流程图和处理过程中所提供的编号是为了清楚地图示动作和操作而被提供的，并不一定表示特定的顺序或序列。
示例实施例
下面提供对技术实施例的初步概述，然后在后面更详细地描述特定技术实施例。这个初步总结意图帮助读者更快地理解本申请技术，而不是意图标识出本申请技术的关键特征或实质性特征，也不是意图限制所要求保护的主题的范围。
一种用于操作支持交互式缩放特征的本地用户设备(UE)处的操作视频会议应用的技术被描述。在本地UE处的本地用户可以通过使用视频会议应用与在远程UE处的远程用户通信。换言之，本地用户可以通过视频会议应用查看包括远程用户的场景。该场景可以被显示在本地UE的显示屏上。在一个示例中，本地UE可以从远程UE接收场景内的一组预定义区域。场景内的这些预定义区域可以被称为预定义感兴趣区域(ROI)。每个预定义ROI可以在远程UE的摄像头的视场内。作为非限制性示例，第一预定义ROI可以与场景的左上方区域相对应，而第二预定义ROI可以与场景的右下方区域相对应。另外，每个预定义ROI可以与一组ROI坐标相关联。
当本地用户需要一个预定义ROI内的内容的更详细表示时，本地UE可以从一组预定义ROI中选出这个预定义ROI。因此，每个预定义ROI可以是这样的可能区域，其中本地用户可以通过视频会议应用进行放大以查看该区域的更多细节。本地UE可以将本地用户所选择的预定义ROI发送给远程UE。
远程UE可以采集从本地UE接收到的预定义ROI内的视频。远程UE可以对预定义ROI内的视频进行编码。经编码的视频可以包括预定义ROI内的区域并且排除预定义ROI以外的区域。远程UE可以将经编码的视频传送给本地UE。经编码的视频可以包括具有增大的缩放级别且同时基本保持所定义的质量水平的预定义ROI内的区域。换言之，远程UE可以提供预定义ROI内的经编码的视频以使得在本地UE处能够回放经编码的视频。通过远程UE仅仅将场景中所选择的区域(即预定义ROI)传送给本地UE，而不传送场景中未被选择的区域，视频会议应用可以更高效地使用可用带宽。此外，本地用户可以使用交互式缩放特征动态地从查看整个场景的视频馈送(例如远程UE的摄像头的整个视场)切换为只查看场景内的所选择区域(例如远程UE的摄像头的部分视场)。
有很多多媒体标准已被开发以使得多媒体能够被传送至移动计算设备、从移动计算设备被传送或者在移动计算设备之间被传送。例如，在流视频中，第三代合作伙伴项目(3GPP)已开发了技术规范(TS)26.234(例如版本11.0.0)，该技术规范描述了基于用于点播或直播内容的单播流的实时流协议(RTSP)的分组交换流服务(PSS)。此外，3GPP TS 26.247(例如版本11.0.0)中描述了包括渐进式下载和HTTP上的动态适应性流播放(DASH)的基于超文本传输协议(HTTP)的流服务。基于3GPP的多媒体广播和多播服务(MBMS)规范TS26.346(例如版本11.0.0)指定了用于多播/广播内容分配的流送和下载技术。由此，诸如用户设备(UE)之类的基于DASH/PSS/MBMS的移动计算设备在UE设备处对流视频进行解码和呈现。在所有这些规范中都要求支持3GPP TS 26.244(例如版本11.0.0)中的3GP文件格式，以支持文件下载和基于HTTP的流送使用情形。
3GPP TS 26.114(例如11.0.0)中提供了用于可对话视频通信(例如视频会议)的标准的一个示例。该标准描述了基于IMS的多媒体电话服务(MTSI)，该服务允许通过基于互联网协议(IP)多媒体子系统(IMS)的网络传送高级多媒体对话服务和内容。在3GPP TS26.140(例如版本11.0.0)中对IMS进行了归一化。3GPP TS 26.140描述了媒体处理和交互，包括媒体控制、媒体编解码以及媒体和控制数据的传输。3GPP TS 26.140还允许使用多媒体共享服务(MMS)实现视频共享，其中提供了对3GP文件格式的支持。
如下面将更详细描述的，MTSI呼叫可以使用呼叫会话控制功能(CSCF)机制在呼叫中所涉及到的UE之间重新路由控制层面信令(例如视频会议应用)。在控制层面中，应用服务器(AS)可以存在并提供补充服务，例如呼叫保持或呼叫重新开始、呼叫转移和多方呼叫等。
基于MTSI的发送方UE终端可以采集和录制视频，然后通过3GPP网络将视频传送给基于MTSI的接收方UE终端。然后，接收方UE终端可以对视频进行解码和呈现。在MTSI中，会话发起协议(SIP)可以用作应用层控制协议以建立、修改和终止可对话多媒体会话，例如视频会议、互联网电话呼叫等等。发送终端和接收终端之间的基于会话描述协议(SDP)的信令可以允许考虑媒体相关能力协商中的提议/应答考虑因素，包括编解码、比特率、分辨率等。MTSI中的媒体传输基于UDP/IP上的实时传输协议(RTP)(由IETF RFC 3550指定)。
采集设备的分辨率正在快速地增大，因此压缩后的视频的分辨率也在快速地增大。例如，使用最近的高效率视频编码(HEVC)标准，4K的内容可以作为可操作产品的一部分被传输和存储。具有4k乘2k分辨率的摄像头现在已经普遍存在。直播流视频已经以8k乘4k的分辨率被展示。以像素数表征的分辨率未来可能还会增大。利用这些分辨率非常高的内容，目前在视频流领域中可能出现新的使用，例如交互式缩放特征。
目前市场中所存在的可对话视频服务(例如MTSI)允许在带宽、空间分辨率、取向等方面实现视频的动态适配。但是，这些可对话视频服务不允许用户动态地切换到正在被流传送的视频中的用户选择区域中并且优化针对该用户选择区域的编码。因此，在视频呼叫中使用交互式缩放特征期间可达到的视频分辨率可能会受限制。虽然接收方应用可以放大到感兴趣区域(ROI)中并切除视频中不想要的部分(例如响应于来自用户接口的命令)，但是当前系统的一个限制是在不存在来自接收终端的任何ROI信令的情况下，发送终端仍然要对整个视频帧进行编码和传送。
在一个示例中，从MTSI接收方到MTSI发送方的ROI信息的信令传送可以允许MTSI发送方传送更高质量的流。MTSI发送方可以在对视频的ROI部分编码时完全或者绝大部分使用经协商的比特率。为了实现这一目的，可以进行两个方向上的信令传送。MTSI发送方可以向MTSI接收方发送消息以表达能力，而MTSI接收方可以向MTSI发送方发送消息以表达所想要的ROI。
图1图示了示例性的基于IMS上的多媒体电话服务(MTSI)的视频会议系统，该系统支持感兴趣区域(ROI)缩放特征。与远程用户设备(UE)128(例如移动电话、平板计算机、台式计算机或者其它合适的设备)相关联的用户(例如用户A)可能正在跟与本地UE 148相关联的另一用户(例如用户B)进行视频会议。换言之，远程UE 128和本地UE 148可能都在运行双向视频会议应用160。用户A可以接近远程UE 128(例如在远程UE 128前面)，用户B可以接近本地UE 148(例如在本地UE 148前面)。远程UE 128和本地UE 148可以分别包括在视频会议应用160运行时允许用户查看彼此的摄像头。远程UE 128可以包括远程摄像头，而本地UE148可以包括本地摄像头。远程UE 128可以包括在操作期间采集用户A的视频的摄像头和在操作期间向用户A显示用户B的视频的显示屏。类似地，本地UE 148可以包括在操作期间采集用户B的视频的摄像头和在操作期间向用B显示用户A的视频的显示屏。换言之，用户A可以通过远程UE 128上的显示屏查看用户B，用户B可以通过本地UE 148上的显示屏查看用户A。
在一个示例中，视频会议应用160可以在基于MTSI的可对话视频系统上。换言之，视频会议应用160可以对基于3GPP的多媒体电话服务进行操作，所述多媒体电话服务将远程UE 128和本地UE 148彼此连接并且连接到电话网络。
远程UE 128可以通过无线电访问网络(RAN)126、服务通用分组无线电业务(GPRS)支持节点(SGSN)124和/或网关GPRS支持节点(GGSN)122连接到核心网络。远程UE 128可以通过代理呼叫会话控制功能(P-CSCF)120发送和接收数据。P-CSCF 120可以利用服务呼叫会话控制功能(S-CSCF)114发送和接收数据。在一些示例中，S-CSCF 114可以发送和接收来自应用服务器(AS)122的数据，所述AS 122可以提供补充服务，例如呼叫保持/重新开始、呼叫转移和多方呼叫等。在该示例中，RAN 126、SGSN 124、GGSN 122、P-CSCF 120、S-CSCF 114和AS 112可以与操作者A 110相关联。S-CSCF 114可以发送和接收来自核心网络的其它部分的数据。例如，与操作者A 110相关联的S-CSCF 114可以与询问CSCF(I-CSCF)136通信，所述I-CSCF 136与操作者B 130相关联。
本地UE 148可以通过其自身的无线电访问网络(RAN)146、服务通用分组无线电业务(GPRS)支持节点(SGSN)144和网关GPRS支持节点(GGSN)142连接到核心网络。本地UE 148可以通过代理呼叫会话控制功能(P-CSCF)140发送和接收数据。P-CSCF 140可以利用服务呼叫会话控制功能(S-CSCF)134发送和接收数据。在一些示例中，S-CSCF 134可以发送和接收来自应用服务器(AS)132的数据，所述AS 132可以提供补充服务，例如呼叫保持/重新开始、呼叫转移和多方呼叫等。S-CSCF 114和S-CSCF 134可以分别与询问CSCF(I-CSCF)136通信。换言之，操作者A 110可以通过S-CSCF 114和I-CSCF 136之间的通信与操作者B通信。I-CSCF 136可以对归属订户服务器(HSS)138和/或订户位置功能(SLF)138进行读和写。在该示例中，RAN 146、SGSN 144、GGSN 142、P-CSCF 140、HSS/SLF 138、I-CSCF 136、S-CSCF 134和AS 132可以与操作者B 130相关联。
在一个配置中，视频会议应用160可以支持缩放特征。例如，本地UE 148可以放大到远程摄像头(即与远程UE 128相关联的摄像头)的视场内的特定特征或位置中。本地UE148可以从远程UE 128接收一组预定义ROI。预定义ROI可以对应于远程摄像头的视场内的各个区域。例如，远程UE 128可以向本地UE 148发送一组十个预定义ROI，其中该组中的每个预定义ROI对应于远程摄像头的视场内的不同区域。作为非限制性示例，预定义ROI可以对应于远程摄像头的视场的右上部分、远程摄像头的视场的左下部分等等。本地UE 148处的本地用户可以从接收自远程UE 128的这组预定义ROI中选择预定义ROI 150。
在替代配置中，在本地UE 148处，用户B可以定义远程UE 128处的视场内的任意感兴趣区域(ROI)。作为非限制性示例，在远程UE 128处，用户A可以在远程UE 128的显示屏上查看用户B的头部。在本地UE 148处，用户B可以在本地UE 148的显示屏上查看用户A的头和躯干。用户B可能想要用户A的增强视图(例如用户B可能想要放大到用户A的脸部)。用户B可以定义本地UE处的任意ROI，以使得该任意ROI包括用户A的脸部。可以使用例如图形用户界面在本地UE 148处定义任意ROI。换言之，用户B可以使用诸如计算机鼠标或触摸屏之类的输入设备来选择区域。任意ROI可以包括远程摄像头的视场内的其它合适的区域。例如，用户B可以将任意ROI定义为包括用户A的躯干、用户A后面的树等等。作为其它示例，任意ROI可以包括本地UE 148的显示屏的右上部区域(对应于远程摄像头的合适的视场)、本地UE148的显示屏的左下部区域等等。
任意ROI可以被认为是由本地用户选择的动态实体，而预定义ROI 150可以被认为是更静态的。换言之，与专门从本地UE 148请求的ROI不同，所选择的ROI可以是已在远程UE128处预定义的。任意ROI和预定义ROI都可以与一组ROI坐标相关联。
由本地用户选择的预定义ROI 150可以从本地UE 148被发送至远程UE 128。如下面将更详细讨论的，可以使用实时传输协议(RTP)消息或实时传输控制协议(RTCP)反馈消息传输预定义ROI 150。RTP消息或RTCP反馈消息可以指示远程UE 128采集预定义ROI内的视频。或者，任意ROI(例如与任意ROI相关联的ROI坐标)可以从本地UE 148被发送至远程UE128，其可以指示远程UE 128采集任意ROI内的视频。
在一些示例中，远程UE 128可以采集只包括预定义ROI 150而不包括预定义ROI150以外的区域的视频。作为非限制性示例，RTP头部扩展或RTCP反馈消息(包括对所选择的预定义ROI 150的指示)可以指示远程UE 128采集用户A的下巴上的伤口。换言之，远程UE的摄像头可以只采集用户A的下巴上的伤口，而不采集用户A的下巴周围的其它区域。
一旦根据预定义ROI 150采集了视频，远程UE 128可以例如使用具有相对较低的压缩的编码机制对视频进行编码。因此，视频可以提供预定义ROI 150的相对详细的特写视图，而同时基本保持所定义的质量水平。远程UE 128可以利用损耗较少的编码机制对(与预定义ROI 150相关的)视频进行编码，因为之前被用于对整个视场进行编码的资源现在仅被用于对预定义ROI 150进行编码。在一个示例中，远程UE 128的编码器不会对每个预定义ROI进行编码，因为这可能在计算上给编码器带来过多负担。相反，远程UE 128可以接收被选择的预定义ROI 150，并且远程UE 128的编码器可以仅对预定义ROI 150进行编码。
远程UE 128可以将(仅仅与预定义ROI 150相关的)经编码的视频传送给本地UE148。由于与传送(与远程UE 128相关联的)远程摄像头的完整视场相比，远程UE 128在传送(仅仅与预定义ROI 150相关的)经编码的视频时可以使用基本相同的带宽量，所以经编码的视频可能有相当高的质量。换言之，预定义ROI 150的经编码的视频可能相对比较清晰，而不会是粗糙或模糊的。就这一点而言，本文中所描述的技术要优于先前的技术，在先前的技术中，用户(例如用户B)手动放大到显示屏上所显示的框内，可能导致质量水平的降低。在当前的解决方案中，远程UE 128可以按经协商的分辨率仅仅对预定义ROI 150进行编码，而不是对整个采集到的框进行编码，这将在本地UE 148处产生更高的整体分辨率和更好的用户体验。
作为非限制性示例，远程UE 128可以对用户A的下巴上的伤口的视频进行编码。远程UE 128可以使用具有相对较低的压缩的编码机制，使得可以以相对较大的分辨率和清晰度水平来查看用户A的下巴。换言之，经编码的视频可以是对用户A的下巴的放大呈现，但是仍然保持相对较高的质量水平(例如不粗糙)。此外，整个带宽可以被用于发送用户A的下巴的经编码的视频，使得对用户A的下巴有相对清楚和详细的呈现。与用户A的整个脸部被包括来作为经编码的视频的一部分相比，这个呈现可以提供用户A的脸部的更多细节。
在替代配置中，远程UE 128可以采集包括(与远程UE 128相关联的)远程摄像头的完整视场的视频。但是，远程UE 128可以仅仅对视频中包括预定义ROI 150的部分进行编码。此外，远程UE 128可以传送仅仅包括预定义ROI 150而不包括预定义ROI 150以外的区域的经编码的视频。
本地UE 148可以从远程UE 128接收经编码的视频，其中经编码的视频包括预定义ROI 150内的区域但不包括预定义ROI 150以外的区域。本地UE 148可以在与本地UE 148相关联的显示屏上呈现和显示经编码的视频。作为非限制性示例，坐在本地UE 148前面的用户B可以查看用户A的下巴上的伤口的详细的特写呈现。用户B总是可以回到用户A的先前视图，例如用户B可以缩回且恢复到在本地UE 148的显示屏上查看用户A的整个脸部和躯干。
作为非限制性示例，用户可能在巴黎度假。用户可能通过移动设备向游客帮助中心做出视频呼叫。在该示例中，移动设备可以是本地用户设备(UE)，并且游客帮助中心可以是远程UE。游客帮助中心可以提供来自埃菲尔铁塔的网络摄像头视图。在视频呼叫开始时，游客帮助中心可以向移动设备呈现很多个预定义ROI。被呈现给移动设备的预定义ROI可以对应于网络摄像头的视场。预定义ROI的一些示例可以包括“Sacre Coeur”、“Musée Rodin”和“Palais du Louvre”。用户可以通过移动设备选择与“Sacre Coeur”相关联的预定义ROI，并且与预定义ROI相对应的直播视频流可以被提供给移动设备。在稍后的时间，用户可以通过移动设备选择与“Musée Robin”相关联的不同的预定义ROI，并且被提供给移动设备的直播视频流可以被切换为对应于该不同的预定义ROI。
在一个示例中，本地UE 148和远程UE 128可以参与到多方视频会议中。多方视频会议可以包括四个人，其中本地用户接近本地UE 148并且三个远程用户接近远程UE 128。由于本地用户可能想要对多方视频会议中的三个远程用户中的一个远程用户进行放大，远程UE 128可以预测本地UE 148可能请求哪些ROI。并非本地UE 148动态地创建ROI坐标并将ROI坐标发送给远程UE 128，而是远程UE 128可以预测与三个远程用户相对应的ROI，基于所预测的ROI生成一组预定义ROI，然后将这组预定义ROI发送给本地UE 148。例如，第一预定义ROI可以对应于第一远程用户，第二预定义ROI可以对应于第二远程用户，且第三预定义ROI可以对应于第三远程用户。本地用户能够在多方视频会议期间选择预定义ROI中的一个。例如，当第一远程用户在讲话时，本地用户可以选择第一预定义ROI以查看第一远程用户的放大的视频馈送(feed)，然后当第三远程用户开始讲话时，本地用户可以选择第三预定义ROI以查看第三远程用户的放大的视频馈送。只要本地UE 148没有选择不同的预定义ROI 150，远程UE 128就可以假设本地UE 148仍然想接收预定义ROI 150内的视频。换言之，如果没有新的预定义ROI 150被选择，则远程UE 128可以继续对相同区域进行编码。
在一个配置中，如果远程摄像头的视场内的目标在运动，则远程UE 128可以检测该运动(例如通过远程UE 128处的运动传感器)并调节ROI。例如，远程UE可以响应于在远程摄像头的视场内检测到的运动生成修改后的ROI。远程UE 128可以提供修改后的ROI内的编码视频以在本地UE 128处呈现和显示。
作为非限制性示例，本地UE 148和远程UE 128可以参与到多方视频会议中，其中本地用户通过视频会议应用与三个远程用户通信。被提供给本地UE 148的经编码的视频最初可以对应于正在讲话的第一远程用户。经编码的视频可以对应于预定义ROI。第一远程用户(例如目标)在讲话时可能在房间里来回踱步。在该示例中，远程UE 128可以检测到目标在运动并且在本地自动调整预定义ROI(即不需要来自本地UE 148的指令)。换言之，远程UE128可以自动调节与预定义ROI相关联的ROI坐标，以生成修改后的ROI，然后仅对与修改后的ROI相关联的视频进行编码和提供。如果远程UE 128具有检测运动的能力，则远程UE 128可以在本地调节ROI坐标并且不需要代表本地UE 148的信令传送。
检测运动和在本地调节预定义ROI的ROI坐标的能力可以防止在本地UE 148与远程UE 128之间的额外的信令传送。在过去的利用任意ROI的解决方案中，如果目标移动并且任意ROI需要被重新调节，则本地UE 148可能向远程UE 128发送一组更新的ROI坐标，这会导致额外的信令传送。但是，在本配置中，不需要额外的信令传送，因为远程UE 128可以自动调节正在被编码的视频并向本地UE 148发送。
图2是示出了在本地用户设备(UE)202与远程UE 204之间的用于启动感兴趣区域(ROI)缩放特征的信令的示例性流程图。在一个示例中，本地UE 202和远程UE 204可以正在与彼此进行视频会议。例如，本地UE 202和远程UE 204可以对支持基于所定义的ROI的交互式缩放特征的视频会议应用进行操作。本地UE 202可以从远程UE 204接收一组预定义的感兴趣区域(ROI)。这组预定义ROI可以在远程UE 204的摄像头的视场内。作为非限制性示例，这组预定义ROI可以包括五个不同的预定义ROI，分别对应于远程UE 204处的摄像头的视场的特定区域。本地UE 202可以从接收自远程UE 204的这组预定义ROI中选择预定义ROI。
本地UE 202可以通过实时传输控制协议(RTCP)反馈消息向远程UE 204传输所选择的预定义ROI。RTCP反馈消息可以指示远程UE 204采集预定义ROI内的视频并对该视频进行编码。例如，RTCP反馈消息可以包括定义从这组预定义ROI中选择的预定义ROI的描述符。
在一个示例中，远程UE 204可以使用远程UE 204的固定的非移动摄像头来采集经编码的视频。远程UE 204可以生成预定义ROI内的经编码的视频，以使得经编码的视频包括预定义ROI内的区域但不包括预定义ROI以外的区域。此外，经编码的视频可以包括具有增大的缩放级别同时基本保持所定义的质量水平的预定义ROI内的区域。远程UE 204可以将预定义ROI内的经编码的视频发送给本地UE 202。
本地UE 202可以从远程UE 204接收经编码的视频。此外，本地UE 202可以通过实时传输协议(RTP)头部扩展接收与经编码的视频相对应的实际传送的预定义ROI。RTP头部扩展可以被包括在从远程UE 204接收的、包含经编码的视频的RTP分组中。RTP头部扩展可以包括定义与经编码的视频相对应的实际传送的预定义ROI的描述符。在一个示例中，RTP头部扩展可以包括与对应于经编码的视频的实际传送的预定义ROI相关联的位置和尺寸。该位置可以包括指示远程UE 204处的视场内的实际传送的预定义ROI的拐角位置的两个位置值。这两个位置值可以被归一化以指示在两个维度上的相对位置。所述尺寸可以包括指示远程UE 204处的视场内的实际传送的预定义ROI的尺寸的两个位置值，其中这两个位置值可以被归一化以指示在两个维度上的相对尺寸。
本地UE 202可以提供预定义ROI内的经编码的视频以在本地UE 202处呈现和显示。例如，可以通过正在本地UE 202处执行的视频会议应用来播放经编码的视频。在一个示例中，在本地UE 202处所接收到的经编码的视频可以显示在远程UE 204处所采集的目标。
在一个配置中，远程UE 204可以包括检测远程UE的摄像头前面的运动的运动检测器或运动传感器。换言之，目标的运动可能发生在远程UE 204的摄像头的视场内。远程UE204可以决定基于该运动来调节预定义ROI。换言之，远程UE 204可以检测远程UE的摄像头的视场内的运动，然后基于所检测到的运动确定修改后的ROI。远程UE 204可以生成修改后的ROI内的经编码的视频，其中经编码的视频可以包括修改后的ROI内的区域但不包括修改后的ROI以外的区域。远程UE 204可以将经编码的视频发送给本地UE 202。本地UE 202可以从远程UE 204接收修改后的ROI内的经编码的视频。本地UE 202可以提供修改后的ROI内的经编码的视频以在本地UE 202处呈现和显示。因此，当在远程UE 204处检测到目标的运动时，本地UE 202可以根据修改后的ROI自动接收经编码的视频。
图3是示出了在发送客户端302与接收客户端304之间的用于启动感兴趣区域(ROI)缩放特征的信令的示例性流程图。发送客户端302也可以被称为远程用户设备(UE)并且接收客户端304也可以被称为本地UE。发送客户端302和接收客户端304可以分别运行视频会议应用，该视频会议应用允许与发送客户端302相关联的远程用户和与接收客户端304相关联的本地用户通信。
发送客户端302与接收客户端304之间的基于会话描述协议(SDP)的信令可以允许考虑针对ROI缩放的媒体相关能力协商中的提议/应答(offer/answer)。
发送客户端302可以向接收客户端304发送SDP提议，该SDP提议指示在发送客户端302处的任意ROI信令支持和/或预定义ROI信令支持。发送客户端302可以响应于来自接收客户端304的请求发送对任意ROI和/或预定义ROI信令支持的指示。发送方客户端302可以使用实时传输控制协议(RTCP)反馈消息来发送SDP提议。在一些情况下，SDP提议可以包括实际传送的ROI信令以及对每个所提议的预定义ROI的描述。
接收客户端304可以向发送客户端302发送SDP应答，发送客户端302接受或确认发送客户端对任意ROI信令和/或预定义ROI信令的支持。此外，接收客户端304可以向发送客户端302发送ROI选择信息(即在接收客户端304处哪个预定义ROI被选择)。接收客户端304可以在单个RTCP反馈消息中发送ROI选择信息。或者，接收客户端304可以将ROI选择消息作为单个RTP分组中的实时传输协议(RTP)头部扩展来发送。接收客户端304可以使用用于反向视频流的RTP头部扩展来向发送客户端302传输ROI选择信息。
发送客户端302可以基于ROI选择信息对视频进行编码和传送。换言之，发送客户端302可以基于所选择的预定义ROI对视频进行编码和传送。此外，发送客户端302可以使用RTP头部扩展来向接收客户端304发送实际传送的预定义ROI。发送客户端302可以使用用于前向视频流的RTP头部扩展来向接收客户端304传输实际传送的预定义ROI。
当使用RTCP消息将ROI选择信息从接收客户端304传送至发送客户端302时，支持ROI缩放特征的MTSI客户端可以在用于所有包含视频的媒体流的SDP消息中提议ROI缩放。可以通过在相关的媒体线(media line)范围下包括新的ROI缩放类型的a＝rtcp-fb属性来提议ROI缩放特征。例如，与RTCP反馈技术相结合的ROI缩放类型可以用以下参数来表示：3gpp-roi-arbitrary和3gpp-roi-predefined。通配符有效载荷类型(“*”)可以被用于指示RTCP反馈属性增强的FECC应用于所有的有效载荷类型。如果支持若干类型的ROI反馈并且/或者相同的ROI反馈将被指定用于有效载荷类型的子集，则可以使用若干条“a＝rtcp-fb”线。使用这个属性来基于RTCP反馈技术用信号通知相对于媒体线的ROI缩放的示例为：a＝rtcp-fb：*3gpp-roi-arbitrary和a＝rtcp-fb：*3gpp-roi-predefined。
RTCP反馈技术可以涉及在瞬时反馈和早期RTCP模式中的ROI选择信息的信令传送。用于ROI缩放的新的RTCP反馈类型可以包括：(1)3gpp-roi-arbitrary的值名称、任意感兴趣区域(ROI)信息的长名称和对第三代合作伙伴项目(3GPP)技术规范(TS)26.114的引用；以及(2)3gpp-roi-predefined的值名称、预定义感兴趣区域(ROI)信息的长名称和对第三代合作伙伴项目(3GPP)技术规范(TS)26.114的引用。
在针对rtcp-fb-val的值的扩展的巴科斯范式(Augmented Backus-Naur Form)(ABNF)中，如互联网工程任务组(IETF)请求注解(RFC)4585中所定义的，存在用于定义新的反馈类型的被称为rtcp-fb-id的占位符。“3gpp-roi-arbitrary”和“3gpp-roi-predefined”被定义为用于ROI信息信令传送的新的反馈类型，并且ABNF可以按如下方式给定：rtcp-fb-val＝/“3gpp-roi-arbitrary”和rtcp-fb-val＝/“3gpp-roi-predefined”。
当使用RTP头部扩展消息将ROI信息从接收客户端304传送至发送客户端302时，支持ROI缩放特征的MTSI客户端可以在针对所有包含视频的媒体流的SDP消息中提议ROI缩放。可以通过在相关的媒体线范围下包括指示ROI缩放统一资源名(URN)的a＝extmap属性来提议ROI缩放特征。例如，ROI缩放URN可以被设置为：um：3gpp：roi-actual。包括这个URN的媒体线的示例是：a＝extmap：7urn：3gpp：roi-actual。在以上媒体线的示例中，数字7可以用1到14的范围内的任意数字替换。
根据客户端在SDP能力协商期间如何协商支持ROI缩放特征，可以双向或者单向地支持ROI缩放能力。对于具有不对称能力(例如处理ROI信息但不检测/用信令传送ROI信息的能力)的客户端，可以使用“sendonly”和“recvonly”属性。客户端要在每个方向上足够清楚地表达其能力，使得在每个方向上仅仅发送信号到这些信号能够表达有用的信息并且可以被接收方处理的程度即可。
在一个示例中，预定义和任意ROI信令支持可以同时或者单独被提议。当这两个能力都被发送客户端302和接收客户端304协商成功时，接收客户端304可以确定在给定时间请求任意ROI或者预定义ROI中的一个。例如，接收客户端304可以在RTCP反馈消息中包括所请求的预定义ROI的描述符，其中接收客户端304选择发送客户端302所提议的预定义ROI中的一个。当预定义ROI由发送客户端302提议时，发送客户端302还可以负责检测和跟踪ROI的任何运动，例如ROI可能是运动中的汽车、运动中的人等等。发送客户端302可以利用能够检测和跟踪ROI的运动的合适的摄像技术。
ROI缩放特征包括将接收用户的当前ROI用信令传送给发送客户端302以使得发送UE可以最优化地对所采集的视频进行编码和传送。当ROI缩放被协商成功时，可以由MTSI客户端用信令传送。ROI缩放的信令传送可以使用RTCP反馈报告或RTP头部扩展。
当使用RTCP反馈报告时，接收客户端304将用户的当前ROI信息(例如任意ROI或预定义ROI中的一个)包括在正在向发送客户端302传送的RTCP报告中。当使用RTP头部扩展时，发送客户端302可以将针对经编码的视频的实际传送的ROI包括在正在向接收客户端304传送的RTP分组中。
在一个示例中，可以使用两个属性来定义将被包含在RTCP反馈消息的任意ROI(由接收客户端304请求)或者RTP头部扩展中的实际传送的ROI(由发送客户端302用信令传送)。一个属性是位置，该位置可以指定原始内容中被覆盖的区域的左上角，或者可以指定另一合适位置。另一个属性是尺寸，该尺寸可以用相对值指定原始内容中被覆盖的区域的尺寸。例如，位置的非限制性示例可以是“0：0”，尺寸的非限制性示例可以是“0.33：0.33”。
ROI缩放的存在不应当影响发送和接收客户端之间所协商的分辨率(基于SDPimageattr属性)。唯一的区别在于发送客户端302将仅仅利用所协商的分辨率对ROI进行编码而不是对整个所采集的框(frame)进行编码，并且这与接收终端在ROI上进行放大并且去除框的其余部分相比，将产生更高的总体分辨率和更好的用户体验。发送终端可以潜在地指示ROI作为用于其前向视频流的RTP分组中的RTP头部扩展的一部分。
图4A图示了示例性会话描述协议(SDP)提议消息。SDP提议消息可以从远程用户设备(UE)被传输至本地UE。SDP提议消息可以基于实时传输协议(RTP)头部扩展技术。SDP提议消息可以指示远程UE处的预定义ROI和任意ROI信令能力。作为示例，SDP提议消息可以包括与第三代合作伙伴项目(3GPP)预定义ROI参数相关联的RTCP反馈属性以及与3GPP任意ROI参数相关联的RTCP反馈属性。
图4B图示了示例性会话描述协议(SDP)应答消息。SDP应答消息可以从本地用户设备(UE)被传输至远程UE。SDP应答消息可以基于实时传输协议(RTP)头部扩展技术。作为示例，SDP应答消息可以只接受远程UE的任意ROI信令能力。作为示例，SDP应答消息可以包括与第三代合作伙伴项目(3GPP)任意ROI参数相关联的RTCP反馈属性。
图5A图示了示例性会话描述协议(SDP)提议消息。SDP提议消息可以从远程用户设备(UE)被传输至本地UE。SDP提议消息可以基于实时传输控制协议(RTCP)反馈技术。作为示例，SDP提议消息可以指示远程UE处的任意ROI信令能力。此外，SDP提议消息可以包括发送方(即远程UE)的实际ROI信令传送。作为示例，SDP提议消息可以包括与第三代合作伙伴项目(3GPP)任意ROI参数相关联的RTCP反馈属性。作为另一示例，SDP提议消息可以包括与第三代合作伙伴项目(3GPP)实际ROI参数相关联的扩展地图属性。
图5B图示了示例性会话描述协议(SDP)应答消息。SDP应答消息可以从本地用户设备(UE)被传输远程UE。SDP应答消息可以基于实时传输控制协议(RTCP)反馈技术。作为示例，SDP应答消息可以接受任意ROI信令能力，其也可以包括接受发送方(即远程UE)的实际ROI信令传送。作为示例，SDP应答消息可以包括与第三代合作伙伴项目(3GPP)任意ROI参数相关联的RTCP反馈属性。作为另一示例，SDP应答消息可以包括与第三代合作伙伴项目(3GPP)实际ROI参数相关联的扩展地图属性。
另一示例提供了可操作为执行与远程UE的视频会议的本地用户设备(UE)的功能600，如图6中的流程图中所示。该功能可以作为方法来实现或者该功能可以作为机器上的指令来执行，其中所述指令被包括在至少一个计算机可读介质或者一个非暂态机器可读存储介质上。本地UE可以具有一个或多个处理器，这些处理器被配置为在本地UE处从远程UE接收一组预定义感兴趣区域(ROI)，这组预定义ROI在远程UE的摄像头的视场内，如框610中所示。这一个或多个处理器可以被配置为在本地UE处从接收自远程UE的一组预定义ROI中选择预定义ROI，如框620中所示。这一个或多个处理器可以被配置为通过实时传输控制协议(RTCP)反馈消息从本地UE将所选择的预定义ROI传输给远程UE，所述RTCP反馈消息指示远程UE采集预定义ROI内的视频并对该视频进行编码，如框630中所示。这一个或多个处理器可以被配置为从远程UE接收预定义ROI内的经编码的视频，该经编码的视频包括预定义ROI内的区域但不包括预定义ROI以外的区域，该经编码的视频包括具有增大的缩放级别且同时基本保持所定义的质量水平的预定义ROI内的区域，如框640中所示。这一个或多个处理器可以被配置为通过实时传输协议(RTP)头部扩展从远程UE接收与经编码的视频相对应的实际传送的预定义ROI，RTP头部扩展被包括在从远程UE接收的包含经编码的视频的RTP分组中，如框650中所示。这一个或多个处理器可以被配置为提供预定义ROI内的经编码的视频以在本地UE处呈现和显示，如框660中所示。
在一个配置中，第一处理器可以执行框610、630、640和650中的操作。第一处理器的一个示例是基带处理器。在一个配置中，第二处理器可以执行框620和660中的操作。第二处理器可以是单个处理器，或者，第二处理器可以包括一个或多个分开的处理器。
在一个配置中，这一个或多个处理器还被配置为：从远程UE接收修改后的ROI内的经编码的视频，其中修改后的ROI在远程UE处响应于在远程UE处的摄像头的视场内所检测到的运动而被标识出；并且提供修改后的ROI内的经编码的视频以在本地UE处呈现和显示。
在一个配置中，这一个或多个处理器还被配置为从远程UE接收与第三代合作伙伴项目(3GPP)预定义ROI参数相关联的RTCP反馈属性的会话描述协议(SDP)提议消息，从而指示远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
在一个示例中，这一个或多个处理器还被配置为向远程UE发送与第三代合作伙伴项目(3GPP)预定义ROI参数相关联的RTCP反馈属性的会话描述协议(SDP)应答消息，从而确认远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
在一个示例中，这一个或多个处理器还被配置为从远程UE接收与第三代合作伙伴项目(3GPP)实际ROI参数相关联的扩展地图属性的会话描述协议(SDP)提议消息，从而指示远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
在一个示例中，这一个或多个处理器还被配置为向远程UE发送与第三代合作伙伴项目(3GPP)实际ROI参数相关联的扩展地图属性的会话描述协议(SDP)应答消息，从而确认远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
在一个示例中，从本地UE传送至远程UE的RTCP反馈消息包括限定从一组预定义ROI中选出的预定义ROI的描述符。在一个示例中，从远程UE接收的RTP头部扩展包括定义与经编码的视频相对应的实际传送的预定义ROI的描述符。
在一个示例中，从远程UE接收的RTP头部扩展包括与实际传送的预定义ROI相关联的位置和尺寸，该实际传送的预定义ROI与来自远程UE的经编码的视频相对应。在一个示例中，所述位置包括指示在远程UE处的视场内的实际传送的预定义ROI的拐角位置的两个位置值，其中这两个位置值被归一化以指示在两个维度上的相对位置。
在一个示例中，所述尺寸包括指示远程UE处的视场内的实际传送的预定义ROI的尺寸的两个尺寸值，其中这两个尺寸值被归一化以指示在两个维度上的相对尺寸。在一个示例中，这一个或多个处理器还被配置为操作支持基于所定义的ROI的交互式缩放特征的与远程UE的视频会议应用。
另一示例提供了可操作为执行与本地UE的视频会议的远程用户设备(UE)的功能700，如图7中的流程表中所示。该功能可以被实现为可以作为机器上的指令来执行的方法或功能，其中这些指令被包括在至少一个计算机可读介质或至少一个非暂态机器可读存储介质上。远程UE可以具有被配置为向本地UE发送一组预定义感兴趣区域(ROI)的一个或多个处理器，这组预定义ROI在远程UE的摄像头的视场内，如框710中所示。这一个或多个处理器可以被配置为从本地UE接收在本地UE处所选择的预定义ROI，该预定义ROI通过实时传输控制协议(RTCP)反馈消息在远程UE处被接收，所述RTCP反馈消息指示远程UE采集预定义ROI内的视频并且对预定义ROI内的视频进行编码，如框720中所示。这一个或多个处理器可以被配置为生成预定义ROI内的经编码的视频，该经编码的视频包括预定义ROI内的区域但不包括预定义ROI以外的区域，该经编码的视频包括具有增大的缩放级别且同时基本保持所定义的质量水平的预定义ROI内的区域，如框730中所示。这一个或多个处理器可以被配置为向本地UE发送预定义ROI内的经编码的视频以允许本地UE呈现和显示经编码的视频，如框740中所示。
在一个配置中，第一处理器可以执行框710、720和740中的操作。第一处理器的一个示例是基带处理器。在一个配置中，第二处理器可以执行框730中的操作。第二处理器可以是单个处理器，或者，第二处理器可以包括一个或多个分开的处理器。
在一个配置中，这一个或多个处理器还被配置为：检测远程UE处的摄像头的视场内的运动；基于在摄像头的视场内所检测到的运动标识经修改的ROI；生成修改后的ROI内的经编码的视频，该经编码的视频包括经修改的ROI内的区域但不包括修改后的ROI以外的区域；并且向本地UE发送修改后的ROI内的经编码的视频以允许本地UE呈现和显示经编码的视频。在一个示例中，使用远程UE的固定的非移动摄像头来采集经编码的视频。
另一示例提供了至少一个非暂态机器可读存储介质的功能800，该介质中包含有用于操作支持交互式缩放特征的本地用户设备(UE)处的视频会议应用的指令。这些指令被执行时可以使得本地UE使用本地UE的至少一个处理器从远程UE接收一组预定义感兴趣区域(ROI)，这组预定义ROI在远程UE的摄像头的视场内，如框810中所示。这些指令被执行时可以使得本地UE使用本地UE的至少一个处理器从接收自远程UE的这组预定义ROI中选择预定义ROI，如框820中所示。这些指令被执行时可以使得本地UE使用本地UE的至少一个处理器通过实时传输控制协议(RTCP)反馈消息向远程UE传输所选择的预定义ROI，所述RTCP反馈消息指示远程UE采集预定义ROI内的视频并对预定义ROI内的视频进行编码，如框830中所示。这些指令被执行时可以使得本地UE使用本地UE的至少一个处理器从远程UE接收预定义ROI内的经编码的视频，该经编码的视频包括预定义ROI内的区域但不包括预定义ROI以外的区域，该经编码的视频包括具有增大的缩放级别且同时基本保持所定义的质量水平的预定义ROI内的区域，如框840中所示。这些指令被执行时可以使得本地UE使用本地UE通过实时传输协议(RTP)头部扩展从远程UE接收与来自远程UE的经编码的视频相对应的实际传送的ROI，所述RTP头部扩展被包括在从远程UE接收的包含经编码的视频的RTP分组中，其中RTP头部扩展包括与实际传送的ROI相关联的位置和尺寸，实际传送的ROI与来自远程UE的经编码的视频相对应，如框850中所示。这些指令被执行时可以使得本地UE使用本地UE的至少一个处理器提供预定义ROI内的经编码的视频以在本地UE处呈现和显示，如框860中所示。
在一个配置中，至少一个非暂态机器可读存储介质还可以包括由本地UE的至少一个处理器执行时实现以下操作的指令：从远程UE接收修改后的ROI内的经编码的视频，其中修改后的ROI在远程UE处响应于在远程UE处的摄像头的视场内所检测到的运动而被标识出；并且提供修改后的ROI内的经编码的视频以在本地UE处呈现和显示。
在一个配置中，至少一个非暂态机器可读存储介质还可以包括由本地UE的至少一个处理器执行时实现以下操作的指令：从远程UE接收会话描述协议(SDP)提议消息，该消息包括与第三代合作伙伴项目(3GPP)预定义ROI参数相关联的RTCP反馈属性或者与第三代合作伙伴项目(3GPP)实际ROI参数相关联的扩展地图属性，从而指示远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
在一个配置中，至少一个非暂态机器可读存储介质还可以包括由本地UE的至少一个处理器执行时实现以下操作的指令：向远程UE发送会话描述协议(SDP)应答消息，该消息包括与第三代合作伙伴项目(3GPP)预定义ROI参数相关联的RTCP反馈属性或者与第三代合作伙伴项目(3GPP)实际ROI参数相关联的扩展地图属性，从而确认远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
在一个配置中，从本地UE传送至远程UE的RTCP反馈消息包括定义从一组预定义ROI中选出的预定义ROI的描述符。在一个示例中，从远程UE接收的RTP头部扩展包括定义与经编码的视频相对应的实际传送的预定义ROI的描述符。
图9提供了无线设备的示例图示，该无线设备例如用户设备(UE)、移动台(MS)、移动无线设备、移动通信设备、平板计算机、手持式计算机或者其它类型的无线设备。无线设备可以包括被配置为与节点或传送台通信的一个或多个天线，所述节点或传送台例如基站(BS)、演进的节点B(eNB)、基带单元(BBU)、远程无线电头部(RRH)、远程无线电设备(RRE)、中继台(RS)、无线电设备(RE)、远程无线电单元(RRU)、中央处理模块(CPM)或者其它类型的无线广域网(WWAN)接入点。无线设备可以被配置为使用包括3GPP LTE、WiMAX、高速分组接入(HSPA)、蓝牙和WiFi在内的至少一个无线通信标准。无线设备可以使用针对每个无线通信标准的单独的天线或者针对多个无线通信标准的共享天线进行通信。无线设备可以在无线局域网(WLAN)、无线个人区域网(WPAN)和/或WWAN内进行通信。
图9还提供了对可以被用于无线设备的音频输入和输出的麦克风和一个或多个扬声器的图示。显示屏可以是液晶显示(LCD)屏或者诸如有机发光二极管(OLED)显示器之类的其它类型的显示屏。显示屏可以被配置为触摸屏。触摸屏可以是电容性的、电阻性的或者另一类型的触摸屏技术。应用处理器和图形处理器可以被耦合到内部存储器以提供处理和显示能力。非易失性存储器端口也可以被用于向用户提供数据输入/输出选项。非易失性存储器端口也可以被用于扩展无线设备的存储器能力。键盘可以与无线设备集成或者无线地连接到无线设备以提供附加的用户输入。也可以使用触摸屏提供虚拟键盘。
各种技术或者这些技术的特定方面或部分可以采用用有形介质实现的程序代码(即指令)的形式，该有形介质例如软盘、紧凑型磁盘-只读存储器(CD-ROM)、硬盘、非暂态计算机可读存储介质或者任何其它机器可读存储介质，其中当程序代码被载入机器(例如计算机)中并且被机器执行时，该机器变为用于实现各种技术的装置。电路可以包括硬件、固件、程序代码、可执行代码、计算机指令和/或软件。非暂态计算机可读存储介质可以是不包括信号的计算机可读存储介质。在可编程计算机上执行程序代码的情况下，计算设备可以包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备和至少一个输出设备。易失性和非易失性存储器和/或存储元件可以是随机访问存储器(RAM)、可擦除式可编程只读存储器(EPROM)、闪存、光驱、磁性硬盘、固态驱动器或者用于存储电子数据的其它介质。节点和无线设备还可以包括收发器模块(即收发器)、计数器模块(即计数器)、处理模块(即处理器)和/或时钟模块(即时钟)或者定时器模块(即定时器)。可以实现或利用这里所描述的各种技术的一个或多个程序可以使用应用编程接口(API)、可重用控制等。这些程序可以用高级过程或者面向对象的编程语言来实现以与计算机系统通信。但是，如果需要，程序可以用汇编或机器语言来实现。在任何情况下，该语言可以是编译后或者解析后的语言，并且可以与硬件实现方式组合。
如这里所使用的，术语处理器可以包括通用处理器、诸如VLSI、FPGA或者其它类型的专用处理器之类的专用处理器、以及在收发器中用来发送、接收和处理无线通信的基带处理器。
应当理解本说明书中所描述的很多功能单元被标记为模块，以更具体地强调它们的实施独立性。例如，模块可以被实现为硬件电路，包括定制超大规模集成(VLSI)电路或门阵列、诸如逻辑芯片之类的现成的半导体、晶体管或者其它离散组件。模块还可以用可编程硬件设备来实现，例如现场可编程门阵列、可编程阵列逻辑、可编程逻辑器件等。
在一个示例中，多个硬件电路或多个处理器可以被用于实现本说明书中所描述的功能单元。例如，第一硬件电路或第一处理器可以被用于执行处理操作并且第二硬件电路或第二处理器(例如收发器或基带处理器)可以被用于与其它实体通信。第一硬件电路和第二硬件电路可以被集成到单个硬件电路中，或者第一硬件电路和第二硬件电路可以是分开的硬件电路。
模块还可以用软件来实现以供各种类型的处理器执行。一种被标识的可执行代码的模块例如可以包括一个或多个计算机指令的物理或逻辑块，这些逻辑块例如可以被组织为对象、过程或函数。但是，被标识的模块的执行体不需要物理上被放置在一起，而是可以包括存储在不同位置处的不同指令，当这些指令在逻辑上被联合在一起时构成所述模块并且实现针对该模块的所述目的。
实际上，可执行代码模块可以是单个指令或者很多指令，并且可以均匀地分布在若干个不同的代码段、不同的程序和若干个存储器设备上。类似地，可操作数据可以在模块内被标识或图示，并且可以用任何合适的形式来实现并且被组织在任何合适类型的数据结构内。操作数据可以作为单个数据集来收集，或者可以分布在包括不同存储设备的不同位置上，并且可以至少部分仅仅作为系统或网络上的电子信号而存在。模块可以是被动的或主动的，包括可操作为执行所想要的功能的代理。
在整个说明书中对“示例”或“示例性的”引用指结合该示例所描述的特定特征、结构或特性被包括在本技术的至少一个实施例中。因而，在整个说明书中的不同地方出现的短语“在示例中”或者词语“示例性的”不一定都指相同的实施例。
如这里所使用的，多个条目、结构元件、组成元件和/或材料可以为了方便而在共用的列表中呈现。但是，这些列表应当被诠释为该列表的每个成员作为单独的独特成员而分别被标识。因而，这样的列表中的任一个成员都不应当仅仅基于它们出现在共用的组内而被诠释为相同列表的任何其它成员的实际等同物。此外，本技术的各个实施例和示例在本文中可以与它们的各个组件的替代物一起被提及。应理解这样的实施例、示例或替代物不应被诠释为彼此的实际等同物，而应被认为是本技术的单独的自主表现方式。
此外，所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式进行组合。在以下描述中，诸如布局示例、距离、网络示例等之类的很多具体细节被提供以便于对本技术的实施例的全面理解。但是，相关领域的技术人员将意识到本技术可以在没有这些具体细节中的一个或多个细节的情况下或者利用其它方法、组件、布局等来实现。在其它实例中，公知的结构、材料或操作没有被详细地显示或描述以避免模糊本技术的内容。
虽然前面的示例说明了在一个或多个特定应用中的本技术的原理，但是本领域普通技术人员将明白可以在不需要创造性能力并且不脱离本技术的原理和概念的情况下对实现方式的形式、使用和细节做出很多修改。因此，除了受所附权利要求的限制以外，不希望本技术受到限制。

Claims (21)

1.一种本地用户设备(UE)的用于执行与远程UE的视频会议的装置，该装置包括被配置为执行以下操作的电路：
在所述本地UE处，从所述远程UE接收一组预定义感兴趣区域(ROI)，所述一组预定义ROI在所述远程UE的摄像头的视场内；
在所述本地UE处，从接收自所述远程UE的所述一组预定义ROI中选择预定义ROI；
通过实时传输控制协议(RTCP)反馈消息将所选择的所述预定义ROI从所述本地UE传输至所述远程UE，所述RTCP反馈消息指示所述远程UE采集所述预定义ROI内的视频并对所述预定义ROI内的所述视频进行编码；
从所述远程UE接收所述预定义ROI内的经编码的视频，所述经编码的视频包括所述预定义ROI内的区域但不包括所述预定义ROI以外的区域，所述经编码的视频包括具有增大的缩放级别且同时基本保持所定义的质量水平的所述预定义ROI内的区域；
通过实时传输协议(RTP)头部扩展从所述远程UE接收与所述经编码的视频相对应的实际传送的预定义ROI，所述RTP头部扩展被包括在从所述远程UE接收的包含所述经编码的视频的RTP分组中；并且
提供所述预定义ROI内的所述经编码的视频以在所述本地UE处呈现和显示。
2.根据权利要求1所述的装置，其中所述电路还被配置为：
从所述远程UE接收修改后的ROI内的经编码的视频，其中所述修改后的ROI是在所述远程UE处响应于在所述远程UE处的摄像头的视场内所检测到的运动而被标识出的；并且
提供所述修改后的ROI内的经编码的视频以在所述本地UE处呈现和显示。
3.根据权利要求1所述的装置，其中所述电路还被配置为：从所述远程UE接收包括与第三代合作伙伴项目(3GPP)预定义ROI参数相关联的RTCP反馈属性的会话描述协议(SDP)提议消息，从而指示所述远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
4.根据权利要求1所述的装置，其中所述电路还被配置为：向所述远程UE发送包括与第三代合作伙伴项目(3GPP)预定义ROI参数相关联的RTCP反馈属性的会话描述协议(SDP)应答消息，从而确认所述远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
5.根据权利要求1所述的装置，其中所述电路还被配置为：从所述远程UE接收包括与第三代合作伙伴项目(3GPP)实际ROI参数相关联的扩展地图属性的会话描述协议(SDP)提议消息，从而指示所述远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
6.根据权利要求1所述的装置，其中所述电路还被配置为：向所述远程UE发送包括与第三代合作伙伴项目(3GPP)实际ROI参数相关联的扩展地图属性的会话描述协议(SDP)应答消息，从而确认所述远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
7.根据权利要求1所述的装置，其中从所述本地UE传送至所述远程UE的所述RTCP反馈消息包括定义从所述一组预定义ROI中选出的所述预定义ROI的描述符。
8.根据权利要求1所述的装置，其中从所述远程UE接收的所述RTP头部扩展包括定义与所述经编码的视频相对应的所述实际传送的预定义ROI的描述符。
9.根据权利要求1所述的装置，其中从所述远程UE接收的RTP头部扩展包括与所述实际传送的预定义ROI相关联的位置和尺寸，其中所述实际传送的预定义ROI与来自所述远程UE的所述经编码的视频相对应。
10.根据权利要求9所述的装置，其中所述位置包括指示在所述远程UE处的视场内的所述实际传送的预定义ROI的拐角位置的两个位置值，其中所述两个位置值被归一化以指示在两个维度上的相对位置。
11.根据权利要求9所述的装置，其中所述尺寸包括指示所述远程UE处的视场内的所述实际传送的预定义ROI的尺寸的两个尺寸值，其中所述两个尺寸值被归一化以指示在两个维度上的相对尺寸。
12.根据权利要求1所述的装置，其中所述电路还被配置为：操作支持基于所定义的ROI的交互式缩放特征的与所述远程UE的视频会议应用。
13.一种远程用户设备(UE)的用于执行与本地UE的视频会议的装置，该装置包括被配置为执行以下操作的电路：
向所述本地UE发送一组预定义感兴趣区域(ROI)，所述一组预定义ROI在所述远程UE的摄像头的视场内；
从所述本地UE接收在所述本地UE处所选择的预定义ROI，所述预定义ROI通过实时传输控制协议(RTCP)反馈消息在所述远程UE处被接收，所述RTCP反馈消息指示所述远程UE采集所述预定义ROI内的视频并且对所述预定义ROI内的视频进行编码；
生成所述预定义ROI内的经编码的视频，所述经编码的视频包括所述预定义ROI内的区域但不包括所述预定义ROI以外的区域，所述经编码的视频包括具有增大的缩放级别且同时基本保持所定义的质量水平的所述预定义ROI内的区域；并且
向所述本地UE发送所述预定义ROI内的所述经编码的视频以允许本地UE呈现和显示所述经编码的视频。
14.根据权利要求13所述的装置，其中所述电路还被配置为：
检测所述远程UE处的所述摄像头的视场内的运动；
基于在所述摄像头的视场内所检测到的运动标识修改后的ROI；
生成所述修改后的ROI内的经编码的视频，所述经编码的视频包括所述修改后的ROI内的区域但不包括所述修改后的ROI以外的区域；并且
向所述本地UE发送所述修改后的ROI内的所述经编码的视频以允许所述本地UE呈现和显示所述经编码的视频。
15.根据权利要求13所述的装置，其中所述经编码的视频是使用所述远程UE的固定的非移动摄像头来采集的。
16.至少一个非暂态机器可读存储介质，该存储介质上包含有用于操作支持交互式缩放特征的本地用户设备(UE)处的视频会议应用的指令，所述指令被执行时执行以下操作：
使用所述本地UE的至少一个处理器从所述远程UE接收一组预定义感兴趣区域(ROI)，所述一组预定义ROI在所述远程UE的摄像头的视场内；
使用所述本地UE的所述至少一个处理器从接收自所述远程UE的所述一组预定义ROI中选择预定义ROI；
使用所述本地UE的所述至少一个处理器通过实时传输控制协议(RTCP)反馈消息将所选择的所述预定义ROI传输至所述远程UE，所述RTCP反馈消息指示所述远程UE采集所述预定义ROI内的视频并对所述预定义ROI内的所述视频进行编码；
使用所述本地UE的所述至少一个处理器从所述远程UE接收所述预定义ROI内的经编码的视频，所述经编码的视频包括所述预定义ROI内的区域但不包括所述预定义ROI以外的区域，所述经编码的视频包括具有增大的缩放级别且同时基本保持所定义的质量水平的所述预定义ROI内的区域；
通过实时传输协议(RTP)头部扩展从所述远程UE接收与来自所述远程UE的所述经编码的视频相对应的实际传送的ROI，所述RTP头部扩展被包括在从所述远程UE接收的包含所述经编码的视频的RTP分组中，其中所述RTP头部扩展包括与所述实际传送的ROI相关联的位置和尺寸，所述实际传送的ROI与来自所述远程UE的所述经编码的视频相对应；并且
使用所述本地UE的所述至少一个处理器提供所述预定义ROI内的所述经编码的视频以在所述本地UE处呈现和显示。
17.根据权利要求16所述的至少一个非暂态机器可读存储介质，还包括由所述本地UE的所述至少一个处理器执行时执行以下操作的指令：
从所述远程UE接收修改后的ROI内的经编码的视频，其中所述修改后的ROI在所述远程UE处响应于在所述远程UE处的所述摄像头的视场内所检测到的运动而被标识出的；并且
提供所述修改后的ROI内的经编码的视频以在所述本地UE处呈现和显示。
18.根据权利要求16所述的至少一个非暂态机器可读存储介质，还包括由所述本地UE的所述至少一个处理器执行时执行以下操作的指令：
从所述远程UE接收包括与第三代合作伙伴项目(3GPP)预定义ROI参数相关联的RTCP反馈属性或者与第三代合作伙伴项目(3GPP)实际ROI参数相关联的扩展地图属性的会话描述协议(SDP)提议消息，从而指示所述远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
19.根据权利要求16所述的至少一个非暂态机器可读存储介质，还包括由所述本地UE的所述至少一个处理器执行时执行以下操作的指令：
向所述远程UE发送包括与第三代合作伙伴项目(3GPP)预定义ROI参数相关联的RTCP反馈属性或者与第三代合作伙伴项目(3GPP)实际ROI参数相关联的扩展地图属性的会话描述协议(SDP)应答消息，从而确认所述远程UE支持基于预定义ROI的视频采集、基于预定义ROI的视频编码和基于预定义ROI的视频传送。
20.根据权利要求16所述的至少一个非暂态机器可读存储介质，其中从所述本地UE传输至所述远程UE的所述RTCP反馈消息包括定义从所述一组预定义ROI中选出的所述预定义ROI的描述符。
21.根据权利要求16所述的至少一个非暂态机器可读存储介质，其中从所述远程UE接收的所述RTP头部扩展包括定义与所述经编码的视频相对应的所述实际传送的预定义ROI的描述符。
CN201580058961.0A 2014-12-05 2015-11-03 交互式视频会议 Active CN107113397B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462088283P 2014-12-05 2014-12-05
US62/088,283 2014-12-05
US14/807,294 2015-07-23
US14/807,294 US10021346B2 (en) 2014-12-05 2015-07-23 Interactive video conferencing
PCT/US2015/058734 WO2016089519A1 (en) 2014-12-05 2015-11-03 Interactive video conferencing

Publications (2)

Publication Number Publication Date
CN107113397A true CN107113397A (zh) 2017-08-29
CN107113397B CN107113397B (zh) 2021-01-12

Family

ID=54541239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580058961.0A Active CN107113397B (zh) 2014-12-05 2015-11-03 交互式视频会议

Country Status (5)

Country Link
US (2) US10021346B2 (zh)
EP (1) EP3228080B1 (zh)
KR (1) KR102408271B1 (zh)
CN (1) CN107113397B (zh)
WO (1) WO2016089519A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109286824A (zh) * 2018-09-28 2019-01-29 武汉斗鱼网络科技有限公司 一种直播用户侧控制的方法、装置、设备及介质
CN112988315A (zh) * 2021-05-19 2021-06-18 全时云商务服务股份有限公司 一种个性化观看共享桌面的方法、系统和可读存储介质
CN113342239A (zh) * 2021-05-31 2021-09-03 锐迪科微电子科技（上海）有限公司 感兴趣区域确定方法和设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144768B (zh) 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
US9386275B2 (en) * 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
US9348495B2 (en) 2014-03-07 2016-05-24 Sony Corporation Control of large screen display using wireless portable computer and facilitating selection of audio on a headphone
US20160098180A1 (en) * 2014-10-01 2016-04-07 Sony Corporation Presentation of enlarged content on companion display device
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US10021346B2 (en) * 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing
CN106412485A (zh) * 2016-10-13 2017-02-15 山东浪潮商用系统有限公司 一种远程办公方法、装置及系统
WO2020092818A1 (en) * 2018-11-02 2020-05-07 Intel Corporation Signaling codec mode notifications for multimedia telephony sessions
US12113843B2 (en) * 2019-07-26 2024-10-08 Intel Corporation Viewport indication during streaming of volumetric point cloud content
US20210409464A1 (en) * 2020-06-29 2021-12-30 Abraham Varon-Weinryb Visit Via Taker Method and System
US20220311764A1 (en) * 2021-03-24 2022-09-29 Daniel Oke Device for and method of automatically disabling access to a meeting via computer
US20240007651A1 (en) * 2022-06-30 2024-01-04 Amazon Technologies, Inc. Media content boundary-aware encoding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215766A1 (en) * 2005-03-01 2006-09-28 Haohong Wang Region-of-interest coding in video telephony using RHO domain bit allocation
US20060215753A1 (en) * 2005-03-09 2006-09-28 Yen-Chi Lee Region-of-interest processing for video telephony
CN101167365A (zh) * 2005-03-09 2008-04-23 高通股份有限公司 用于视频电话的感兴趣区域处理
WO2010107411A1 (en) * 2009-03-17 2010-09-23 Utc Fire & Security Corporation Region-of-interest video quality enhancement for object recognition
CN103581544A (zh) * 2012-07-20 2014-02-12 捷讯研究有限公司 动态感兴趣区域调整和提供动态感兴趣区域调整的图像捕捉设备
US20140320587A1 (en) * 2013-04-26 2014-10-30 Ozgur Oyman Interactive zooming in video conferencing

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496607B1 (en) * 1998-06-26 2002-12-17 Sarnoff Corporation Method and apparatus for region-based allocation of processing resources and control of input image formation
WO2002032025A1 (en) 2000-10-09 2002-04-18 Ses Astra S.A. Internet broadcast system
US7321384B1 (en) 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US7119829B2 (en) 2003-07-31 2006-10-10 Dreamworks Animation Llc Virtual conference room
WO2005071921A1 (en) 2003-12-23 2005-08-04 Nokia Corporation Image data transfer sessions
EP1701546A4 (en) 2004-04-23 2010-09-15 Sumitomo Electric Industries CODING METHOD AND DECODING METHOD FOR MOVABLE IMAGE DATA, FINAL DEVICE FOR CARRYING OUT THE METHOD AND BIDIRECTIONAL INTERACTIVE SYSTEM
US8427538B2 (en) 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US8693537B2 (en) 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
US8977063B2 (en) * 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
CN101156453B (zh) 2005-04-05 2012-07-18 汤姆森许可贸易公司 局部调整量化阶的方法和编码图像序列的方法和设备
CN101120593A (zh) 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
AU2006303886B2 (en) 2005-10-12 2011-11-17 Interdigital Vc Holdings, Inc. Region of interest H .264 scalable video coding
US20090317282A1 (en) 2006-07-06 2009-12-24 Lotus Alloy Co., Ltd. Method for manufacturing porous body
US20080095228A1 (en) 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
JP2008259000A (ja) 2007-04-06 2008-10-23 Sony Corp テレビ会議装置、制御方法、およびプログラム
US8446454B2 (en) 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
US8289371B2 (en) 2007-05-21 2012-10-16 Polycom, Inc. Smart cropping of video images in a videoconferencing session
FR2918520A1 (fr) 2007-07-03 2009-01-09 Canon Kk Procede et dispositif de transmission video
KR101421587B1 (ko) 2007-08-23 2014-07-22 삼성전자주식회사 무선 영상 전화 단말간의 선호 영상 규격을 결정하는 방법및 장치
CN101453639B (zh) 2007-11-29 2012-05-30 展讯通信（上海）有限公司 支持roi区域的多路视频流的编码、解码方法和系统
US8570359B2 (en) 2008-08-04 2013-10-29 Microsoft Corporation Video region of interest features
CN101404726B (zh) 2008-10-20 2012-05-02 华为终端有限公司 一种远端摄像机的控制方法、系统和装置
US20100118111A1 (en) 2008-11-10 2010-05-13 Nokia Corporation Method and apparatus for remote camera control indications in video conferencing
NO332170B1 (no) 2009-10-14 2012-07-16 Cisco Systems Int Sarl Anordning og fremgangsmate for kamerakontroll
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
CN102215373B (zh) 2010-04-07 2014-12-24 苹果公司 会议中的显示调整
US8744420B2 (en) 2010-04-07 2014-06-03 Apple Inc. Establishing a video conference during a phone call
US8718245B2 (en) 2011-02-16 2014-05-06 Justin Kahn Methods and systems for online counseling sessions and clinics
US8970653B2 (en) 2011-06-16 2015-03-03 Vtel Products Corporation, Inc. Video conference control system and method
CN103858457B (zh) * 2011-08-01 2018-11-13 英特尔公司 用于身份提供商(IdP)漫游/代理的多跳单点登录(SSO)
US9584819B2 (en) 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9042247B2 (en) 2011-12-06 2015-05-26 Wi-Lan Labs, Inc. Systems and methods for preserving application identification information on handover in a communication network
US9413941B2 (en) 2011-12-20 2016-08-09 Motorola Solutions, Inc. Methods and apparatus to compensate for overshoot of a desired field of vision by a remotely-controlled image capture device
US8854958B2 (en) 2011-12-22 2014-10-07 Cygnus Broadband, Inc. Congestion induced video scaling
US9213605B2 (en) 2012-01-23 2015-12-15 Intel Corporation IP multimedia subsystem and method for MBMS file repair using HTTP servers
EP2621171A1 (en) 2012-01-27 2013-07-31 Alcatel Lucent System and method for sharing videos
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
CN103384319B (zh) 2012-05-04 2018-06-15 中兴通讯股份有限公司 双流视频会议终端的图像缩放方法和系统
US8935246B2 (en) 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query
US8963988B2 (en) 2012-09-14 2015-02-24 Tangome, Inc. Camera manipulation during a video conference
US10771801B2 (en) 2012-09-14 2020-09-08 Texas Instruments Incorporated Region of interest (ROI) request and inquiry in a video chain
KR20180026803A (ko) 2012-09-18 2018-03-13 브이아이디 스케일, 인크. 타일 및 타일 그룹을 이용한 관심 영역 비디오 코딩
CN103686056B (zh) 2012-09-24 2017-07-28 鸿富锦精密工业（深圳）有限公司 会议终端及该会议终端的视频处理方法
WO2014113197A1 (en) 2013-01-17 2014-07-24 Intel IP Corporation Presence service using ims based dash service
US9160515B2 (en) 2013-04-04 2015-10-13 Intel IP Corporation User equipment and methods for handover enhancement using scaled time-to-trigger and time-of-stay
CN104113766B (zh) 2013-04-16 2018-01-02 华为技术有限公司 一种媒体流的传输带宽的调整方法及相关装置
EP3058747B1 (en) 2013-10-15 2019-11-20 Nokia Technologies Oy Scalable video encoding and decoding using syntax element
US9762533B2 (en) 2013-12-20 2017-09-12 Futurewei Technologies, Inc. Method of IMS (SIP network) webRTC optimized P2P communication
US9386275B2 (en) 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215766A1 (en) * 2005-03-01 2006-09-28 Haohong Wang Region-of-interest coding in video telephony using RHO domain bit allocation
US20060215753A1 (en) * 2005-03-09 2006-09-28 Yen-Chi Lee Region-of-interest processing for video telephony
CN101167365A (zh) * 2005-03-09 2008-04-23 高通股份有限公司 用于视频电话的感兴趣区域处理
WO2010107411A1 (en) * 2009-03-17 2010-09-23 Utc Fire & Security Corporation Region-of-interest video quality enhancement for object recognition
CN103581544A (zh) * 2012-07-20 2014-02-12 捷讯研究有限公司 动态感兴趣区域调整和提供动态感兴趣区域调整的图像捕捉设备
US20140320587A1 (en) * 2013-04-26 2014-10-30 Ozgur Oyman Interactive zooming in video conferencing

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109286824A (zh) * 2018-09-28 2019-01-29 武汉斗鱼网络科技有限公司 一种直播用户侧控制的方法、装置、设备及介质
CN112988315A (zh) * 2021-05-19 2021-06-18 全时云商务服务股份有限公司 一种个性化观看共享桌面的方法、系统和可读存储介质
CN113342239A (zh) * 2021-05-31 2021-09-03 锐迪科微电子科技（上海）有限公司 感兴趣区域确定方法和设备

Also Published As

Publication number Publication date
KR20170091592A (ko) 2017-08-09
EP3228080A1 (en) 2017-10-11
EP3228080B1 (en) 2021-04-21
US10021346B2 (en) 2018-07-10
US10491861B2 (en) 2019-11-26
KR102408271B1 (ko) 2022-06-10
CN107113397B (zh) 2021-01-12
US20170332042A1 (en) 2017-11-16
WO2016089519A1 (en) 2016-06-09
US20160165185A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
CN105794204B (zh) 交互式视频会议
US10791261B2 (en) Interactive video conferencing
CN107113397A (zh) 交互式视频会议
TWI578796B (zh) 可組配用於視訊注意區域(roi)傳信之以經由ims之多媒體電話服務 (mtsi)為基礎的使用者設備(ue)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1242874

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200326

Address after: California, USA

Applicant after: INTEL Corp.

Address before: California, USA

Applicant before: INTEL IP Corp.

Effective date of registration: 20200326

Address after: California, USA

Applicant after: Apple Inc.

Address before: California, USA

Applicant before: INTEL Corp.

GR01 Patent grant
GR01 Patent grant