CN106797448A - 交互式视频会议 - Google Patents

交互式视频会议 Download PDF

Info

Publication number
CN106797448A
CN106797448A CN201580047449.6A CN201580047449A CN106797448A CN 106797448 A CN106797448 A CN 106797448A CN 201580047449 A CN201580047449 A CN 201580047449A CN 106797448 A CN106797448 A CN 106797448A
Authority
CN
China
Prior art keywords
local
roi
long
range
ptzf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580047449.6A
Other languages
English (en)
Inventor
O·奥伊曼
J-P·贾卡洛内
I·福克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106797448A publication Critical patent/CN106797448A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4053—Arrangements for multi-party communication, e.g. for conferences without floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1106—Call signalling protocols; H.323 and related
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4046—Arrangements for multi-party communication, e.g. for conferences with distributed floor control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

公开了用于本地用户设备(UE)可操作以与远程UE执行视频会议的技术。本地UE可以定义远程UE的相机的视场内的感兴趣区域(ROI)。本地UE可以将ROI映射到一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令。本地UE可以将一个或多个PTZF命令发送到远程UE，其中，远程UE被配置为：基于一个或多个PTZF命令来识别ROI。本地UE可以从远程UE接收ROI内的编码视频。编码视频可以以增加的缩放水平包括ROI内的区域同时基本上维持定义的质量水平，以使得ROI内的编码视频能够在本地UE处进行渲染和显示。

Description

交互式视频会议
背景技术
包括流传输业务和对话业务在内的多媒体业务的增长，是向新的移动宽带技术和标准发展的关键驱动力之一。在移动设备中越来越多地消费数字视频内容。在日常生活中存在许多在移动设备上广泛使用的视频应用。例如，在线视频流传输包括受欢迎的诸如YouTube和Hulu的业务。视频记录和视频会议包括诸如Skype和Google Hangout的业务。在2011年，YouTube具有超过1万亿次的全球观看。百分之十的观看是经由移动电话或平板电脑来接入的。随着更多的智能电话、平板电脑和其它移动计算设备被购买，它们针对视频记录和视频会议的使用将显著增加。在对与媒体压缩和无线网络基础设施相结合的多媒体业务的消费者需求如此高的情况下，感兴趣的是增强未来的蜂窝与移动宽带系统的多媒体业务能力以及向消费者递送高的体验质量(QoE)，由此确保在任何时间，使用任何设备和技术，从任何位置处对视频内容和业务的泛在接入。
附图说明
本公开的特征和优点将从下面结合附图的详细描述中显而易见，详细描述和附图一起以示例的方式说明了本公开的特征；并且，其中：
图1根据示例示出支持感兴趣区域(ROI)缩放特征的基于通过IMS的多媒体电话业务(MTSI)的视频会议系统；
图2根据示例示出用于生成摇摄、倾斜、缩放和聚焦(PTZF)命令并且经由远端相机控制(FECC)协议用信号传达PTZF命令的用户界面；
图3根据示例示出用于将用户定义的感兴趣区域(ROI)映射到一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令的技术；
图4为根据示例示出在远程用户设备(UE)与本地UE之间用于在基于通过IMS的多媒体电话业务(MTSI)的视频会议应用中发起感兴趣区域(ROI)缩放特征的通信的流程图；
图5A根据示例示出基于实时传输协议(RTP)报头扩展技术的、指示增强的远端相机控制(FECC)协议能力的会话描述协议(SDP)提议消息；
图5B根据示例示出基于实时传输协议(RTP)报头扩展技术的、接受增强的远端相机控制(FECC)协议能力的会话描述协议(SDP)应答消息；
图6A根据示例示出基于实时传输控制协议(RTCP)反馈技术的、指示增强的远端相机控制(FECC)协议能力的会话描述协议(SDP)提议消息；
图6B根据示例示出基于实时传输控制协议(RTCP)反馈技术的、接受增强的远端相机控制(FECC)协议能力的会话描述协议(SDP)应答消息；
图7根据示例描绘可操作用于与远程UE执行视频会议的本地用户设备(UE)的功能；
图8根据示例描绘至少一种非瞬时性机器可读存储介质的流程图，该机器可读存储介质具有体现在其中的指令，这些指令用于在支持交互式缩放特征的本地用户设备(UE)处操作视频会议应用；
图9根据示例描绘可操作用于与远程UE执行视频会议的本地用户设备(UE)的功能；
图10根据示例描绘可操作用于与远程UE执行视频会议的本地用户设备(UE)的功能；以及
图11根据示例示出无线设备(例如，UE)的图示。
现在将参考所示的示例性实施例，将在此使用特定语言描述示例性实施例。然而，应理解，并无意由此对本发明的范围进行限制。
具体实施方式
在公开和描述本发明之前，应理解的是，本发明不局限于本文所公开的特定的结构、处理步骤或材料，而是扩展到相关领域中普通技术人员将认识到的其等价物。还应当理解的是，本文所采用的术语仅仅用于描述特定示例的目的并且并非旨在限制意义。不同附图中相同的附图标记表示相同的元件。在流程图和过程中提供的数字被提供用于清楚地说明步骤和操作并且不一定指示特定次序或顺序。
示例实施例
以下提供了技术实施例的初步概述，然后稍后更详细地描述了具体技术实施例。该初步摘要旨在帮助读者更快速地理解技术，而非旨在识别技术的关键特征或基本特征，也非旨在限制要求保护的主题的范围。
描述了一种用于在支持交互式缩放特征的本地用户设备(UE)处操作视频会议应用的技术。本地UE处的本地用户可以通过使用视频会议应用与远程UE处的远程用户进行通信。在本地UE的显示屏上经由视频会议应用观看场景的本地用户可以选择该场景内的区域。这个区域可以被称为远程UE处的视场内的感兴趣区域(ROI)。本地用户可能在本地用户期望对ROI内的内容进行更详细显示时选择ROI。本地用户可以使用交互式缩放特征从场景的视频馈送动态地切换到场景内的选定区域(即，ROI)。ROI可以被映射到一个或多个摇摄(pan)、倾斜(tilt)、缩放(zoom)和聚焦(focus)(PTZF)命令。换言之，PTZF命令可以描述或表征由本地用户在本地UE处选择的ROI。本地UE可以经由实时传输控制协议(RTCP)反馈消息，或者替换地，使用实时传输协议(RTP)报头扩展将PTZF命令传递至远程UE。远程UE可以处理PTZF命令，以便识别ROI。远程UE可以捕获在ROI内的视频。此外，远程UE可以对ROI内的视频进行编码。编码视频可以包括ROI内的区域并且不包括ROI外的区域。远程UE可以将编码视频发送到本地UE。编码视频可以以增加的缩放水平包括ROI内的区域同时基本上维持定义的质量水平。换言之，远程UE可以提供ROI内的编码视频，以便在本地UE处实现编码视频的回放。通过远程UE仅将场景的选定区域(即，ROI)发送到本地UE，并且将场景的非选定区域排除在发送之外，视频会议应用可以高效地使用可用宽带。
存在许多已经开发出用于使多媒体能够被传递到移动计算设备、从移动计算设备传递或者在移动计算设备之间传递的多媒体标准。例如，在流传输视频中，第三代合作伙伴计划(3GPP)已经开发出描述分组交换流媒体业务(PSS)的技术规范(TS)26.234(例如，release 11.0.0)，这些PSS基于用于点播或直播内容的单播流传输的实时流传输协议(RTSP)。此外，在3GPP TS 26.247(例如，release 11.0.0)中描述了基于超文本传输协议(HTTP)的流传输业务，包括渐进式下载和通过HTTP的动态自适应流传输(DASH)。基于3GPP的多媒体广播和组播业务(MBMS)规范TS 26.346(例如，release 11.0.0)规定了用于组播/广播内容分发的流传输技术和下载技术。因此，基于DASH/PSS/MBMS的移动计算设备例如用户设备(UE)在UE设备处对流传输的视频进行解码和渲染。在所有这些规范中都要求对3GPPTS 26.244(例如，release 11.0.0)中的3GP文件格式的支持，以支持文件下载和基于HTTP的流传输使用例。
在3GPP TS 26.114(例如，11.0.0)中提供了用于对话视频通信(例如，视频会议)的标准的一个示例。该标准描述了如下通过IMS的多媒体电话业务(MTSI)，其允许通过基于互联网协议(IP)多媒体子系统(IMS)的网络来传送高级多媒体对话业务和内容。IMS在3GPPTS 26.140(例如，release 11.0.0)中被标准化。3GPP TS 26.140描述了媒体处理和交互，其包括媒体控制、媒体编解码以及媒体和控制数据的传输。3GPP TS 26.140也使用多媒体共享业务(MMS)实现了视频共享，在MMS中提供对3GP文件格式的支持。
如以下进一步详细描述的，MTSI呼叫可以使用呼叫会话控制功能(CSCF)机制来路由呼叫(例如视频会议应用)中所涉及的UE之间的控制面信令。在控制面中，应用服务器(AS)可以存在并且提供补充业务，例如呼叫保持或呼叫恢复、呼叫转送和多方呼叫等。
基于MTSI的发送方UE终端可以捕获和记录视频，然后通过3GPP网络将视频传送到基于MTSI的接收方UE终端。然后，接收方UE终端可以对视频进行解码和渲染。在MTSI中，会话发起协议(SIP)可以充当应用层控制协议，以建立、修改和终止对话多媒体会话，例如视频会议、互联网电话呼叫以及其他。在发送终端与接收终端之间的基于会话描述协议(SDP)的信令可以在媒体相关能力协商(包括编解码、比特率、分辨率等)中允许提议/应答考虑。MTSI中媒体的传输基于通过UDP/IP的实时传输协议(RTP)(由IETF RFC 3550规定)。
捕获设备以及因此压缩视频的分辨率快速增加。例如，使用近来的高效视频编码(HEVC)标准，可以传输4K内容并将其存储作为操作产品的一部分。现在具有4k×2k分辨率的相机广泛可得。直播流传输视频已经被论证具有8k×4k的分辨率。在像素数量方面，分辨率在未来很可能增加。对于这些非常高分辨率内容，现在视频流传输中的新用法是可能的，例如交互式缩放特征。
当前存在于市场中的对话视频业务(例如MTSI)使得能够在宽带、空间分辨率、定向等方面动态适应视频。然而，这些对话视频业务并没有使用户能够在流传输的视频中动态切换到用户选定的区域以及针对该用户选定的区域优化编码。结果，在视频呼叫中使用交互式缩放特征期间可实现的视频分辨率会被限制。虽然接收方应用可以放大感兴趣区域(ROI)并且剪辑掉视频的不需要部分(例如，响应于来自用户界面的命令)，当前系统的一个限制在于，在没有来自接收终端的任何ROI信令的情况下，发送终端将仍然对整个视频帧进行编码和发送。
在一个示例中，将ROI信息从MTSI接收方用信号传达到MTSI发送方可以使得MTSI发送方能够传送较高质量的流。在视频的ROI部分的编码上，MTSI发送方可以完全或主要使用协商后的比特率。为了实现这个目的，可以在两个方向上执行信令。MTSI发送方可以将消息发送到MTSI接收方以表达能力，并且MTSI接收方可以将消息发送到MTSI发送方以表达期望的ROI。
图1示出支持感兴趣区域(ROI)缩放特征的基于通过IMS的多媒体电话业务(MTSI)的视频会议系统。与远程用户设备(UE)128(例如，移动电话、平板计算机、桌上型计算机或其它合适的设备)相关联的用户(例如，用户A)可以和与本地UE 148相关联的另一个用户(例如，用户B)进行视频会议。换言之，远程UE 128和本地UE 148两者可以运行双向视频会议应用160。用户A可以靠近远程UE 128(例如，在远程UE 128的前面)，并且用户B可以靠近本地UE 148(例如，在本地UE 148的前面)。远程UE 128和本地UE 148可以各自包括使得用户在视频会议应用160运行的同时能够观看彼此的相机。远程UE 128可以包括远程相机，而本地UE 148可以包括本地相机。远程UE 128可以包括在操作期间捕获用户A的视频的相机和在操作期间向用户A显示用户B的视频的显示屏。类似地，本地UE 148可以包括在操作期间捕获用户B的视频的相机和在操作期间向用户B显示用户A的视频的显示屏。换言之，用户A可以在远程UE 128上经由显示屏观看用户B，并且用户B可以在本地UE 148上经由显示屏观看用户A。
在一个示例中，视频会议应用160可以通过基于MTSI的对话视频系统。换言之，视频会议应用160可以通过基于3GPP的多媒体电话业务来操作，该基于3GPP的多媒体电话业务将远程UE 128和本地UE 148彼此连接并连接到电话网络。
远程UE 128可以通过无线接入网(RAN)126、服务通用分组无线业务(GPRS)支持节点(SGSN)124和/或网关GPRS支持节点(GGSN)122连接到核心网。远程UE 128可以通过代理呼叫会话控制功能(P-CSCF)120发送和接收数据。P-CSCF 120可以与服务呼叫会话控制功能(S-CSCF)114发送和接收数据。在一些示例中，S-CSCF 114可以从应用服务器(AS)122发送和接收数据，AS 122可以提供补充业务，例如呼叫保持或呼叫恢复、呼叫转送和多方呼叫等。在该示例中，RAN 126、SGSN 124、GGSN 122、P-CSCF 120、S-CSCF 114和AS 112可以与操作者A 110相关联。S-CSCF 114可以发送和接收来自核心网的其它部分的数据。例如，与操作者A 110相关联的S-CSCF 114可以与关联于操作者B 130的询问CSCF(I-CSCF)136进行通信。
本地UE 148可以通过它自己的无线接入网(RAN)146、服务通用分组无线业务(GPRS)支持节点(SGSN)144和网关GPRS支持节点(GGSN)142连接到核心网。本地UE 148可以通过代理呼叫会话控制功能(P-CSCF)140发送和接收数据。P-CSCF 140可以与服务呼叫会话控制功能(S-CSCF)134发送和接收数据。在一些示例中，S-CSCF 134可以从应用服务器(AS)132发送和接收数据，AS 132可以提供补充业务，例如呼叫保持或呼叫恢复、呼叫转送和多方呼叫等。S-CSCF 114和S-CSCF 134可以各自与询问CSCF(I-CSCF)136进行通信。换言之，操作者A 110可以经由S-CSCF 114与I-CSCF 136之间的通信与操作者B进行通信。I-CSCF 134可以对归属用户服务器(HSS)138和/或用户位置功能(SLF)138进行读写。在该示例中，RAN 146、SGSN 144、GGSN 142、P-CSCF 140、HSS/SLF 138、I-CSCF 136、S-CSCF 134和AS 132可以与操作者B 130相关联。
在一种配置中，视频会议应用160可以支持缩放特征。例如，本地UE 148可以放大远程相机(即，与远程UE 128相关联的相机)的视场中的特定特征或特定位置。在本地UE148处，用户B可以定义远程UE 128处的视场内的感兴趣区域(ROI)150。作为非限制性示例，在远程UE 128处，用户A可能在远程UE 128的显示屏上看到用户B的头部。在本地UE 148处，用户B可能在本地UE 148的显示屏上看到用户A的头部和躯干。用户B可能期望用户A的增强视图(例如，用户B可期望放大用户A的面部)。用户B可以在本地UE 150处定义ROI 150，使得ROI 150包括用户A的面部。在本地UE 150处可以使用例如图形用户界面来定义ROI 150。换言之，用户B可以使用输入设备例如计算机鼠标或触摸屏来选择区域。ROI 150可以包括远程相机的视场内的其它合适的区域。例如，用户B可以将ROI 150定义为包括用户A的躯干、用户A背后的树等。作为另一个示例，ROI 150可以包括本地UE 148的显示屏的右上区域(其对应于远程相机的适当视场)、本地UE 148的显示屏的左下区域等。
在一个示例中，用户B可以将ROI 150定义为具有远程相机的视场内的任意尺寸和位置。在另一个示例中，当定义了ROI 150时，远程UE 128可以保持固定，使得选择ROI 150不会移动或改变远程相机的视场。在又一示例中，用户B可以随意选择新的ROI 150。此外，(在远程UE 128处的)用户A也可以选择类似的ROI以对(在本地UE 148处的)用户B进行放大。
如以下进一步细节中所解释的，ROI 150可以被映射到一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令。PTZF命令可以表征或描述由用户B选择的ROI 150。在一个示例中，PTZF命令系列或序列可以用于描述ROI 150。可以在H.281/H.224协议中进一步定义PTZF命令。与使用具体坐标相比，PTZF命令可以是用于表征ROI 150的替换解决方案。描述ROI 150的PTZF命令可以从本地UE 148被发送到远程UE 128。如以下进一步详细讨论的，可以使用实时传输控制协议(RTCP)反馈消息来传递描述ROI 150的PTZF命令。在替换解决方案中，描述ROI 150的PTZF命令可以被嵌入在捕获的本地视频(即，在本地UE 148处捕获的视频)中的至少一个实时传输协议(RTP)报头扩展中。RTCP反馈消息或RTP报头扩展可以引导远程UE128捕获ROI 110内的视频。
在一些示例中，远程UE 128可以捕获仅包括ROI 150并且不包括ROI 150外的区域的视频。作为非限制性示例，RTP报头扩展或RTCP反馈消息(其包括描述ROI 150的PTZF命令)可以吩咐远程UE 128捕获用户A的下巴上的伤口。换言之，远程UE的相机可以仅捕获用户A的下巴上的伤口，并且不捕获围绕用户A的下巴的其它区域。
在根据ROI 150捕获了视频后，远程UE 128就可以例如使用压缩相对低的编码方案对视频进行编码。因此，视频可以提供ROI 150的相对特写且详细的视图，同时基本上维持定义的质量水平。远程UE 128可以用损失较少的编码方案来对视频(具有ROI 150)进行编码，因为之前用于对整个视场进行编码的资源现在仅用于对ROI 150进行编码。远程UE128可以将编码视频(仅具有ROI)发送到本地UE 148。由于当发送编码视频(仅具有ROI150)时，远程UE 128可以消耗基本上相同量的带宽，因此与(与远程UE 128相关联的)远程相机的全部视场相比，编码视频可以具有相当高的质量。换言之，ROI的编码视频可以是相对清晰的，并且没有颗粒或模糊。在这点上，本文所述的技术优于现有技术，在现有技术中，用户(例如，用户B)手动放大在显示屏上显示的帧，这会导致质量水平降低。在当前解决方案中，远程UE 128可以以协商的分辨率仅对ROI 150而不是整个捕获的帧进行编码，这将使得在本地UE 148处整体分辨率更高且用户体验更好。
作为非限制性示例，远程UE 128可以对用户A的下巴上的伤口的视频进行编码。远程UE 128可以使用压缩相对低的编码方案，使得用户A的下巴能够以相对大的分辨率和清晰度水平可见。换言之，编码视频可以是用户A的下巴的放大表示，但仍然维持了相对高的质量水平(例如，没有颗粒)。此外，整个宽带可以用于发送用户A的下巴的编码视频，这可以得到用户A的下巴的相对清晰且详细的表示。与如果用户A的面部全部被包含作为编码视频的一部分相比，该表示可以提供用户A的面部的附加细节。
在替换配置中，远程UE 128可以捕获包括(与远程UE 128相关联的)远程相机的全部视场的视频。然而，远程UE 108可以仅对视频中包括ROI 150的那部分进行编码。此外，远程UE 108可以发送仅包括ROI 150并且不包括ROI 150外的区域的编码视频。
本地UE 148可以从远程UE 128接收编码视频，其中，编码视频包括ROI 150内的区域并且不包括ROI 150外的区域。本地UE 148可以在与本地UE 148相关联的显示屏上渲染和显示编码视频。作为非限制性示例，坐在本地UE 148前面的用户B可以观看用户A的下巴上的伤口的详细且特写的表示。用户B会常常返回到用户A的先前视图，例如，用户B可以取消缩放并且返回以在本地UE 148的显示屏上观看用户A的整个面部和躯干。
在国际电信联盟(ITU)电信标准化部门(ITU-T)规范H.224/H.281和互联网工程任务组(IETF)请求评议(RFC)4573中，使用栈互联网协议(IP)/用户数据报协议(UDP)/RTP/H.224/H.281定义了基于用于实时传输协议(RTP)的ITU-T远端相机控制的多媒体业务。
在远端相机控制(FECC)协议中，可以通过用信号传达如由ITU-TH.281标准化的PTZF-摇摄、倾斜、缩放和聚焦命令，来实现感兴趣区域(ROI)的指示和对特定ROI的缩放。例如，START ACTION消息的消息格式可以如下：
对于摇摄(P)，START ACTION消息可以包括针对向右的第一值(R)和针对向左的第二值(L)。对于倾斜(T)，START ACTION消息可以包括针对向上的第一值(U)和针对向下的第二值(D)。对于缩放(Z)，START ACTION消息可以包括针对放大的第一值(I)和针对缩小的第二值(O)。对于聚焦(F)，START ACTION消息可以包括针对聚焦的第一值(I)和针对散焦的第二值(O)。
FECC协议依赖于ITU-T H.281胜过H.224。因此，可以经由携带H.224帧的RTP分组来用信号传达ROI信息。FECC对于H.224帧可以是内部，并且可以由H.224分组的客户端ID字段来识别。此外，RFC 4573使用H.224定义了用于支持远端相机控制协议的会话描述协议(SDP)参数的语法和语义。SDP提议/应答可以允许协商两个MTSI客户端之间的能力。
在3GPP MTSI的情况下，相机可以被固定到设备(例如，平板电脑或智能手机)并且不具有实际独立被控制的能力。对于不具有摇摄/倾斜能力的固定相机，摇摄命令可以被映射到在二维(2D)图像平面上的左/右移动/平移，并且倾斜命令可以被映射到在二维(2D)图像平面上的上/下移动/平移。因此，PTZ命令的组合可以允许放大任意感兴趣区域。这些功能被叫做vPTZ(虚拟PTZ)。例如，当摇摄或倾斜被应用于整个图像时，可以通过改变相机的输入缓冲区来仿真相机运动，无需做出修改。当缩放相机时，可以选择较小的矩形区域，然后可以通过平移选定的矩形来接受倾斜和摇摄。
在一个示例中，从时延的角度来看，在带宽潜在不良且链路特性动态变化的移动通信环境中，出于ROI信令的目的直接使用FECC协议可能是不利的。FECC是一种渐进式协议，其使用由接收方(例如，用户选择ROI的本地UE)进行PTZF命令的连续传输，直到用户获得具有期望的ROI的流为止。换言之，发送方(例如，发生编码的远程UE)不具有精确的ROI信息。此外，接收方(例如，具有生成ROI信息的用户界面的本地UE)不知道发送方(例如，远程UE)将在处理接收到的PTZF命令时使用的步长大小。步长大小可以指示由给定的P命令和T命令得到的上/下和左/右平移的像素的数目。步长大小也可以指示在传输Z命令之后发生的缩放的量。这些不确定的因素会需要使用FECC协议发送PTZF命令序列，直到可以接收到具有期望的ROI的流为止。
作为非限制性示例，可以使用13个PTZF命令来描述ROI。换言之，13个PTZF命令可以描述由用户在接收方(或本地UE)处选择的ROI。可以将13个PTZF命令从接收方(例如，本地UE)发送到发送方(例如，远程UE)。在传统技术中，发送13个PTZF命令的时间量可以基于往返时间(RTT)和发出新PTZF命令的用户界面延迟(UI_delay)。作为非限制性示例，往返时间可以是300毫秒(ms)，并且用户界面延迟可以是100ms。因此，发送13个PTZF命令的时间量(即，时延)可以被限定在13×UI_delay+RTT(或1.6秒)与13×RTT(或3.9秒)之间。换言之，在该示例中，当发送PTZF命令序列时的时延可以在1.6秒与3.9秒之间。因此，当使用传统技术时，用户为了观看与请求的ROI对应的流所经历的时延可以大至3.9秒，这会导致不良的用户体验。
本文所述的新颖技术扩展了先前的FECC协议，使得视频接收方(例如，本地UE)可以在单个RTP分组中(即，以单次传输)将成组的多个PTZF命令的序列发送到视频发送方或远端终端(例如，远程UE)。在替换解决方案中，视频接收方可以在单个RTCP分组中将成组的多个PTZF命令的序列发送到视频发送方。多个PTZF命令可以在视频发送方处按顺序执行，这允许视频发送方通过来回交换消息而快速汇聚于期望的ROI。FECC协议的这个扩展版本被称为增强FECC(eFECC)。换言之，增强FECC支持可以指示，视频接收方(例如，本地UE)被配置为以单次传输发送PTZF命令的序列，并且视频发送方(例如，远程UE)被配置为处理PTZF命令的序列、基于PTZF命令来识别ROI并且相应地对ROI内的视频进行编码。
在先前的示例中，当使用传统技术时，发送13个PTZF命令的时间量会在1.6秒与3.9秒之间。通过使用增强FECC，可以减少发送同样13个PTZF命令的时间量。用户为了观看与请求的ROI对应的流所经历的时延可以由UI_delay+RTT来确定。在该示例中，UI_delay为300ms并且RTT为100ms，因此，时延可以为400ms(或0.4秒)。在移动设置中盲目使用之前的FECC协议会导致用户在观看与请求的ROI对应的流之前经历的时延水平无法容忍。通过使用增强FECC，可以减少时延的量。
图2示出生成摇摄、倾斜、缩放和聚焦(PTZF)命令并且经由远端相机控制(FECC)协议用信号传达PTZF命令的用户界面240。用户界面240可以位于本地用户设备(UE)220处。本地UE 220的第一用户210可以与第二用户230进行视频会议。第二用户230可以使用远程UE(图2中未示出)来执行与第一用户210的视频会议。因此，第一用户210可以经由正在本地UE220上运行的视频会议应用来观看第二用户230。第一用户210可以经由本地UE 220上的用户界面240来选择感兴趣区域(ROI)250。例如，第一用户210可以选择第二用户的面部区域。由第一用户210选择的该区域可以指示ROI 250。基于对ROI 250的选择，本地UE 220可以生成PTZF命令的序列。本地UE 220可以将PTZF命令的序列发送到远程UE。远程UE可以基于PTZF命令的序列来识别ROI 250。远程UE可以仅发送包括ROI 250的编码视频。因此，本地UE220的用户界面240可以向第一用户210更详细地显示ROI 250。
图3示出用于将用户定义的感兴趣区域(ROI)330映射到一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令的示例性技术。用户界面310可以显示远程用户320。用户界面310可以与本地用户设备(UE)相关联，并且远程用户320可以与远程UE相关联。在一个示例中，与本地UE相关联的本地用户可以以1080p和1920×1080的协商分辨率与远程用户320进行视频会议。本地UE的本地用户可能期望放大远程用户的面部。换言之，本地UE的本地用户可能想要远程用户的面部填充用户界面310的增加部分且具有更多细节(即，较大的缩放水平)。在这种情况下，本地用户可以经由用户界面310在本地UE上选择感兴趣区域(ROI)330。例如，本地用户可以选择涵盖远程用户面部的ROI 330。
如图3所示，用户界面310可以在X方向上和在Y方向上被划分成选定数量的图块。用户对ROI 330的选择可以被转换成将要从本地UE发送到远程UE的PTZF命令的序列。在一个示例中，Z命令可以引起在X方向和Y方向两者上大约90％的居中缩放，这可以从X方向和Y方向留下大约10％的原始图像。P命令可以引起围绕中心图块340在图块上左/右移动，每个P命令的步长是四分之一x图块大小。T命令可以引起围绕中心图块340在图块上上/下移动，每个T命令的步长是四分之一y图块大小。
如图3所示，用户定义的ROI 330可以与X坐标(1080,1560)和Y坐标(540,810)相关联。用户界面310的左下角可以是具有(0,0)的X坐标和Y坐标的原点。为了使用PTZF命令序列表示ROI 330，可以使用至少八个缩放命令(如由图3中的实线箭头所示)来获得中心图块340。可以在以X(720,1200)和Y(405,675)的X-Y坐标缩放之后使用八个缩放命令来获得中心图块340，并且对应的中心图块340具有480×270的尺寸。换言之，中心图块340具有480像素的X图块大小和270像素的Y图块大小。此外。可以在向上方向上使用至少两个命令并且在向右方向上使用至少三个命令，以便获得ROI 330(如图3中由虚线箭头所示)。因此，可以使用总共13个PTZF命令来描述或表征ROI 330。PTZF命令可以从本地UE发送到远程UE。远程UE可以基于PTZF命令来识别ROI 330，并且相应地向本地UE提供ROI 330内的视频。
图4是示出在远程用户设备(UE)402与本地UE 404之间用于在基于通过IMS的多媒体电话业务(MTSI)的视频会议应用中发起感兴趣区域(ROI)缩放特征的通信的示例性流程图。在一个示例中，远程UE 402可以被称为发送客户端，而本地UE 404可以被称为接收客户端。远程UE 402和本地UE 404各自可以运行视频会议应用，视频会议应用允许与远程UE402相关联的远程用户和与本地UE 404相关联的本地用户进行通信。
在远程UE 402与本地UE 404之间的基于会话描述协议(SDP)的信令可以在针对增强远端相机控制(FECC)协议支持的媒体相关能力协商中允许提议/应答考虑。增强FECC协议支持可以指示本地UE 404(或接收方)的以下能力：在单个实时传输控制协议(RTCP)反馈消息中和/或在使用RTP报头扩展机制的单个实时传输协议(RTP)分组中，使用H.281/H.224FECC协议来发送成组的摇摄、倾斜、缩放和聚焦(PTZF)命令序列。此外，增强FECC协议支持可以指示远程UE 402(或发送方)的以下能力：处理PTZF命令序列、基于PTZF命令来识别感兴趣区域(ROI)以及相应地对ROI内的视频进行编码。
远程UE 402可以将SDP提议消息发送到本地UE 404。SDP提议消息可以指示远程UE404支持增强FECC协议，如前所述。本地UE 404可以从远程UE 402接收SDP提议消息，并且作为响应，发送接受增强FECC协议能力的SDP应答消息。
在一种配置中，远程UE 402可以将步长大小发送到本地UE 404。换言之，步长大小可以被包括在从远程UE 402到本地UE 404的信令中。本地UE 404初始并不知道远程UE 402在处理接收到的PTZF命令时将使用的步长大小。因此，远程UE 402可以将步长大小发送到本地UE 404。远程UE 402可以将步长大小作为专用RTP报头扩展属性进行发送。步长大小可以指示由给定的P命令和T命令引起的上/下和左/右平移的像素的数目。步长大小也可以指示在传输Z命令之后发生的缩放的量。结果，本地UE 404可以确定在远程UE 402处将如何处理PTZF命令，并且本地UE 404可以相应地选择PTZF命令。
本地UE 404可以基于之前从远程UE 402接收的步长大小来导出PTZF命令序列。PTZF命令可以对应于用户定义的感兴趣区域(ROI)。换言之，ROI可以由本地UE 404的本地用户来定义。本地UE 404可以将PTZF命令序列用信号传达给远程UE 402。在一种配置中，PTZF命令序列可以在单次传输中从本地UE 404发送到远程UE 402。换言之，PTZF命令可以被成组在一起并同时发送到远程UE 402。例如，PTZF命令序列可以在单个RTCP分组中发送。替换地，PTZF命令序列可以在单个RTP分组中作为RTP报头扩展来发送。本地UE 404可以使用反向视频流的RTP报头扩展将PTZF命令序列传递到远程UE 402。
远程UE 402可以从本地UE 404接收PTZF命令序列。远程UE 402可以基于PTZF命令序列来识别ROI。由于PTZF命令一起被成组在单次传输中，因此远程UE 402可以快速地处理PTZF命令并且以低时延传送与期望ROI对应的流。远程UE 402可以捕获仅包括ROI并且不包括ROI外的区域的视频。远程UE 402可以仅对包括ROI的视频进行编码。远程UE 402可以将编码视频发送到本地UE 404。在一个示例中，远程UE 402还可以指示在正向视频流的RTP报头扩展中实际发送的ROI。本地UE 404可以接收包括了ROI的编码视频，并在本地UE 404处播放该视频。
当使用RTP报头扩展消息将PTZF命令(例如，ROI信息)从本地UE 404用信号传达给远程UE 402时，支持增强FECC特征(如前所述)的MTSI客户端可以针对包含视频的所有媒体流，在SDP消息中提议增强FECC。可以通过在相关媒体行(media line)范围下包括指示增强FECC统一资源名(URN)的a＝extmap属性，来提议增强FECC。例如，增强FECC URN可以被设定为：urn:3gpp:efecc。包括了该URN的媒体行的示例为a＝extmap:7urn:3gpp:efecc。在媒体行的以上示例中，可以用范围在1和14内的任何数字来替换数字7。
当使用RTCP消息将PTZF命令(例如，ROI信息)从本地UE 404用信号传达给远程UE402时，支持增强FECC特征的MTSI客户端可以对于包含视频的所有媒体流在SDP消息中提议eFECC。可以通过在相关媒体行范围下包括具有新颖eFECC类型的a＝rtcp-fb属性，来提议增强FECC特征。例如，可以用下列参数来表达结合RTCP反馈技术的eFECC类型：3gpp:efecc。可以使用通配符净荷类型(“*”)来指示RTCP反馈属性增强FECC应用于所有的净荷类型。如果支持若干类型的ROI反馈，和/或将要为净荷类型的子集指定同一ROI反馈，则可以使用若干“a＝rtcp-fb”行。使用该属性基于RTCP反馈技术相对于媒体行用信号传达eFECC的示例是：a＝rtcp-fb:*3gpp-efecc。
RTCP反馈技术可以涉及在反馈模式和早期RTCP两种模式下用信号传达PTZF命令(例如，ROI信息)。用于eFECC的新颖RTCP反馈类型可以包括：值名称：3gpp-efecc、长名称：增强远端相机控制、和参考：第三代合作伙伴(3GPP)技术规范(TS)26.114。
取决于客户端在SDP能力协商期间如何协商以支持特征，可以双向或单向支持增强FECC能力。对于具有不对称能力(例如，处理PTZF命令或ROI信息但不检测ROI信息/用信号传达ROI信息的能力)的终端，可以使用“仅发送”和“仅接收”属性。终端将以足够清楚的方式来表达它们在每个方向上的能力，使得信号在每个方向上仅以它们既表达可用信息又能够由接收者处理的程度来发送。
增强FECC特征可以包括：在PTZF命令序列中用信号传达(与远程UE 402相关联的)接收用户的当前ROI。用信号传达PTZF命令可以遵循H.281/H.224协议。PTZF命令可以被发送到远程UE 402(例如，发送方)，使得远程UE 402可以可选地对ROI内的捕获的视频进行编码和发送。当成功地协商了增强FECC时，它可以由MTSI客户端用信号传达。用信号传达PTZF命令序列可以以成组的方式，通过单个RTCP消息或使用RTP报头扩展的单个RTP分组进行。
当使用RTCP反馈消息时，本地UE 404(即，接收终端)可以将与接收用户的当前ROI信息对应的PTZF命令序列包括在正被发送给远程UE 402(即，发送终端)的RTCP反馈消息中。当使用RTP报头扩展时，本地UE 404(即，接收终端)可以将与接收用户的当前ROI信息对应的PTZF命令序列包括在正被发送给远程UE 402(即，发送终端)的RPT分组中。这些RTP分组可以携带反方向上的视频流，这可以用于MTSI中的双向视频通信。
图5A示出示例性会话描述协议(SDP)提议消息。SDP提议消息可以从远程用户设备(UE)传递到本地UE。SDP提议消息可以基于实时传输协议(RTP)报头扩展技术。SDP提议消息可以指示在远程UE处的增强远端相机控制(FECC)协议能力。特别地，增强FECC协议能力可以指示远程UE的如下能力：处理从本地UE接收到的摇摄、倾斜、缩放和聚焦(PTZF)命令序列，从PTZF命令序列识别感兴趣区域(ROI)，以及相应地对ROI内的视频进行编码。作为示例，SDP提议消息可以包括属性“a＝extmap”和关联值“4urn:3gpp:efecc”。
图5B示出示例性会话描述协议(SDP)应答消息。SDP应答消息可以从本地用户设备(UE)传递到远程UE。SDP应答消息可以基于实时传输协议(RTP)报头扩展技术。SDP应答消息可以接受远程UE的增强远端相机控制(FECC)协议能力。作为示例，SDP应答消息可以包括属性“a＝extmap”和关联值“4urn:3gpp:efecc”。
图6A示出示例性会话描述协议(SDP)提议消息。SDP提议消息可以从远程用户设备(UE)传递到本地UE。SDP提议消息可以基于实时传输控制协议(RTCP)反馈技术。SDP提议消息可以指示在远程UE处的增强远端相机控制(FECC)协议能力。特别地，增强FECC协议能力可以指示远程UE的如下能力：处理从本地UE接收到的摇摄、倾斜、缩放和聚焦(PTZF)命令序列，从PTZF命令序列识别感兴趣区域(ROI)，以及相应地对ROI内的视频进行编码。作为示例，SDP提议消息可以包括属性“a＝rtcp-fb”和关联值“3gpp:efecc”。
图6B示出示例性会话描述协议(SDP)应答消息。SDP应答消息可以从本地用户设备(UE)传递到远程UE。SDP应答消息可以基于实时传输控制协议(RTCP)反馈技术。SDP应答消息可以接受远程UE的增强远端相机控制(FECC)协议能力。作为示例，SDP应答消息可以包括属性“a＝rtcp-fb”和关联值“4urn:3gpp:efecc”。
另一个示例提供了可操作用于与远程UE执行视频会议的本地用户设备(UE)的功能700，如图7中的流程图所示。该功能可以被实现为方法，或者该功能可以作为机器上的指令执行，其中，指令被包括在至少一种计算机可读介质或一种非瞬时性机器可读存储介质上。如在方框710中，本地UE可以具有一个或多个处理器，其被配置为：在本地UE处，定义远程UE的相机的视场内的感兴趣区域(ROI)。如在方框720中，一个或多个处理器可以被配置为：将ROI映射到一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令。如在方框730中，一个或多个处理器可以被配置为：将一个或多个PTZF命令从本地UE发送到远程UE，其中，远程UE被配置为：基于一个或多个PTZF命令来识别ROI。如在方框740中，一个或多个处理器可以被配置为：从远程UE接收ROI内的编码视频，编码视频包括ROI内的区域并且不包括ROI外的区域，编码视频以增加的缩放水平包括ROI内的区域同时基本上维持定义的质量水平，以使得ROI内的编码视频能够在本地UE处被渲染和显示。
在一种配置中，第一处理器可以执行方框710和方框720中的操作。第一处理器可以是单个处理器，或者替换地，第一处理器可以由一个或多个单独的处理器组成。在一种配置中，第二处理器可以执行方框730和方框740中的操作。第二处理器的一个示例是基带处理器。
在一个示例中，一个或多个PTZF命令遵循国际电信联盟(ITU)H.281/H.224协议。在另一个示例中，一个或多个处理器被配置为：在单次传输中将一个或多个PTZF命令发送到远程UE。在又一示例中，ROI由与本地UE交互的用户来选择。此外，一个或多个处理器被配置为：使用实时传输控制协议(RTCP)反馈消息将一个或多个PTZF命令发送到远程UE。
在一个示例中，一个或多个处理器被配置为：将一个或多个PTZF命令嵌入在至少一个实时传输协议(RTP)报头扩展中；以及将捕获的本地视频发送到远程UE，捕获的本地视频包括具有一个或多个PTZF命令的RTP报头扩展。在另一个示例中，一个或多个处理器可以进一步被配置为：从远程UE接收一个或多个步长大小，所述一个或多个步长大小在远程UE处用于处理从本地UE发送的一个或多个PTZF命令。
在一个示例中，一个或多个步长大小是作为专用实时传输协议(RTP)报头扩展属性来用信号传达的。在另一个示例中，使用远程UE的固定非移动相机来捕获编码视频。在又一示例中，一个或多个PTZF命令是根据远端相机控制(FECC)协议发送到远程UE的。此外，一个或多个处理器进一步被配置为：从远程UE接收会话描述协议(SDP)提议消息，SDP提议消息可以指示远程UE支持用于接收一个或多个PTZF命令的增强远端相机控制(FECC)协议。
在一个示例中，一个或多个处理器进一步被配置为：发送会话描述协议(SDP)应答消息，SDP应答消息确认本地UE支持用于发送一个或多个PTZF命令的增强远端相机控制(FECC)协议。在另一个示例中，一个或多个处理器被配置为：将一个或多个PTZF命令发送到远程UE，其中，远程UE被配置为：捕获与一个或多个PTZF命令对应的ROI内的视频并且仅对ROI内的视频进行编码。在又一示例中，一个或多个处理进一步被配置为：与支持基于ROI的交互式缩放特征的远程UE进行视频会议应用。
在图8的流程图中所示的另一个示例提供了至少一种非瞬时性机器可读存储介质的功能800，该存储介质具有体现在其上的、用于在支持交互式缩放特征的本地用户设备(UE)处操作视频会议应用的指令。如在方框810中，指令当被执行时可以使本地UE执行：使用本地UE的至少一个处理器，识别远程UE的相机的视场内的用户定义的感兴趣区域(ROI)。如在方框820中，指令当被执行时可以使本地UE执行：使用本地UE的至少一个处理器，将ROI映射到一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令。如在方框830中，指令当被执行时可以使本地UE执行：使用本地UE的至少一个处理器，将一个或多个PTZF命令从本地UE发送到远程UE，其中，远程UE被配置为：基于一个或多个PTZF命令来识别ROI。如在方框840中，指令当被执行时可以使本地UE执行：使用本地UE的至少一个处理器，从远程UE接收ROI内的编码视频，编码视频包括ROI内的区域并且不包括ROI外的区域，编码视频以增加的缩放水平包括ROI内的区域，同时基本上维持定义的质量水平。如在方框850中，指令当被执行时可以使本地UE执行：使用本地UE的至少一个处理器，提供ROI内的编码视频，以便在本地UE处进行渲染和显示。
在一个示例中，一个或多个PTZF命令遵循国际电信联盟(ITU)H.281/H.224协议。在另一个示例中，至少一种非瞬时性机器可读存储设备可以进一步包括如下指令，所述指令当由本地UE的至少一个处理器执行时，使本地UE执行：在单次传输中将一个或多个PTZF命令发送到远程UE。在又一示例中，至少一种非瞬时性机器可读存储设备可以进一步包括如下指令，所述指令当由本地UE的至少一个处理器执行时，使本地UE执行：使用实时传输控制协议(RTCP)反馈消息将一个或多个PTZF命令发送到远程UE。
在一个示例中，至少一种非瞬时性机器可读存储设备可以进一步包括如下指令，所述指令当由本地UE的至少一个处理器执行时，使本地UE执行：将一个或多个PTZF命令嵌入在至少一个实时传输协议(RTP)报头扩展中；以及将捕获的本地视频发送到远程UE，捕获的本地视频包括具有一个或多个PTZF命令的RTP报头扩展。在另一个示例中，至少一种非瞬时性机器可读存储设备可以进一步包括如下指令，所述指令当由本地UE的至少一个处理器执行时，使本地UE执行：从远程UE接收一个或多个步长大小，所述一个或多个步长大小在远程UE处用于处理从本地UE发送的一个或多个PTZF命令，其中，所述一个或多个步长大小是作为专用实时传输协议(RTP)报头扩展属性来用信号传达的。此外，一个或多个PTZF命令是根据远端相机控制(FECC)协议发送到远程UE的。
如在图9中的流程图所示，另一个示例提供了可操作用于与远程UE 950执行视频会议的本地用户设备(UE)900的功能。本地UE 900可以包括感兴趣(ROI)模块910，其被配置为：识别远程UE 950的相机的视场内的用户定义的ROI。本地UE 900可以包括映射模块920，其被配置为：将ROI映射到一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令，所述一个或多个PTZF命令是根据国际电信联盟(ITU)H.281/H.224协议定义的。本地UE 900可以包括通信模块930，其被配置为：在单次传输中将一个或多个PTZF从本地UE发送到远程UE 950，其中，远程UE被配置为：基于一个或多个PTZF命令来识别ROI；以及从远程UE接收ROI内的编码视频，编码视频包括ROI内的区域并且不包括ROI外的区域，编码视频以增加的缩放水平包括ROI内的区域，同时基本上维持定义的质量水平。本地UE 900可以包括显示模块940，其被配置为：提供ROI内的编码视频，以便在本地UE处进行渲染和显示。
在一个示例中，通信模块930可以进一步被配置为：从远程UE接收会话描述协议(SDP)提议消息，SDP提议消息指示远程UE支持用于接收一个或多个PTZF命令的增强远端相机控制(FECC)协议；以及发送会话描述协议(SDP)应答消息，SDP应答消息确认本地UE支持用于发送一个或多个PTZF命令的增强远端相机控制(FECC)协议。
在一个示例中，通信模块930可以进一步被配置为：将一个或多个PTZF命令发送到远程UE 950，其中，远程UE被配置为：捕获与一个或多个PTZF命令对应的ROI内的视频并且仅对ROI内的视频进行编码。在另一个示例中，通信模块930可以进一步被配置为：使用实时传输控制协议(RTCP)反馈消息将一个或多个PTZF命令发送到远程UE。
如在图10中的流程图所示，另一个示例提供了可操作用于与本地UE执行视频会议的远程用户设备(UE)的功能。该功能可以被实现为方法，或者该功能可以作为机器上的指令被执行，其中，指令被包括在至少一种计算机可读介质或一种非瞬时性机器可读存储介质上。如在方框1010中，远程UE可以具有一个或多个处理器，其被配置为：从本地UE接收一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令。如在方框1020中，一个或多个处理器可以被配置为：在远程UE处，基于一个或多个PTZF命令来识别感兴趣区域(ROI)，ROI在远程UE的相机的视场内。如在方框1030中，一个或多个处理器可以被配置为：生成ROI内的编码视频，编码视频包括ROI内的区域并且不包括ROI外的区域，编码视频以增加的缩放水平包括ROI内的区域，同时基本上维持定义的质量水平。如在方框1040中，一个或多个处理器可以被配置为：将ROI内的编码视频发送到本地UE，以使得本地UE渲染和显示ROI内的编码视频。
在一种配置中，第一处理器可以执行方框1010、方框1020和方框1030中的操作。第一处理器可以是单个处理器，或者替换地，第一处理器可以由一个或多个单独的处理器组成。在一种配置中，第二处理器可以执行方框1040中的操作。第二处理器的一个示例是基带处理器。
在一个示例中，一个或多个PTZF命令遵循国际电信联盟(ITU)H.281/H.224协议。在另一个示例中，一个或多个处理器被配置为：在单次传输中从本地UE接收一个或多个PTZF命令。在又一示例中，一个或多个处理器被配置为：使用实时传输控制协议(RTCP)反馈消息从本地UE接收一个或多个PTZF命令。此外，一个或多个处理器可以进一步被配置为：将一个或多个步长大小发送到本地UE，步长大小在远程UE处用于处理一个或多个PTZF命令，其中，一个或多个步长大小是作为专用实时传输协议(RTP)报头扩展属性来用信号传达的。
图11提供了无线设备的示例图示，例如用户设备(UE)、移动站(MS)、移动无线设备、移动通信设备、平板电脑、手机或其它类型的无线设备。无线设备包括一个或多个天线，其被配置为与节点或发送站进行通信，例如基站(BS)、演进节点B(eNB)、基带单元(BBU)、远程无线电头端(RRH)、远程无线电设备(RRE)、中继站(RS)、无线电设备(RE)、远程无线电单元(RRU)、中央处理模块(CPJM)或其它类型的无线广域网(WWAN)接入点。无线设备可以被配置为使用至少一种无线通信标准进行通信，包括3GPP LTE、WiMAX、高速分组接入(HSPA)、蓝牙和WiFi。无线设备可以针对每个无线通信标准使用单独的天线来通信，或者针对多个无线通信标准使用共享的天线来通信。无线设备可以在无线局域网(WLAN)、无线个域网(WPAN)和/或WWAN中通信。
图11也提供了可以用于从无线设备进行音频输入和输出的麦克风和一个或多个扬声器的图示。显示屏可以是液晶显示(LCD)屏或其它类型的显示屏，例如有机发光二极管(OLED)显示器。显示屏可以被配置为触摸屏。触摸屏可以使用电容式、电阻式或另一种类型的触摸屏技术。应用处理器和图形处理器可以耦合到内部存储器，以提供处理和显示能力。非易失性存储器端口也可以用于向用户提供数据输入/输出选项。非易失性存储器端口也可以用于扩展无线设备的存储容量。键盘可以与无线设备集成，或者无线连接到无线设备，以提供附加的用户输入。也可以使用触摸屏来提供虚拟键盘。
各种技术或其某些方面或部分可以采取体现在有形介质(例如，软盘、只读光盘存储器(CD-ROM)、硬盘驱动器、非瞬时性计算机可读存储介质或任何其它机器可读存储介质)中的程序代码(即，指令)的形式，其中，当程序代码被加载到机器(例如，计算机)中并由其执行时，机器成为用于实施各种技术的设备。电路可以包括硬件、固件、程序代码、可执行代码、计算机指令和/或软件。非瞬时性计算机可读存储介质可以是不包括信号的计算机可读存储介质。在程序代码在可编程计算机上执行的情况下，计算设备可以包括处理器、可由处理器读取的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。易失性和非易失性存储器和/或存储元件可以是随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪盘驱动器、光盘驱动器、磁硬盘驱动器、固态驱动器或用于存储电子数据的其它介质。节点和无线设备还可以包括收发机模块(即，收发机)、计数器模块(即，计数器)、处理模块(即，处理器)和/或时钟模块(即，时钟)或定时器模块(即，定时器)。可以实现或利用本文所述的各种技术的一个或多个程序可以使用应用程序编程接口(API)、可重复使用的控件等。此类程序可以用高级过程编程语言或面向对象编程语言来实现，以与计算机系统通信。然而，如果需要，可以用汇编语言或机器语言来实现程序。在任何情况下，语言可以是编译语言或解释语言，并且与硬件实现相结合。
如本文使用的，术语处理器可以包括通用处理器、专用处理器(例如，VLSI、FPGA或其它类型的专用处理器)以及在收发机中用于发送、接收和处理无线通信的基带处理器。
应当理解，在本说明书中所述的许多功能单元已经被标记为模块，是为了更特别强调其实现独立性。例如，模块可以被实现为包括以下组件的硬件电路：定制超大规模集成(VLSI)电路或门阵列、现成半导体(例如逻辑芯片、晶体管)或其它分立组件。模块也可以用可编程硬件器件来实现，例如现场可编程门阵列、可编程阵列逻辑、可编程器件等。
在一个示例中，多个硬件电路或多个处理器可以用于实现在本说明书中所述的功能单元。例如，第一硬件电路或第一处理器可以用于执行处理操作，并且第二硬件电路或第二处理器(例如，收发机)可以用于与其它实体通信。第一硬件电路和第二硬件电路可以被集成到单个硬件电路中，或者替换地，第一硬件电路和第二硬件电路可以是分开的硬件电路。
模块也可以用软件来实现，以便由各种类型的处理器执行。可执行代码的识别模块可以例如包括计算机指令的一个或多个物理块或逻辑块，其例如可以被组织成对象、过程或功能。尽管如此，识别模块的可执行文件不必在物理上位于一起，而是可以包括存储在不同位置中的异构指令，这些指令当在逻辑上结合在一起时，构成模块并实现模块的规定目的。
事实上，可执行代码的模块可以是单个指令或多个指令，并且甚至可以分布在若干不同的代码段上、分布于不同的程序之间、以及跨若干存储设备分布。类似地，操作数据在本文中可以被识别和示出在模块内，并且可以以任何合适的形式体现并被组织在任何合适类型的数据结构内。操作数据可以被收集作为单个数据集，或者可以分布在不同的位置上，包括分布在不同的存储设备上，并且可以至少部分地仅作为系统或网络上的电子信号存在。模块可以是有源的或无源的，包括可操作以执行期望功能的代理。
在整个说明书中提及“示例”或“示例性”意指关于示例所描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，在整个说明书中各个地方出现的短语“在示例中”或单词“示例性”不一定都指的是同一实施例。
如本文使用的，为了方便起见，多个项目、结构元件、组成元件和/或材料可以在共同列表中呈现。然而，这些列表应被解释为列表的每个成员被独立识别为单独且唯一的成员。因此，在没有相反的指示的情况下，这种列表的各成员均不应当仅基于它们存在于共同组中而被解释为是同一列表的任何其它成员的实际等价物。此外，本发明的各种实施例和示例连同其各种构成的替代物在本文中被一起提及。应当理解，这些实施例、示例和替代物不应当被解释为彼此的实际等价物，而应当被解释为本发明的单独且自主的表示。
而且，在一个或多个实施例中可以以任何合适的方式组合所述的特征、结构或特性。在下列描述中，提供了许多具体细节，例如布局、距离、网络示例等的示例，以提供对本发明实施例的彻底理解。然而，本领域技术人员将认识到，可以在没有一个或多个具体细节的情况下，或者用其它方法、组件、布局等，来实施本发明。在其它情况下，未示出或未详细描述众所周知的结构、材料或操作，以避免掩盖本发明的各方面。
虽然上述示例在一个或多个特定应用中示出本发明的原理，但是对于本领域技术人员将显而易见的是，可以在不运用创造力的情况下进行许多实现方式的形式、用法和细节上的修改，并且不脱离本发明的原理和构思。因此，本发明旨在仅受以下陈述的权利要求的限制。

Claims (30)

1.一种可操作用于与远程用户设备(UE)执行视频会议的本地UE，所述本地UE具有一个或多个处理器，所述一个或多个处理器被配置为：
在所述本地UE处定义所述远程UE的相机的视场内感兴趣区域(ROI)；
将所述ROI映射到一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令；
将所述一个或多个PTZF命令从所述本地UE发送到所述远程UE，其中，所述远程UE被配置为：基于所述一个或多个PTZF命令，识别所述ROI；以及
从所述远程UE接收所述ROI内的编码视频，所述编码视频包括所述ROI内的区域并且不包括所述ROI外的区域，所述编码视频以增加的缩放水平包括所述ROI内的区域同时基本上维持定义的质量水平，以使得所述ROI内的编码视频能够被渲染并显示在所述本地UE处。
2.根据权利要求1所述的本地UE，其中，所述一个或多个PTZF命令遵循国际电信联盟(ITU)H.281/H.224协议。
3.根据权利要求1所述的本地UE，其中，所述一个或多个处理器被配置为：以单次传输将所述一个或多个PTZF命令发送到所述远程UE。
4.根据权利要求1所述的本地UE，其中，所述ROI是由与所述本地UE交互的用户选择的。
5.根据权利要求1所述的本地UE，其中，所述一个或多个处理器被配置为：使用实时传输控制协议(RTCP)反馈消息将所述一个或多个PTZF命令发送到所述远程UE。
6.根据权利要求1所述的本地UE，其中，所述一个或多个处理器被配置为：
将所述一个或多个PTZF命令嵌入在至少一个实时传输协议(RTP)报头扩展中；以及
将捕获的本地视频发送到所述远程UE，所述捕获的本地视频包括具有所述一个或多个PTZF命令的所述RTP报头扩展。
7.根据权利要求1所述的本地UE，其中，所述一个或多个处理器进一步被配置为：从所述远程UE接收一个或多个步长大小，所述一个或多个步长大小在所述远程UE处用于处理从所述本地UE发送的所述一个或多个PTZF命令。
8.根据权利要求7所述的本地UE，其中，所述一个或多个步长大小是作为专用实时传输协议(RTP)报头扩展属性来用信号传达的。
9.根据权利要求1所述的本地UE，其中，所述编码视频是使用所述远程UE的固定非移动相机来捕获的。
10.根据权利要求1所述的本地UE，其中，根据远端相机控制(FECC)协议将一个或多个PTZF命令发送到所述远程UE。
11.根据权利要求1所述的本地UE，其中，所述一个或多个处理器进一步被配置为：从所述远程UE接收会话描述协议(SDP)提议消息，所述SDP提议消息指示所述远程UE支持用于接收所述一个或多个PTZF命令的增强远端相机控制(FECC)协议。
12.根据权利要求1所述的本地UE，其中，所述一个或多个处理器进一步被配置为：发送会话描述协议(SDP)应答消息，所述SDP应答消息确认所述本地UE支持用于发送所述一个或多个PTZF命令的增强远端相机控制(FECC)协议。
13.根据权利要求1所述的本地UE，其中，所述一个或多个处理器被配置为：将所述一个或多个PTZF命令发送到所述远程UE，其中，所述远程UE被配置为：捕获与所述一个或多个PTZF命令对应的所述ROI内的视频并且仅对所述ROI内的视频进行编码。
14.根据权利要求1所述的本地UE，其中，所述一个或多个处理器进一步被配置为：操作与支持基于ROI的交互式缩放特征的所述远程UE的视频会议应用。
15.至少一种非瞬时性机器可读存储介质，具有体现在其上的、用于在支持交互式缩放特征的本地用户设备(UE)处操作视频会议应用的指令，所述指令当被执行时使所述本地UE执行以下操作：
使用所述本地UE的至少一个处理器，识别所述远程UE的相机的视场内的用户定义的感兴趣区域(ROI)；
使用所述本地UE的所述至少一个处理器，将所述ROI映射到一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令；
使用所述本地UE的所述至少一个处理器，将所述一个或多个PTZF命令从所述本地UE发送到所述远程UE，其中，所述远程UE被配置为：基于所述一个或多个PTZF命令来识别所述ROI；
使用所述本地UE的所述至少一个处理器，从所述远程UE接收所述ROI内的编码视频，所述编码视频包括所述ROI内的区域并且不包括所述ROI外的区域，所述编码视频以增加的缩放水平包括所述ROI内的区域同时基本上维持定义的质量水平；以及
使用所述本地UE的所述至少一个处理器，提供所述ROI内的编码视频，以便在所述本地UE处进行渲染和显示。
16.根据权利要求15所述的至少一种非瞬时性机器可读存储介质，其中，所述一个或多个PTZF命令遵循国际电信联盟(ITU)H.281/H.224协议。
17.根据权利要求15所述的至少一种非瞬时性机器可读存储介质，还包括如下指令，所述指令当由所述本地UE的所述至少一个处理器执行时，使所述本地UE执行以下操作：
以单次传输将所述一个或多个PTZF命令发送到所述远程UE。
18.根据权利要求15所述的至少一种非瞬时性机器可读存储介质，还包括如下指令，所述指令当由所述本地UE的所述至少一个处理器执行时，使所述本地UE执行以下操作：
使用实时传输控制协议(RTCP)反馈消息将所述一个或多个PTZF命令发送到所述远程UE。
19.根据权利要求15所述的至少一种非瞬时性机器可读存储介质，还包括如下指令，所述指令当由所述本地UE的所述至少一个处理器执行时，使所述本地UE执行以下操作：
将所述一个或多个PTZF命令嵌入在至少一个实时传输协议(RTP)报头扩展中；以及
将捕获的本地视频发送到所述远程UE，所述捕获的本地视频包括具有所述一个或多个PTZF命令的所述RTP报头扩展。
20.根据权利要求15所述的至少一种非瞬时性机器可读存储介质，还包括如下指令，所述指令当由所述本地UE的所述至少一个处理器执行时，使所述本地UE执行以下操作：
从所述远程UE接收一个或多个步长大小，所述一个或多个步长大小在所述远程UE处用于处理从所述本地UE发送的所述一个或多个PTZF命令，其中，所述一个或多个步长大小是作为专用实时传输协议(RTP)报头扩展属性来用信号传达的。
21.根据权利要求15所述的至少一种非瞬时性机器可读存储介质，其中，所述一个或多个PTZF命令是根据远端相机控制(FECC)协议发送到所述远程UE的。
22.一种可操作用于与远程用户设备(UE)执行视频会议的本地UE，所述本地UE包括：
感兴趣区域(ROI)模块，用于：识别所述远程UE的相机的视场内的用户定义的ROI；
映射模块，被配置为：将所述ROI映射到一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令，所述一个或多个PTZF命令是根据国际电信联盟(ITU)H.281/H.224协议定义的；
通信模块，被配置为：
以单次传输将所述一个或多个PTZF命令从所述本地UE发送到所述远程UE，其中，所述远程UE被配置为：基于所述一个或多个PTZF命令来识别所述ROI；以及
从所述远程UE接收所述ROI内的编码视频，所述编码视频包括所述ROI内的区域并且不包括所述ROI外的区域，所述编码视频以增加的缩放水平包括所述ROI内的区域同时基本上维持定义的质量水平；和
显示模块，被配置为：提供所述ROI内的编码视频，以便在所述本地UE处进行渲染和显示。
23.根据权利要求22所述的本地UE，其中，所述通信模块进一步被配置为：
从所述远程UE接收会话描述协议(SDP)提议消息，所述SDP提议消息指示所述远程UE支持用于接收所述一个或多个PTZF命令的增强远端相机控制(FECC)协议；以及
发送会话描述协议(SDP)应答消息，所述SDP应答消息确认所述本地UE支持用于发送一个或多个PTZF命令的增强远端相机控制(FECC)协议。
24.根据权利要求22所述的本地UE，其中，所述通信模块进一步被配置为：将所述一个或多个PTZF命令发送到所述远程UE，其中，所述远程UE被配置为：捕获与所述一个或多个PTZF命令对应的所述ROI内的视频并且仅对所述ROI内的视频进行编码。
25.根据权利要求22所述的本地UE，其中，所述通信模块进一步被配置为：使用实时传输控制协议(RTCP)反馈消息将所述一个或多个PTZF命令发送到所述远程UE。
26.一种可操作用于与本地用户设备(UE)执行视频会议的远程UE，所述远程UE具有一个或多个处理器，所述一个或多个处理器被配置为：
从所述本地UE接收一个或多个摇摄、倾斜、缩放和聚焦(PTZF)命令；
在所述远程UE处，基于所述一个或多个PTZF命令来识别感兴趣区域(ROI)，所述ROI在所述远程UE的相机的视场内；
生成所述ROI内的编码视频，所述编码视频包括所述ROI内的区域并且不包括所述ROI外的区域，所述编码视频以增加的缩放水平包括所述ROI内的区域同时基本上维持定义的质量水平；以及
将所述ROI内的编码视频发送到所述本地UE，以使得所述本地UE能够渲染和显示所述ROI内的编码视频。
27.根据权利要求26所述的远程UE，其中，所述一个或多个PTZF命令遵循国际电信联盟(ITU)H.281/H.224协议。
28.根据权利要求26所述的远程UE，其中，所述一个或多个处理器被配置为：以单次传输从所述本地UE接收所述一个或多个PTZF命令。
29.根据权利要求26所述的远程UE，其中，所述一个或多个处理器被配置为：使用实时传输控制协议(RTCP)反馈消息从所述本地UE接收所述一个或多个PTZF命令。
30.根据权利要求26所述的远程UE，其中，所述一个或多个处理器进一步被配置为：将一个或多个步长大小发送到所述本地UE，所述一个或多个步长大小在所述远程UE处用于处理一个或多个PTZF命令，其中，所述一个或多个步长大小是作为专用实时传输协议(RTP)报头扩展属性来用信号传达的。
CN201580047449.6A 2014-10-02 2015-08-07 交互式视频会议 Pending CN106797448A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462059025P 2014-10-02 2014-10-02
US62/059,025 2014-10-02
US14/704,437 2015-05-05
US14/704,437 US9516220B2 (en) 2014-10-02 2015-05-05 Interactive video conferencing
PCT/US2015/044351 WO2016053477A1 (en) 2014-10-02 2015-08-07 Interactive video conferencing

Publications (1)

Publication Number Publication Date
CN106797448A true CN106797448A (zh) 2017-05-31

Family

ID=53879849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580047449.6A Pending CN106797448A (zh) 2014-10-02 2015-08-07 交互式视频会议

Country Status (7)

Country Link
US (4) US9516220B2 (zh)
EP (1) EP3202137B1 (zh)
JP (3) JP6359764B2 (zh)
KR (2) KR102211546B1 (zh)
CN (1) CN106797448A (zh)
TW (2) TWI590664B (zh)
WO (1) WO2016053477A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355883A (zh) * 2018-12-21 2020-06-30 富士施乐株式会社 为超宽和360相机提供凝视和感知的系统和方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144768B (zh) 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
US9386275B2 (en) * 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing
US9706107B2 (en) * 2015-07-13 2017-07-11 Avaya Inc. Camera view control using unique nametags and gestures
US10257284B2 (en) 2015-12-30 2019-04-09 Samsung Electronics Co., Ltd. Broadcasting local function templates to proximate mobile computing devices
KR20170091913A (ko) 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
US20170237986A1 (en) * 2016-02-11 2017-08-17 Samsung Electronics Co., Ltd. Video encoding method and electronic device adapted thereto
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR102540459B1 (ko) * 2016-12-22 2023-06-05 한화비전 주식회사 Rtp/rtsp 표준을 따르는 서버와 클라이언트에서 실시간 영상 스트리밍 방법
CN110178368B (zh) 2017-01-31 2021-12-14 惠普发展公司，有限责任合伙企业 基于所接收的信息的视频变焦控制
GB2560029A (en) * 2017-02-28 2018-08-29 Nicholas Mcardell Roger A system and a method for switching focus and a connector
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
US10523820B2 (en) 2017-06-02 2019-12-31 Apple Inc. High-quality audio/visual conferencing
WO2019035007A1 (en) 2017-08-15 2019-02-21 American Well Corporation APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT
KR102044242B1 (ko) * 2017-12-27 2019-11-13 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말 및 서버
US20190215729A1 (en) * 2018-03-15 2019-07-11 Intel Corporation Session description protocol mechanisms for signaling radio access network capabilities in multimedia telephony sessions
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
US11848023B2 (en) * 2019-06-10 2023-12-19 Google Llc Audio noise reduction
US20200329088A1 (en) * 2019-07-26 2020-10-15 Intel Corporation Viewport indication during streaming of volumetric point cloud content
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
CN114615362B (zh) * 2020-12-09 2023-07-11 华为技术有限公司 相机控制方法、装置和存储介质
WO2023122511A1 (en) * 2021-12-21 2023-06-29 Canon U.S.A., Inc. Apparatus and method for controlling an online meeting
US11900677B2 (en) 2022-02-25 2024-02-13 Cisco Technology, Inc. User-selected multi-view videoconferencing
TW202416066A (zh) 2022-10-04 2024-04-16 倍利科技股份有限公司 遠端遙控顯微機具的系統及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404726A (zh) * 2008-10-20 2009-04-08 深圳华为通信技术有限公司 一种远端摄像机的控制方法、系统和装置
US20110205333A1 (en) * 2003-06-03 2011-08-25 Duanpei Wu Method and apparatus for using far end camera control (fecc) messages to implement participant and layout selection in a multipoint videoconference
CN102215373A (zh) * 2010-04-07 2011-10-12 苹果公司 会议中的显示调整
CN102648626A (zh) * 2009-10-14 2012-08-22 思科系统国际公司 用于摄像机控制的设备和方法
US20120320141A1 (en) * 2011-06-16 2012-12-20 Vtel Products Corporation, Inc. Video conference control system and method
TW201303786A (zh) * 2011-02-16 2013-01-16 楚克尼克有限公司 線上諮詢會議及診所的方法及系統
US20130155182A1 (en) * 2011-12-20 2013-06-20 Motorola Solutions, Inc. Methods and apparatus to compensate for overshoot of a desired field of vision by a remotely-controlled image capture device
CN103384319A (zh) * 2012-05-04 2013-11-06 中兴通讯股份有限公司 双流视频会议终端的图像缩放方法和系统
CN103686056A (zh) * 2012-09-24 2014-03-26 鸿富锦精密工业（深圳）有限公司 会议终端及该会议终端的视频处理方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496607B1 (en) * 1998-06-26 2002-12-17 Sarnoff Corporation Method and apparatus for region-based allocation of processing resources and control of input image formation
CA2425411A1 (en) 2000-10-09 2002-04-18 Ses Astra S.A. Internet broadcast system
US7119829B2 (en) 2003-07-31 2006-10-10 Dreamworks Animation Llc Virtual conference room
AU2003298462A1 (en) 2003-12-23 2005-08-11 Nokia Corporation Image data transfer sessions
CN101820537B (zh) 2004-04-23 2013-04-03 住友电气工业株式会社 活动图像数据的编码方法、终端装置以及双向对话型系统
US8427538B2 (en) 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
JP4093226B2 (ja) * 2004-11-08 2008-06-04 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US8693537B2 (en) 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
US8768084B2 (en) 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
US8019175B2 (en) 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
CN101171841B (zh) 2005-03-09 2012-06-27 高通股份有限公司 用于视频电话的关注区提取
US8977063B2 (en) 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
KR101194518B1 (ko) * 2005-04-05 2012-10-24 톰슨 라이센싱 양자화 단계를 국부적으로 조정하기 위한 방법
CA2604203A1 (en) 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
CA2624339C (en) 2005-10-12 2014-12-02 Thomson Licensing Region of interest h.264 scalable video coding
US20090317282A1 (en) 2006-07-06 2009-12-24 Lotus Alloy Co., Ltd. Method for manufacturing porous body
US20080095228A1 (en) 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
JP2008259000A (ja) 2007-04-06 2008-10-23 Sony Corp テレビ会議装置、制御方法、およびプログラム
US8289371B2 (en) 2007-05-21 2012-10-16 Polycom, Inc. Smart cropping of video images in a videoconferencing session
US8446454B2 (en) 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
FR2918520A1 (fr) 2007-07-03 2009-01-09 Canon Kk Procede et dispositif de transmission video
KR101421587B1 (ko) 2007-08-23 2014-07-22 삼성전자주식회사 무선 영상 전화 단말간의 선호 영상 규격을 결정하는 방법및 장치
CN101453639B (zh) 2007-11-29 2012-05-30 展讯通信（上海）有限公司 支持roi区域的多路视频流的编码、解码方法和系统
US8570359B2 (en) 2008-08-04 2013-10-29 Microsoft Corporation Video region of interest features
US20100118111A1 (en) 2008-11-10 2010-05-13 Nokia Corporation Method and apparatus for remote camera control indications in video conferencing
WO2010107411A1 (en) 2009-03-17 2010-09-23 Utc Fire & Security Corporation Region-of-interest video quality enhancement for object recognition
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
US8451994B2 (en) 2010-04-07 2013-05-28 Apple Inc. Switching cameras during a video conference of a multi-camera mobile device
CN103858457B (zh) 2011-08-01 2018-11-13 英特尔公司 用于身份提供商(IdP)漫游/代理的多跳单点登录(SSO)
US9584819B2 (en) 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9042247B2 (en) 2011-12-06 2015-05-26 Wi-Lan Labs, Inc. Systems and methods for preserving application identification information on handover in a communication network
US8854958B2 (en) 2011-12-22 2014-10-07 Cygnus Broadband, Inc. Congestion induced video scaling
US9213605B2 (en) 2012-01-23 2015-12-15 Intel Corporation IP multimedia subsystem and method for MBMS file repair using HTTP servers
EP2621171A1 (en) 2012-01-27 2013-07-31 Alcatel Lucent System and method for sharing videos
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
EP2688283B1 (en) 2012-07-20 2020-03-18 BlackBerry Limited Dynamic region of interest adaptation and image capture device providing same
US8935246B2 (en) 2012-08-08 2015-01-13 Google Inc. Identifying textual terms in response to a visual query
US10771801B2 (en) 2012-09-14 2020-09-08 Texas Instruments Incorporated Region of interest (ROI) request and inquiry in a video chain
US8963988B2 (en) 2012-09-14 2015-02-24 Tangome, Inc. Camera manipulation during a video conference
KR101835802B1 (ko) 2012-09-18 2018-03-08 브이아이디 스케일, 인크. 타일 및 타일 그룹을 이용한 관심 영역 비디오 코딩
EP2946525B1 (en) 2013-01-17 2020-06-24 Intel IP Corporation Presence service using ims based dash service
US9160515B2 (en) 2013-04-04 2015-10-13 Intel IP Corporation User equipment and methods for handover enhancement using scaled time-to-trigger and time-of-stay
CN104113766B (zh) 2013-04-16 2018-01-02 华为技术有限公司 一种媒体流的传输带宽的调整方法及相关装置
CN105144768B (zh) 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
CN105981387B (zh) 2013-10-15 2019-09-27 诺基亚技术有限公司 用于处理视频的方法、装置和计算机可读存储介质
US9762533B2 (en) 2013-12-20 2017-09-12 Futurewei Technologies, Inc. Method of IMS (SIP network) webRTC optimized P2P communication
US9386275B2 (en) 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205333A1 (en) * 2003-06-03 2011-08-25 Duanpei Wu Method and apparatus for using far end camera control (fecc) messages to implement participant and layout selection in a multipoint videoconference
CN101404726A (zh) * 2008-10-20 2009-04-08 深圳华为通信技术有限公司 一种远端摄像机的控制方法、系统和装置
CN102648626A (zh) * 2009-10-14 2012-08-22 思科系统国际公司 用于摄像机控制的设备和方法
CN102215373A (zh) * 2010-04-07 2011-10-12 苹果公司 会议中的显示调整
TW201303786A (zh) * 2011-02-16 2013-01-16 楚克尼克有限公司 線上諮詢會議及診所的方法及系統
US20120320141A1 (en) * 2011-06-16 2012-12-20 Vtel Products Corporation, Inc. Video conference control system and method
US20130155182A1 (en) * 2011-12-20 2013-06-20 Motorola Solutions, Inc. Methods and apparatus to compensate for overshoot of a desired field of vision by a remotely-controlled image capture device
CN103384319A (zh) * 2012-05-04 2013-11-06 中兴通讯股份有限公司 双流视频会议终端的图像缩放方法和系统
CN103686056A (zh) * 2012-09-24 2014-03-26 鸿富锦精密工业（深圳）有限公司 会议终端及该会议终端的视频处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355883A (zh) * 2018-12-21 2020-06-30 富士施乐株式会社 为超宽和360相机提供凝视和感知的系统和方法
CN111355883B (zh) * 2018-12-21 2023-06-13 富士胶片商业创新有限公司 为超宽和360相机提供凝视和感知的系统和方法

Also Published As

Publication number Publication date
US20180054563A1 (en) 2018-02-22
TWI590664B (zh) 2017-07-01
JP6359764B2 (ja) 2018-07-18
EP3202137B1 (en) 2021-09-22
US20170085782A1 (en) 2017-03-23
JP2017536713A (ja) 2017-12-07
TWI630825B (zh) 2018-07-21
KR20190006069A (ko) 2019-01-16
KR20170049512A (ko) 2017-05-10
JP2018186518A (ja) 2018-11-22
KR101936944B1 (ko) 2019-01-10
JP2021052415A (ja) 2021-04-01
US10148868B2 (en) 2018-12-04
US9832369B2 (en) 2017-11-28
US10791261B2 (en) 2020-09-29
KR102211546B1 (ko) 2021-02-02
TW201742447A (zh) 2017-12-01
TW201633776A (zh) 2016-09-16
US20160100099A1 (en) 2016-04-07
US20190037131A1 (en) 2019-01-31
JP7114684B2 (ja) 2022-08-08
US9516220B2 (en) 2016-12-06
WO2016053477A1 (en) 2016-04-07
EP3202137A1 (en) 2017-08-09
BR112017004323A2 (pt) 2017-12-05

Similar Documents

Publication Publication Date Title
CN106797448A (zh) 交互式视频会议
US10165226B2 (en) Interactive video conferencing
TWI559776B (zh) 視訊會議中的互動式變焦技術
US10491861B2 (en) Interactive video conferencing
BR112017004323B1 (pt) Videoconferência interativa

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1235593

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170531

WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1235593

Country of ref document: HK