CN110417753A - 多媒体电话服务接收器和发送器的装置 - Google Patents
多媒体电话服务接收器和发送器的装置 Download PDFInfo
- Publication number
- CN110417753A CN110417753A CN201910624409.3A CN201910624409A CN110417753A CN 110417753 A CN110417753 A CN 110417753A CN 201910624409 A CN201910624409 A CN 201910624409A CN 110417753 A CN110417753 A CN 110417753A
- Authority
- CN
- China
- Prior art keywords
- roi
- mtsi
- video
- message
- rtcp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 230000005540 biological transmission Effects 0.000 claims description 35
- 230000011664 signaling Effects 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 18
- 230000001052 transient effect Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 21
- 230000002452 interceptive effect Effects 0.000 abstract description 10
- 238000000034 method Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 230000005611 electricity Effects 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1069—Session establishment or de-establishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4053—Arrangements for multi-party communication, e.g. for conferences without floor control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N2007/145—Handheld terminals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开涉及多媒体电话服务接收器和发送器的装置。公开用于在支持交互式缩放特征的本地用户设备(UE)处操作视频会议应用的技术。本地UE可以定义远程UE处视野内的感兴趣区域(ROI)。本地UE可以经由实时传输控制协议(RTCP)反馈消息向远程UE传送ROI,其中RTCP反馈消息指导远程UE捕获ROI内的视频并且对ROI内的视频进行编码。本地UE可以从远程UE接收经编码的ROI内视频,经编码的视频包括ROI内的区域并且不包括ROI之外的区域。本地UE可以经由RTP头部扩展从远程UE接收与经编码的视频相对应的实际发送的ROI。经编码的ROI内视频可以被渲染用于在本地UE处显示。
Description
技术领域
本公开涉及用于在支持交互式缩放特征的本地用户设备(UE)处操作视频会议应用的技术。
背景技术
多媒体服务(包括流和会话服务)的增长是发展新移动宽带技术和标准的演进的关键驱动之一。移动设备中正使用越来越多的数字视频内容。日常生活中有很多广泛用于移动设备上的视频应用。例如,在线视频流,包括流行的服务,例如YouTube和Hulu。视频记录和视频会议包括诸如Skype和Google Hangout之类的服务。在2011年,YouTube具有超过1万亿的全球观看。这些观看中百分之十是经由移动电话或平板电脑来访问的。随着越来越多的智能电话、平板电脑和其它移动计算设备被购买,人们针对视频记录和视频会议的使用将显著增加。伴随对于多媒体服务的如此高的客户需求以及媒体压缩和无线网络基础设施中的发展,对于增强未来蜂窝和移动宽带系统的多媒体服务能力以及向客户传递高体验质量(QoE)是感兴趣的,从而确保从任意位置、在任意时间、利用任意设备和技术对视频内容和服务的无处不在的访问。
发明内容
本公开的一方面提供了一种互联网协议(IP)多媒体子系统(IMS)上的多媒体电话服务(MTSI)接收器的装置,所述MTSI接收器能操作来支持与MTSI发送器的感兴趣区域(ROI)信令,所述装置包括一个或多个处理器和存储器,该一个或多个处理器和存储器被配置为:在所述MTSI接收器处定义请求的感兴趣区域(ROI);传送所述请求的ROI以供经由实时传输控制协议(RTCP)反馈消息传输到所述MTSI发送器;以及在所述MTSI接收器处对从所述MTSI发送器接收的经编码的视频进行解码,其中所述经编码的视频在所述请求的ROI内。
本公开的另一方面提供了至少一种存储有指令的非暂态机器可读存储介质,所述指令用于支持互联网协议(IP)多媒体子系统(IMS)上的第一多媒体电话服务(MTSI)客户端和第二MTSI客户端之间的感兴趣视频区域(ROI)信令,所述指令在被运行时执行下述操作:使用所述第一MTSI客户端的一个或多个处理器定义所述第二MTSI客户端的视野内的感兴趣区域(ROI);使用所述第一MTSI客户端的一个或多个处理器格式化所述ROI以供经由实时传输控制协议(RTCP)反馈消息传输到所述第二MTSI客户端,所述RTCP反馈消息指示所述第二MTSI客户端捕获在所述ROI内的视频并且对在所述ROI内的视频进行编码;使用所述第一MTSI客户端的一个或多个处理器对在从所述第二MTSI客户端接收的所述ROI内的经编码的视频进行解码,所述经编码的视频包括在所述ROI内的区域并且不包括在所述ROI外的区域,所述经编码的视频包括增加缩放等级同时基本维持所定义的质量等级的在所述ROI内的区域;使用所述第一MTSI客户端的一个或多个处理器对从所述第二MTSI客户端接收的与来自所述第二MTSI客户端的经编码的视频相对应的实际ROI进行解码,其中,所述实际ROI经由实时传输协议(RTP)头部扩展被接收;以及使用所述第一MTSI客户端的一个或多个处理器提供在所述ROI内的所述经编码的视频用于在所述第一MTSI客户端处渲染和显示。
本公开的再一方面提供了一种互联网协议(IP)多媒体子系统(IMS)上的多媒体电话服务(MTSI)发送器的装置,所述MTSI发送器能操作来支持与MTSI接收器的感兴趣视频区域(ROI)信令,所述装置包括一个或多个处理器和存储器,该一个或多个处理器和存储器被配置为:在所述MTSI发送器处对从所述MTSI接收器接收的感兴趣区域(ROI)进行解码,其中所述ROI经由实时传输控制协议(RTCP)反馈消息被接收;在所述MTSI发送器处生成在所述ROI内的经编码的视频,所述经编码的视频包括在所述ROI内的区域并且不包括在所述ROI外的区域,所述经编码的视频包括增加缩放等级同时基本维持所定义的质量等级的在所述ROI内的区域;以及向所述装置的收发器传送所述经编码的视频以供传输到所述MTSI接收器以使得所述MTSI接收器能够渲染和显示在所述ROI内的所述经编码的视频。
附图说明
结合附图,从随后的详细描述中,本公开的特征和优势将是显而易见的,附图通过示例的方式共同示出了本公开的特征;并且,其中:
图1根据示例示出了支持感兴趣区域(ROI)缩放特征的基于IMS上的多媒体电话服务(MTSI)的视频会议系统;
图2是根据示例示出了远程用户设备(UE)和本地UE之间用于在基于IMS上的多媒体电话服务(MTSI)的视频会议应用中启动感兴趣区域(ROI)缩放特征的通信的流程图;
图3A根据示例示出了会话描述协议(SDP)提议消息,该SDP提议消息基于实时传输协议(RTP)头部扩展技术来指示感兴趣区域(ROI)缩放能力;
图3B根据示例示出了会话描述协议(SDP)回答消息,该SDP回答消息基于实时传输协议(RTP)头部扩展技术来接受感兴趣区域(ROI)缩放能力;
图4A根据示例示出了会话描述协议(SDP)提议消息,该SDP提议消息基于实时传输控制协议(RTCP)反馈技术来指示感兴趣区域(ROI)缩放能力;
图4B根据示例示出了会话描述协议(SDP)回答消息,该SDP回答消息基于实时传输控制协议(RTCP)反馈技术来接受感兴趣区域(ROI)缩放能力;
图5根据示例描绘了可操作来执行与远程UE的视频会议的本地用户设备(UE)的电路的功能;
图6根据示例描绘了可操作来执行与远程UE的视频会议的本地用户设备(UE)的电路的功能;
图7根据示例描绘了用于在支持交互式缩放特征的本地用户设备(UE)处操作视频会议应用的方法的流程图;
图8根据示例示出了无线设备(例如,UE)的图示。
现在将要参照所示出的示例性实施例,并且本文将使用特定的语言来描述相同的示例性实施例。然而,应该理解的是其不旨在限制本发明的范围。
详细描述
在本发明被公开和描述之前,要理解的是本发明不限于本文所公开的特定的结构、处理步骤或材料,而是扩展至其等价形式,这将被相关领域的普通技术人员认识到。还应该理解的是本文所采用的术语仅被用于描述特定示例的目的并且不旨在是限制性的。不同附图中的相同参考标号表示相同的元件。流程图和过程中所提供的标号被提供用于清楚说明步骤和操作,并且不一定指示特定的顺序或序列。
示例实施例
下面提供了技术实施例的初步概述,随后进一步详细描述具体的技术实施例。该初步的总结旨在帮助读者更快速地理解该技术,而不是旨在标识该技术的关键特征或必要特征,也不是旨在限制所要求保护的主题的范围。
描述了用于在支持交互式缩放特征的本地用户设备(UE)处操作视频会议应用的技术。本地UE处的本地用户可以通过使用视频会议应用与远程UE处的远程用户进行通信。经由本地UE的显示屏上的视频会议应用观看场景的本地用户可以选择情景内的区域。该区域可被称为远程UE处视野内的感兴趣区域(ROI)。当本地用户期望得到关于ROI内的内容的更详细的表示时,本地用户可以选择ROI。本地用户可以使用交互式缩放特征动态地将场景的视频馈送切换至场景的所选区域(即ROI)。可以经由实时传输控制协议(RTCP)反馈消息将ROI从本地UE传送至远程UE。当接收到RTCP反馈消息时,远程UE可以捕获ROI内的视频。此外,远程UE可以对ROI内的视频进行编码。经编码的视频可以包括ROI内的区域并且排除ROI外的区域。远程UE可以将经编码的视频发送至本地UE。经编码的视频可以包括增加缩放等级的ROI内的区域,同时基本维持所定义的质量等级。换言之,远程UE可以提供经编码的ROI内视频,以便使得能够在本地UE处播放经编码的视频。通过远程UE仅将场景的所选区域(即ROI)发送至本地UE,并且从传输中排除场景的非选择区域,视频会议应用可以有效使用可用带宽。
已存在很多多媒体标准,这些多媒体标准已被发展为使得多媒体能够被传送到移动计算设备、从移动计算设备被传送、或在移动计算设备之间被传送。例如,在流视频中,第三代合作伙伴项目(3GPP)已发展技术规范(TS)26.234(例如,版本11.0.0),该TS 26.234描述了基于实时流协议(RTSP)的分组交换流服务(PSS),用于点播的单播流或直播内容。此外,在3GPP TS 26.247(例如,版本11.0.0)中描述了基于超文本传输协议(HTTP)的流服务(包括渐进下载和HTTP上的动态自适应流(DASH))。基于3GPP的多媒体广播和多播服务(MBMS)规范TS26.346(例如,版本11.0.0)指定了用于多播/广播内容分发的流和下载技术。因此,基于DASH/PSS/MBMS的移动计算设备(例如,用户设备(UE))在UE设备处对流视频进行解码和渲染。对3GPP TS 26.244(例如,版本11.0.0)中的3GP文件格式的支持在所有这些规范中被授权,以支持文件下载和基于HTTP的流用例。
在3GPP TS 26.114(例如,11.0.0)中提供了用于会话视频通信(例如视频会议)的标准的一个示例。标准描述了IMS上的多媒体电话服务(MTSI),MTSI允许传送高级多媒体会话服务和在基于互联网协议(IP)多媒体子系统(IMS)的网络上的内容。IMS在3GPP TS26.140(例如,版本11.0.0)中被标准化。3GPP TS 26.140描述了媒体处理和交互,包括媒体控制、媒体编解码、以及媒体和控制数据的传输。3GPP TS 26.140还使得能够使用在其中提供对3GP文件格式支持的多媒体共享服务(MMS)来进行视频共享。
如下面进一步详细描述的,MTSI可以使用呼叫会话控制功能(CSCF)机制来在呼叫(例如,视频会议应用)中涉及的UE之间重路由控制平面信令。在控制平面中,可以存在应用服务器(AS)并且其提供补充服务,例如呼叫保持或恢复、呼叫转发和多方呼叫等。
基于MTSI的发送器UE端可以捕获和记录视频,且随后通过3GPP网络将视频传送到基于MTSI的接收器UE端。接收器UE端随后可以对视频进行解码和渲染。在MTSI中,会话发起协议(SIP)可以用作应用层控制协议以建立、修改和中止会话式多媒体会议,例如视频会议、互联网电话呼叫等。发送和接收端之间基于会话描述协议(SDP)的信令可以允许与媒体有关的能力协商中的提议/回答考虑,包括编解码、比特率、分辨率等。MTSI中媒体的传输是基于UDP/IP上(由IETF RFC 3550指定)的实时传输协议(RTP)的。
捕获设备的分辨率正快速增长,进而压缩视频的分辨率也快速增长。例如,使用最近的高效视频编码(HEVC)标准,4K内容可以被传输和被存储为操作产品的一部分。具有4k×2k分辨率的照相机现在是广泛可用的。现场流视频已被证明具有8k×4k的分辨率。就像素数目而言,分辨率在未来很可能增加。利用这些非常高分辨率的内容,视频流中的新用法现在是可能的,例如交互式缩放特征。
当前存在于市场中的会话视频服务(例如MTSI)使能视频关于带宽、空间分辨率、方向等的动态适应。然而,这些会话视频服务无法使得用户能够动态切换到被流化的视频中的用户选定区域,以及优化针对该用户选定区域的编码。因此,在视频呼叫中使用交互式缩放特征期间可实现的视频分辨率可能是有限的。尽管接收器应用可以放大感兴趣区域(ROI)并且切除视频的不期望的部分(例如,响应于来自用户界面的命令),当前系统的一个限制是在缺乏来自接收端的任意ROI信令的情况下发送端仍将编码和发送整个视频帧。
图1示出了示例性的支持感兴趣区域(ROI)缩放特征的基于IMS上的多媒体电话服务(MTSI)的视频会议系统。与远程用户设备(UE)128(例如,移动电话、平板计算机、台式计算机或其它合适的设备)相关联的用户(例如,用户A)可以在与同本地UE 148相关联的另一用户(例如,用户B)进行视频会议。换言之,远程UE 128和本地UE 148二者可以运行双向视频会议应用160。用户A可以邻近远程UE 128(例如,在远程UE 128之前),并且用户B可以邻近本地UE 148(例如,在本地UE 148之前)。远程UE 128和本地UE 148二者各自可包括照相机,照相机使得用户能够在视频会议应用160运行时互相观看。远程UE 128可包括远程照相机,并且本地UE 148可包括本地照相机。远程UE 128可包括在操作期间捕获用户A的视频的摄像机、以及在操作期间向用户A显示用户B的视频的显示屏。类似地,本地UE 148可包括在操作期间捕获用户B的视频的摄像机、以及在操作期间向用户B显示用户A的视频的显示屏。换言之,用户A可以经由远程UE 128上的显示屏看到用户B,并且用户B可以经由本地UE 148上的显示屏看到用户A。
在一个示例中,视频会议应用160可以是在基于MTSI的会话视频系统上。换言之,视频会议应用160可以在基于3GPP的多媒体电话服务上进行操作,基于3GPP的多媒体电话服务可以将远程UE 128和本地UE 148互连连接,并且将远程UE 128和本地UE 148连接到电话网络。
远程UE 128可以通过无线电接入网络(RAN)126、服务通用分组无线电服务(GPRS)支持节点(SGSN)124、和/或网关GPRS支持节点(GGSN)122连接到核心网。远程UE 128可以通过代理呼叫会话控制功能(P-CSCF)120发送和接收数据。P-CSCF 120可以利用服务呼叫会话控制功能(S-CSCF)114发送和接收数据。在某些示例中,S-CSCF 114可以从应用服务器(AS)112发送和接收数据,AS 112可以提供补充服务,例如呼叫保持/恢复、呼叫转发和多方呼叫等。在该示例中,RAN 126、SGSN 124、GGSN 122、P-CSCF 120、S-CSCF 114和AS 112可以与运营商A 110相关联。S-CSCF 114可以从核心网的其它部分发送和接收数据。例如,与运营商A 110相关联的S-CSCF 114可以与同运营商B 130相关联的询问CSCF(I-CSCF)136进行通信。
本地UE 148可以通过其自己的无线电接入网络(RAN)146、服务通用分组无线电服务(GPRS)支持节点(SGSN)144、和/或网关GPRS支持节点(GGSN)142连接到核心网。本地UE148可以通过代理呼叫会话控制功能(P-CSCF)140发送和接收数据。P-CSCF 140可以利用服务呼叫会话控制功能(S-CSCF)134发送和接收数据。在某些示例中,S-CSCF 134可以从应用服务器(AS)132发送和接收数据,AS 132可以提供补充服务,例如呼叫保持/恢复、呼叫转发和多方呼叫等。S-CSCF 114和S-CSCF 134可以各自与询问CSCF(I-CSCF)136进行通信。换言之,运营商A 110可以经由S-CSCF 114和I-CSCF 136之间的通信与运营商B 130进行通信。I-CSCF 134可以读和写到归属订户服务器(HSS)138和/或订户位置功能(SLF)138。在该示例中,RAN 146、SGSN 144、GGSN 142、P-CSCF 140、HSS/SLF 138、I-CSCF 136、S-CSCF 134和AS 132可以与运营商B 130相关联。
在一个配置中,视频会议应用160可以支持缩放特征。例如,本地UE 148可以放大远程照相机(即与远程UE 128相关联的照相机)的视野中的特定特征或位置。在本地UE 148处,用户B可以定义远程UE 128处视野内的感兴趣区域(ROI)150。作为非限制性示例,在远程UE 128处,用户A可以在远程UE 128的显示屏上看到用户B的头部。在本地UE 148处,用户B可以在本地UE 148的显示屏上看到用户A的头部和身躯。用户B可能期望用户A的增强视图(例如,用户B可能期望放大用户A的脸)。用户B可以定义本地UE 150处的ROI 150,以使得ROI 150包括用户A的脸。ROI 150可以使用例如图形用户界面来在本地UE 150处定义。换言之,用户B可以使用输入设备(例如,计算机鼠标或触摸屏)来选择区域。ROI 150可以包括远程照相机的视野内的其它适当的区域。例如,用户B可以定义ROI 150以包括用户A的身躯、用户A后面的树等。作为其它示例,ROI 150可以包括本地UE 148的显示屏(其与远程照相机的适当视野相对应)的右上角区域、本地UE 148的显示屏的左下角区域等。
在一个示例中,ROI 150可以使用至少两个属性来定义。一个属性是位置,位置可以指定原始内容中覆盖的区域的左上角,或可以指定另一适当位置。另一属性是尺寸,尺寸可以指定原始内容中覆盖的区域的尺寸(用相对值表示)。例如,位置的非限制性示例可以是“0:0”,并且尺寸的非限制性示例可以是“0.33:0.33”。
在一个示例中,用户B可以定义ROI 150在远程照相机的视野内具有任意尺寸和位置。在另一示例中,当ROI 150被定义时远程UE 128可以保持静止,以使得选择ROI 150不移动或改变远程照相机的视野。在另一示例中,用户B可以按意愿选择新的ROI 150。此外,用户A(在远程UE 128处)还可以选择类似ROI以放大用户B(在本地UE 148处)。
一旦在本地UE 148处定义了ROI 110,ROI 110可以从本地UE 148被发送到远程UE128。如下面进一步详细讨论的,ROI 110可以使用实时传输协议(RTP)消息或实时传输控制协议(RTCP)反馈消息来传送。RTP消息或RTCP反馈消息可以指导远程UE 128捕获ROI 110内的视频。
在某些示例中,远程UE 128可以捕获仅包括ROI 150并且排除ROI150之外的区域的视频。作为非限制性示例,RTP消息或RTCP反馈消息(包括ROI 110)可以指示远程UE 128捕获用户A的下巴上的伤口。换言之,远程UE的照相机可以仅捕获用户A的下巴上的伤口,并且未捕获环绕用户A的下巴的任何其它区域。
当捕获到根据ROI 150的视频时,远程UE 128可以例如使用具有较低压缩的编码方案对视频进行编码。因此,视频可以提供ROI 150的相对特写和详细视图,而基本维持所定义的质量等级。远程UE 128可以用低损耗编码方案来对(关于ROI 150的)视频进行编码,因为之前用于编码整个视野的资源现在仅用于编码ROI 150。远程UE 128可以将(仅关于ROI的)经编码的视频发送到本地UE 148。由于远程UE 128在发送(仅关于ROI 150的)经编码的视频时可能消耗基本相同数量的带宽(与发送远程照相机(与远程UE 128相关联)的全部视野相比),因此经编码的视频实质上可以是高质量的。换言之,经编码的ROI的视频可能是相对清楚的而并非粗糙(grainy)或模糊的。就此而言,本文所述的技术优于之前的技术,在之前的技术中,用户(例如,用户B)手动放大显示屏上显示的帧,这会导致降低的质量等级。在当前的解决方案中,远程UE128可以用协商的分辨率来编码ROI 150而不是整个捕获的帧,并且这在本地UE 148处将产生较高的总体分辨率和更好的用户体验。
作为非限制性示例,远程UE 128可以对用户A的下巴上的伤口的视频进行编码。远程UE 128可以使用具有较低压缩的编码方案,以使得用户A的下巴可用较大的分辨率和清晰度等级看到。换言之,经编码的视频可以是对用户A的下巴的放大表示,但仍维持较高的质量等级(例如,不是粗糙的)。此外,整个带宽可用于发送经编码的用户A的下巴视频,这可以产生对用户A的下巴的较清晰和详细的表示。与用户A的脸全部被包括为经编码的视频的一部分的情况相比,该表示可以提供用户A的脸的额外细节。
在替代配置中,远程UE 128可以捕获包括(与远程UE 128相关联的)远程照相机的完整视野的视频。然而,远程UE 108可以仅编码视频中包括ROI 150的部分。此外,远程UE108可以发送经编码的视频,经编码的视频仅包括ROI 150并且不包括ROI 150之外的区域。
本地UE 148可以从远程UE 128接收经编码的视频,其中经编码的视频包括ROI150内的区域并且不包括ROI 150之外的区域。本地UE 148可以渲染经编码的视频,并且将经编码的视频显示在与本地UE 148相关联的显示屏上。作为非限制性示例,坐在本地UE148之前的用户B可以观看用户A的下巴上的伤口的详细和特写表示。用户B通常可以重回到用户A的之前视图,例如用户B可以不缩放并且重回到在本地UE 148的显示屏上观看用户A的整个脸和身躯。
如本文所描述的,新颖的媒体处理和会话管理特征是针对会话视频服务的。这些新颖的特征可以在视频会议应用中提供交互式缩放特征的增强分辨率。关于用户的ROI的信息可以例如作为RTCP反馈信令或RTP头部扩展的一部分从接收端被发送到发送端。因此,与简单的图形缩放相比,该增强缩放特征可以提供所选区域的改善的图像质量,这是由于发送设备可以使用所有可用带宽来编码和发送ROI。由于发送设备可以使用所有可用带宽用于该有限的目的,具有较高比特率和质量的视频可以被传送到接收端。
图2是示出了远程用户设备(UE)202和本地UE 204之间用于在基于IMS上的多媒体电话服务(MTSI)的视频会议应用中启动感兴趣区域(ROI)缩放特征的通信的示例性流程图。在一个示例中,远程UE 202可被称为发送客户端,本地UE 204可被称为接收客户端。远程UE 202和本地UE 204各自可运行视频会议应用,视频会议应用允许与远程UE 202相关联的远程用户与同本地UE 204相关联的本地用户进行通信。远程UE 202和本地UE 204之间基于会话描述协议(SDP)的信令可以允许针对ROI缩放特征的与媒体有关的能力协商中的提议/回答考虑。ROI缩放特征可以在远程UE 202和/或本地UE 204处产生增强的视频分辨率。
远程UE 202可以向本地UE 204发送SDP提议消息。SDP提议消息可以指示远程UE202支持基于ROI的视频传送。换言之,SDP提议消息可以指示远程UE 202处基于ROI的流能力。远程UE 202可被配置为支持基于ROI的视频捕获、基于ROI的视频编码和基于ROI的视频传输。本地UE 204可以从远程UE 202接收SDP提议消息,并且作为响应,发送SDP回答消息,该SDP回答消息接受基于ROI的视频传送能力。
在一个配置中,本地UE 204可以定义ROI并且将ROI信息发送到远程UE 202。如之前所解释的,ROI信息可以定义远程UE 202处视野内的感兴趣区域(ROI)。ROI可以使用至少两个属性来定义。一个属性是位置,位置可以指定原始内容中覆盖的区域的左上角,或可以指定另一适当位置。另一属性是尺寸,尺寸可以指定原始内容中覆盖的区域的尺寸(用相对值表示)。在一个示例中,ROI信息可以通过使用实时传输控制协议(RTCP)反馈消息从本地UE 204被传送到远程UE 202。在替代示例中,ROI信息可以通过使用实时传输协议(RTP)头部扩展消息从本地UE 204被传送到远程UE 202。具体地,本地UE 204可以使用RTP头部扩展消息将ROI信息传送到远程UE 202用于反向视频流。
远程UE 202可以接收ROI信息并且捕获仅包括ROI并且不包括ROI之外的区域的视频。远程UE 202可以对仅包括ROI的视频进行编码。远程UE 202可以将经编码的视频发送到本地UE 204。在一个示例中,远程UE 202还可以在RTP头部扩展消息中指示用于前向视频流的实际发送的ROI。本地UE 204可以接收仅包括ROI的经编码视频,并且在本地UE204处播放视频。
当使用RTP头部扩展消息将ROI信息从本地UE 204发送到远程UE202时,支持ROI缩放特征的MTSI客户端可以针对包含视频的所有媒体流提供ROI放大SDP消息。ROI缩放特征可以通过包括a=extmap属性来提供,a=extmap属性指示相关媒体行(media line)范围下的ROI缩放统一资源名称(URN)。例如,ROI缩放URN可以被设置为:urn:3gpp:roí-zoom。包括该URN的媒体行的示例是:a=extmap:7urn:3gpp:roì-zoom。在媒体行的上述示例中,数字7可以被1至14范围内的任意数字替代。
当使用RTCP消息将ROI信息从本地UE 204发送到远程UE 202时,支持ROI缩放特征的MTSI客户端可以针对包含视频的所有媒体流提供ROI放大SDP消息。ROI缩放特征可以通过包括a=rtcp-fb属性来提供,该属性具有相关媒体行范围下的新颖的ROI缩放类型。例如,结合RTCP反馈技术的ROI缩放类型可以用下面的参数表达:3gpp:roi-zoom。通配符有效载荷类型(“*”)可用于指示针对ROI信令的RTCP反馈属性适用于所有有效载荷类型。如果ROI反馈的数个类型被支持和/或相同的ROI反馈应该被指定用于有效载荷类型的子集,则可使用数个“a=rtcp-fb”行。该属性的示例用法(基于RTCP反馈技术相对于媒体行发送ROI缩放特征)是:a=rtcp-fb:*3gpp-roi-zoom。
RTCP反馈技术可以包括ROI信息在立即反馈和早期RTCP模式二者中的信令。ROI缩放的新颖的RTCP反馈类型可包括:3gpp-roi-zoom的值名称、感兴趣区域(ROI)信息的长名称、以及对3GPP TS 26.114的参照。在如互联网工程任务组(IETF)请求注解(RFC)4585中所定义的针对rtcp-fb-val的值的扩展巴克斯范式(ABNF)中,存在被称为rtcp-fb-id的定义了新反馈类型的占位符。“3gpp-roì-zoom”被定义为ROI信息信令的新反馈类型,并且ABNF可以给出为如下所示:rtcp-fb-val=/"3gpp-roi-zoom"。
ROI缩放能力可以双向或单向被支持,这取决于客户端在SDP能力协商期间如何协商支持特征。针对具有不对称的能力(例如,处理ROI信息的能力但不具有检测/发送ROI信息的能力)的终端,可使用“仅发送”和“仅接收”属性。终端将在各个方向足够清晰地表达其能力,以使得信号只在各自的方向上发送,就某种程度而言这些信号既表达有用的信息并且也可以由接收者处理。
ROI缩放特征包括接收用户的当前ROI到发送方的信令,以使得发送UE可以可选地对捕获的视频进行编码和发送。当成功协商了ROI缩放时,ROI缩放可以由MTSI客户端发送。ROI缩放的信令可以使用RTCP反馈报告或RTP头部扩展。
当使用RTCP反馈报告时,接收端将用户的当前ROI信息包括在发送到发送端的RTCP报告中。当使用RTP头部扩展时,接收端将用户的当前ROI信息包括在发送到发送端的RTP分组中。这些RTP分组反向携带视频流,这些视频流可用于MTSI中的双向视频通信。
这些不同的ROI信令能力可经由不同的统一资源名称(URN)在SDP提议中指出。在某些示例中,可以选择这些ROI信令能力中的一个,并且在SDP能力协商中使用单个URN。由于RTCP通常不用于视频呼叫中并且可以被关闭(这也是SDP协商的一部分),则将ROI信息作为反向视频流的RTP头部扩展的一部分进行传送用于ROI缩放特征的最广泛支持这是最安全的。然而,如果反向链路不是活跃发送RTP流,则RTCP反馈技术是优选的。
ROI缩放的存在不应该影响发送和接收端之间的协商分辨率(基于SDP图像属性)。唯一的差别是发送端应该用协商的分辨率仅编码ROI而不是整个捕获的帧,并且这与接收端在ROI上放大并切除帧的剩余部分相比,将产生较高的总体分辨率和更好的用户体验。发送端可以潜在地指示ROI作为RTP分组中RTP头部扩展的一部分用于其前向视频流。
图3A示出了示例性会话描述协议(SDP)提议消息。SDP提议消息可以在远程用户设备(UE)和本地UE之间传送。SDP提议消息可以是基于实时传输协议(RTP)头部扩展技术的。SDP提议消息可以指示感兴趣区域(ROI)缩放能力。作为示例,SDP提议消息可以包括属性“a=extmap”和相关联的值“4urn:3gpp:roi-actual”。作为另一示例,SDP提议消息可包括属性“a=rtcp-fb”和相关联的值“3gpp-roi-zoom”。
图3B示出了示例性会话描述协议(SDP)回答消息。SDP回答消息可以在远程用户设备(UE)和本地UE之间传送。SDP回答消息可以是基于实时传输协议(RTP)头部扩展技术的。SDP回答消息可以接受感兴趣区域(ROI)缩放能力。作为示例,SDP回答消息可以包括属性“a=extmap”和相关联的值“4urn:3gpp:roi-actual”。作为另一示例,SDP回答消息可以包括属性“a=rtcp-fb”和相关联的值“3gpp-roi-zoom”。
图4A示出了示例性会话描述协议(SDP)提议消息。SDP提议消息可以在远程用户设备(UE)和本地UE之间传送。SDP提议消息可以是基于实时传输控制协议(RTCP)反馈技术的。SDP提议消息可以指示感兴趣区域(ROI)缩放能力。作为示例,SDP提议消息可以包括属性“a=rtcp-fb”和相关联的值“3gpp:roi-zoom”。作为另一示例,SDP提议消息可包括属性“a=extmap”和相关联的值“4urn:3gpp:roi-actual”。
图4B示出了示例性会话描述协议(SDP)回答消息。SDP回答消息可以在远程用户设备(UE)和本地UE之间传送。SDP回答消息可以是基于实时传输控制协议(RTCP)反馈技术的。SDP回答消息可以接受感兴趣区域(ROI)缩放能力。作为示例,SDP回答消息可以包括属性“a=rtcp-fb”和相关联的值“3gpp:roi-zoom”。
另一示例提供了可操作来执行与远程UE的视频会议的本地用户设备(UE)的功能500,如图5中流程图所示。功能可以被实现为方法或功能可以作为机器上的指令来执行,其中指令被包括在至少一个计算机可读介质或一个非暂态机器可读存储介质上。本地UE可以具有一个或多个处理器,该一个或多个处理器被配置为定义远程UE处视野内的感兴趣区域(ROI),如框510中所示。本地UE可以具有一个或多个处理器,该一个或多个处理器被配置为经由实时传输控制协议(RTCP)反馈消息向远程UE传送ROI,其中RTCP反馈消息指导远程UE捕获ROI内的视频并且对ROI内的视频进行编码,如框520中所示。本地UE可以具有一个或多个处理器,该一个或多个处理器被配置为从远程UE接收经编码的ROI内视频,经编码的视频包括ROI内的区域并且不包括ROI之外的区域,经编码的视频包括增加缩放等级的ROI内的区域,同时基本维持所定义的质量等级,如框530中所示。本地UE可以具有一个或多个处理器,该一个或多个处理器被配置为经由实时传输协议(RTP)头部扩展从远程UE接收与经编码的视频相对应的实际发送的ROI,RTP头部扩展被包括在包含经编码的视频的RTP分组中,如框540中所示。本地UE可以具有一个或多个处理器,该一个或多个处理器被配置为提供经编码的ROI内视频用于渲染并且在本地UE处显示,如框550中所示。
在一个示例中,一个或多个处理器还可被配置为从远程UE接收会话描述协议(SDP)提议消息,SDP提议消息指示远程UE支持基于ROI的视频捕获、基于ROI的视频编码和基于ROI的视频传输。在另一示例中,一个或多个处理器还可被配置为发送会话描述协议(SDP)回答消息,SDP回答消息确认本地UE支持经由RTCP反馈消息的ROI信令、基于ROI的视频解码和基于ROI的视频接收。
在一个示例中,SDP提议消息包括与参数3gpp-roi-zoom相关联的属性a=rtcp-fb,从而指示远程UE支持基于ROI的视频捕获、基于ROI的视频编码和基于ROI的视频传输,其中远程UE被配置为处理从本地UE接收到的RTCP反馈消息,以便获得ROI信息。在另一示例中,SDP回答消息包括与参数3gpp-roi-zoom相关联的属性a=rtcp-fb,从而指示本地UE支持经由RTCP反馈消息的ROI信令、基于ROI的视频解码和基于ROI的视频接收,其中本地UE被配置为生成RTCP反馈消息并将RTCP反馈消息发送到远程UE,以便传送ROI信息。
在一个示例中,SDP提议消息包括与参数urn:3gpp-roi-actual相关联的属性a=extmap,从而指示远程UE支持基于ROI的视频捕获、基于ROI的视频编码和基于ROI的视频传输,其中远程UE被配置为发送与本地UE处接收到的RTP头部扩展中的经编码的视频相对应的实际发送的ROI。在另一示例中,SDP回答消息包括与参数urn:3gpp-roi-actual相关联的属性a=extmap,从而指示本地UE支持经由RTCP反馈消息的ROI信令、基于ROI的视频解码和基于ROI的视频接收,其中本地UE被配置为从远程UE接收与RTP头部扩展中的经编码的视频相对应的实际发送的ROI。
在一个示例中,RTCP反馈消息包括定义远程UE处视野内的ROI的位置和尺寸。在另一示例中,一个或多个处理器还可被配置为经由RTCP反馈消息向远程UE传送ROI,其中远程UE捕获ROI内的视频并且仅对ROI内的视频进行编码。在另一示例中,一个或多个处理器还可被配置为利用远程UE操作视频会议应用,远程UE支持基于ROI的交互式缩放特征。在一个配置中,RTCP反馈消息包括远程UE处视野内的一个或多个预定义ROI的指示。在另一配置中,RTP头部扩展包括定义下述内容的位置和尺寸:与从远程UE接收到的经编码的视频相对应的实际发送的ROI。
另一示例提供了可操作来执行与远程UE的视频会议的本地用户设备(UE)的功能600,如图6中流程图所示。功能可以被实现为方法或功能可以作为机器上的指令来执行,其中指令被包括在至少一个计算机可读介质或一个非暂态机器可读存储介质上。本地UE可以具有一个或多个处理器,该一个或多个处理器被配置为定义远程UE处视野内的感兴趣区域(ROI),如框610中所示。本地UE可以具有一个或多个处理器,该一个或多个处理器被配置为经由实时传输控制协议(RTCP)反馈消息向远程UE传送ROI,其中RTCP反馈消息指导远程UE捕获ROI内的视频并且对ROI内的视频进行编码,如框620中所示。本地UE可以具有一个或多个处理器,该一个或多个处理器被配置为从远程UE接收经编码的ROI内视频,如框630中所示。本地UE可以具有一个或多个处理器,该一个或多个处理器被配置为经由实时传输协议(RTP)头部扩展从远程UE接收与经编码的视频相对应的实际发送的ROI,RTP头部扩展被携带在包含经编码的视频的RTP分组中,如框640中所示。本地UE可以具有一个或多个处理器,该一个或多个处理器被配置为渲染经编码的ROI内视频用于在本地UE处显示,如框650中所示。
在一个示例中,传送到远程UE的RTCP反馈消息包括定义ROI的位置和尺寸(位置和尺寸定义ROI),其中位置包括指示远程UE处视野内的ROI的角位置的两个位置值,其中两个位置值被标准化为指示在二维中的相对位置,其中尺寸包括指示远程UE处视野内的ROI的尺寸的两个尺寸值,其中两个尺寸值被标准化为指示在二维中的相对尺寸。在另一示例中,RTCP反馈消息包括远程UE处视野内的一个或多个预定义ROI的指示。
在一个示例中,ROI包括可变数目的像素;并且从远程UE接收到的经编码的视频具有可变刷新速率,刷新速率与ROI中的像素数目成反比。在另一示例中,ROI包括固定数目的像素;并且从远程UE接收到的经编码的视频具有恒定的刷新速率。在又一示例中,传送到本地UE的RTP头部扩展包括位置和尺寸,该位置和尺寸定义了与从远程UE接收到的经编码的视频相对应的实际发送的ROI,位置和尺寸定义ROI,其中位置包括指示远程UE处视野内的ROI的角位置的两个位置值,其中两个位置值被标准化为指示在二维中的相对位置,其中尺寸包括指示远程UE处视野内的ROI的尺寸的两个尺寸值,其中两个尺寸值被标准化为指示在二维中的相对尺寸。
另一示例提供了用于在支持交互式缩放特征的本地用户设备(UE)处操作视频会议应用的方法700,如图7中流程图中所示。方法可以作为机器上的指令来执行,其中指令被包括在至少一个计算机可读介质或一个非暂态机器可读存储介质上。方法可包括以下操作:在本地UE处使用本地UE的一个或多个处理器定义远程UE处视野内的感兴趣区域(ROI),如框710中所示。方法可包括以下操作:使用本地UE的一个或多个处理器经由实时传输控制协议(RTCP)反馈消息向远程UE传送ROI,其中RTCP反馈消息指导远程UE捕获ROI内的视频并且对ROI内的视频进行编码,如框720中所示。方法可以包括以下操作:使用本地UE的一个或多个处理器从远程UE接收经编码的ROI内视频,经编码的视频包括ROI内的区域并且不包括ROI之外的区域,经编码的视频包括处于增加缩放等级的ROI内的区域,同时基本维持所定义的质量等级,如框730中所示。方法可包括以下操作:使用本地UE的一个或多个处理器经由实时传输协议(RTP)头部扩展从远程UE接收与经编码的视频相对应的实际发送的ROI,其中RTP头部扩展被携带在包含经编码的视频的RTP分组中,如框740中所示。方法可包括以下操作:使用本地UE的一个或多个处理器渲染经编码的ROI内视频,用于经由视频会议应用在本地UE处显示,如框750中所示。
在一个示例中,方法还可包括以下操作:从远程UE接收会话描述协议(SDP)提议消息,SDP提议消息指示远程UE支持基于ROI的视频捕获、基于ROI的视频编码和基于ROI的视频传输,其中SDP提议消息包括与参数3gpp-roi-zoom相关联的属性a=rtcp-fb,其中远程UE被配置为处理从本地UE接收到的RTCP反馈消息以便获得ROI消息。
在一个配置中,方法还可包括以下操作:发送会话描述协议(SDP)回答消息,SDP回答消息确认本地UE支持经由RTCP反馈消息的ROI信令、基于ROI的视频解码和基于ROI的视频接收,其中SDP回答消息包括与参数3gpp-roi-zoom相关联的属性a=rtcp-fb,其中本地UE被配置为生成RTCP反馈消息并且将RTCP反馈消息发送到远程UE,以便传送ROI信息。
在一个示例中,SDP提议消息包括与参数urn:3gpp-roi-actual相关联的属性a=extmap,从而指示远程UE支持基于ROI的视频捕获、基于ROI的视频编码和基于ROI的视频传输,其中远程UE被配置为发送与本地UE处接收到的RTP头部扩展中的经编码的视频相对应的实际发送的ROI;并且SDP回答消息包括与参数urn:3gpp-roi-actual相关联的属性a=extmap,从而指示本地UE支持经由RTCP反馈消息的ROI信令、基于ROI的视频解码和基于ROI的视频接收,其中本地UE被配置为从远程UE接收与RTP头部扩展中的经编码的视频相对应的实际发送的ROI。
在一个示例中,RTCP反馈消息包括远程UE处视野内的一个或多个预定义ROI的指示;并且RTCP反馈消息包括定义远程UE处视野内的ROI的位置和尺寸。在另一示例中,位置包括指示远程UE处视野内的ROI的角位置的两个位置值,其中两个位置值被标准化为指示在二维中的相对位置;以及尺寸包括指示远程UE处视野内的ROI的尺寸的两个尺寸值,其中两个尺寸值被标准化为指示在二维中的相对尺寸。
在一个配置中,RTP头部扩展包括位置和尺寸,该位置和尺寸定义了与从远程UE接收到的经编码的视频相对应的实际发送的ROI;位置包括指示远程UE处视野内的ROI的角位置的两个位置值,其中两个位置值被标准化为指示在二维中的相对位置;以及尺寸包括指示远程UE处视野内的ROI的尺寸的两个尺寸值,其中两个尺寸值被标准化为指示在二维中的相对尺寸。
图8提供了无线设备(例如,用户设备(UE)、移动站(MS)、移动无线设备、移动通信设备、平板、手机、或其他类型的无线设备)的示例图示。无线设备可以包括一根或多根天线,该一根或多根天线被配置为与节点或传输站(例如,基站(BS)、演进型节点B(eNB)、基带单元(BBU)、远程无线电头端(RRH)、远程无线电设备(RRE)、中继站(RS)、无线电设备(RE)、远程无线电单元(RRU)、中央处理模块(CPM)、或其他类型的无线广域网(WWAN)接入点)进行通信。无线设备可以被配置为使用至少一种无线通信标准(包括3GPP LTE、WiMAX、高速分组接入(HSPA)、蓝牙、以及Wi-Fi)进行通信。无线设备可以针对每种无线通信标准使用单独的天线或者针对多种无线通信标准使用共享天线。无线设备可以在无线局域网(WLAN)、无线个域网(WPAN)和/或WWAN中进行通信。
图8还提供了麦克风和一个或多个扬声器的图示,该麦克风和一个或多个扬声器可以被用于音频输入和来自无线设备的音频输出。显示屏可以是液晶显示(LCD)屏、或者其他类型的显示屏(例如,有机发光二极管(OLED)显示器)。显示屏可以被配置为触摸屏。触摸屏可以使用电容性触摸屏技术、电阻性触摸屏技术、或其他类型的触摸屏技术。应用处理器和图形处理器可以被耦合到内部存储器,以提供处理和显示能力。非易失性存储器端口也可以被用来向用户提供数据输入/输出选项。非易失性存储器端口还可以被用来扩展无线设备的存储器容量。可以将键盘与无线设备相集成,或者将键盘无线连接到无线设备以提供附加的用户输入。也可以使用触摸屏来提供虚拟键盘。
各种技术或者其某些方面或部分可以采用被嵌入到有形介质(例如,软盘、压缩盘只读存储器(CD-ROM)、硬驱动器、非暂态计算机可读存储介质、或任意其他机器可读存储介质)中的程序代码(即,指令)的形式,其中,当程序代码被加载到机器(例如,计算机)中并且由该机器运行时,该机器成为用于实施各种技术的装置。电路可以包括硬件、固件、程序代码、可执行代码、计算机指令、和/或软件。非暂态计算机可读存储介质可以是不包括信号的计算机可读存储介质。在程序代码在可编程计算机上运行的情形中,计算设备可以包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备、以及至少一个输出设备。易失性和非易失性存储器和/或存储元件可以是随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪速驱动器、光驱动器、磁性硬驱动器、或用于存储电子数据的其他介质。节点和移动设备还可以包括收发器模块(即收发器)、计时器模块(即计时器)、处理模块(即处理器)、和/或时钟模块(即时钟)或定时器(模块即定时器)。可以实现或利用本文所描述的各种技术的一个或多个程序可以使用应用程序界面(API)、可再用控件等。这样的程序可以被实现于高级程序或面向对象的编程语言中,从而与计算机系统进行通信。然而,(一个或多个)程序可以按需用汇编语言或机器语言实现。在任何情形中,语言可以是编译型语言或解释型语言,并且可以将其与硬件实现方式相结合。
应当理解,本说明书中所描述的功能单元中的许多功能单元已被标记为模块,以便更具体地强调其实现方式的独立性。例如,模块可以被实现为硬件电路,该硬件电路包括定制超大规模集成(VLSI)电路或门阵列、现成的半导体(例如,逻辑芯片)、晶体管、或其他分立组件。模块还可以被实现于可编程硬件设备(例如,现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等)中。
在一个示例中,多个硬件电路可用于实现本说明书中所描述的功能单元。例如,第一硬件电路可用于执行处理操作,并且第二硬件电路(例如,收发器)可用于与其它实体进行通信。第一硬件电路和第二硬件电路可被集成到单个硬件电路中,或替代地,第一硬件电路和第二硬件电路可以是分离的硬件电路。
模块还可以被实现于由各种类型的处理器运行的软件中。所标识的可执行代码的模块例如可以包括计算机指令的一个或多个物理块或逻辑块,其例如可以被组织为对象、程序、或功能。然而,所标识的模块的可执行性不需要物理上位于一起,而是可以包括存储于不同位置中的不同的指令,当这些存储于不同位置中的不同的指令在逻辑上被结合在一起时,其包括该模块并且实现该模块所声明的目的。
实际上,可执行代码的模块可以是单个指令或许多指令,并且甚至可以跨若干个存储器设备且在不同的程序间被分布于若干个不同的代码段上。类似地,操作数据在本文中可以在模块内被识别和说明,并且可以以任意适当的形式被嵌入并且被组织到任意适当类型的数据结构中。操作数据可以被收集为单个数据集,或者可以被分布于不同的位置(包括不同的存储设备上),并且可以至少部分地仅作为系统或网络上的电子信号而存在。模块可以是无源的或有源的,包括可操作以执行所期望的功能的代理。
贯穿本说明书对“示例”或“示例性的”的提及表示结合被包括在本发明的至少一个实施例中的示例所描述的特定特征、结构、或特性。因此,贯穿本说明书在各个位置出现的短语“在示例中”或词“示例性的”不一定全部指代同一实施例。
如本文所使用的,为方便起见,多个项、结构元件、组成元件、和/或材料可以被呈现在共同的列表中。然而,这些列表应该被理解为仿佛列表中的每个成员被独立标识为单独且唯一的成员。因此,在没有相反指示的情况下,这样的列表中的独立成员都不应该基于其在共同群体中的呈现被理解为相同列表中的任何其他成员的事实等价物。此外,本发明的各种实施例和示例可连同各种其组件的替代形式一起在此被引用。要理解的是,这样的实施例、示例和替代形式将不被解释为彼此的事实等价物,而是被视为对本发明的独立且自主的表示。
而且,所描述的特征、结构、或特性可以在一个或多个实施例中以任意适当的方式进行组合。在如下的描述中,提供了大量具体细节(例如,布局的示例、距离、网络示例等),以提供对本发明的实施例的透彻的理解。然而,相关领域的技术人员将认识到,可以在没有这些具体细节中的一个或多个的情况下实施本发明,或者利用其它方法、组件、布局等来实施本发明。在其它实例中,为了避免模糊本发明的各方面,对公知的结构、材料、或操作未进行详细示出或描述。
尽管前述的示例是在一个或多个特定应用中对本发明的原理的说明,但是对本领域的普通技术人员显而易见的是,在无创造性劳动、并且在不脱离本发明的原理和概念的情况下,可以对实现方式的形式、用法和细节做出许多修改。因此,除由下面所提出的权利要求来限制本发明外,其余内容不旨在限制本发明。
Claims (21)
1.一种互联网协议(IP)多媒体子系统(IMS)上的多媒体电话服务(MTSI)接收器的装置,所述MTSI接收器能操作来支持与MTSI发送器的感兴趣区域(ROI)信令,所述装置包括一个或多个处理器和存储器,该一个或多个处理器和存储器被配置为:
在所述MTSI接收器处定义请求的感兴趣区域(ROI);
传送所述请求的ROI以供经由实时传输控制协议(RTCP)反馈消息传输到所述MTSI发送器;以及
在所述MTSI接收器处对从所述MTSI发送器接收的经编码的视频进行解码,其中所述经编码的视频在所述请求的ROI内。
2.如权利要求1所述的装置,还包括收发器,所述收发器被配置为:
经由所述RTCP反馈消息向所述MTSI发送器发送所述请求的ROI;以及
从所述MTSI发送器接收所述经编码的视频。
3.如权利要求1所述的装置,其中,所述一个或多个处理器和存储器还被配置为:解码发送的ROI,所述发送的ROI与从所述MTSI发送器接收的所述经编码的视频相对应,其中,所述发送的ROI经由实时传输协议(RTP)头部扩展从所述MTSI发送器被接收。
4.如权利要求1所述的装置,其中,所述一个或多个处理器和存储器还被配置为:对从所述MTSI发送器接收的会话描述协议(SDP)提议消息进行解码,其中,所述SDP提议消息指示所述MTSI发送器支持ROI特征。
5.如权利要求1所述的装置,其中,所述一个或多个处理器和存储器还被配置为:向所述收发器发送会话描述协议(SDP)回答消息以供传输到所述MTSI发送器,其中,所述SDP回答消息确认所述MTSI发送器支持ROI特征。
6.如权利要求4所述的装置,其中,所述SDP提议消息包括:
用于传送所述请求的ROI的a=rtcp-fb的属性;或
用于传送所述请求的a=extmap的属性。
7.如权利要求5所述的装置,其中,所述SDP回答消息包括:
用于传送所述请求的ROI的a=rtcp-fb的属性;或
用于传送所述请求的ROI的a=extmap的属性。
8.如权利要求1所述的装置,其中,所述RTCP反馈消息包括定义所述ROI的位置和尺寸。
9.如权利要求1所述的装置,其中,所述收发器被配置为:向所述MTSI发送器发送所述ROI,其中所述MTSI发送器被配置为仅对在所述请求的ROI内的视频进行编码。
10.如权利要求1所述的装置,其中,所述RTP头部扩展包括定义所述发送的ROI的位置和尺寸,所述发送的ROI与从所述MTSI发送器接收的经编码的视频相对应。
11.如权利要求1所述的装置,其中,所述装置包括天线、触敏显示屏、扬声器、麦克风、图形处理器、应用处理器、内部存储器或者非易失性存储器端口。
12.至少一种存储有指令的非暂态机器可读存储介质,所述指令用于支持互联网协议(IP)多媒体子系统(IMS)上的第一多媒体电话服务(MTSI)客户端和第二MTSI客户端之间的感兴趣视频区域(ROI)信令,所述指令在被运行时执行下述操作:
使用所述第一MTSI客户端的一个或多个处理器定义所述第二MTSI客户端的视野内的感兴趣区域(ROI);
使用所述第一MTSI客户端的一个或多个处理器格式化所述ROI以供经由实时传输控制协议(RTCP)反馈消息传输到所述第二MTSI客户端,所述RTCP反馈消息指示所述第二MTSI客户端捕获在所述ROI内的视频并且对在所述ROI内的视频进行编码;
使用所述第一MTSI客户端的一个或多个处理器对在从所述第二MTSI客户端接收的所述ROI内的经编码的视频进行解码,所述经编码的视频包括在所述ROI内的区域并且不包括在所述ROI外的区域,所述经编码的视频包括增加缩放等级同时基本维持所定义的质量等级的在所述ROI内的区域;
使用所述第一MTSI客户端的一个或多个处理器对从所述第二MTSI客户端接收的与来自所述第二MTSI客户端的经编码的视频相对应的实际ROI进行解码,其中,所述实际ROI经由实时传输协议(RTP)头部扩展被接收;以及
使用所述第一MTSI客户端的一个或多个处理器提供在所述ROI内的所述经编码的视频用于在所述第一MTSI客户端处渲染和显示。
13.如权利要求12所述的至少一种非暂态机器可读存储介质,还包括在被运行时执行下述操作的指令:对从所述第二MTSI客户端接收的会话描述协议(SDP)提议消息进行解码,其中,所述SDP提议消息指示所述第二MTSI客户端支持ROI特征。
14.如权利要求12所述的至少一种非暂态机器可读存储介质,还包括在被运行时执行下述操作的指令:处理会话描述协议(SDP)回答消息以供传输到所述第二MTSI客户端,其中,所述SDP回答消息指示所述第二MTSI客户端支持ROI特征。
15.如权利要求12所述的至少一种非暂态机器可读存储介质,其中,所述RTCP反馈消息包括定义ROI的位置和尺寸。
16.如权利要求12所述的至少一种非暂态机器可读存储介质,其中,所述RTP头部扩展包括定义所述实际ROI的位置和尺寸,所述实际ROI与从所述第二MTSI客户端接收的所述经编码的视频相对应。
17.一种互联网协议(IP)多媒体子系统(IMS)上的多媒体电话服务(MTSI)发送器的装置,所述MTSI发送器能操作来支持与MTSI接收器的感兴趣视频区域(ROI)信令,所述装置包括一个或多个处理器和存储器,该一个或多个处理器和存储器被配置为:
在所述MTSI发送器处对从所述MTSI接收器接收的感兴趣区域(ROI)进行解码,其中所述ROI经由实时传输控制协议(RTCP)反馈消息被接收;
在所述MTSI发送器处生成在所述ROI内的经编码的视频,所述经编码的视频包括在所述ROI内的区域并且不包括在所述ROI外的区域,所述经编码的视频包括增加缩放等级同时基本维持所定义的质量等级的在所述ROI内的区域;以及
向所述装置的收发器传送所述经编码的视频以供传输到所述MTSI接收器以使得所述MTSI接收器能够渲染和显示在所述ROI内的所述经编码的视频。
18.如权利要求17所述的装置,其中,所述一个或多个处理器和存储器还被配置为:向所述装置的所述收发器传送实际ROI以供传输到所述MTSI接收器,其中,所述实际ROI与所述经编码的视频相对应,其中,所述实际ROI经由实时传输协议(RTP)头部扩展被发送。
19.如权利要求17所述的装置,其中,所述一个或多个处理器和存储器还被配置为:向所述装置的所述收发器传送会话描述协议(SDP)提议消息以供传输到所述MTSI接收器,其中,所述SDP提议消息指示所述MTSI发送器支持ROI特征。
20.如权利要求17所述的装置,其中,所述一个或多个处理器和存储器还被配置为:对从所述MTSI接收器接收的会话描述协议(SDP)回答消息进行解码,其中,所述SDP回答消息确认在所述MTSI发送器处支持ROI特征。
21.如权利要求17所述的装置,其中,所述RTCP反馈消息包括定义ROI的位置和尺寸。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461924194P | 2014-01-06 | 2014-01-06 | |
US61/924,194 | 2014-01-06 | ||
US14/582,376 | 2014-12-24 | ||
US14/582,376 US9386275B2 (en) | 2014-01-06 | 2014-12-24 | Interactive video conferencing |
PCT/US2015/010385 WO2015103644A1 (en) | 2014-01-06 | 2015-01-06 | Interactive video conferencing |
CN201580002834.9A CN105794204B (zh) | 2014-01-06 | 2015-01-06 | 交互式视频会议 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580002834.9A Division CN105794204B (zh) | 2014-01-06 | 2015-01-06 | 交互式视频会议 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110417753A true CN110417753A (zh) | 2019-11-05 |
CN110417753B CN110417753B (zh) | 2023-02-03 |
Family
ID=53494159
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580002834.9A Active CN105794204B (zh) | 2014-01-06 | 2015-01-06 | 交互式视频会议 |
CN201910624409.3A Active CN110417753B (zh) | 2014-01-06 | 2015-01-06 | 多媒体电话服务接收器和发送器的装置、及存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580002834.9A Active CN105794204B (zh) | 2014-01-06 | 2015-01-06 | 交互式视频会议 |
Country Status (5)
Country | Link |
---|---|
US (3) | US9386275B2 (zh) |
EP (1) | EP3092793B1 (zh) |
CN (2) | CN105794204B (zh) |
HK (1) | HK1225539A1 (zh) |
WO (1) | WO2015103644A1 (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014175919A1 (en) | 2013-04-26 | 2014-10-30 | Intel IP Corporation | Shared spectrum reassignment in a spectrum sharing context |
US9386275B2 (en) * | 2014-01-06 | 2016-07-05 | Intel IP Corporation | Interactive video conferencing |
US20150253974A1 (en) | 2014-03-07 | 2015-09-10 | Sony Corporation | Control of large screen display using wireless portable computer interfacing with display controller |
US20160098180A1 (en) * | 2014-10-01 | 2016-04-07 | Sony Corporation | Presentation of enlarged content on companion display device |
US9516220B2 (en) | 2014-10-02 | 2016-12-06 | Intel Corporation | Interactive video conferencing |
US10021346B2 (en) | 2014-12-05 | 2018-07-10 | Intel IP Corporation | Interactive video conferencing |
US10735476B1 (en) | 2015-09-30 | 2020-08-04 | Amazon Technologies, Inc. | Connection service with network routing |
US10594746B1 (en) * | 2015-09-30 | 2020-03-17 | Amazon Technologies, Inc. | Connection service with network routing |
US10313417B2 (en) | 2016-04-18 | 2019-06-04 | Qualcomm Incorporated | Methods and systems for auto-zoom based adaptive video streaming |
US20210297748A1 (en) * | 2016-10-01 | 2021-09-23 | Samsung Electronics Co., Ltd. | Method for managing mission critical video (mcvideo) communications in off-network mcvideo communication system |
WO2018075090A1 (en) * | 2016-10-17 | 2018-04-26 | Intel IP Corporation | Region of interest signaling for streaming three-dimensional video information |
US10917626B2 (en) * | 2016-11-23 | 2021-02-09 | Microsoft Technology Licensing, Llc | Active illumination 3D imaging system |
US20180352156A1 (en) | 2017-06-02 | 2018-12-06 | Apple Inc. | High-Quality Audio/Visual Conferencing |
US10430958B2 (en) | 2017-07-11 | 2019-10-01 | Microsoft Technology Licensing, Llc | Active illumination 3D zonal imaging system |
US9992449B1 (en) | 2017-08-10 | 2018-06-05 | Everysight Ltd. | System and method for sharing sensed data between remote users |
US20200329088A1 (en) * | 2019-07-26 | 2020-10-15 | Intel Corporation | Viewport indication during streaming of volumetric point cloud content |
US11303849B2 (en) | 2020-03-30 | 2022-04-12 | Tencent America LLC | Signaling of the RTCP viewport feedback for immersive teleconferencing and telepresence for remote terminals |
US11470300B2 (en) * | 2020-05-08 | 2022-10-11 | Tencent America LLC | Event-based trigger interval for signaling of RTCP viewport for immersive teleconferencing and telepresence for remote terminals |
US11522927B2 (en) | 2020-12-15 | 2022-12-06 | Hio Inc. | Methods and systems for multimedia communication while accessing network resources |
US11201900B1 (en) | 2020-12-15 | 2021-12-14 | Hio Inc. | Methods and systems for multimedia communication while accessing network resources |
US11451745B2 (en) * | 2021-02-24 | 2022-09-20 | Gn Audio A/S | Conference device with multi-videostream control |
US11297281B1 (en) | 2021-03-22 | 2022-04-05 | Motorola Mobility Llc | Manage a video conference session in a multi-tasking environment |
US11769504B2 (en) | 2021-06-23 | 2023-09-26 | International Business Machines Corporation | Virtual meeting content enhancement triggered by audio tracking |
US11711408B2 (en) | 2021-07-26 | 2023-07-25 | International Business Machines Corporation | Content appearance conversion for remote application sharing |
CN113905256B (zh) * | 2021-12-10 | 2022-04-12 | 北京拙河科技有限公司 | 支持交互式观看的视频数据处理方法、设备及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101167365A (zh) * | 2005-03-09 | 2008-04-23 | 高通股份有限公司 | 用于视频电话的感兴趣区域处理 |
US20100118111A1 (en) * | 2008-11-10 | 2010-05-13 | Nokia Corporation | Method and apparatus for remote camera control indications in video conferencing |
CN101755454A (zh) * | 2007-08-23 | 2010-06-23 | 三星电子株式会社 | 确定移动视频电话之间的首选图像格式的方法和设备 |
Family Cites Families (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496607B1 (en) | 1998-06-26 | 2002-12-17 | Sarnoff Corporation | Method and apparatus for region-based allocation of processing resources and control of input image formation |
US6490319B1 (en) * | 1999-06-22 | 2002-12-03 | Intel Corporation | Region of interest video coding |
US7542068B2 (en) * | 2000-01-13 | 2009-06-02 | Polycom, Inc. | Method and system for controlling multimedia video communication |
CA2425411A1 (en) * | 2000-10-09 | 2002-04-18 | Ses Astra S.A. | Internet broadcast system |
US7321384B1 (en) | 2003-06-03 | 2008-01-22 | Cisco Technology, Inc. | Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference |
US7559026B2 (en) * | 2003-06-20 | 2009-07-07 | Apple Inc. | Video conferencing system having focus control |
US7119829B2 (en) * | 2003-07-31 | 2006-10-10 | Dreamworks Animation Llc | Virtual conference room |
AU2003298462A1 (en) * | 2003-12-23 | 2005-08-11 | Nokia Corporation | Image data transfer sessions |
AU2005236997B2 (en) * | 2004-04-23 | 2010-04-29 | Hitoshi Kiya | Moving picture data encoding method, decoding method, terminal device for executing them, and bi-directional interactive system |
US8427538B2 (en) * | 2004-04-30 | 2013-04-23 | Oncam Grandeye | Multiple view and multiple object processing in wide-angle video camera |
US8768084B2 (en) * | 2005-03-01 | 2014-07-01 | Qualcomm Incorporated | Region-of-interest coding in video telephony using RHO domain bit allocation |
US8693537B2 (en) * | 2005-03-01 | 2014-04-08 | Qualcomm Incorporated | Region-of-interest coding with background skipping for video telephony |
US8019175B2 (en) * | 2005-03-09 | 2011-09-13 | Qualcomm Incorporated | Region-of-interest processing for video telephony |
US8977063B2 (en) * | 2005-03-09 | 2015-03-10 | Qualcomm Incorporated | Region-of-interest extraction for video telephony |
US8139882B2 (en) | 2005-04-05 | 2012-03-20 | Thomson Licensing | Method for locally adjusting a quantization step and coding device implementing said method |
WO2006108917A1 (en) * | 2005-04-13 | 2006-10-19 | Nokia Corporation | Coding, storage and signalling of scalability information |
US8019170B2 (en) * | 2005-10-05 | 2011-09-13 | Qualcomm, Incorporated | Video frame motion-based automatic region-of-interest detection |
MX2008004760A (es) * | 2005-10-12 | 2008-11-13 | Thomson Licensing | Region de codificacion de video h .264 escalable de interes. |
US8150155B2 (en) * | 2006-02-07 | 2012-04-03 | Qualcomm Incorporated | Multi-mode region-of-interest video object segmentation |
KR20120136427A (ko) | 2006-07-06 | 2012-12-18 | 로터스 알로이 가부시키가이샤 | 다공질체의 제조 방법 |
US20080095228A1 (en) * | 2006-10-20 | 2008-04-24 | Nokia Corporation | System and method for providing picture output indications in video coding |
US8315466B2 (en) * | 2006-12-22 | 2012-11-20 | Qualcomm Incorporated | Decoder-side region of interest video processing |
US8787445B2 (en) * | 2007-03-15 | 2014-07-22 | Nvidia Corporation | Allocation of available bits to represent different portions of video frames captured in a sequence |
JP2008259000A (ja) * | 2007-04-06 | 2008-10-23 | Sony Corp | テレビ会議装置、制御方法、およびプログラム |
US8289371B2 (en) * | 2007-05-21 | 2012-10-16 | Polycom, Inc. | Smart cropping of video images in a videoconferencing session |
US8446454B2 (en) * | 2007-05-21 | 2013-05-21 | Polycom, Inc. | Dynamic adaption of a continuous presence videoconferencing layout based on video content |
FR2918520A1 (fr) * | 2007-07-03 | 2009-01-09 | Canon Kk | Procede et dispositif de transmission video |
KR100963103B1 (ko) * | 2007-07-11 | 2010-06-14 | 주식회사 케이티테크 | 휴대용 단말기 및 이를 이용한 화상통화시의 디스플레이방법 |
CN101453639B (zh) * | 2007-11-29 | 2012-05-30 | 展讯通信(上海)有限公司 | 支持roi区域的多路视频流的编码、解码方法和系统 |
US8189807B2 (en) * | 2008-06-27 | 2012-05-29 | Microsoft Corporation | Satellite microphone array for video conferencing |
US8570359B2 (en) * | 2008-08-04 | 2013-10-29 | Microsoft Corporation | Video region of interest features |
CN101404726B (zh) | 2008-10-20 | 2012-05-02 | 华为终端有限公司 | 一种远端摄像机的控制方法、系统和装置 |
WO2010141023A1 (en) * | 2009-06-04 | 2010-12-09 | Hewlett-Packard Development Company, L.P. | Video conference |
NO332170B1 (no) * | 2009-10-14 | 2012-07-16 | Cisco Systems Int Sarl | Anordning og fremgangsmate for kamerakontroll |
US20110128288A1 (en) * | 2009-12-02 | 2011-06-02 | David Petrou | Region of Interest Selector for Visual Queries |
US8941706B2 (en) | 2010-04-07 | 2015-01-27 | Apple Inc. | Image processing for a dual camera mobile device |
US9595127B2 (en) * | 2010-12-22 | 2017-03-14 | Zspace, Inc. | Three-dimensional collaboration |
US8718245B2 (en) | 2011-02-16 | 2014-05-06 | Justin Kahn | Methods and systems for online counseling sessions and clinics |
US8970653B2 (en) * | 2011-06-16 | 2015-03-03 | Vtel Products Corporation, Inc. | Video conference control system and method |
US9258344B2 (en) | 2011-08-01 | 2016-02-09 | Intel Corporation | Multi-hop single sign-on (SSO) for identity provider (IdP) roaming/proxy |
US9584819B2 (en) * | 2011-10-24 | 2017-02-28 | Qualcomm Incorporated | Grouping of tiles for video coding |
US9042247B2 (en) * | 2011-12-06 | 2015-05-26 | Wi-Lan Labs, Inc. | Systems and methods for preserving application identification information on handover in a communication network |
US9413941B2 (en) | 2011-12-20 | 2016-08-09 | Motorola Solutions, Inc. | Methods and apparatus to compensate for overshoot of a desired field of vision by a remotely-controlled image capture device |
US8854958B2 (en) * | 2011-12-22 | 2014-10-07 | Cygnus Broadband, Inc. | Congestion induced video scaling |
US9213605B2 (en) * | 2012-01-23 | 2015-12-15 | Intel Corporation | IP multimedia subsystem and method for MBMS file repair using HTTP servers |
EP2621171A1 (en) * | 2012-01-27 | 2013-07-31 | Alcatel Lucent | System and method for sharing videos |
GB2499200B (en) * | 2012-02-07 | 2014-12-17 | Canon Kk | Method and device for transitioning between an image of a first video sequence and an image for a second video sequence |
WO2014002619A1 (ja) * | 2012-06-25 | 2014-01-03 | ソニー株式会社 | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 |
US9125073B2 (en) * | 2012-08-03 | 2015-09-01 | Intel Corporation | Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file |
US8935246B2 (en) * | 2012-08-08 | 2015-01-13 | Google Inc. | Identifying textual terms in response to a visual query |
US8890923B2 (en) * | 2012-09-04 | 2014-11-18 | Cisco Technology, Inc. | Generating and rendering synthesized views with multiple video streams in telepresence video conference sessions |
US8963988B2 (en) * | 2012-09-14 | 2015-02-24 | Tangome, Inc. | Camera manipulation during a video conference |
US10771801B2 (en) * | 2012-09-14 | 2020-09-08 | Texas Instruments Incorporated | Region of interest (ROI) request and inquiry in a video chain |
EP2898695A1 (en) * | 2012-09-18 | 2015-07-29 | VID SCALE, Inc. | Region of interest video coding using tiles and tile groups |
CN104854835B (zh) * | 2013-01-17 | 2018-07-06 | 英特尔Ip公司 | 用于dash感知网络应用功能(d-naf)的装置和方法 |
US9801054B2 (en) * | 2013-01-17 | 2017-10-24 | Intel IP Corporation | Presence service using IMS based dash service |
US9160515B2 (en) * | 2013-04-04 | 2015-10-13 | Intel IP Corporation | User equipment and methods for handover enhancement using scaled time-to-trigger and time-of-stay |
CN104113766B (zh) * | 2013-04-16 | 2018-01-02 | 华为技术有限公司 | 一种媒体流的传输带宽的调整方法及相关装置 |
WO2014175919A1 (en) * | 2013-04-26 | 2014-10-30 | Intel IP Corporation | Shared spectrum reassignment in a spectrum sharing context |
US9088694B2 (en) * | 2013-10-03 | 2015-07-21 | Avaya, Inc. | Adjusting video layout |
CN105981387B (zh) * | 2013-10-15 | 2019-09-27 | 诺基亚技术有限公司 | 用于处理视频的方法、装置和计算机可读存储介质 |
US9762533B2 (en) * | 2013-12-20 | 2017-09-12 | Futurewei Technologies, Inc. | Method of IMS (SIP network) webRTC optimized P2P communication |
US9386275B2 (en) * | 2014-01-06 | 2016-07-05 | Intel IP Corporation | Interactive video conferencing |
US9516220B2 (en) * | 2014-10-02 | 2016-12-06 | Intel Corporation | Interactive video conferencing |
US10021346B2 (en) * | 2014-12-05 | 2018-07-10 | Intel IP Corporation | Interactive video conferencing |
-
2014
- 2014-12-24 US US14/582,376 patent/US9386275B2/en active Active
-
2015
- 2015-01-06 WO PCT/US2015/010385 patent/WO2015103644A1/en active Application Filing
- 2015-01-06 CN CN201580002834.9A patent/CN105794204B/zh active Active
- 2015-01-06 CN CN201910624409.3A patent/CN110417753B/zh active Active
- 2015-01-06 EP EP15733222.2A patent/EP3092793B1/en active Active
-
2016
- 2016-06-13 US US15/180,510 patent/US9794515B2/en active Active
- 2016-12-01 HK HK16113702A patent/HK1225539A1/zh unknown
-
2017
- 2017-09-20 US US15/710,589 patent/US10165226B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101167365A (zh) * | 2005-03-09 | 2008-04-23 | 高通股份有限公司 | 用于视频电话的感兴趣区域处理 |
CN101755454A (zh) * | 2007-08-23 | 2010-06-23 | 三星电子株式会社 | 确定移动视频电话之间的首选图像格式的方法和设备 |
US20100118111A1 (en) * | 2008-11-10 | 2010-05-13 | Nokia Corporation | Method and apparatus for remote camera control indications in video conferencing |
Non-Patent Citations (1)
Title |
---|
INTEL: "ROI Permanent Document Requirements, Working Assumptions and Potential Solutions", 《3GPP DRAFT S4-150446》 * |
Also Published As
Publication number | Publication date |
---|---|
HK1225539A1 (zh) | 2017-09-08 |
CN110417753B (zh) | 2023-02-03 |
EP3092793A1 (en) | 2016-11-16 |
US20180013980A1 (en) | 2018-01-11 |
US9794515B2 (en) | 2017-10-17 |
CN105794204A (zh) | 2016-07-20 |
WO2015103644A1 (en) | 2015-07-09 |
US10165226B2 (en) | 2018-12-25 |
EP3092793B1 (en) | 2022-08-17 |
US20160295166A1 (en) | 2016-10-06 |
US20150195490A1 (en) | 2015-07-09 |
EP3092793A4 (en) | 2017-08-09 |
CN105794204B (zh) | 2019-08-06 |
US9386275B2 (en) | 2016-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105794204B (zh) | 交互式视频会议 | |
US10791261B2 (en) | Interactive video conferencing | |
US10491861B2 (en) | Interactive video conferencing | |
TWI559776B (zh) | 視訊會議中的互動式變焦技術 | |
CN105027499A (zh) | 基于互联网协议(ip)多媒体子系统(ims)的对等(p2p)内容分发 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200407 Address after: California, USA Applicant after: Apple Inc. Address before: California, USA Applicant before: INTEL Corp. Effective date of registration: 20200407 Address after: California, USA Applicant after: INTEL Corp. Address before: California, USA Applicant before: INTEL IP Corp. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |