CN110620893A - 第一无线发射/接收单元（wtru）及由第一wtru执行的方法 - Google Patents

第一无线发射/接收单元（wtru）及由第一wtru执行的方法 Download PDF

Info

Publication number
CN110620893A
CN110620893A CN201910777679.8A CN201910777679A CN110620893A CN 110620893 A CN110620893 A CN 110620893A CN 201910777679 A CN201910777679 A CN 201910777679A CN 110620893 A CN110620893 A CN 110620893A
Authority
CN
China
Prior art keywords
wtru
video
video content
video stream
mcu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910777679.8A
Other languages
English (en)
Inventor
Y·雷兹尼克
G·S·斯滕伯格
A·泽拉
马良平
Y·何
A·巴拉苏布拉马尼安
叶琰
L·克拉夫斯基
R·内夫
陈志峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN110620893A publication Critical patent/CN110620893A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/06—Simultaneous speech and data transmission, e.g. telegraphic transmission over the same conductors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

提供一种第一无线发射/接收单元(WTRU)及由第一WTRU执行的方法。所述方法包括：接收来自第二WTRU的输入视频流；解码输入视频流的输入视频内容；将解码的输入视频内容显示在第一WTRU的第一屏幕上；分析所解码的输入视频内容以确定第二WTRU正在其中进行操作的观看环境的属性，所述观看环境的所述属性包括以下至少一者：在第二WTRU的附近内的用户的存在性、用户与第二WTRU的第二屏幕的距离、或者与所述第二WTRU相关联的环境照度条件；经由与所述第一WTRU相关联的相机捕获视频内容；编码所捕获的视频内容以产生输出视频流，其中所捕获的视频内容基于所确定的所述第二WTRU正在其中进行操作的所述观看环境的属性而被编码；以及将所述输出视频流发送至所述第二WTRU。

Description

第一无线发射/接收单元(WTRU)及由第一WTRU执行的方法
本申请是申请日为2014年08月29日、申请号为201480047538.6、名称为“用户自适应的视频电话”的中国发明专利申请的分案申请。
相关申请的交叉引用
本申请要求享有2013年8月29日提交的申请号为61/871,836的美国临时申请、2014年2月25日提交的申请号为61/944,548的美国临时申请的权益，该申请的内容在此结合作为参考。
背景技术
视频电话是无线网络上承载的一个正在增长的流量部分。这种趋势有望持续进行，其证据是引入了对LTE网络上传递的苹果的的FaceTime技术的支持。视频电话系统可以集成在网页浏览器中，而无需第三方插件。移动视频电话系统在捕获(capture)和处理视频数据的过程中可以不将视觉(visual)链路考虑在内。
无线网络上的实时视频电话以显著的带宽和延时需求为特征。由于对诸如视频聊天之类的交互会话中的延时的容忍性低，接收机处的缓存会受到很大限制。视频解码器可以受到信道特性的动态影响。一些视频电话系统可能在动态无线信道的场景中不具有鲁棒性或不可靠。瞬时的拥塞和/或临时的大分组延时可能造成可靠性差。在无线网络中，通常在延时和带宽之间存在折衷。
发明内容
提供了用于控制视频通信的系统、方法以及手段。设备可以经由转码来控制视频通信。设备可以包括多点控制单元(MCU)。设备可以接收来自第一设备的第一视频流和来自第二设备的第二视频流。设备可以接收来自第三设备的第三视频流。设备可以接收来自第二设备的第四视频流。设备可以分析第一视频流来确定与第一设备相关联的第一观看参数。设备可以分析第二视频流来确定与第二设备相关联第二观看参数。设备可以分析第三视频流来确定与第三设备相关联的第三观看参数。观看参数可以包括用户观看参数、设备观看参数、和/或内容观看参数。设备可以基于第一观看参数和/或第三观看参数来修改第二视频流。设备可以基于第三观看参数和/或第二观看参数来修改第一视频流。设备可以基于第三观看参数来修改第四视频流。修改视频流可以包括对视频流进行重新编码、调整朝向、移除视频细节、和/或调整比特率。设备可以向第一设备和/或第三设备发送修改后的第二视频流。设备可以向第二设备发送修改后的第一视频流。设备可以向第一设备和/或第三设备发送修改后的第四视频流。设备可以比较与第一观看参数和第三观看参数相关联的比特率。当第三观看参数与比第一观看参数更高的比特率相关联时，设备可以基于第三观看参数来修改第四视频流。
设备可以经由流量整形来控制视频通信。设备可以包括MCU。设备可以接收来自第一设备的第一视频流和来自第二设备的第二视频流。设备可以通过分析第一视频流来确定与第一设备相关联的观看参数。观看参数可以包括用户观看参数、设备观看参数、和/或内容观看参数。设备可以基于观看参数来为第二视频流确定视频流比特率。设备可以向第二设备指示视频流比特率。设备可以通过在向第一设备发送所述第二视频流之前从所述第二视频流中移除一个或多个分组。
设备可以通过发送指示调整后的分组丢失率来指示视频流比特率。设备可以为第二视频流测量分组丢失率。设备可以为第二视频流确定调整后的分组丢失率。所述调整后的分组丢失率可以与所确定的视频流比特率相关联。所述调整后的分组丢失率可以不同于所测量到的分组丢失率。所述设备可以生成指示调整后的分组丢失率的反馈消息。设备可以向第二设备发送反馈消息。
设备可以通过用信号发送带宽限制来指示视频流比特率。设备可以为第一设备确定第一观看参数和为第三设备确定第三观看参数。第一观看参数可以与第一视频流相关联。第三观看参数可以与来自第三设备的第三视频流相关联。设备可以为第二视频流确定第一视频流比特率和/或为第二视频流确定第二视频流比特率。第一视频流比特率可以基于第一观看参数。第二视频流比特率可以基于第三观看参数。设备可以向第二设备指示带宽限制。带宽限制可以与第一视频流比特率和/或第二视频流比特率相关联。
服务器可以控制两个或更多个设备之间的视频通信。服务器可以接收来自第一设备的第一视频流的采样。服务器可以基于采样来确定观看参数。观看参数可以与第一设备相关联。服务器可以基于观看参数来指示对第二视频流的修改。所述修改可以包括调整比特率、调整分辨率、移除细节、调整朝向、和/或滤波。服务器可以生成指示对第二视频流的修改的消息。服务器可以向第二设备发送所述消息。
附图说明
可从以下描述中获取更详细的理解，这些描述是结合附图通过举例给出的，其中：
图1A是可以实施所公开的一个或多个实施方式的示例性通信系统的系统图；
图1B是可以在图1A所示的通信系统中使用的示例性无线发射/接收单元(WTRU)的系统图；
图1C是可以在图1A所示的通信系统中使用的示例性无线电接入网和示例性核心网络的系统图；
图1D是可以在图1A所示的通信系统中使用的另一个示例性无线电接入网和另一个示例性核心网络的系统图；
图1E是可以在图1A所示的通信系统中使用的另一个示例性无线电接入网和另一个示例性核心网络的系统图；
图2A是显示了示例性移动视频电话系统的示图；
图2B是观看设置的示例性参数的示图；
图2C是使用坎贝尔-罗布森图(Campbell-Robson chart)的对比灵敏度函数的一个示例的示图；
图3显示了不同朝向的WTRU之间的示例性视频电话会话；
图4显示了不同朝向的WTRU之间的示例性视频电话会话；
图5是显示了包括经由网络与彼此通信的WTRU的示例性视频电话系统的示图；
图6是显示了包括经由网络与彼此通信的WTRU的示例性视频电话系统的示图；
图7是显示了包括经由网络与彼此通信的WTRU的示例性视频电话系统的示图；
图8是显示了包括经由网络与彼此通信的WTRU的示例性视频电话系统的示图，其中一个WTRU基于另一WTRU的朝向来进行视频捕获；
图9A-图9D是显示了对于WTRU相对于观看者的显示器的给定朝向在接收WTRU处显示视频的示例的示图；
图10A-图10B是显示了发送方侧剪切(crop)的示例的示图；
图11A-图11B是显示了发送方侧缩小(downsizing)或下采样(down sampling)的示例的示图；
图12A-图12B是显示了图像传感器选择的示图；
图13是图像传感器阵列旋转的示例的示图；
图14是显示了针对视频图片的宽度的示例性向上方向(up direction)的示图；
图15是显示了用户的示例性眼轴的示图；
图16是显示了眼轴到显示器平面的一个示例性投射的示图；
图17是根据远程设备的朝向在本地捕获视频的一个示例性呼叫流程的示图；
图18是显示了多点控制单元(MCU)设置中的示例性用户自适应视频(UAV)的示图；
图19A是显示了具有针对多个客户端的每个客户端端点的编码器的实施UAV的MCU的示例的示图；
图19B是显示了具有针对多个客户端的每个客户端端点的编码器的实施UAV的MCU的另一示例的示图；
图20是显示了具有视频混合和共享的编码器的MCU的示例的示图；
图21是用于UAV的MCU流量整形(traffic shaping)技术的示例的示图；
图22是一个或多个视频会议参与方和MCU之间的示例性逻辑连接的示图；
图23是显示了UAV应用经由云进行操作所在的系统的示例性架构的示图；
图24是用于网页实时通信(RTC)的示例性网格配置的示图。
具体实施方式
现在将参考不同附图来描述示例性实施方式的详细描述。虽然该描述提供了对可能的实施的详细示例，但是应当注意所述细节是示例性的而并不是要限制应用范围。
图1A是可以在其中实施一个或多个公开的实施方式的示例通信系统100的示图。通信系统100可以是用于提供诸如语音、数据、视频、消息、广播等内容给多个无线用户的多接入系统。通信系统100能够使得多个无线用户通过共享系统资源，包括无线带宽来接入这些内容。例如，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)等。
如图1A所示，通信系统100可以包括个人无线发射/接收单元(WTRU)102a、102b、102c、和/或102d(可以统称为或共称为WTRU 102)和无线电接入网(RAN)103/104/105、核心网络106107/109、公共交换电话网(PSTN)108、因特网110和其他网络112，但是应当理解，所公开的实施方式预期了任意数量的WTRU、基站、网络和/或网络元件。WTRU 102a、102b、102c、102d中的每一个可以是被配置为在无线环境中工作和/或通信的任何类型的设备。举例来说，WTRU 102a、102b、102c、102d可被配置为传送和/或接收无线信号，并且可包括用户设备(UE)、移动站、固定或移动用户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型电脑、上网本、个人电脑、无线传感器、消费类电子产品等。
通信系统100还可以包括基站114a和基站114b。基站114a、114b中的每一个可以是任何类型的被配置为与WTRU 102a、102b、102c、102d中的至少一个进行无线连接以便于接入例如核心网络106/107/109、因特网110和/或网络112那样的一个或多个通信网络的装置。作为例子，基站114a、114b可以是基站收发信机(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然基站114a、114b分别被描述为单个元件，但是可以理解基站114a、114b可以包括任意数量的互连的基站和/或网络元件。
基站114a可以是RAN 103/104/105的一部分，所述RAN 103/104/105还可以包括其它基站和/或网络元件(未示出)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可以被配置为在特定地理区域内传送和/或接收无线信号，该特定地理区域被称作小区(未示出)。所述小区还被分割成小区扇区。例如，与基站114a相关联的小区被分割成三个扇区。如此，在一个实施方式中，基站114a包括三个收发信机，即，针对小区的每个使用一个收发信机。在另一实施方式中，基站114a可以使用多输入多输出(MIMO)技术，因此，可以针对小区的每个扇区使用多个收发信机。
基站114a、114b可以通过空中接口115/116/117与WTRU 102a、102b、102c、102d中的一个或多个通信，所述空中接口115/116/117可以是任何适当的无线通信链路(例如射频(RF)、微波、红外线(IR)、紫外线(UV)、可见光等等)。可以使用任何适当的无线电接入技术(RAT)来建立空中接口115/116/117。
更具体而言，如上所述，通信系统100可以是多接入系统且可以采用一种或多种信道接入方案，诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 103/104/105中的基站114a和WTRU 102a、102b、102c可以实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其中该无线电技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一实施方式中，基站114a和WTRU 102a、102b、102c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，其中该无线电技术可以使用LTE和/或高级LTE(LTE-A)来建立空中接口115/116/117。
在其它实施方式中，基站114a和WTRU 102a、102b、102c可以实现诸如IEEE 802.16(即全球微波互通接入(WiMAX))、CDMA2000、CDMA20001X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM演进(EDGE)、GSM EDGE(GERAN)等无线电技术。
图1A中的基站114b可以是诸如无线路由器、家用节点B、家用e节点B、或接入点，并且可以利用任何适当的RAT来促进诸如营业场所、家庭、车辆、校园等局部区域中的无线连接。在一个实施方式中，基站114b和WTRU102c、102d可以实施诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在另一实施方式中，基站114b和WTRU 102c、102d可以实施诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在另一实施方式中，基站114b和WTRU 102c、102d可以利用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A等)以建立微微小区或毫微微小区。如图1A所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可以不需要经由核心网络106/107/109接入因特网110。
RAN 103/104/105可以与核心网络106/107/109通信，该核心网络106/107/109可以是被配置为向WTRU 102a、102b、102c、102d中的一个或多个提供语音、数据、应用程序、和/或网际协议语音(VoIP)服务的任何类型的网络。例如，核心网络106/107/109可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行诸如用户认证等高级安全功能。虽然图1A未示出，但应认识到RAN 103/104/105和/或核心网络106/107/109可以与跟RAN 103/104/105采用相同的RAT或不同的RAT的其它RAN进行直接或间接通信。例如，除连接到可以利用E-UTRA无线电技术的RAN 103/104/105之外，核心网络106/107/109还可以与采用GSM无线电技术的另一RAN(未示出)通信。
核心网络106/107/109还可以充当用于WTRU 102a、102b、102c、102d接入PSTN108、因特网110、和/或其它网络112的网关。PSTN 108可以包括提供普通老式电话服务(POTS)的电路交换电话网。因特网110可以包括使用公共通信协议的互连计算机网络和设备的全局系统，所述公共通信协议例如为传输控制协议(TCP)/网际协议(IP)因特网协议族中的TCP、用户数据报协议(UDP)和IP。网络112可以包括由其它服务提供商所拥有和/或操作的有线或无线通信网络。例如，网络112可以包括连接到可以与RAN103/104/105采用相同的RAT或不同的RAT的一个或多个RAN的另一核心网络。
通信系统100中的某些或全部WTRU 102a、102b、102c、102d可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用于通过不同的无线链路与不同的无线网络通信的多个收发信机。例如，图1A所示的WTRU 102c可以被配置为与可以采用蜂窝式无线电技术的基站114a通信，且与可以采用IEEE 802无线电技术的基站114b通信。
图1B是示例WTRU 102的系统图。如图1B所示，WTRU102可以包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸屏128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136、以及其它外围设备138。应认识到WTRU102可以在保持与实施方式一致的同时，包括前述元件的任何子组合。另外，实施方式可以预料到基站114a和114b、和/或基站114a和114b可以代表的节点(例如但不限于收发信机站(BTS)、节点B、站点控制器、接入点(AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点B(HeNB或He节点B)、家庭演进型节点B网关、以及代理节点等等)可以包括图1B描述的以及这里描述的一些元件和所有元件。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)、状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或使得WTRU 102能够在无线环境中操作的任何其它功能。处理器118可以耦合到收发信机120，收发信机120可以耦合到发射/接收元件122。虽然图1B将处理器118和收发信机120描述为单独的元件，但应认识到处理器118和收发信机120可以被一起集成在电子组件或芯片中。
发射/接收元件122可以被配置为通过空中接口115/116/117向基站(例如基站114a)发射信号或从基站(例如基站114a)接收信号。例如，在一个实施方式中，发射/接收元件122可以是被配置为发射和/或接收RF信号的天线。在另一实施方式中，发射/接收元件122可以是被配置为发射和/或接收例如IR、UV、或可见光信号的发射器/检测器。在另一实施方式中，发射/接收元件122可以被配置为发射和接收RF和光信号两者。应认识到发射/接收元件122可以被配置为发射和/或接收无线信号的任何组合。
另外，虽然发射/接收元件122在图1B中被描述为单个元件，但WTRU102可以包括任何数目的发射/接收元件122。更具体而言，WTRU 102可以采用MIMO技术。因此，在一个实施方式中，WTRU 102可以包括用于通过空中接口115/116/117来发射和接收无线信号的两个或更多个发射/接收元件122(例如多个天线)。
收发信机120可以被配置为调制将由发射/接收元件122发射的信号并对由发射/接收元件122接收到的信号进行解调。如上所述，WTRU 102可以具有多模式能力。因此，例如，收发信机120可以包括用于使得WTRU 102能够经由诸如UTRA和IEEE 802.11之类的多种RAT通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126、和/或显示器/触摸屏128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以从这些组件接收用户输入数据。处理器118还可以向扬声器/扩音器124、键盘126、和/或显示器/触摸屏128输出用户数据。另外，处理器118可以访问来自任意类型的合适的存储器(例如不可移除存储器130和可移除存储器132)的信息，或者将数据存储在该存储器中。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或任何其它类型的存储器存储设备。可移除存储器132可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其它实施方式中，处理器118可以访问来自在物理上不位于WTRU 102上(诸如在服务器或家用计算机(未示出))的存储器的信息并将数据存储在该存储器中。
处理器118可以从电源134接收电力，并且可以被配置为分配和/或控制到WTRU102中的其它元件的电力。电源134可以是用于为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池(例如镍镉(NiCd)、镍锌铁氧体(NiZn)、镍金属氢化物(NiMH)、锂离子(Li)等等)、太阳能电池、燃料电池等等。
处理器118还可以耦合到GPS芯片组136，GPS芯片组136可以被配置为提供关于WTRU 102的当前位置的位置信息(例如，经度和纬度)。除来自GPS芯片组136的信息之外或作为其替代，WTRU 102可以通过空中接口115/116/117从基站(例如基站114a、114b)接收位置信息和/或基于从两个或更多个附近的基站接收到信号的时序来确定其位置。应认识到WTRU 102可以在保持与实施方式一致的同时，通过任何适当的位置确定实现方式来获取位置信息。
处理器118还可以耦合到其它外围设备138，外围设备138可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速计、电子指南针、卫星收发信机、数码相机(用于拍照或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
图1C是根据一个实施方式的RAN 103和核心网络106的系统图。如上所述，RAN 103可使用UTRA无线电技术通过空中接口115来与WTRU 102a、102b、102c进行通信。该RAN 103还可与核心网络106进行通信。如图1C所示，RAN 103可包括节点B 140a、140b、140c，其中每个都可包含一个或多个收发信机，以用于通过空中接口115与WTRU 102a、102b、102c进行通信。该节点B 140a、140b、140c中的每一个可与RAN 103内的特定小区(未示出)相连接。RAN103还可以包括RNC 142a、142b。应当理解，在与实施方式保持一致的情况下，RAN 103可以包括任何数量的节点B和RNC。
如图1C所示，节点B 140a、140b可以与RNC 142a进行通信。此外，节点B 140c可以与RNC 142b进行通信。节点B 140a、140b、140c可以经由Iub接口分别与RNC 142a、142b进行通信。RNC 142a、142b可以通过Iub接口相互通信。RNC 142a、142b的每一个可以被配置为分别控制其所连接的节点B 140a、140b、140c。此外，可将RNC 142a、142b中的每一个可以被配置为执行或支持其他功能，例如外环功率控制、负载控制、许可控制、分组调度、切换控制、宏分集、安全功能、数据加密等。
图1C中所示的核心网络106可以包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS支持节点(SGSN)148和/或网关GPRS支持节点(GGSN)150。虽然将前述组件表示为核心网络106的一部分，但是应该理解，这些组件中任何一部分都可由核心网络运营商以外的实体所有和/或操作。
RAN 103中的RNC 142a可经由IuCS接口连接至核心网络106中的MSC 146。可将MSC146连接至MGW 144。MSC 146和MGW 144可向WTRU 102a、102b、102c提供对电路交换网络的连接，例如PSTN 108，从而促进WTRU 102a、102b、102c与传统陆线通信设备之间的通信。
还可将RAN 103中的RNC 142a经由IuPS接口连接至核心网络106中的SGSN 148。SGSN 148可连接至GGSN 150。SGSN 148和GGSN 150可向WTRU 102a、102b、102c提供针对分组交换网络的接入，例如互联网110，从而促进WTRU 102a、102b、102c与IP使能设备之间的通信。
如上所述，还可将核心网络106连接至网络112，其可包括由其他服务提供商所有和/或操作的其他有线或无线网络。
图1D是根据另一个实施方式的RAN 104和核心网络107的系统图。如上所述，RAN104可使用E-UTRA无线技术通过空中接口116与WTRU 102a、102b和102c通信。RAN 104还可以与核心网络107通信。
RAN 104可包括e节点B 160a、160b、160c，但是应当理解的是在保持与实施方式的一致性的同时RAN 104可以包括任意数量的e节点B。e节点B 160a、160b、160c中的每一个可包括一个或多个收发信机，以用于通过空中接口116与WTRU 102a、102b、102c通信。在一个实施方式中，e节点B140a、140b、140c可以利用MIMO技术。e节点B 160a例如可以使用多天线来向WTRU 102发送无线信号和从其接收无线信号。
e节点B 160a、160b、160c中的每一个可以与特定小区相关联(未显示)，可以被配置为处理无线电资源管理决策、切换决策、和/或用户组上行链路和/或下行链路上的调度等等。如图1D所示，e节点B 160a、160b、160c可以通过X2接口与彼此通信。
图1D中所示的核心网络107可以包括移动性管理实体(MME)162、服务网关164、和分组数据网络(PDN)网关166等。虽然前述单元的每一个显示为核心网络106的一部分，但是应当理解这些单元中的任意一个都可以由除了核心网络运营商之外的其他实体拥有和/或运营。
MME 162可以经由S1接口连接到RAN 104的e节点B 160a、160b、160c中的每一个，并作为控制节点。例如，MME 162可以负责WTRU 102a、102b、102c的认证用户、承载激活/去激活、在WTRU 102a、102b、102c的初始连接期间选择特定服务网关等等。MME 162还可以提供控制平面功能以用于在RAN 104和使用其他无线电技术例如GSM或者WCDMA的其他RAN(未示出)之间切换。
服务网关164可以经由S1接口连接到RAN 104的e节点B 160a、160b、160c中的每一个。服务网关164通常可以向/从WTRU 102a、102b、102c路由和转发用户数据分组。服务网关164还可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当下行链路数据对于WTRU 102a、102b、102c可用时触发寻呼、管理和存储WTRU 102a、102b、102c的内容等等。
服务网关164还可以被连接到PDN网关166，PDN网关166向WTRU102a、102b、102c提供到分组交换网络(例如因特网110)的接入，以便于WTRU 102a、102b、102c与IP使能设备之间的通信。
核心网络107可以便于与其他网络的通信。例如，核心网络107可以向WTRU 102a、102b、102c提供到电路交换网络(例如PSTN 108)的接入，以便于WTRU 102a、102b、102c与传统陆地线路通信设备之间的通信。例如，核心网络107可以包括IP网关(例如IP多媒体子系统(IMS)服务器)，或者与之通信，该IP网关作为核心网络107与PSTN 108之间的接口。另外，核心网络107可以向WTRU 102a、102b、102c提供到网络112的接入，该网络112可以包括其他服务提供商拥有和/或操作的其他有线或无线网络。
图1E是根据一个实施方式的RAN 105和核心网络109的系统图。RAN105可以是采用IEEE 802.16无线电技术以通过空中接口117与WTRU 102a、102b、102c通信的接入服务网络(ASN)。如下所述，WTRU 102a、102b、102c、RAN 105、以及核心网络109的不同功能实体之间的通信链路可以定义为参考点。
如图1E所示，RAN 105可以包括基站180a、180b、180c以及ASN网关182，但是应当理解的是在与实施方式保持一致的同时，RAN 105可以包括任意数量的基站和ASN网关。基站180a、180b、180c可以各与RAN 105中的特定小区(未示出)相关联，并且可以各包括一个或多个收发信机，以通过空中接口117与WTRU 102a、102b、102c通信。在一个实施方式中，基站180a、180b、180c可以实施MIMO技术。从而，举例来说，基站180a可以使用多个天线来传送无线信号给WTRU 102a，并且接收来自该WTRU102a的信号。基站180a、180b、180c还可以提供移动性管理功能，例如切换触发、隧道建立、无线电资源管理、流量分类、服务质量(QoS)策略实施等等。ASN网关182可以用作流量汇聚点，并且可以负责寻呼、缓存用户简档、路由到核心网络109等等。
WTRU 102a、102b、102c与RAN 105之间的空中接口117可以被定义为实施IEEE802.16规范的R1参考点。另外，WTRU 102a、102b、102c中的每个WTRU可以建立与核心网络109的逻辑接口(未示出)。WTRU 102a、102b、102c与核心网络109之间的逻辑接口可以定义为R2参考点，该R2参考点可以用于认证、授权、IP主机管理、和/或移动性管理。
基站180a、180b、180c中的每个基站之间的通信链路可以定义为R8参考点，该R8参考点可以包括用于促进基站之间的WTRU切换和数据传递的协议。基站180a、180b、180c与ASN网关182之间的通信链路可以定义为R6参考点。R6参考点可以包括用于基于与WTRU102a、102b、102c中的每个WTRU相关联的移动性事件来促进移动性管理的协议。
如图1E所示，RAN 105可以连接到核心网络109。RAN 105与核心网络109之间的通信链路可以定义为R3参考点，该R3参考点包括用于促进例如数据传递和移动性管理性能的协议。核心网络109可以包括移动IP家用代理(MIP-HA)184、认证、授权、记账(AAA)服务器186、以及网关188。虽然前述元件中的每个元件被描述为核心网络109的一部分，但是可以理解这些元件中的任意元件都可以由除核心网络运营商之外的实体拥有和/或运营。
MIP-HA可以负责IP地址管理，并使得WTRU 102a、102b、102c能够在不同ASN和/或不同核心网络之间进行漫游。MIP-HA184可以为WTRU102a、102b、102c提供针对分组切换网(例如因特网110)的接入，以促进WTRU 102a、102b、102c与IP使能设备之间的通信。AAA服务器186可以负责用户认证和支持用户服务。网关188可以为WTRU 102a、102b、102c提供针对电路交换网络(例如PSTN 108)的接入，以促进WTRU 102a、102b、102c与传统陆线通信设备之间的通信。例如，网关188可以为WTRU 102a、102b、102c提供针对网络112(可以包括由其他服务提供商拥有和/或操作的其他有线或无线网络)的接入。
虽然在图1E中没有示出，但是可以理解的是RAN 105可以连接到其他ASN，并且核心网络109可以连接到其他核心网络。RAN 105与其他ASN之间的通信链路可以被定义为R4参考点，该R4参考点可以包括用于协调WTRU 102a、102b、102c在RAN 105与其他RAN之间的移动性。核心网络109与其他核心网络之间的通信链路可以被定义为R5参考，该R5参考可以包括用于促进家用核心网络与被访问核心网络之间的网络互联的协议。
图2A显示了示例性移动视频电话系统200。第一用户202可以具有与第一无线发射/接收单元(WTRU)206之间的视觉链路(visual link)204。第一WTRU 206可以包括智能电话或平板电脑。第一WTRU 206可以经由无线链路210来与第一eNB 208通信。第一eNB 208可以经由网关(GW)214来与诸如因特网212之类的网络通信。第二用户216可以具有与第二WTRU 220之间的视觉链路218。第二WTRU 220可以经由无线链路224来与第二eNB 222通信。第二eNB 222可以经由GW 226来与诸如因特网212之类的网络通信。实施方式可以预料到对于移动视频电话系统来说其他无线技术和/或通信路径是可行的。例如，一个或多个WTRU可以使用IEEE 802.11技术连接。一个或多个eNB(例如eNB 208和eNB 222)可以用一个或多个Wi-Fi接入点来代替。
所公开的系统、方法以及手段用于传递视频数据、和在管理延迟的同时减小拥塞的可能性、以及在避免视频质量降级的同时降低带宽需求。可以减少来自相对窄的波束光源(例如灯泡、太阳等等)的强光。背光亮度可以响应于背景的总的散射照度(diffuseilluminance)而自适应调整。
视频数据通信可以适于用户观看流传输和实时视频电话应用的条件。在实时视频电话的情境中，可以使用前向摄像机，例如可以假设使用前向摄像机。缓存可以限于用于交互视频电话会话。视频电话可以涉及未被预编码的数据通信。
视频数据通信可以适于不同的用户/设备朝向。谈话时移动设备可以交换朝向信息。
多点控制单元(MCU)可以用于桥接视频会议连接。MCU可以用于允许多于一个端点和/或网关在多点会议中连接。MCU可以提供以下功能中的一个或多个功能：例如，呼叫设置、许可控制、音频混合、简单的声音切换、不同视频格式之间的转码、速率调整、持续存在(例如多方可以立即看见的视频混合)等等。设备(例如视频电话客户端)可以分析来自另一设备的视频流以确定如何对所传送的视频进行编码。MCU可以分析来自一个或多个设备(例如各个会议参与者)的视频流和/或修改相关联的视频流中的一个或多个视频流。分析视频流可以包括分析视频分组数据、视频比特流数据、与视频流相关联的侧信息(sideinformation)和/或控制信令。控制信令可以通过使用例如SIP消息、H.245消息、HTTP请求/响应等等而被传达。MCU可以向所述设备(例如各个端点)中的一个或多个设备用信号发送(例如指示)视频流修改。所述设备中的一个或多个设备可以实施用户自适应视频电话。所述设备中的一个或多个设备可以基于来自MCU的信号来实施用户自适应视频电话。
可以基于与显示器上显示的信息相关联的一个或多个因素来确定信息的可见性。例如，可感知的细节和/或不可感知的细节可以在显示的视频内容中被认出。可以确定可感知的细节与不可感知的细节之间的差别。可以使用许多因素来确定显示器上显示的信息的可见性。这些因素可以包括观看参数。观看参数可以包括以下中的一者或多者：例如，观看距离(例如用户到屏幕的距离)、对比灵敏度(contrast sensitivity)、显示器尺寸、显示器像素密度、环境照度、显示器相对于用户的移动、以及其他因素。使用的移动设备的灵活性可以导致观看参数的可变性。例如，保持在离用户臂长距离的位置的移动设备可以比离用户的脸更近(例如距离几英寸)的设备呈现出更高空间密度的信息。再举个例子，当直接在阳光下观看设备时移动设备显示器上的信息的可见性比在黑暗的室内观看设备时可能更低。再举个例子，如果设备在相对于用户的眼睛移动(例如用户正在手持电话沿着繁忙的街道步行)，则用户可能比设备不移动时(例如用户正坐在椅子中拿着电话)感知更少的信息。
可以使用一个或多个观看参数来确定和/或估计用户可以感知(例如通过使用人的视觉感知模型)的细节的数量。视频内容的编码和/或发送可以基于一个或多个观看参数来调整(例如修改)。修改后的视频内容的编码和/或发送可以保持用户可感知的一个或多个细节。修改后的视频内容的编码和/或发送可以保持可感知的细节。例如，预处理滤波器可以移除观看用户可能不能感知(例如考虑到当前观看条件)的细节。可以使用比原始视频内容更低的比特率来对预处理的视频内容进行编码(例如重新编码)。可以修改(例如直接调整)视频捕获、重新采样、和/或编码的特性。可以基于当前的观看条件和/或观看参数来修改视频捕获、重新采样和/或编码的特性，以便捕获观看用户能感知的细节的级别(例如最高级别)。可以使用视频分辨率(例如最低级别)和/或比特率(例如最低比特率)来对视频内容来进行编码，以便保持观看用户能够感知的细节的数量。可以基于人的视觉感知模型来确定视频捕获、重新采样、和/或编码的特性(例如视频分辨率或比特率)。可以根据经验来确定视频捕获、重新采样、和/或编码的特性。
图2B显示了视频观看设置的一些示例性参数(例如观看参数)。为了进行说明显示了水平切面，并且假设可见区域由双眼视觉来形成(例如大约为水平120°)。观看参数可以包括屏幕尺寸、离屏幕的距离、屏幕分辨率、屏幕密度(以每英寸的像素为单位)、和/或观看角度。观看参数可以是互相关的。例如，观看角度可以按如下计算：
对比度或亮度对比度是可感知的测量(例如观看参数)，其可以定义两个颜色的可感知的亮度之间的差异。诸如正弦光栅(sinusoidal grating)之类的周期性模式(pattern)的对比度可以通过使用如下定义的Michelson(迈克逊)的对比度来测量：
其中Lmax和Lmin分别是最大和最小亮度值。对比度可以按如下定义：
可有助于由人的可见系统得出的感知的响应的对比度的级别可以是对比度阈值(contrast threshold)，并且对比度阈值的倒数可以是对比灵敏度(contrastsensitivity)。对比灵敏度可以计算如下：
图2C是使用Campbell-Robson(坎贝尔-罗布森)图的对比灵敏度函数的示例的示图。对比灵敏度可以根据空间频率而变化。在坎贝尔-罗布森图中，空间频率从左到右呈对数地增加，而对比度从下到上呈对数地减小。对比灵敏度与空间频率之间的关系称为对比灵敏度函数(CSF)，并且CSF曲线如图2C所示。
CSF可以具有最大4周(cycle)每度(CPD)。CSF可以以较低和较高的频率降低(例如由此产生带通特性)。CSF曲线可以定义可见性阈值。CSF曲线上的区域对于人类观看者来说可以是不可见的。可以使用几种不同的CSF模型，例如Movshon(莫夫肖)和Kiorpes(科文斯)、Barten(巴顿)以及Daly(戴利)提出的模型。
图3显示了不同朝向的WTRU 300、302之间的示例性视频电话会话。在图3所示的示例中，WTRU 300、302可以执行双向视频呼叫会话。当WTRU300、302的朝向匹配时(例如当WTRU 300、302为纵向朝向(portrait orientation or)或横向朝向(landscapeorientation)时)，可以实现最优质量/体验。当WTRU 300、302不对齐时(例如，如图3所示，当WTRU 300为纵向朝向、且WTRU 302为横向朝向时)，所接收到的图像(例如，视频和/或图片)可以被重新格式化。所接收到的图像可以被下采样，并且以药盒(pillbox)格式显示，其中黑栏304、306、308、310位于图像312、314边上。下采样的图像和重新格式化的图像可以将用户体验降级(例如显著降级)。可以显示视频/图片的一部分(例如仅一部分)、在通信网络上被编码和传送的原始分辨率的一部分(例如仅一部分)。显示视频/图片的一部分可能浪费通信系统的资源(例如带宽)。
图4显示了不同朝向的WTRU 400、402之间的示例性视频电话会话。在图4所示的示例中，WTRU 400、402可以执行双向视频呼叫会话。可以基于发送方WTRU的朝向来捕获视频流(例如在视频的发送方处)。例如，当发送方WTRU的朝向为横向朝向时，例如WTRU 402，发送方WTRU可以以横向格式捕获视频。接收方WTRU可以剪切所接收到的视频流以匹配接收方WTRU的朝向。例如，当接收方WTRU的朝向为纵向朝向时，例如WTRU 400，接收方WTRU可以将接收到的横向视频流剪切为纵向格式。剪切视频(例如不合适地剪切)可以导致丢失场景中的重要对象。如果在接收方端上不能显示视频的一部分，则在通信系统上发送整个视频可能是低效的。
可以估计观看条件。观看条件可以包括一个或多个观看参数。因为来自WTRU的摄像机的视频可用于视频电话会话的本地WTRU和远程WTRU，因此可以由本地WTRU或远程WTRU估计观看条件。
可以将观看参数用信号发送(例如指示)给远程WTRU(例如当本地WTRU估计观看参数时)。例如，可以使用嵌入在视频比特流中的SEI消息、控制协议消息的扩展(例如H.323栈中的H.245)、RTCP上的APP消息、和/或附加的协议(例如自定义协议)来用信号发送观看参数。
面部检测和/或距离估计逻辑可以应用于所接收到的视频流(例如当远程WTRU估计观看参数时)。可以在不对标准进行任意改变的情况下部署远程WTRU估计(例如远程端估计)。远程WTRU估计可以在高分辨率和/或高质量会议的情况下表现很好。面部识别可以受益于高分辨率会议。环境照度估计可以包括自动曝光逻辑。远程WTRU估计可以包括对视频电话会话的另一端上的显示器(例如本地WTRU显示器)的像素密度的了解。
视频流可以包含可用于推断用户观看条件的某些方面的信息。如图5所示，除了视频流之外，还可以用信号发送观看条件信息(例如一个或多个观看参数)。图5显示了示例性视频电话系统500，该视频电话系统500包括经由网络506(例如因特网)来与彼此进行通信的WTRU 502、504。WTRU502、504可以包括各自的摄像机/传感器508、510以及各自的显示器512、514。WTRU 502、504可以执行各自的视频电话应用516、518。视频电话应用516、518可以存储在存储设备中。视频电话应用516、518可以包括各自的视频解码器520、522和各自的视频编码器524、526。
如图5所示，WTRU 502的摄像机/传感器508可以将一个或多个观看参数用信号发送给WTRU 504(例如WTRU 504的视频编码器526)。WTRU 504的摄像机/传感器510可以将一个或多个观看参数用信号发送给WTRU 502的视频编码器524。可以将一个或多个观看参数从第一WTRU用信号发送给第二WTRU。一个或多个观看参数可以用于使用第二WTRU的视频编码器来对视频进行编码。一个或多个观看参数可以包括但不限于例如摄像机设置、焦距、光圈设置、和/或附加的传感器数据，如环境照度、加速度计数据，接近检测等。可以将一个或多个观看参数用信号发送以用于远程WTRU(例如远程WTRU处的编码器)处的速率选择和/或感知的预先滤波。
除了视频流之外，用信号发送观看条件信息(例如一个或多个观看参数)可以减少延时，这是因为视频编码和/或解码不在信号路径中进行。用信号发送一个或多个观看参数可以改进面部检测的精确性。例如，发送WTRU可以执行与接收WTRU处相比有更高精确性的本地面部检测(例如，为了确定参数，例如用户存在性、用户对屏幕的关注、和/或用户到屏幕的距离、以及其他原因)。发送WTRU可以传送一个或多个观看参数给接收WTRU。
可以经由网络来用信号发送这里描述的一个或多个观看参数，包括图5中描述和显示的那些观看参数。
图6显示了示例性视频电话系统600，该视频电话系统600包括经由网络606(例如因特网)来与彼此进行通信的WTRU 602、604。WTRU 602、604可以包括各自的摄像机/传感器608、610以及各自的显示器612、614。WTRU 602、604可以执行各自的视频电话应用616、618，该视频电话应用616、618可以存储在存储设备中。视频电话应用616、618可以包括各自的视频解码器620、622和各自的视频编码器624、626。
如图6所示，WTRU 602的摄像机/传感器608可以将观看条件信息(例如一个或多个观看参数)用信号发送给WTRU 604的视频编码器626。WTRU604的摄像机/传感器610可以将观看条件信息用信号发送给WTRU 602的视频编码器624。一个或多个观看参数可以包括最大可分辨的空间频率信息和/或可感知的对比率。一个或多个观看参数可以用于远程WTRU(例如远程WTRU处的编码器)处的速率选择和/或感知的预先滤波。一个或多个观看参数可以包括简洁(compact)表示。发送方WTRU可以将传感器数据处理成最大空间频率和可感知的对比率。
最大可分辨空间频率和/或可感知对比率或传感器数据可以作为应用层协议的一部分在带内传递，或者可以作为会话发起协议(SIP)、会话描述协议(SDP)、和/或实时控制协议(RTCP)的扩展被包括在内。例如，RTCP接收机报告(RR)可以包括关于在接收方WTRU处的观看条件的信息。信令可以在例如网络上以及其他场景间被发送。
图7显示了示例性视频电话系统700，该视频电话系统700包括经由网络706(例如因特网)来与彼此进行通信的WTRU 702、704。WTRU 702、704可以包括各自的摄像机/传感器708、710以及各自的显示器712、714，并且可以执行各自的视频电话应用716、718，该视频电话应用716、718存储在存储设备中。视频电话应用716、718可以包括各自的视频解码器720、722和各自的视频编码器724、726。
一个或多个观看参数可以包括摄像机设置信息。摄像机设置信息可以被用信号发送(例如，以改进视频数据的解译，从而合成最大可分辨空间频率和/或可感知的对比率)。摄像机设置信息可以包括用户距离和/或照度。摄像机设置信息可以用于在远程WTRU(例如在远程WTRU处的编码器)处合成最大可分辨空间频率和对比率。图7描绘了用于视频电话系统700的传感器信息(例如一个或多个观看参数)的示例性流向。
可以调整视频编码的比特率(例如以避免不能由端用户感知到的传递信息)。比特率选择可以由一个或多个观看参数驱动，包括，例如能由接收用户解决的最大空间频率、由接收用户可感知的最大对比率、和/或接收用户的关注。接收用户的关注可以基于例如人眼跟踪。
一个或多个观看参数可以包括显示器特性。显示器特性可以包括在设备观看参数中。显示器特性可以被用信号发送。显示器特性可以对空间频率敏锐度(acuity)建立限制。显示器特性可以包括接收机的显示器的尺寸、其最大对比率的方面(aspect)、和/或其最大照度的细节。可以基于接收WTRU的显示器分辨率来修改视频流(例如以避免不能由接收WTRU的显示器再现的空间频率的传输)。显示器特性可以使用对SDP的扩展作为呼叫设置的一部分而被交换。显示器特性可以动态地改变，例如当会话从两方切换到多方时，或者当存在从纵向到横向的切换时(反之亦然)。屏幕的倾斜和对比率之间的函数关系可以用于确定空间频率敏锐度。显示器特性使得能够在接收方WTRU处合成最大可感知的空间频率信息。
在带宽与延时之间可以存在折衷。用户(例如视频电话客户)能够单独地在延时与提供的负载之间进行折衷。共同地，用户可以影响延时与提供的负载之间的折衷。提供的负载可以通过基于接收方WTRU处的用户可感知的内容减小传送的最大空间频率而被减少。可以减少提供的负载以提供较低延时视频流。较低延时视频流可以比降低的分辨率对用户感知的体验质量具有更大的影响。可以确定速率选择以在延时与提供的负载之间进行平衡(例如通过将本地源编码失真和由于分组丢失的失真的影响考虑在内)。
在发送方处节约功率消耗可以通过减小视频捕获分辨率和/或帧率、降低视频编码分辨率、和/或减小视频编码的质量(例如通过使用单通对比(vs.)2-通编码)来实现。
可以根据远程观看条件(例如通过使用人的视觉感知的CSF模型)确定可见的截止频率(cut-off-frequency)(例如，可感知和不可感知的细节的空间频率边界)。可见的截止频率可以用于控制预先滤波。预先滤波可以移除对于远程设备处的观看者来说可能不可见的细节。可由本地摄像机使用被滤波的视频确定的分辨率(例如在编码之前以移除所述细节)对视频进行编码和/或捕获。在一些实施方式中，可以降低系统复杂度。可以基于截止频率来减小捕获和/或编码的分辨率(例如从而较低的分辨率仍可以表示对远程设备处的观看者可见的细节的数量)。
例如，当截止频率f小于1/2时，图像的分辨率可以减小因数1/2/f。截止频率f可以用原始分辨率的单位来表达。例如，如果f是1/6，分辨率可以减小因数3。分辨率下采样因数可以按照2的幂来选择。举例来说，如果截止频率小于1/4，捕获和/或编码的分辨率可以减小因数2。截止频率可以以减小的(例如更新的)分辨率来表达。滤波(例如应用预先滤波器)可以以修改的截止频率来移除附加的细节。
可以划分屏幕(例如显示器)，以使得远程用户可以看见多个参与者。例如，当多于两个用户参与视频电话会话时，可以划分显示器。输出视频的空间分辨率可以基于对划分的接收机显示器的了解而被减小(例如以便实现显著的网络资源节约)。通过在计算可感知的最大空间频率的过程中考虑显示器的较小部分以及对比度和显示器发光度的减小，可以减少网络资源的消耗。
视频电话会话中的设备(例如WTRU)可以交换关于其各自的朝向的信息。可以根据远程设备的朝向来调整(例如修改)图像(例如视频和/或图片)捕获和/或处理(例如从而可以优化显示器视频和图片的用户体验)。可以针对远程设备(例如正在接收被捕获和/或处理的视频的WTRU)的显示器朝向来调整(例如修改)视频捕获和/或视频处理。图8描绘了示例性视频电话系统800，其中WTRU 802、804经由通信网络806(例如因特网)来与彼此进行通信。在图8的视频电话系统800中，本地视频捕获可以基于远程设备的朝向。例如，WTRU 802处的视频捕获可以基于WTRU 804的朝向，并且WTRU 804处的视频捕获可以基于WTRU 802的朝向。通过使得本地视频捕获基于远程设备的朝向来进行，可以减小或消除图3和图4所示的问题。
如图9A-图9D所示，考虑到设备(例如WTRU)的显示器相对于观看者的朝向，存在几种期望的方式来显示接收设备处的视频(例如接收WTRU)。例如，图9A显示了接收WTRU 902尽可能多地使用显示器(例如屏幕)来沿着屏幕的长度或宽度的向上方向显示视频。图9B显示了接收WTRU 904尽可能多地使用屏幕来沿着接收WTRU 904用户的眼睛确定(例如唯一确定)的向上方向(例如无论接收WTRU的朝向如何)显示视频。图9C显示了接收WTRU 906使用整个屏幕沿着屏幕的长度或宽度的向上方向显示视频。图9D显示了接收WTRU 908使用整个屏幕沿着接收WTRU 908用户的眼睛确定(例如唯一确定)的向上方向(例如无论接收WTRU的朝向如何)显示视频。
视频流修改(例如调整)可以在发送设备处(例如在发送方侧)执行。视频流修改可以包括以下一者或多者：剪切、下采样、缩放(zoom)、或自适应视频捕获。图10A-图10B显示了发送方侧剪切的示例。发送方侧WTRU可以捕获视频，并且可以基于接收方WTRU 1002、1004的一个或多个观看参数来剪切视频(例如根据对于接收方侧WTRU 1002或1004来说最好的视频格式)。如图10A-图10B所示，发送方侧WTRU可以对剪切后的视频进行编码。如图10B所示，所剪切的区域的侧可能不与所捕获的图片(例如视频的图片)侧平行或垂直。
图11A-图11B显示了发送方侧缩小或下采样的示例。视频捕获可以基于发送方侧WTRU的显示器朝向。基于接收方WTRU的朝向，可以修改(例如，缩小或下采样)所捕获的图片(例如视频的图片)以适合接收方侧WTRU1102或1104的显示器。
设备可以采用自适应视频捕获。图像传感器的子集(例如合适的子集)可以产生(例如被选择为生成)图片(例如视频)以进行视频捕获。所述子集可以基于接收方WTRU(例如接收方WTRU的显示器)的朝向来确定。所述图片可以具有与接收方WTRU的显示器的分辨率相同的分辨率。图像传感器阵列的分辨率可以高于接收方WTRU的显示器处的分辨率(例如视频分辨率)。图像传感器的子集可以基于接收方WTRU(例如接收方WTRU的显示器)的分辨率来选择。图12A-图12B显示了图像传感器选择的示例。
例如，发送方侧WTRU可以具有电子控制的可变焦距透镜(例如数字控制的机械缩放)。图12A描绘了所使用的图像传感器1202的像素的子集。如果用户对视野(FOV)满意并且显示器分辨率几乎匹配图像捕获分辨率，则像素的子集是令人满意的。如图12B所示，电子调整透镜的焦距长度(例如通过缩小来使用更多的图像传感器)可以利用(例如充分利用)图像传感器分辨率，并且可以维持相同的FOV(例如如果显示器具有比图像传感器像素的子集更多的像素)。
可以利用远端(例如远程)摄像机控制(例如，如果WTRU正在与传统视频会议客户端举行会议)来调整远端摄像机。可以针对移动显示器来调整远端摄像机(例如调整为合适的)。
图13显示了旋转图像传感器阵列1302的示例。可以旋转(例如经由电子机械设备)图像传感器阵列1302来匹配接收方(例如接收方的显示器)的朝向。可以旋转图像传感器阵列1302，例如以在视频捕获过程中利用每个图像传感器。当在通信网络中存在足够的带宽时，图像传感器阵列1302的旋转可以产生视频的最可能高的分辨率。
WTRU(例如视频接收方)可以发送朝向信息给另一WTRU(例如视频发送方)。朝向信息可以包括但不限于所期望的视频图片的高度和宽度和/或相对于视频图片的向上方向。例如，如图14所示，向上方向可以是相对于宽度的角度A。朝向信息可以规定图片的角向。例如，所述方向可能不编码(例如显式地编码)“向上”方向。所述方向可以编码“向下”方向、“向左”方向、和/或任意其他已知的相对于图片的朝向。“向上方向”可以建立视频图片和/或设备显示器的朝向。
设备(例如视频发送方)可以确定其自身的向上方向(例如在接收到朝向信息之后)。设备可以确定其需要捕获的图片。例如，宽度可以沿着方向-A，并且高度可以沿着方向(90–A)°。设备可以接收所期望的视频图片的高度和宽度。设备可以基于从视频发送方接收到的宽度和高度来确定宽度方向和/或高度方向中可以有多少像素。
视频接收方可以通过测量眼睛相对于显示器的位置来确定宽度和高度和/或向上方向。
如图15所示，视频接收方可以检测用户的眼轴1502。例如，视频接收方可以使用设备的前置摄像机来分析所捕获的视频。视频接收机可以检测所捕获的视频中的面部和检测眼睛位置。视频接收机可以基于眼睛位置来确定眼轴1502的方向。
视频接收方可以确定要显示的视频的向上方向。视频接收方可以将用户的眼轴1502投射在显示器平面上。图16显示了眼轴1502到显示器平面上的投射1602。如果该投射1602相对于x轴的角度为B°，则可以确定要显示的视频的向上方向，例如为(B+90)°或函数f((B+90)°)。该函数可以是可定义为例如如下的量化函数：
视频的向上方向可以定义为(B+90)°。例如，如图9B和图9D所示，如果向上方向由眼睛唯一确定，无论接收方的朝向如何，向上方向可以定义为(B+90)°。视频的向上方向可以使用量化函数来确定。例如，如图9A和9C所示，如果向上方向为沿着屏幕的长度或宽度，则向上方向可以使用量化函数来确定。“向上”方向的确定可以基于(例如至少基于)接收方设备中可呈现的朝向传感器。例如，朝向传感器读取可以补充眼轴跟踪(例如在眼睛跟踪算法不能可靠地确定眼睛位置的周期期间)。
图17显示了用于根据远程设备的朝向来在本地捕获视频的示例性呼叫流程1700。远程设备的朝向可以用于控制本地视频捕获(例如在本地设备处进行视频捕获)。WTRU1702、1704可以包括用于检测WTRU 1702、1704的各自的朝向的各自的传感器1706、1708。传感器1706、1708可以感测例如重力和/或加速度。
远程设备的朝向可以在纵向与横向朝向之间。例如，所述朝向可以在三维空间中具有三种自由度。传感器1706或1708可以估计WTRU 1702、1704的朝向。该估计可以用于考虑到显示器1710、1712的朝向确定哪种显示格式(例如纵向或横向)是最好的。该朝向可以是二元分类的，例如即使显示器的实际朝向在某种程度上在纵向(例如完全纵向)和横向(例如完全横向)之间，显示器的朝向可以分类为纵向或横向。传感器对显示器的朝向的检测可以使用这种二元分类的结果。
在1714处，如果在时间t0，WTRU 1702的朝向是纵向的，并且WTRU1704的朝向是横向的，则WTRU 1702的传感器1706可以检测纵向朝向，并且可以发送信息给WTRU 1702的协议栈1716。在1718处，可以将关于WTRU 1702的朝向的信息发送给WTRU 1704。在1720处，WTRU 1704的协议栈1722可以向WTRU 1704的摄像机1724通知WTRU 1702的朝向。在1726处，摄像机1724可以根据WTRU 1702的朝向(例如纵向)来捕获视频，并且可以将视频发送给协议栈1722。在1728处，协议栈1722可以将WTRU 1702的朝向(例如纵向)中的编码后的视频发送给WTRU 1702的协议栈1716。在1730处，WTRU 1702的协议栈1716可以对视频进行解码，并且可以将解码后的视频发送给WTRU 1702的显示器1710。解码后的视频可以符合WTRU 1702的朝向。
如图17所示，WTRU 1702、1704的角色颠倒，可以执行相似的过程，以用于检测WTRU1704的朝向，例如横向，并且由WTRU 1702的摄像机1732使用所检测的WTRU 1704的朝向来控制视频的捕获。
在1734处，如果在时间t1，WTRU 1704的朝向已经从横向变为纵向，则传感器1708可以检测朝向的变化，并且可以向WTRU 1704的协议栈1722通知朝向的变化。在1736处，协议栈1722可以向WTRU 1702通知朝向的变化。在1738处，WTRU 1702的协议栈1716可以向WTRU 1702的摄像机1732通知所述变化。在1740处，摄像机1732可以将所捕获的视频(其可以是纵向格式的)发送给WTRU 1702的协议栈1716。在1742处，WTRU 1702可以将视频(例如具有新的纵向格式)发送给WTRU 1704。在1744处，WTRU 1704的协议栈1722可以将纵向格式的视频解码并发送给WTRU1704的显示器1712。解码后的视频可以符合WTRU 1704的朝向(例如新的纵向朝向)。
摄像机可以根据其本地朝向来捕获视频，并且可以根据远程设备的朝向来剪切所捕获的视频。所述剪切可以在所捕获的视频的预设区域进行。所述剪切可以覆盖感兴趣区域，例如人。
调整到观看条件可以在多方视频会议中执行，例如对多个参与者使用单个摄像机。在一个实施方式中，调整到观看条件可以由要显示的最近的用户或者由具有最迫切需求的用户确定。在一个实施方式中，调整到观看条件可以基于最近的关注的用户来确定。调整到观看条件可以基于用户的子集(例如关注视频的用户)来确定。例如，如果存在由面部检测逻辑确定的离显示器最近但没有观看显示器的用户，则调整可以基于被确定为观看显示器的下一最近的用户确定。
在多方视频设备会议中，不同的比特率可以被分配给不同的参与者。可以静态地指派相对优先级。例如，CEO通常在商业会议应用中得到最高带宽。可以动态地指派相对优先级(例如，基于活动性或缺少活动性，诸如讲话或不讲话)。可以为讲话参与者比非讲话参与者分配更多的带宽(例如更多的视频带宽)。一个或多个接收方(例如接收方设备)的关注点可以用于分配带宽。言语(speech)活动性可以用于确定带宽优先级。可以选择活动的讲话者并将其路由到其他地方(例如由控制桥)。硬切换可以由例如基于语音活动性或其他标准的用户自适应选项来替代。
例如，一个或多个设备(例如用户)可以传送视频给MCU。MCU可以选择来自至少一个设备(例如一些设备)的视频以进行广播。MCU可以在单个屏幕中广播来自所选择的设备的视频的混合。可以基于例如语音活动性检测来选择设备。MCU可以影响一个或多个传送设备，以使得从所选择的设备(或所选择的一些设备)发送的视频可以以比其他传送设备更高的质量(例如更高的比特率或更高的分辨率)被发送到MCU。MCU可以使用信令(例如请求发送方改变其发送比特率的消息)来影响一个或多个传送设备的编码。MCU可以指示(例如用信号发送)用于一个或多个传送设备的比特率。MCU可以使用流量整形技术和/或反馈“欺骗(trick)”技术(例如设定人为条件(artificial condition)和/或值，可能在发送到客户端的反馈中)来影响一个或多个传送设备的比特率。
从一个或多个或者所有设备可得到的视频使得能够进行较低延时切换。MCU可以选择至少一个视频流(例如来自当前讲话者的视频流)以广播给一个或多个(例如所有)设备。所选择的视频流的设备(例如当前讲话者)可以接收来自另一设备(例如先前的讲话者)的视频流。MCU可以形成可向一个或多个设备(例如会议参与者)进行广播的一个或多个设备的复合图像(composite image)。MCU可以将一个或多个选择的视频流(层可以被可扩展地编码)发送给一个或多个(例如每个)客户端。客户端可以布置所发送的视频流以用于在本地显示。可以将一个或多个(例如所有)视频流发送给一个或多个(例如所有)设备。一个或多个设备基于所接收到的视频流来在本地配置显示器。可以将来自当前讲话者的设备的视频流发送到其他设备，可能例如当来自不同设备的视频被发送到当前讲话者的设备的时候。
可以使用对用户注视(user gaze)的检测来控制在帧的不同部分内的控制速率分配。个人正在观看的帧内的区域可以被局部化以改进该区域中的质量。例如，当观看者关注时，该观看者可以关注屏幕的中间。
MCU可以包括用户自适应视频功能。MCU可以监视可由一个或多个端点、或每个端点(例如设备)产生的视频流。图18显示了可应用于MCU 1800中以进行单个连接的UAV处理的示例。来自客户端1 1810的视频流可以由MCU 1800的UAV-1分析模块1820分析(例如以估计客户端1 1810的观看条件)。所述分析可以用于确定与客户端1 1810相关联的观看参数(例如观看条件)。分析视频流以确定观看参数可以包括分析视频分组数据、视频比特流数据、与视频流相关联的侧信息和/或控制信令。控制信令可以例如通过使用SIP消息、H.245消息、HTTP请求/响应等来传达。观看参数可以用于控制发送到客户端1 1810的视频的视频处理转码和/或视频混合过程。UAV可以用于多于一个单个链路、或用于MCU中的所有连接。MCU可以确定一个或多个端点、或每个端点的一个或多个观看参数。
MCU可以确定来自视频流的尽可能多的观看参数(例如无需另外的信令)。观看参数(例如，可能比其他观看参数相对更有用的观看参数)可以包括由显示器尺寸缩放的观看距离和/或环境照度水平等其他。其他观看参数(例如可以从视频的分析得到的观看参数)可以包括用户存在性、用户关注、和/或显示器相对于用户的移动等其他。任意这些参数或其任意组合可以用于调整由MCU发送到设备的视频。一个或多个观看参数可以由应用于从设备接收到的视频流的面部检测来确定。当没有检测到面部时，观看参数可以包括会话观看距离。会话距离可以是实际可用的尽可能小的距离(例如观看特定类型的设备的最小实际距离)。更远距离的UAV可以在移动细节方面更激进，因此会话距离可以被选择，例如以便保持更多的细节及其他原因。显示器的3个图片高度的公共“近”观看距离可以用于会话距离。用图片高度为单位来表达距离随着显示器尺寸而缩放，并且与UAV中使用的距离一致。
观看距离可以基于摄像机位于离用户的距离是与显示器相同的位置的情况来确定。MCU可以分析来自发送方(例如发送方设备)的视频(例如视频流)来确定用户到摄像机的距离。MCU可以基于用户到摄像机的距离来确定用户到显示器的距离。从所分析的视频来确定用户到摄像机的距离可以基于面部检测。确定用户到摄像机的距离可以利用对发送方设备上的摄像机设置的了解。例如，MCU可以使用信令或用户简档信息来识别发送方的设备类型(例如制造商、模型或其他设备标识符)。MCU可以识别由发送方使用的软件视频电话客户端。软件视频电话客户端可以配置摄像机、和/或可以知道以特定方式执行图像重新调整尺寸/重新缩放。发送方设备与MCU之间的信令可以包括用于发送方设备和/或视频电话客户端软件的标识符。例如，“用户代理”字段或另一类似的字段可以标识制造商、型号、设备类型、和/或软件客户端。MCU可以从数据库取得对应于发送设备和/或软件客户端的摄像机设置的设备观看参数。设备观看参数可以基于发送方设备和/或视频电话软件客户端的标识等其他因素。设备观看参数(例如发送方设备摄像机和/或由发送方软件客户端使用的典型的摄像机配置或缩放的特性)可以与面部检测一起使用，可能例如以确定用户到摄像机距离和/或用户到显示器距离等其他确定。
可以为至少一个端点(例如设备)确定和/或估计一个或多个观看条件(例如观看参数)。可以修改从MCU发送的视频(例如以移除可见的冗余信息)。可以基于为端点估计的观看条件(例如根据从所述端点发送到MCU的视频的分析)等其他因素来修改从MCU发送的视频。MCU可以包括直接转码技术和/或间接流量整形技术。
设备类型和/或呼叫场景可以用于估计用户到显示器的距离。举例来说，为了说明可以考虑至少三个使用模型：会议室、单个固定设备(例如PC)、以及单个手持设备。会议室模式可以包括至少一个优选距离。优选距离可以基于会议室中使用的典型的摄像机到用户的距离。优选的距离可以基于特定的会议室设置。会议室使用模式可以通过检测图像中的面部数量(例如多个面部可以表明会议室场景)来确定。MCU可跟踪(例如检测)缩放操作(例如当会议室视频会议系统可以支持摄像机缩放时)。MCU可以通过分析图像(例如视频图像)中出现的背景细节的变化来检测缩放操作。可以为办公室PC使用“典型”或“正常”观看距离，例如可能如果所述条件表明单个固定设备(例如检测到单个面部、很少或没有摄像机移动)。可以基于图像中的面部的相对尺寸来估计观看距离，例如如果所述条件表明手持设备(例如检测到单个面部、由于非静止设备的摄像机移动)。场景的不稳定可以用于推断手持设备正在被使用(例如可能不是会议室或PC使用的固定摄像机和网络摄像机)。在呼叫设置期间，使用模式可以基于编解码器描述来确定。编解码器描述可以使得能够进行低(例如极低)复杂度的实施(例如当与这里讨论的流量整形结合时)。
MCU可以在云中(例如在因特网中)。MCU可以由可执行MCU的功能(例如呼叫管理和/或转码、以及MCU可能不执行的其他功能)的设备(例如更通用的设备)替代。对可在WebRTC或其他视频电话软件上运行的客户端可以没有限制。
设备可以经由转码来控制视频通信。设备可以包括多点控制单元(MCU)。MCU可以基于与其他参与者相关联的一个或多个观看参数来修改来自一个参与者的视频流。例如，设备可以接收来自第一设备的第一视频流和来自第二设备的第二视频流。设备可以接收来自第三设备的第三视频流。设备可以接收来自第二设备的第四视频流。设备可以分析第一视频流以确定与第一设备相关联的第一观看参数。设备可以分析第二视频流以确定与第二设备相关联的第二观看参数。设备可以分析第三视频流以确定与第三设备相关联的第三观看参数。观看参数可以包括用户观看参数、设备观看参数、和/或内容观看参数。设备可以基于第一观看参数和/或第三观看参数来修改第二视频流。设备可以基于第三观看参数和/或第二观看参数来修改的第一视频流。设备可以基于第三观看参数来修改第四视频流。修改视频流可以包括重新编码视频流、调整朝向、移除视频细节、滤波、和/或调整比特率。设备可以发送修改后的第二视频流到第一设备和/或第三设备。设备可以发送修改后的第一视频流到第二设备。设备可以发送修改后的第四视频流到第一设备和/或第三设备。设备可以比较与第一观看参数和第三观看参数相关联的比特率。设备可以以预定的时间间隔比较与一个或多个观看参数相关联的比特率。设备可以连续地比较与一个或多个观看参数相关联的比特率。设备可以在被提示时比较与一个或多个观看参数相关联的比特率。设备可以基于与最迫切的质量需求相对应的观看参数来修改一个或多个视频流。最迫切的质量需求可以基于一个或多个观看参数来确定。例如，当第三观看参数与比第一观看参数更高的比特率相关联时，设备可以基于第三观看参数来修改第四视频流。
观看条件(例如距离信息和/或环境照度)可以用于调整(例如减少)由MCU产生的一个或多个视频流的比特率。观看条件可以包括一个或多个观看参数。MCU可以采用活动的转码和/或编码方案(例如以用于速率调整和/或连续的存在性功能等其他场景)。经由MCU转码的UAV可以在支持呼叫中的数量为N(例如整数值)的客户端。N可以大于二。MCU可以分析其从一个或多个客户端、或每个客户端接收到的视频(例如以为客户端确定用户自适应观看参数等其他原因)。MCU可以基于一个或多个所确定的观看参数来修改视频流。所确定的观看参数也可以称为用户自适应观看条件。
UAV观看参数可以包括面部检测以确定用户到显示器距离。图19A显示了示例性MCU 1900，该MCU 1900具有针对每个客户端1914、1916(例如设备)的解码器1902、1904，面部检测器1906、1908，以及编码器1910、1912。编码器1910、1912可以由面部检测器1906、1908控制。面部检测器1906、1908可以检测从设备(例如客户端1914、1916)接收到的视频。当分离的编码器用于一个或多个设备、或每个设备(例如，如图19A所示)时，面部检测器1906、1908可以控制编码器1910、1912。例如，诸如观看距离、用户存在性、用户关注性、环境照度等观看参数，可以从所接收到的解码后的视频流获得。编码器1910、1912可以接收来自设备的一个或多个观看参数。编码器1910、1912可以基于一个或多个观看参数来对视频进行编码。编码器1910、1912可以将编码后的视频发送到设备。编码器1910、1912可以移除来自编码后的视频的细节(例如设备的用户可能不能感知的细节)。编码器1910、1912可以调整(例如减小)传送到设备的视频流的比特率。
图19B显示了来自一个客户端的视频可被发送到多个接收客户端(例如设备)的编码器配置的示例。MCU可以接收来自多个客户端的视频内容(例如视频流)。MCU可以发送视频内容到多个客户端(例如同时)。一个或多个客户端、或每个客户端可以具有本地观看条件。MCU可以分析从多个视频客户端中的一个或多个客户端、或每个客户端接收到的视频内容。MCU可以基于视频内容的分析来确定一个或多个UAV观看参数。一个或多个UAV观看参数可以描述一个或多个客户端、或每个客户端处的本地观看条件。UAV观看参数可以包括观看距离、用户存在性、用户关注性、和/或环境照度等。MCU可以基于描述客户端处的本地观看条件的一个或多个UAV观看参数来修改(例如调整)发送到客户端的视频内容。MCU可以基于来自客户端的一个或多个UAV观看参数来确定如何对将要发送到客户端的视频进行编码。
图19B强调了示例性特定视频路径以说明视频到多个客户端的调整。客户端#1可以用发送的视频流(例如视频比特流)的形式向MCU发送视频内容。MCU可以对来自客户端#1的视频内容进行解码。MCU可以分析视频内容。MCU可以通过分析视频内容来确定与客户端#1相关联的一个或多个UAV观看参数(例如用户与显示器之间的距离)。MCU可以接收从其他客户端(例如客户端#1、客户端#3等)发送的视频内容。MCU可以在其从客户端#1接收视频内容的同时从其他客户端接收视频内容。MCU可以分析来自其他客户端的视频内容。MCU可以通过分析来自其他客户端的视频内容来确定一个或多个UAV观看参数，其可以描述其他客户端处的本地观看条件。MCU可以利用为其他客户端确定的UAV观看参数来对来自客户端#1的视频内容进行编码(例如以将视频内容调整到其他客户端处的本地观看条件等其他原因)。如图19B所示，可以将从来自客户端#2的视频内容的分析确定的UAV观看参数传递到可对来自客户端#1的视频内容进行编码的编码器。UAV观看参数可以用于将客户端#1的视频内容调整(修改)到客户端#2处的本地观看条件。可以将从来自客户端#3的视频内容的分析确定的UAV观看参数传递到可对来自客户端#1的视频内容进行编码的编码器。UAV观看参数可以用于将客户端#1的视频内容调整(修改)到客户端#3处的本地观看条件。视频调整(例如修改)可以扩展到可发送视频到MCU和/或接收来自MCU的视频的任意数量的客户端。
图20描绘了具有视频混合和共享的编码器的MCU的示例。如图20所示，共享的编码器(例如单个编码器)可以在各种端点之间共享。共享的编码器可以与连续存在性视频混合器一起使用。MCU可以包括面部检测器。MCU可以包括针对每个端点(例如每个连接的客户端端点)的面部检测器，从而可以在MCU接收到的任意或所有视频流中检测到面部。共享的编码器可以接收来自与端点相对应的面部检测器的输入。共享的编码器可以接收来自与可接收视频的端点相对应的一个或多个面部检测器、或所有面部检测器的输入。与端点相对应的面部检测器可以基于端点处的观看条件来确定观看参数。编码器可以基于观看参数来修改视频。编码器可以基于多个端点的观看条件中的“最差情况”选择来修改视频(例如以减小比特率而不影响最挑剔的观看者感知到的质量，等其他原因)。例如，来自接收编码后的视频内容的一个或多个客户端、或所有客户端的观看距离可以使用面部检测来估计。最小估计的观看距离可以用于调整(例如修改)视频(例如视频编码过程)。
一个或多个客户端可以提供UAV观看参数给MCU。UAV观看参数可以包括观看距离、用户存在性、用户关注性、环境照度、和/或显示器特性(例如显示器尺寸和/或显示器分辨率)等其他。可以将UAV观看参数从客户端用信号发送到MCU。可以使用呼叫设置协议和/或呼叫控制协议(例如H.245、SIP等)来用信号发送UAV观看参数。MCU可以使用UAV观看参数来调整(例如修改)发送到所述客户端的视频内容的编码。当UAV观看参数由客户端用信号显式地发送时，MCU可以修改视频内容。客户端可以将与面部检测相关联的观看参数发送到MCU。
MCU可以执行这里描述的一种或多种朝向调整技术。MCU可以作为视频发送方和/或可以执行归因于发送方的调整任务。视频接收方客户端可以接收来自MCU的视频。视频接收方客户端可以发送朝向信息(例如一个或多个观看参数)给MCU。朝向信息可以包括视频接收方可以发现对接收有用的视频图片的高度和/或宽度。朝向信息可以包括视频图片的“向上方向”。MCU可以分析从客户端接收到的视频(例如视频的特征)以推断该客户端的朝向信息。在没有来自所述客户端的朝向信息的显式信令的情况下，MCU可以推断朝向信息。例如，MCU可以计算边框(door frame)和视频的长度方向之间的角度。MCU可以使用这里描述的各种技术(例如发送方侧剪切、发送方侧下采样、图像重新采样、图像旋转等等)来调整(例如修改)发送到视频接收方客户端的视频。MCU可以基于朝向信息来修改视频。MCU可以调整(例如修改)从发送客户端接收到的视频内容的朝向。MCU可以在发送视频内容到接收客户端上之前修改视频内容的朝向。MCU可以剪裁(tailor)(例如各自剪裁)针对所述多个客户端中的一个或多个客户端的朝向调整。MCU可以基于从所述多个视频客户端中的一个或多个视频客户端接收到的朝向信息来剪裁朝向调整。
设备可以经由流量整形来控制视频通信。设备可以包括MCU。设备可以接收来自第一设备的第一视频流和来自第二设备的第二视频流。设备可以通过分析第一视频流来确定与第一设备相关联的观看参数。观看参数可以包括用户观看参数、设备观看参数、和/或内容观看参数。设备可以基于观看参数来确定第二视频流的视频流比特率。设备可以向第二设备指示视频流比特率。设备可以通过在向第一设备发送所述第二视频流之前从所述第二视频流中移除一个或多个分组。
图21是MCU可影响一个或多个发送客户端的编码速率的技术的示例。MCU可以为客户端确定一个或多个UAV观看参数。MCU可以基于来自第N个客户端的视频流的分析来检测第N个客户端的观看条件信息(例如观看位置)。N可以称为连接的客户端。MCU可以通过监视来自第N个客户端的视频来确定(例如计算)第N个客户端的观看距离。观看距离可以影响编码器(该编码器可能正在对发送到MCU的视频进行编码)以实施UAV。编码器可以不在MCU中。编码器可以是发送视频到MCU的客户端端点的一部分。MCU可以在对视频流进行转码或不进行转码的情况下切换视频流量。如图21所示，MCU可以监视视频流量以检测面部。MCU解码的图像可能不是可见的(可能面部检测器除外)，其可以允许解码器中的复杂度降低(例如在合适的地方)。例如，面部检测器可能不以全帧速率(编码器以该全帧速率对视频进行编码)操作，在这种情况下，将解码后的视频提供到面部检测器的解码器可以以小于全帧速率的速率操作。
解码器可以对帧内编码的帧(例如不具有时间预测的帧)进行解码。在一个实施方式中，解码器可以仅对帧内编码的帧进行解码。视频流可以具有各个层。解码器可以对全部视频的子集进行解码(例如降低的帧速率或分辨率)。解码器可以对全部视频的子集进行解码。可以将所检测到的观看条件信息直接或间接地用信号发送到编码客户端设备(例如对视频进行编码的客户端)。观看条件信息可以影响另一客户端处的编码器。可以将观看条件信息直接或间接地用信号发送到另一客户端处的编码器。第i个客户端可以基于观测到的信道带宽来调整(例如修改)其编码后的比特率。第i个客户端的编码器的带宽使用可以受到对源自第i个编码器的视频流量的测量的整形的影响。流选择逻辑可以控制哪些客户端被连接到哪些另外的客户端。流选择控制逻辑可以控制MCU将哪些视频流路由到哪些客户端。第i个客户端的编码后的输出可以由一个或多个(例如若干个)其他客户端(比如说C＝{j1,j2,…,jk})可见。对于一个或多个客户端、或每个客户端i，MCU可以监视(例如确定)该客户端的视频可被发送到的C中的客户端的观看距离。源自第i个编码器的流量可以整形以对应于与C中的最近的客户端相对应的带宽减小。
MCU可以使用以下一者或多者来对流量进行整形：
-MCU可以“欺骗”视频发送方来降级发送速率；
-MCU可以节流(throttle)吞吐量；
-MCU可以故意丢弃、标记和/或延迟分组；和/或
-MCU可以采用信令来指示发送方改变其发送比特率。
图22显示了视频会议参与者和MCU之间的示例性逻辑连接。参考图22，可以将媒体数据从发送方S发送到MCU。MCU可以将媒体数据发送到其他参与者(R1、R2以及R3)。一个或多个参与者、或每个参与者可以具有与MCU之间的独立连接(例如RTP/UDP)。在一些实施方式中，在S与MCU之间、和/或MCU与R1之间等等可能存在网络，并且为了简洁，图22中没有该网络。
设备可以通过发送指示调整的分组丢失率的反馈消息来指示视频流比特率。设备可以包括MCU。设备可以测量第二视频流的分组丢失率。设备可以确定第二视频流的调整后的分组丢失率。调整后的分组丢失率可以与所确定的视频流比特率相关联。调整后的分组丢失率可以与测量到的分组丢失率不同。设备可以生成指示调整后的分组丢失率的反馈消息。所述设备可以向第二设备发送反馈消息。
设备(例如MCU)可以“欺骗”(例如创建人为的条件和/或值、等其他操纵等等)视频发送方，例如以降低发送速率、等其他原因。例如，WebRTC可以实施拥塞控制以针对网络中的可用带宽来调整(例如修改)视频的发送速率(例如从而WebRTC可以是TCP友好的)。当分组丢失率增大时，可以减小视频的发送速率。可以由接收方测量(例如确定)分组丢失率。接收方可以包括MCU。接收方可以包括客户端设备。可以将分组丢失率的测量发送到视频发送方。可以周期性地发送分组丢失率。参考图22，MCU可以接收源自发送方S的媒体流(例如视频流)。MCU可以指示比所测量的分组丢失率更高的分组丢失率(例如通过借由(leveraging)反馈机制)。可以基于与一个或多个观看参数相对应的比特率(例如目标比特率)来确定(例如由MCU确定)调整后的(例如扩大的(inflated))分组丢失率。调整后的分组丢失率可以基于为发送方确定的视频流比特率。MCU可以生成指示调整后的分组丢失率的反馈消息。MCU可以发送反馈消息到设备(例如发送方)。调整后的分组丢失率可以基于“最坏情况”观看条件(例如其他参与者的最近观看距离)。MCU可以确定比所测量的分组丢失率更高的调整后的分组丢失率(例如以便减小发送方S的发送比特率)。MCU可以确定比所测量的分组丢失率更低的调整后的分组丢失率(例如从而发送方S的发送比特率增大)。
WebRTC可以包括拥塞控制机制。发送方和/或接收方可以估计可用的带宽。发送方侧在时间tk估计As(tk)如下：
其中p(tk)是时间tk的分组丢失率，并且其中X(tk)是TCP友好率(friendly rate)
其中s是TCP分段尺寸，RTT是往返时间(round trip time)，RTO是TCP重传超时(例如设定为4RTT)，并且b是由单个TCP应答来应答的分组的最大数量。可使用的实际最大发送速率A可以由接收方Ar(tk)的可用带宽估计限制：
A←min{As(tk),Ar(tk)}；并且
p(tk)可以由接收方测量和/或被反馈到发送方。从以上等式可知，分组丢失率p(tk)可以由MCU用作“按钮(knob)”(例如控制点)来控制视频发送速率(例如视频流比特率)。
目标比特率可以用于确定p(tk)。目标比特率可以基于视频编解码器、要渲染的视频的尺寸、和/或其它信息来确定。目标比特率可以对应于人的感知限制。视角的计算可以基于观看距离和/或视频的尺寸。与大于或等于所计算的视角的最小视角相对应的比特率可以在预先计算的表格中找到，例如在表1中找到：
表1：视角示例
视角(例如以度为单位)可以计算如下：(360/π)arctan(w/(2αd))，其中α是以(每英寸的像素)为单位的监视器分辨率，w是以像素为单位的视频的宽度，并且arctan是反正切函数。例如，当视频的分辨率是720p，并且所计算的角度是15度时，则基于表1，期望的比特率可以是2300Kbps。
MCU可以维持数据库，包括表格，一个或多个或每个表格可以与视频编解码器(例如H.264/AVC、HEVC)相对应。观看参数(例如视频的宽度和/或高度)可以在呼叫设置期间(例如H.245、SIP/SDP)获得、确定。MCU可以要向一个或多个或每个参与者显示的视频的宽度和/或高度。
MCU可以采用控制系统方法(例如当MCU不知道视频发送方中实施的精确的速率控制算法时)。MCU可以调整(例如逐渐增大和/或减小)所报告的分组丢失率。MCU可以调整所报告的分组丢失率，直到其观测到接近目标比特率的比特率(例如确定的视频流比特率)。例如，假设所报告的比特率在时间t1是p1。MCU可以测量视频流的比特率(例如实际的比特率)。MCU可以在时间t2将所报告的分组丢失率调整(例如增大)到p2＝p1+δ，例如，可能实际比特率高于目标比特率等其他原因。MCU还可以将报告的分组丢失率增大到p3＝p1+2δ，例如可能测量的比特率仍高于目标比特率等其他原因。MCU可以确定期望的分组丢失率p2，例如可能测量的比特率现在低于目标比特率等其他原因。MCU可以延迟某些分组(例如ACK)的传输(例如以向视频发送方欺骗RTT的值)。RTT的增大可以引起所估计的带宽的减小。
如这里所述，通过生成和/或修改反馈消息来欺骗视频发送方可以更通常用于不涉及MCU的情况。例如，第一设备可以接收来自第二设备的视频流。第一设备可以使用这里描述的任意技术(例如增大或减小报告的分组丢失率、延迟ACK分组的传输等)来生成和/或修改从第一设备发送到第二设备的反馈消息，以影响第二设备修改第二设备对从第二设备发送到第一设备的视频流进行编码所使用的比特率。例如，第一和第二设备可以是不涉及MCU的视频会话中的客户端端点。
设备可以通过用信号发送带宽限制来用信号发送视频流比特率。设备可以包括MCU。设备可以为第一设备确定第一观看参数、以及为第三设备确定第三观看参数。第一观看参数可以与从第一设备发送到所述设备的第一视频流相关联。第三观看参数可以与从第三设备发送到所述设备的第三视频流相关联。所述设备可以为第二视频流确定第一视频流比特率和/或为第二设备确定第二视频流比特率。第一视频流比特率可以基于第一观看参数。第二视频流可以基于第三观看参数。所述设备可以将带宽限制用信号发送到第二设备。带宽限制可以与第一视频流比特率和/或第二视频流比特率相关联。带宽限制可以控制由第二设备编码的视频的比特率。带宽限制可以控制从第二设备发送到所述设备的视频的比特率。
MCU可以节流吞吐量(例如如果MCU用作路由器)。MCU可以为针对MCU的媒体流设定对于带宽的限制(例如上限(cap))(例如以节流吞吐量)。MCU可以确定与参与者的“最坏情况”观看条件(例如最近观看距离)相对应的比特率(例如目标比特率)确定带宽限制(例如带宽上限)。视频发送方可以接收带宽限制，并且可以推断低于实际带宽的可用带宽。例如，可以将来自接收客户端的反馈发送到视频发送方。视频发送方可以基于来自接收客户端的反馈来推断可用带宽。RTCP协议可以包括来自接收方(例如经由MCU连接到视频发送方的接收客户端)的可指示所接收到的吞吐量的反馈(例如向发送方指示有效带宽)。视频发送方可以调整传输速率(例如比特率)以适合网络的容量(例如如果网络设定了带宽限制)。MCU可以增大分配给输入媒体流的带宽限制，从而视频发送方(例如图22中的S)能够增大其比特率(例如当其对于要增大的目标比特率有用时)。
MCU可以故意丢弃来自视频流量流的分组，该分组的比特率可以高于与接收(察看)视频流量流的一个或多个或所有客户端的“最坏情况”观看条件(例如最短观看距离)相对应的比特率。可以减小故意的分组丢失率(例如当目标比特率增大时)。
MCU可以利用信令来向发送客户端指示要发送什么视频比特率。MCU可以利用信令来向发送客户端通知用于发送视频内容的最大比特率。所述信令可以是专用(proprietary)信令。所述专用信令可以规定视频内容的目标比特率和/或最大比特率。MCU和/或客户端可以利用标准信令机制来用信号发送所述视频比特率。例如，MCU可以使用H.245流控制命令来向发送客户端指示用于从发送客户端到MCU携带了视频的逻辑信道的最大比特率。如果MCU与客户端终端之间的呼叫会话可以基于H.323标准，则MCU可以使用H.245流控制命令。MCU可以影响和/或控制由发送客户端使用的比特率而无需丢弃分组和/或改变RTCP反馈报告。
一个或多个客户端可以提供UAV观看参数给MCU。UAV观看参数可以包括观看距离、用户存在性、用户关注性、环境照度、和/或显示器特性(例如显示器尺寸和/或显示器分辨率)。可以将UAV观看参数从客户端用信号发送到MCU。例如，可以使用呼叫设置协议和/或呼叫控制协议(例如H.245、SIP等)来用信号发送UAV观看参数。MCU可以使用UAV观看参数来修改(例如调整)发送到客户端的视频内容的编码(例如如果UAV观看参数由客户端显式地用信号发送)。可以从客户端发送(例如由客户端显式地提供)可从面部检测和/或视频的其他监视确定(例如得到)的UAV观看参数。
可以在路由器或类似的网络实体中实施经由流量整形的UAV。例如，UAV可以在可能不具有转码能力的路由器和/或类似的网络实体内执行。UAV可以在路由器内而不是MCU内执行。网络实体可以包括Wi-Fi网络中的接入点(AP)、eNB、或LTE网络中的P-GW。视频流量可以双向流动。视频流量可以经过公共的网络实体。公共的网络实体可以包括网关类型的设备，例如AP、eNB或P-GW。
在网络实体系统架构中经由流量整形的UAV可以类似于图21中显示的架构。网络实体可以对视频内容进行解码。网络实体可以对解码后的视频内容进行面部检测。网络实体可以使用面部检测器针对第一视频流(例如流量流)的输出来对另一方向中的第二视频流(例如流量流)进行整形。视频流量整形技术可以包括这里描述的那些技术。经由流量整形的UAV可以故意丢弃/延迟/标记通过网络实体的视频分组。视频流量整形方法可以包括欺骗视频发送方以减小发送比特率。例如，网络实体可以通过调整(例如拦截(intercept)和/或修改)分组丢失反馈报告来欺骗视频发送方以减小发送比特率。修改后的分组丢失反馈报告可以显示比接收方(例如接收端点)实际观测到的速率更高的分组丢失率。分组丢失反馈告可以包括RTCP接收方报告。
一个或多个客户端可以提供UAV观看参数给MCU。UAV观看参数可以包括观看距离、用户存在性、用户关注性、环境照度、和/或显示器特性(例如显示器尺寸和/或显示器分辨率)。可以将UAV观看参数从客户端用信号发送到MCU。例如，可以使用呼叫设置协议或呼叫控制协议(例如H.245、SIP等)来用信号发送UAV观看参数。MCU可以基于UAV观看参数来修改(例如调整)发送到所述客户端的视频内容的编码。如果所述参数可以由客户端显式地用信号发送，则MCU可以修改视频内容的编码。可以由客户端(例如显式地提供)提供可从对发送自客户端的视频的面部检测和/或其他监视得到的UAV观看参数。
UAV可以经由“云”来执行。经由转码的UAV和/或经由流量整形的UAV可以实现UAV而无需对客户端进行任何改变。
可以实施UAV而不会对感知到的视频质量降级。可以实施UAV而无需对客户端进行任何改变。客户端可以对内容(例如视频内容)直接进行编码(可能基于UAV观看参数)。UAV观看参数可以包括观看者的观看距离和/或环境，例如照度条件等等其他。客户端可以直接发送内容到对等客户端。客户端可以将信息从客户端发送到服务器。UAV程序可以在服务器上运行。服务器可以“在传输过程中(on-the-fly)”(例如实时)控制客户端。服务器可以发送命令到客户端。客户端可以对从服务器发送的命令做出响应以实现UAV。服务器(例如服务器上的UAV程序)可以发送命令和/或请求到客户端。所述命令和/或请求可以包括修改客户端的视频编码/发送比特率、改变客户端发送视频的视频分辨率、在进行编码前对来自视频的一些水平的细节进行预先滤波和/或移除、和/或以其他方式来调整发送的视频内容。
客户端到服务器的通信可以由websocket+javascript支持。可对服务器命令进行响应的客户端可以由Chrome/Firefox/Opera+WebRTC支持。客户端可以通过例如安装WebRTC插件来支持其他浏览器。WebRTC(Web实时通信)是正由万维网联盟(W3C)起草的API定义。Web RTC可以使得浏览器到浏览器的应用能够进行视频呼叫、视频聊天、以及P2P文件共享而无需插件。图23显示了WebRTC系统的示例性架构。
可以实施一种或多种机制或技术来将信息从客户端发送到服务器和/或控制来自服务器“在传输过程中”的客户端。参见图23，可以在APP服务器中实施UAV。APP服务器可以确定(例如估计)观看条件。观看条件可以包括面部检测、环境照度估计等。APP服务器可以与HTTP服务器、SIP服务器、应用服务器、或位于云中的某处的另一设备一起运行。
一个或多个浏览器客户端可以共享同一APP服务器。一个或多个浏览器客户端可以各具有其自身的APP服务器(例如以便实现UAV)。APP服务器可以与第二APP服务器进行通信(例如以便使得UAV能够进行视频会议会话)。例如，APP服务器可以经由信令路径来进行通信。客户端到客户端和/或客户端到APP服务器信令可以促进APP服务器之间的通信。例如，第一客户端可以在建立视频通信会话期间向第二客户端标识第一APP服务器。第二客户端可以向第二(其自身的)APP服务器标识第一客户端的第一APP服务器。第一APP服务器和第二APP服务器可以发现彼此并且可以开始进行通信。第一客户端可以向第二客户端和/或第二APP服务器介绍第一APP服务器。第二客户端可以向第一客户端和/或第一APP服务器介绍第二APP服务器。
服务器与客户端之间的通信可以实施WebSocket。WebSocket提供全双工通信。客户端与服务器之间的全双工通信可以由XMLHttpRequest(请求)(XHR)+Google App引擎信道API提供。Google App引擎可以使得能够在Google的架构上建立和/或运行应用。
来自客户端的传感器信息可以经由javascript被收集和/或传达到服务器(例如由于客户端可以是网页浏览器)。可以在Windows and/or Linux中支持传感器信息的javascript收集和传达。所述收集可以包括屏幕捕获、来自压缩媒体的解析后的多媒体、和/或来自摄像机输出的帧捕获的采样。经由WebSocket到服务器的收集和/或传输可以使得服务器能够执行计算机视觉相关的功能和/或从客户端卸载计算机视觉相关的功能。
客户端可以利用WebRTC来对来自服务器的命令进行响应。可以实时地执行编码和/或存在使得能够调整帧分辨率的API。WebRTC可以在捕获和/或编码期间调整(例如调整)视频分辨率。第一调整(例如第一调整)可以基于摄像机分辨率(例如视频适配器：：调整帧方法)。第二调整(例如第二调整)可以基于信道条件和/或缓冲器充满程度(fullness)(例如经由resize_key_frame(重调尺寸_关键_帧)函数)。
可以利用第一分辨率调整(例如摄像机分辨率)来实现动态的分辨率改变。第一分辨率调整可以基于从服务器到客户端的一个或多个命令。由W3C定义的WebRTC的getUserMedia(获得用户媒体)API使得能够进行动态的分辨率改变。可以利用WebRTC中的第二分辨率调整。第二分辨率调整可能需要对编码器回路中的WebRTC栈做出改变。可以利用比特率调整。当编码比特率可以由WebRTC客户端设定和/或影响时，可以利用比特率调整。
WebRTC app可以使用多方连接(例如多个RTCPeerConnection(RTP对等端连接))，从而使得一个或多个或每个端点可以连接到网格配置中的一个或多个或每个其他端点。图24中显示了示例性的多方连接网格配置。应用(例如talky.io)可以对于少数对等端表现很好。UAV APP可以在云中的某处运行。UAV APP可以发送多个命令到一个或多个或每个端点(例如为他们连接中的每一个连接发送一个)。WebRTC应用可以选择一个端点来将流分发给一个或多个或所有其他对象。WebRTC端点可以与唯一的和/或专用的重新分发机制协作。
对于多方连接，当不使用视频混合器时，UAV APP可以在服务器上运行。当使用视频混合器时，可以在观看条件中进行最坏情况选择以减小比特率。最坏情况选择可能不影响挑剔的观看者(例如最挑剔的观看者-可能是具有最短观看距离的观看者)的质量。MCU可以用于多方连接，其中UAVAPP运行于服务器上。UAV APP服务器可以与MCU在同一节点中运行。可以实施UAV而无需转码。
这里描述的过程和手段可以以任意组合使用，并且可以应用于其他无线技术、并用于其他服务(例如不限于接近服务)。
WTRU可以涉及物理设备的标识、或诸如预订相关的标识之类的用户标识，例如MSISDN、SIP URI等。WTRU可以涉及基于应用的标识，例如可以针对每个应用使用的用户名。
可以在结合在计算机可读介质中的计算机程序、软件、和/或固件中实施上述过程，以便由计算机和/或处理器执行。计算机可读介质的例子包括但不限于电信号(通过有线和/或无线连接传送)和/或计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器装置、磁介质(诸如但不限于内部硬盘和可移动磁盘)、磁光介质、和/或光学介质，诸如CD-ROM磁盘和/或数字多功能磁盘(DVD)。与软件相关联的处理器可以用于实现射频收发信机，以在WTRU、UE、终端、基站、RNC和/或任意主机中使用。

Claims (15)

1.一种第一无线发射/接收单元(WTRU)，包括：
存储器；以及
处理器，被配置成：
接收来自第二WTRU的输入视频流；
解码所述输入视频流的输入视频内容；
将所解码的输入视频内容显示在所述第一WTRU的第一屏幕上；
分析所解码的输入视频内容以确定所述第二WTRU正在其中进行操作的观看环境的属性，所述观看环境的所述属性包括以下至少一者：在所述第二WTRU的附近内的用户的存在性、用户与所述第二WTRU的第二屏幕的距离、或者与所述第二WTRU相关联的环境照度条件；
使用所述第一WTRU的相机捕获视频内容；
编码所捕获的视频内容以产生输出视频流，其中所捕获的视频内容基于所确定的所述第二WTRU正在其中进行操作的所述观看环境的属性而被编码；以及
将所述输出视频流发送至所述第二WTRU。
2.根据权利要求1所述的第一WTRU，其中所述处理器还被配置成基于所确定的所述第二WTRU正在其中进行操作的所述观看环境的属性而确定所述第二WTRU的用户能够感知的细节的量，以及其中在所述输出视频流中，比所确定的所述第二WTRU的所述用户能够感知的细节的量更多的一个或多个细节被从所捕获的视频内容中移除。
3.根据权利要求1所述的第一WTRU，其中所述处理器还被配置成在所述第一WTRU和所述第二WTRU之间执行双向视频通信会话，所述双向视频通信会话包括所述输入视频流和所述输出视频流的交换。
4.根据权利要求1所述的第一WTRU，其中所述处理器还被配置成：
调节对所述视频内容的所述捕获；或者
修改所述输出视频流的重采样。
5.根据权利要求4所述的第一WTRU，其中被配置成调节对所述视频内容的所述捕获包括被配置成在被编码之前剪切所捕获的视频内容。
6.根据权利要求1所述的第一WTRU，其中被配置成分析所解码的输入视频内容包括所述处理器被配置成分析所解码的输入视频流的一个或多个图像。
7.根据权利要求1所述的第一WTRU，其中所述处理器还被配置成检测所确定的所述第二WTRU正在其中进行操作的所述观看环境的属性的变化。
8.根据权利要求7所述的第一WTRU，其中所述处理器还被配置成：
基于所检测到的变化而调节对所捕获的视频内容的所述编码；或者
调节对所述视频内容的所述捕获。
9.一种由双向视频通信中的第一无线发射/接收单元(WTRU)执行的方法，所述方法包括：
接收来自第二WTRU的输入视频流；
解码所述输入视频流的输入视频内容；
将所解码的输入视频内容显示在所述第一WTRU的第一屏幕上；
分析所解码的输入视频内容以确定所述第二WTRU正在其中进行操作的观看环境的属性，所述观看环境的所述属性包括以下至少一者：在所述第二WTRU的附近内的用户的存在性、用户与所述第二WTRU的第二屏幕的距离、或者与所述第二WTRU相关联的环境照度条件；
经由与所述第一WTRU相关联的相机捕获视频内容；
编码所捕获的视频内容以产生输出视频流，其中所捕获的视频内容基于所确定的所述第二WTRU正在其中进行操作的所述观看环境的属性而被编码；以及
将所述输出视频流发送至所述第二WTRU。
10.根据权利要求9所述的方法，还包括基于所确定的所述第二WTRU正在其中进行操作的所述观看环境的属性而确定所述第二WTRU的用户能够感知的细节的量，以及其中在所述输出视频流中，比所确定的所述第二WTRU的所述用户能够感知的细节的量更多的一个或多个细节被从所捕获的视频内容中移除。
11.根据权利要求9所述的方法，还包括与所述第二WTRU执行双向视频通信会话，所述双向视频通信会话包括所述输入视频流和所述输出视频流的交换。
12.根据权利要求9所述的方法，还包括：
调节对所述视频内容的所述捕获；或者
修改发送到所述第二WTRU的所述输出视频流的重采样。
13.根据权利要求12所述的方法，其中调节对所述视频内容的所述捕获包括在被编码之前剪切所捕获的视频内容。
14.根据权利要求9所述的方法，其中分析所解码的输入视频内容包括分析所解码的输入视频流的一个或多个图像。
15.根据权利要求9所述的方法，还包括：
检测所确定的所述第二WTRU正在其中进行操作的所述观看环境的属性的变化；以及
基于所检测到的变化而调节对所捕获的视频内容的所述编码；或者
调节对所述视频内容的所述捕获。
CN201910777679.8A 2013-08-29 2014-08-29 第一无线发射/接收单元（wtru）及由第一wtru执行的方法 Pending CN110620893A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361871836P 2013-08-29 2013-08-29
US61/871,836 2013-08-29
US201461944548P 2014-02-25 2014-02-25
US61/944,548 2014-02-25
CN201480047538.6A CN105532008A (zh) 2013-08-29 2014-08-29 用户自适应的视频电话

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480047538.6A Division CN105532008A (zh) 2013-08-29 2014-08-29 用户自适应的视频电话

Publications (1)

Publication Number Publication Date
CN110620893A true CN110620893A (zh) 2019-12-27

Family

ID=51570862

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480047538.6A Pending CN105532008A (zh) 2013-08-29 2014-08-29 用户自适应的视频电话
CN201910777679.8A Pending CN110620893A (zh) 2013-08-29 2014-08-29 第一无线发射/接收单元（wtru）及由第一wtru执行的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480047538.6A Pending CN105532008A (zh) 2013-08-29 2014-08-29 用户自适应的视频电话

Country Status (6)

Country Link
US (2) US20160219248A1 (zh)
EP (1) EP3039872A1 (zh)
KR (1) KR20160048199A (zh)
CN (2) CN105532008A (zh)
TW (1) TW201517631A (zh)
WO (1) WO2015031780A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9210381B2 (en) * 2013-06-24 2015-12-08 Dialogic Corporation Resource-adaptive video encoder sharing in multipoint control unit
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9224044B1 (en) * 2014-07-07 2015-12-29 Google Inc. Method and system for video zone monitoring
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US10129312B2 (en) * 2014-09-11 2018-11-13 Microsoft Technology Licensing, Llc Dynamic video streaming based on viewer activity
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9491683B2 (en) 2014-10-31 2016-11-08 At&T Intellectual Property I, L.P. Mobile network with software defined networking architecture
GB201504403D0 (en) * 2015-03-16 2015-04-29 Microsoft Technology Licensing Llc Adapting encoded bandwidth
JP6547349B2 (ja) * 2015-03-18 2019-07-24 株式会社リコー データ伝送システム、端末装置、プログラムおよび方法
US10742703B2 (en) * 2015-03-20 2020-08-11 Comcast Cable Communications, Llc Data publication and distribution
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
FR3038180A1 (fr) * 2015-06-26 2016-12-30 Orange Adaptation d'un profil de transmission d'une communication web temps reel
CN109155838A (zh) * 2016-05-13 2019-01-04 深圳市大疆创新科技有限公司 用于通过转码呈现视频的系统和方法
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US20170359187A1 (en) * 2016-06-13 2017-12-14 Logmein, Inc. Scalable real-time videoconferencing over WebRTC
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10192415B2 (en) 2016-07-11 2019-01-29 Google Llc Methods and systems for providing intelligent alerts for events
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
CN106254810A (zh) * 2016-08-23 2016-12-21 乐视控股（北京）有限公司 一种视频通话方法和装置
CN106331570A (zh) * 2016-08-24 2017-01-11 乐视控股（北京）有限公司 一种根据终端类型发送不同视频流的方法及装置
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10514711B2 (en) * 2016-10-09 2019-12-24 Airspace Systems, Inc. Flight control using computer vision
US10325169B2 (en) 2016-10-09 2019-06-18 Airspace Systems, Inc. Spatio-temporal awareness engine for priority tree based region selection across multiple input cameras and multimodal sensor empowered awareness engine for target recovery and object path prediction
CN106803919B (zh) * 2017-03-02 2019-08-02 无锡纽微特科技有限公司 能降低负载的视频通话系统及实现方法
US10735737B1 (en) 2017-03-09 2020-08-04 Google Llc Bit assignment based on spatio-temporal analysis
JP6872631B2 (ja) * 2017-03-23 2021-05-19 ヴィド スケール インコーポレイテッド ３６０度適応ストリーミングのエクスペリエンスを改善するためのメトリックおよびメッセージ
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10410086B2 (en) 2017-05-30 2019-09-10 Google Llc Systems and methods of person recognition in video streams
US10419727B2 (en) * 2017-06-07 2019-09-17 Amazon Technologies, Inc. Directional control of audio/video recording and communication devices in network communication with additional cameras
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
WO2019080022A1 (zh) * 2017-10-26 2019-05-02 天彩电子（深圳）有限公司 网络视频流传输拥塞控制方法及装置
US10931977B2 (en) 2018-03-15 2021-02-23 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
EP3541074B1 (en) * 2018-03-15 2022-07-13 Comcast Cable Communications LLC Systems, methods, and apparatuses for processing video
US10951859B2 (en) * 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
CN109040643B (zh) * 2018-07-18 2021-04-20 奇酷互联网络科技（深圳）有限公司 移动终端及远程合影的方法、装置
CN109040780A (zh) * 2018-08-07 2018-12-18 北京优酷科技有限公司 一种视频处理方法及服务器
US10771393B1 (en) * 2018-09-13 2020-09-08 Parallels International Gmbh Resource usage for a remote session using artificial network bandwidth shaping
EP3861780A4 (en) * 2018-10-02 2022-05-18 Hewlett-Packard Development Company, L.P. DEVICES FOR REDUCING THE USE OF COMPUTER RESOURCES
WO2020150654A1 (en) * 2019-01-17 2020-07-23 Brightcove Inc. Optimal multi-codec abr ladder design
US11283937B1 (en) * 2019-08-15 2022-03-22 Ikorongo Technology, LLC Sharing images based on face matching in a network
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
JPWO2021193342A1 (zh) * 2020-03-27 2021-09-30
US11470300B2 (en) * 2020-05-08 2022-10-11 Tencent America LLC Event-based trigger interval for signaling of RTCP viewport for immersive teleconferencing and telepresence for remote terminals
CN111935438B (zh) * 2020-07-02 2022-04-22 维沃移动通信有限公司 参数调节方法及装置
CN111711833B (zh) * 2020-07-28 2022-04-26 广州方硅信息技术有限公司 直播视频流推送控制方法、装置、设备及存储介质
TWI739585B (zh) * 2020-09-07 2021-09-11 勝捷光電股份有限公司 全視角會議攝影裝置
US11044287B1 (en) * 2020-11-13 2021-06-22 Microsoft Technology Licensing, Llc Caption assisted calling to maintain connection in challenging network conditions
DE102021115206A1 (de) 2021-06-11 2022-12-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Kodierungseinrichtung und Kraftfahrzeug zum Enkodieren mehrerer Videoströme in einen Gesamtvideostrom mittels eines einzigen Enkoders
US11979449B2 (en) * 2021-10-07 2024-05-07 Google Llc QP range specification for external video rate control
WO2024016296A1 (en) * 2022-07-22 2024-01-25 Lenovo (Beijing) Limited Inbound video modification system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164209A (zh) * 2011-03-23 2011-08-24 北京百纳威尔科技有限公司 移动终端屏幕显示控制方法及移动终端
CN102215318A (zh) * 2010-04-08 2011-10-12 苏州尚嘉信息技术有限公司 一种手机视频播放的处理方法
WO2013085544A1 (en) * 2011-12-09 2013-06-13 Hewlett-Packard Development Company, Lp Generation of images based on orientation
WO2013109941A2 (en) * 2012-01-19 2013-07-25 Vid Scale, Inc. Methods and systems for video delivery supporting adaption to viewing conditions

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174146A1 (en) * 2002-02-04 2003-09-18 Michael Kenoyer Apparatus and method for providing electronic image manipulation in video conferencing applications
US20040257434A1 (en) * 2003-06-23 2004-12-23 Robert Davis Personal multimedia device video format conversion across multiple video formats
US20070091920A1 (en) * 2005-10-20 2007-04-26 Harris John M System and method for improving the capacity of a network
KR100836609B1 (ko) 2006-11-27 2008-06-10 (주)케이티에프테크놀로지스 프레임 레이트 제어용 이동 통신 단말기, 및 그 제어 방법
US8345083B2 (en) * 2007-07-31 2013-01-01 Cisco Technology, Inc. Dynamic management of picture quality in a video conference with diversified constraints
CN101132516B (zh) * 2007-09-28 2010-07-28 华为终端有限公司 一种视频通讯的方法、系统及用于视频通讯的装置
CN101588252B (zh) 2008-05-23 2011-07-20 华为技术有限公司 一种多点会议的控制方法及装置
US20100074341A1 (en) * 2008-09-19 2010-03-25 Wade Wan Method and system for multiple resolution video delivery
US20110066924A1 (en) * 2009-09-06 2011-03-17 Dorso Gregory Communicating in a computer environment
US8395653B2 (en) * 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US8947492B2 (en) * 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
WO2012015460A1 (en) * 2010-07-26 2012-02-02 Thomson Licensing Dynamic adaptation of displayed video quality based on viewers' context
US20130179931A1 (en) * 2010-11-02 2013-07-11 Daniel Osorio Processing, storing, and delivering digital content
US8581956B2 (en) * 2011-04-29 2013-11-12 Hewlett-Packard Development Company, L.P. Methods and systems for communicating focus of attention in a video conference
US9911222B2 (en) * 2012-07-06 2018-03-06 Tangome, Inc. Animation in threaded conversations
US20140043493A1 (en) * 2012-08-10 2014-02-13 Logitech Europe S.A. Video camera with live streaming capability
US9113033B2 (en) * 2012-08-28 2015-08-18 Microsoft Technology Licensing, Llc Mobile video conferencing with digital annotation
US10230950B2 (en) * 2013-05-30 2019-03-12 Intel Corporation Bit-rate control for video coding using object-of-interest data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215318A (zh) * 2010-04-08 2011-10-12 苏州尚嘉信息技术有限公司 一种手机视频播放的处理方法
CN102164209A (zh) * 2011-03-23 2011-08-24 北京百纳威尔科技有限公司 移动终端屏幕显示控制方法及移动终端
WO2013085544A1 (en) * 2011-12-09 2013-06-13 Hewlett-Packard Development Company, Lp Generation of images based on orientation
WO2013109941A2 (en) * 2012-01-19 2013-07-25 Vid Scale, Inc. Methods and systems for video delivery supporting adaption to viewing conditions

Also Published As

Publication number Publication date
US20180241966A1 (en) 2018-08-23
EP3039872A1 (en) 2016-07-06
CN105532008A (zh) 2016-04-27
KR20160048199A (ko) 2016-05-03
US20160219248A1 (en) 2016-07-28
WO2015031780A1 (en) 2015-03-05
US11356638B2 (en) 2022-06-07
TW201517631A (zh) 2015-05-01

Similar Documents

Publication Publication Date Title
US11356638B2 (en) User-adaptive video telephony
JP7114684B2 (ja) 対話型ビデオ会議
KR101833034B1 (ko) 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템
EP3092793B1 (en) Interactive video conferencing
EP3228080B1 (en) Interactive video conferencing
WO2017180439A1 (en) System and method for fast stream switching with crop and upscale in client player

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191227