CN104270597A - 在通话期间建立视频会议 - Google Patents

在通话期间建立视频会议 Download PDF

Info

Publication number
CN104270597A
CN104270597A CN201410575145.4A CN201410575145A CN104270597A CN 104270597 A CN104270597 A CN 104270597A CN 201410575145 A CN201410575145 A CN 201410575145A CN 104270597 A CN104270597 A CN 104270597A
Authority
CN
China
Prior art keywords
video
image
camera
equipment
video conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410575145.4A
Other languages
English (en)
Other versions
CN104270597B (zh
Inventor
E·C·克兰菲尔
S·O·勒梅
J·S·阿布安
吴锡荣
周小松
小R·加西亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority claimed from CN201010600623.4A external-priority patent/CN102215217B/zh
Publication of CN104270597A publication Critical patent/CN104270597A/zh
Application granted granted Critical
Publication of CN104270597B publication Critical patent/CN104270597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27453—Directories allowing storage of additional subscriber data, e.g. metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication

Abstract

本发明涉及在通话期间建立视频会议。一些实施例提供一种利用第一移动设备发起视频会议的方法。该方法在通过无线通信网络与第二设备的音频通话期间，在第一移动设备上呈现用于从音频通话切换到视频会议的可选用户界面(UI)项目。该方法接收对所述可选UI项目的选择。该方法在不终止音频通话的情况下，发起视频会议。该方法在允许第一和第二设备呈现通过视频会议交换的音频和视频数据之前，终止音频通话。

Description

在通话期间建立视频会议
本申请是申请日为2010年9月25日、发明名称为“在通话期间建立视频会议”的中国专利申请201010600623.4的分案申请。
当Apple的iPhone 4的样机在2010年3月25日从Apple的一个工程师处被窃取时，本申请中要揭示和主张的发明被提前且未经Apple授权地向公众公开了。在该明显盗窃之前，尚未提交本申请所基于的美国优先权申请。
技术领域
本申请涉及在通话期间建立视频会议。
背景技术
许多目前的便携式设备，比如智能电话机具备视频拍摄功能。通过电话机上的照相机，便携式设备的用户能够拍摄静止图像和视频。不过，在完成视频拍摄之后，为了把拍摄的视频传送给另一方，用户通常必须直接把视频发送给所述另一方，或者把视频上传到另一位置(例如，因特网视频托管网站(hosting site))。不幸的是，这不允许所述另一方在便携式设备拍摄视频的时候，查看实时视频流。
另外，标准的便携式设备只配备一部照相机，并且处理来自该照相机的信息相当困难。理想的设备理应具有多部照相机，并且能够发送实时视频，所述实时视频是来自至少两部照相机的视频的合成。就处理多个拍摄的视频流的设备，和与所述设备连接、负责处理实时视频流的传输的网络来说，鉴于可供便携式设备利用的资源有限，这是一个尤其困难的问题。
发明内容
本发明的一些实施例提供具有两部能够拍摄照片和视频的照相机的移动设备。一些实施例的移动设备具有显示拍摄的照片图像和视频图像的显示屏。它还包括保存拍摄的图像以便稍后传送给另一个设备的存储器。所述设备还具有网络接口，所述网络接口允许该设备在多个设备的用户之间的实时通信会话期间，把拍摄的图像传送给一个或多个设备。所述设备还包括编码器，它可使用所述编码器对拍摄的图像编码，以便本地存储或者传送给另一个设备。所述移动设备还包括解码器，所述解码器允许该设备对在实时通信会话期间由另一个设备拍摄的图解解码，或者对本地保存的图像解码。
涉及拍摄的视频图像的传输的实时通信会话的一个例子是视频会议。在一些实施例中，移动设备在视频会议期间的任意特定时间，只能够传送一部照相机拍摄的视频图像。不过，在其它实施例中，移动设备能够在视频会议或者其它实时通信会话期间，同时传送来自其两部照相机拍摄的视频图像。
在与另一个设备的视频会议期间，一些实施例的移动设备通过连同由其一部或两部照相机拍摄的视频一起，传送其它类型的内容。这种其它内容的一个例子包括在该设备的一部照相机拍摄用于视频会议的视频时，由设备的另一部照相机拍摄的低分辨率或高分辨率照片图像。这种其它内容的其它例子包括(1)保存在设备上的文件和其它内容，(2)设备的屏幕显示(即，显示在设备的屏幕上的内容)，(3)在视频会议或者其它实时通信会话期间，从另一个设备接收的内容，等等。
一些实施例的移动设备采用新颖的会议中(in-conference)调整技术，在视频会议期间进行调整。例如，在视频会议期间只传送一部照相机拍摄的视频时，一些实施例的移动设备能够动态切换成传送由其另一部照相机拍摄的视频。在这种情况下，一些实施例的移动设备把这种切换通知参与视频会议的任何其它设备，使得所述其它设备能够在它那一端提供由这两部照相机拍摄的视频之间的平滑转换。
在一些实施例中，切换照相机的请求不仅能够起源于在视频会议期间，在其照相机之间进行切换的“本地”设备，而且还能够起源于正接收本地设备拍摄的视频的另一个“远程”设备。此外，允许一个设备指令另一个设备切换照相机只是一些实施例的设备的远程控制能力的一个例子。在一些实施例中，能够远程向设备指令的其它操作的例子包括曝光调整操作(例如，自动曝光)，焦距调整操作(例如，自动聚焦)等等。能够本地或远程指定的新颖的会议中调整的另一个例子是识别拍摄视频中的感兴趣区域(ROI)，和使用所述ROI识别修改拍摄照相机的行为，修改带有拍摄照相机的设备的图像处理操作，或者修改带有拍摄照相机的设备的编码操作。
一些实施例的新颖的会议中调整的又一个例子涉及设备产生的合成视频显示的实时修改。具体地说，在一些实施例中，移动设备产生同时显示由一个或多个设备的多部照相机拍摄的多个视频的合成显示。在一些情况下，合成显示把视频放在相邻的显示区中(例如，放在相邻的窗口中)。在其它情况下，合成显示是画中画(PIP)显示，所述PIP显示包括显示两个不同视频的至少两个显示区，其中一个显示区是背景主显示区，另一个显示区是重叠在背景主显示区上的前景插入显示区。
一些实施例中的合成视频显示的实时修改涉及响应于用户对显示区的选择和移动，在合成显示内移动一个或多个显示区。当提供合成显示的设备的屏幕旋转时，一些实施例还在视频会议期间旋转该合成显示。另外，一些实施例的移动设备允许设备的用户交换(swap)PIP显示中的视频(即，使前景插入显示中的视频出现在背景主显示中，而使背景主显示中的视频出现在前景插入显示中)。
前面的发明内容意图简单介绍本发明的一些实施例。并不意味是在本文献中公开的所有发明主题的介绍或综述。下面的具体实施方式和在具体实施方式中涉及的附图将进一步说明在所述发明内容中描述的实施例，以及其它实施例。因此，要理解本文献描述的所有实施例，需要完整地考察发明内容、具体实施方式和附图。
附图说明
附加权利要求中陈述了本发明的新颖特征。不过，为了说明，在下述附图中表示了本发明的几个实施例。
图1图解说明一些实施例的合成显示。
图2图解说明一些实施例的另一种合成显示。
图3概念地图解说明一些实施例的双照相机移动设备的视频处理和编码模块的软件体系结构。
图4概念地图解说明一些实施例的拍摄图像处理单元。
图5概念地图解说明基于不同的垂直消隐间隔(VBI)的不同帧速率的例子。
图6概念地图解说明基于不同VBI的不同隔行扫描帧速率的例子。
图7概念地图解说明一些实施例的另一个拍摄图像处理单元。
图8概念地图解说明一些实施例的另一个拍摄图像处理单元。
图9概念地图解说明一些实施例的双照相机移动设备的视频会议和处理模块的软件体系结构。
图10概念地图解说明一些实施例的示例视频会议请求消息接发序列。
图11图解说明一些实施例的视频会议设置操作的用户界面。
图12图解说明一些实施例的接受视频会议邀请的用户界面。
图13图解说明一些实施例的接受视频会议邀请的另一用户界面。
图14图解说明一些实施例的视频会议设置操作的另一用户界面。
图15概念地图解说明一些实施例的设定视频会议的比特率的处理。
图16概念地图解说明一些实施例的双照相机移动设备的视频会议和处理模块的另一软件体系结构。
图17概念地图解说明一些实施例的双照相机移动设备的另一软件体系结构。
图18概念地图解说明由如图16中图解说明的一些实施例的视频会议管理器执行的处理。
图19概念地图解说明一些实施例的时间噪声降低模块的软件体系结构。
图20概念地图解说明一些实施例的降低视频图像的时间噪声的处理。
图21概念地图解说明由如图9中图解说明的一些实施例的图像处理管理器执行的处理。
图22图解说明一些实施例的曝光调整操作的用户界面。
图23图解说明一些实施例的焦距调整操作的用户界面。
图24概念地图解说明由如图16中图解说明的一些实施例的图像处理管理器执行的透视校正处理。
图25概念地图解说明一些实施例的示例透视校正操作。
图26概念地图解说明如图16中图解说明的一些实施例的编码器驱动器的软件体系结构。
图27概念地图解说明由如图26中图解说明的一些实施例的编码器驱动器执行的图像缩放处理。
图28概念地图解说明由如图16中图解说明的一些实施例的解码器驱动器的软件体系结构。
图29概念地图解说明由如图28中图解说明的一些实施例的解码器驱动器执行的图像提取处理。
图30图解说明一些实施例的包括两个速率控制器的编码器驱动器。
图31概念地图解说明如图16中图解说明的一些实施例的连网管理器的软件体系结构。
图32图解说明一些实施例的锁定到角落(snap to corner)操作的用户界面。
图33图解说明一些实施例的锁定到角落操作的另一用户界面。
图34图解说明一些实施例的PIP显示旋转操作的用户界面。
图35图解说明一些实施例的PIP显示旋转操作的另一用户界面。
图36图解说明一些实施例的PIP显示旋转操作的另一用户界面。
图37图解说明一些实施例的PIP显示旋转操作的另一用户界面。
图38图解说明一些实施例的缩放PIP显示中的前景插入显示区的用户界面。
图39图解说明一些实施例的缩放PIP显示中的插入显示区的另一用户界面。
图40图解说明一些实施例的缩放PIP显示中的插入显示区的另一用户界面。
图41图解说明一些实施例的缩放PIP显示中的插入显示区的另一用户界面。
图42图解说明一些实施例的识别显示画面中的感兴趣区域的用户界面。
图43图解说明一些实施例的识别显示画面中的感兴趣区域的另一用户界面。
图44图解说明一些实施例的识别显示画面中的感兴趣区域的另一用户界面。
图45图解说明一些实施例的在双照相机移动设备上进行本地切换照相机操作的处理。
图46图解说明一些实施例的切换照相机操作的用户界面。
图47图解说明一些实施例的切换照相机操作的另一用户界面。
图48图解说明一些实施例的切换照相机操作的另一用户界面。
图49图解说明一些实施例的切换照相机操作的另一用户界面。
图50图解说明一些实施例的在双照相机移动设备上进行远程切换照相机操作的处理。
图51图解说明一些实施例的远程控制切换照相机操作的用户界面。
图52图解说明一些实施例的远程控制切换照相机操作的另一用户界面。
图53图解说明一些实施例的远程控制切换照相机操作的另一用户界面。
图54图解说明一些实施例的远程控制切换照相机操作的另一用户界面。
图55概念地图解说明一些实施例的进行曝光调整操作的处理。
图56图解说明一些实施例的进行曝光调整操作的用户界面。
图57图解说明一些实施例的进行曝光调整操作的另一用户界面。
图58图解说明一些实施例的进行曝光调整操作的另一用户界面。
图59概念地图解说明由如图16中图解说明的一些实施例的图像处理管理器执行的曝光调整处理。
图60概念地图解说明一些实施例的曝光调整操作。
图61概念地图解说明一些实施例的执行焦距调整操作的处理。
图62图解说明一些实施例的焦距调整操作的用户界面。
图63图解说明一些实施例的焦距调整操作的另一用户界面。
图64图解说明一些实施例的焦距调整操作的另一用户界面。
图65图解说明一些实施例的关于从一个或多个双照相机移动设备拍摄的视频的不同显示安排。
图66图解说明一些实施例的把插入视频的前景叠加在PIP显示中的背景视频上的用户界面。
图67图解说明一些实施例的确定视频图像的前景的技术。
图68图解说明一些实施例的在视频会议期间，交换PIP显示中的插入显示和背景显示的用户界面。
图69图解说明一些实施例的锁定到角落操作的用户界面。
图70图解说明一些实施例的锁定到角落和推送操作的用户界面。
图71图解说明一些实施例的PIP显示旋转操作的用户界面。
图72图解说明一些实施例的PIP显示旋转操作的另一用户界面。
图73图解说明一些实施例的在视频会议期间，从两个远程视频中选择一个视频的用户界面。
图74图解说明一些实施例的在视频会议期间，从两个本地视频中选择一个视频的用户界面。
图75图解说明一些实施例的会前选择用于视频会议的视频的用户界面。
图76图解说明一些实施例的由双照相机移动设备拍摄的两个视频之间的带宽分配的例子。
图77概念地图解说明一些实施例的管理双照相机移动设备的速率控制器的判优器模块。
图78概念地图解说明一些实施例的对由双照相机移动设备的照相机拍摄的图像进行编码的方法。
图79概念地图解说明一些实施例的对由双照相机移动设备的照相机拍摄的图像进行编码的另一方法。
图80图解说明在图79中图解说明的方法的示例图像合成。
图81概念地图解说明一些实施例的对由双照相机移动设备的照相机拍摄的图像进行编码的另一方法。
图82概念地图解说明一些实施例的对由双照相机移动设备的照相机拍摄的图像进行解码的方法。
图83概念地图解说明一些实施例的对由双照相机移动设备的照相机拍摄的图像进行解码的另一方法。
图84概念地图解说明一些实施例的双照相机移动设备的视频会议和处理模块的另一软件体系结构。
图85图解说明一些实施例的多方视频会议的用户界面。
图86图解说明一些实施例的多方视频会议的另一用户界面。
图87图解说明一些实施例的多方视频会议的另一用户界面。
图88概念地图解说明一些实施例的应用编程接口(API)体系结构。
图89图解说明一些实施例的双照相机移动计算设备的体系结构。
图90概念地图解说明一些实施例的触摸输入/输出(I/O)设备。
图91概念地图解说明一些实施例的示例通信系统。
图92概念地图解说明一些实施例的另一示例通信系统。
具体实施方式
在下面的描述中，出于解释说明的目的，陈述了众多的细节。不过，本领域的普通技术人员会认识到可在不利用这些具体细节的情况下实践本发明。在其它情况下，为了因不必要的细节而使本发明的描述模糊不清，以方框图的形式表示了公知的结构和设备。
本发明的一些实施例提供一种具有两部能够拍摄照片和视频的照相机的移动设备。移动设备的例子包括移动电话机、智能电话机、个人数字助理(PDA)、膝上型计算机、平板个人计算机或者任何其它类型的移动计算设备。本文中使用的照片指的是按单张拍摄模式每次一张地，或者按快速拍摄模式每次几张地由照相机拍摄的静止照片图像。另一方面，视频指的是照相机以特定速率(通常称为帧速率)拍摄的一系列视频图像。拍摄视频的典型帧速率是25帧/秒(fps)、30fps和60fps。一些实施例的移动设备的照相机能够以这些和其它帧速率拍摄视频图像(即，视频帧)。
一些实施例的移动设备(1)能够显示拍摄的照片图像和视频图像，(2)能够保存拍摄的图像，以便稍后传送给另一个设备，(3)能够在多个设备的多位用户之间的实时通信会话期间，把拍摄的图像传送给一个或多个设备，和(4)能够对拍摄的图像编码，以便本地存储或者传送给另一个设备。
涉及拍摄的视频图像的传输的实时通信会话的一个例子是视频会议。在一些实施例中，在视频会议期间的任意特定时间，移动设备只能够传送一部照相机拍摄的视频图像。不过，在其它实施例中，在视频会议或者其它实时通信会话期间，移动设备能够同时传送其两部照相机拍摄的视频图像。
一些实施例的移动设备产生合成显示，所述合成显示包含由一个或多个设备的多部照相机拍摄的多个视频的同时显示。在一些情况下，合成显示把视频放在相邻的显示区中(例如，放在相邻的窗口中)。图1图解说明合成显示100的一个这种例子，合成显示100包括两个相邻的显示区105和110，这两个显示区105和110同时显示由一个设备的两部照相机拍摄的，或者由参加视频会议的两个不同设备的两部照相机拍摄的两个视频。
在其它情况下，合成显示是包括显示两个不同视频的至少两个显示区的PIP显示，其中一个显示区是背景主显示区，另一个显示区是重叠在背景主显示区之上的前景插入显示区。图2图解说明合成PIP显示200的一个这种例子。合成PIP显示200包括背景主显示区205和重叠在背景主显示区之上的前景插入显示区210。这两个显示区205和210同时显示由一个设备的两部照相机拍摄的，或者由参加视频会议的两个不同设备的两部照相机拍摄的两个视频。尽管在本文中举例说明和讨论的示例合成PIP显示类似于在背景主显示区205内显示整个前景插入显示区210的合成PIP显示200，不过具有重叠在背景主显示区205之上，但是并不完全在背景主显示区205内的前景插入显示区210的其它合成PIP显示也是可能的。
除了在与另一个设备的视频会议期间传送视频内容之外，一些实施例的移动设备能够随同会议的视频内容一起传送其它类型的内容。这种其它内容的一个例子包括在设备的照相机之一正在拍摄用于视频会议的视频时，由该设备的另一部照相机拍摄的低分辨率或高分辨率照片图像。这种其它内容的其它例子包括(1)保存在设备上的文件和其它内容，(2)设备的屏幕显示(即，显示在设备的屏幕上的内容)，(3)在视频会议或者其它实时通信会话期间，从另一个设备接收的内容，等等。
一些实施例的移动设备采用新颖的会议中调整技术，在视频会议期间进行调整。例如，当在视频会议期间只传送一部照相机拍摄的视频时，一些实施例的移动设备能够动态切换成传送由其另一部照相机拍摄的视频。在这种情况下，一些实施例的移动设备把这种切换通知参加视频会议的任何另一个设备，使得所述另一个设备能够在它那一端提供这两部照相机拍摄的视频之间的平滑转换。
在一些实施例中，切换照相机的请求不仅能够起源于在视频会议期间，在其照相机之间进行切换的“本地”设备，而且还能够起源于正接收本地设备拍摄的视频的另一个“远程”设备。此外，允许一个设备指令另一个设备切换照相机只是一些实施例的设备的远程控制能力的一个例子。在一些实施例中，能够远程向设备指令的其它操作的例子包括曝光调整操作(例如，自动曝光)，焦距调整操作(例如，自动聚焦)等等。能够本地或远程指定的新颖的会议中调整的另一个例子是识别拍摄视频中的感兴趣区域(ROI)，和使用所述ROI识别修改拍摄照相机的行为，修改带有拍摄照相机的设备的图像处理操作，或者修改带有拍摄照相机的设备的编码操作。
一些实施例的新颖的会议中调整的又一个例子涉及设备产生的合成视频显示的实时修改。具体地说，在一些实施例中，合成视频显示的实时修改涉及响应于用户对显示区的选择和移动，在合成显示内移动一个或多个显示区。当提供合成显示的设备的屏幕旋转时，一些实施例还在视频会议期间旋转该合成显示。另外，一些实施例的移动设备允许设备的用户翻转(flip)PIP显示中的视频的顺序(即，使前景插入显示中的视频出现在背景主显示中，而使背景主显示中的视频出现在前景插入显示中)。
下面说明几个更详细的实施例。第I节提供一些实施例的视频处理体系结构的说明。随后，第II节描述一些实施例的拍摄图像处理单元。在一些实施例中，拍摄图像处理单元是设备的负责处理由设备的照相机拍摄的原始图像的组件。
接下来，第III节描述一些实施例的视频会议体系结构。第III节还描述一些实施例的视频会议模块，以及设置单照相机视频会议的几种方式。之后，第IV节描述一些实施例的会议中调整和控制操作。第V节随后描述一些实施例的在视频会议期间，传送和显示来自各个设备的多个视频的视频会议特征。接下来，第VI节描述在视频会议期间，随同非实时内容一起的实时视频的传输。最后，第VII节描述一些实施例的双照相机设备的硬件体系结构。
I.视频拍摄和处理
图3概念地图解说明一些实施例的双照相机移动设备的视频处理和编码模块300。在一些实施例中，模块300对由双照相机移动设备的照相机拍摄的图像进行处理，和对视频进行编码。如图3中所示，模块300包括拍摄图像处理单元(CIPU)驱动器305、媒体交换模块310、编码器驱动器320和视频处理模块325。
在一些实施例中，媒体交换模块310允许设备上的程序(媒体内容的使用者和制造者)交换媒体内容和关于媒体内容的处理的指令。在视频处理和编码模块300中，一些实施例的媒体交换模块310在视频处理模块325和CIPU驱动器305之间，以及在视频处理模块325和编码器驱动器320之间路由这些指令和媒体内容。为了使所述指令和媒体内容的路由更容易，一些实施例的媒体交换模块310提供供媒体内容的使用者和制造者使用的一组应用编程接口(API)。在一些这样的实施例中，媒体交换模块310是作为运行于双照相机移动设备上的操作系统的一部分的一组一个或多个架构。这种媒体交换模块310的一个例子是苹果公司提供的Core Media架构。
视频处理模块325对由设备的照相机拍摄的图像和/或视频进行图像处理。这种操作的例子包括曝光调整操作、焦距调整操作、透视校正、动态范围调整、图像缩放、图像合成等等。在一些实施例中，一些图像处理操作也可由媒体交换模块310执行。例如，如图3中所示，一些实施例的媒体交换模块310执行降低由设备的照相机拍摄的视频图像中的噪声的时间噪声降低(TNR)操作(例如，用TNR 315)。下面提供视频处理模块325和媒体交换模块310的这种图像处理操作的另外的例子。
通过媒体交换模块310，视频处理模块325与CIPU驱动器305和编码器驱动器320接口，如上所述。CIPU驱动器305充当拍摄图像处理单元(CIPU)330和媒体交换模块310之间的通信接口。如以下进一步所述，CIPU 330是双照相机设备的组件，负责处理在设备的照相机的图像拍摄或者视频拍摄操作期间拍摄的图像。CIPU驱动器305通过媒体交换模块310，从视频处理模块325接收对来自设备的一部或两部照相机的图像和/或视频的请求。CIPU驱动器305把所述请求传递给CIPU 330，作为响应，从CIPU 330接收请求的图像和/或视频，CIPU驱动器305随后通过媒体交换模块310，把接收的图像和/或视频发送给视频处理模块325。通过CIPU驱动器305和媒体交换模块310，一些实施例的视频处理模块325还向CIPU 330发送指令，以便修改其一些操作(例如，修改照相机的帧速率、曝光调整操作、焦距调整操作等等)。
编码器驱动器320充当媒体交换模块310和编码器硬件335(例如，编码器芯片、芯片系统上的编码组件等等)之间的通信接口。在一些实施例中，编码器驱动器320通过媒体交换模块310，从视频处理模块325接收图像和对图像编码的请求。编码器驱动器320把要编码的图像发送给编码器335，编码器335随后对图像进行照片编码或视频编码。当编码器驱动器320从编码器335接收到编码图像时，编码器驱动器320通过媒体交换模块310，把编码图像回送给视频处理模块325。
在一些实施例中，视频处理模块325能够对它从编码器接收的编码图像进行不同的操作。所述操作的例子包括把编码图像保存在设备的存储器中，通过设备的网络接口在视频会议中传送编码图像，等等。
在一些实施例中，视频处理和编码模块300的一些或全部模块被实现成操作系统的一部分。例如，一些实施例把视频处理和编码模块300的所有四个组件305、310、320和325实现成设备的操作系统的一部分。其它实施例把媒体交换模块310、CIPU驱动器305和编码器驱动器320实现成设备的操作系统的一部分，而把视频处理模块325作为在操作系统上运行的应用。另外，模块300的其它实现也是可能的。
现在说明在视频拍摄会话期间，视频处理和编码模块300的操作。为了开始视频拍摄会话，视频处理模块325初始化为视频拍摄会话所需的几个组件。在一些实施例中，这些组件包括(1)CIPU 330，(2)视频处理模块325的比例缩放和合成模块(未示出)，(3)视频处理模块325的图像处理模块(未示出)，和(4)编码器335。另外，当参与视频会议时，一些实施例的视频处理模块325初始化网络管理器(未示出)。
通过媒体交换模块310和CIPU驱动器305，视频处理模块把其初始化请求发送给CIPU 330，以使设备的一部或两部照相机开始视频拍摄。在一些实施例中，所述请求指定需要拍摄视频的每部照相机的特定帧速率、曝光度和缩放比例大小。响应所述请求，CIPU 330开始以指定的帧速率、曝光度和缩放比例大小，返回来自所请求的照相机的视频图像。这些视频图像通过CIPU驱动器305和媒体交换模块310被返回给视频处理模块325，如上所述，在把视频图像提供给视频处理模块325之前，媒体交换模块310对视频图像进行TNR操作。在视频处理模块325，视频图像被保存在缓冲器(未示出)中，以便进行另外的图像处理。
视频处理模块325的图像处理模块取回保存在缓冲器中的视频图像，以进行另外的视频处理。比例缩放和合成模块随后取回处理后的视频图像，以便比例缩放视频图像(如果是在设备的显示屏上的实时显示所必需的话)。在一些实施例中，该模块用由设备的两部照相机拍摄的图像，或者用在视频会议期间由设备的照相机以及另一个设备的照相机拍摄的图像创建合成图像，以便在设备上提供拍摄的视频图像的实时显示，或者创建供编码的合成视频图像。
处理和/或合成后的视频图像通过编码器驱动器320和媒体交换模块310被提供给编码器335。编码器335随后对视频图像编码。编码图像随后被返回给视频处理模块325(再次通过编码器驱动器320和媒体交换模块310)，以便保存在设备上，或者在视频会议期间传输。当设备参加视频会议时，网络管理器(由视频处理模块325初始化)随后取回这些编码图像，对编码图像分包，并通过设备的网络接口(未示出)把编码图像传送给一个或多个其它设备。
II.拍摄图像处理
A.单管线
由一些实施例的双照相机移动设备的照相机拍摄的图像是原始的未处理图像。在这些图像能够被用于其它操作，比如把图像传送给另一个设备(例如，在视频会议期间)、保存图像、或者显示图像之前，这些图像需要变换到特定的色空间。另外，照相机拍摄的图像需要被处理，以校正错误和/或失真，以及调整图像的颜色、大小等等。因此，一些实施例在保存、传送和显示这种图像之前，对图像进行几种处理操作。所述图像的部分处理由CIPU 330执行。
图4中图解说明了所述CIPU的一个例子。具体地说，图4概述地图解说明一些实施例的拍摄图像处理单元(CIPU)400。CIPU 400包括或者每次只处理来自设备的照相机之一的图像，或者按照时分多路复用方式(即，按照时间交织方式)同时处理来自设备的两部照相机的图像的单处理管线(single processing pipeline)485。可以不同地配置CIPU 400的处理管线485，以处理不同照相机的不同特性和/或操作设置。一些实施例中的不同照相机特性的例子包括不同的分辨率、噪声传感器、透镜类型(固定透镜或变焦透镜)，等等。另外，在一些实施例中，设备能够按照其操作照相机的不同操作设置的例子包括图像分辨率大小、帧速率、变焦级别、曝光度等。
如图4中所示，CIPU 400包括传感器模块415，行/帧缓冲器417，坏像素校正(BPC)模块420，透镜阴影(LS)模块425，去马赛克模块430，白平衡(WB)模块435，γ模块440，色空间变换(CSC)模块445，色调、饱和度和对比度(HSC)模块450，定标器模块455，滤波器模块460，统计引擎465，两组寄存器470，和控制器模块475。在一些实施例中，CIPU 400的全部模块都是用硬件(例如，ASIC、FPGA、带有微控制器的SOC，等等)实现的，而在其它实施例中，CIPU 400的一些或全部模块是用软件实现的。
如图4中所示，传感器模块415与设备的两部照相机的两个像素阵列410a和410b，及两组传感器405a和405b通信耦接。在一些实施例中，通过每个照相机传感器的移动行业处理器接口(MIPI)，使所述通信耦接更容易。
通过所述通信耦接，传感器模块415能够向照相机转发指令，以控制每部照相机的操作的各个方面，比如其功率级、变焦级别、焦距、曝光度等。在一些实施例中，每部照相机具有四种工作功率模式。在第一种工作功率模式下，照相机被断电。就第二种工作功率模式来说，照相机被通电，不过照相机还未被配置。在第三种工作功率模式下，照相机被通电，照相机的传感器被配置，并且照相机传感器的像素收集光子，并把收集的光子转换成数字值。不过，照相机传感器还未向传感器模块415发送图像。最后，在第四种工作功率模式下，照相机处于和第三种功率模式相同的工作功率模式之下，除了照相机现在向传感器模块415发送图像之外。
在设备的操作期间，照相机可多次从一种工作功率模式切换到另一种工作功率模式。当切换工作功率模式时，一些实施例要求照相机按照上述顺序切换工作功率模式。于是，在这些实施例中，第一种工作功率模式下的照相机只能切换到第二种工作功率模式。当照相机处于第二种工作功率模式时，它能够切换到第一种工作功率模式或者第三种工作功率模式。类似地，照相机能够从第三种工作功率模式切换到第二种工作功率模式或者第四种工作功率模式。当照相机处于第四种工作功率模式时，它只能够切换回第三种工作功率模式。
此外，从一种工作功率模式切换到下一种或前一种工作功率模式需要一定量的时间。从而，切换两种或三种工作功率模式慢于切换一种工作功率模式。不同的工作功率模式还消耗不同量的功率。例如，第四种工作功率模式消耗最大量的功率，第三种工作功率模式消耗的功率高于第一种和第二种工作功率模式，以及第二种工作功率模式消耗的功率高于第一种工作功率模式。在一些实施例中，第一种工作功率模式不消耗任何功率。
当照相机未处于拍摄图像的第四种工作功率模式时，可使照相机保持在其它工作功率模式之一下。使不用的照相机保持在哪种工作模式之下的确定取决于允许照相机消耗多少功率和照相机需要多快地响应开始拍摄图像的请求。例如，配置成按照第三种工作功率模式(例如，待机模式)工作的照相机比配置成处于第一种工作功率模式(即，断电)的照相机消耗更多的功率。不过，当指令照相机拍摄图像时，按照第三种工作功率模式工作的照相机能够比按照第一种工作功率模式工作的照相机更快地切换到第四种工作功率模式。因而，根据不同的要求(例如，对拍摄图像的请求的响应时间，功率消耗)，当不拍摄图像时，照相机可被配置成按照不同的工作功率模式工作。
如以下进一步所述，当视频处理模块325请求一部或两部照相机开始拍摄图像，并且传感器模块415通过控制器模块475接收到该请求时，通过它与每部照相机的通信耦接，传感器模块415能够指令一组或两组照相机传感器开始拍摄图像。拜尔滤镜被叠加在每个照相机传感器之上，从而每个照相机传感器输出拜尔格式图像，所述拜尔格式图像被保存在与每个照相机传感器相关联的像素阵列中。拜尔格式图像是其中每个像素只保存一种颜色值：红、蓝或绿的图像。
通过它与像素阵列410a和410b的耦接，传感器模块415取回保存在照相机像素阵列410a和410b中的原始拜尔格式图像。通过控制传感器模块415从照相机的像素阵列取回图像的速率，传感器模块415能够控制由特定照相机拍摄的视频图像的帧速率。通过控制其图像取回的速率，传感器模块415还能够交织由不同照相机拍摄的图像的读取，以便交织CIPU处理管线485对来自不同照相机的拍摄图像的图像处理。以下在II.A.1和II.A.2的子节中中进一步说明传感器模块415对其图像取回的控制。
传感器模块415把它从像素阵列410a和410b取回的图像行(即，图像的一排排像素)保存在行/帧缓冲器417中。通过CIPU处理管线485处理行/帧缓冲器417中的每个图像行。如图4中所示，CIPU处理管线485由BPC模块420、LS模块425、去马赛克模块430、WB模块43、γ模块440、CSC模块445、HSC模块450、定标器模块455和滤波器模块460构成。在一些实施例中，CIPU处理管线485逐行(即，逐排)地处理来自行/帧缓冲器417的图像，而在其它实施例中，CIPU处理管线485逐帧地处理来自行/帧缓冲器417的整个图像。
在图4中图解说明的示例管线中，BPC模块420是从行/帧缓冲器417取回图像的模块。BPC模块420进行坏像素消除操作，该操作设法校正取回的图像中可能由一个或多个有缺陷的照相机传感器引起的坏像素(例如，有缺陷的光子传感器根本不感测光，错误地感测光等等)。在一些实施例中，BPC模块420通过比较图像中的特定像素与图像中的一个或多个相邻像素，检测坏像素。如果所述特定像素的值与所述相邻像素的值之间的差异大于阈值量，那么用颜色(即，红、绿和蓝)与所述特定像素相同的几个相邻像素的值的平均值替换所述特定像素的值。
BPC模块420的操作部分由为该模块保存在CIPU 400的两组寄存器470中的值控制。具体地说，为了处理由设备的两部不同照相机拍摄的图像，一些实施例关于每部照相机不同地配置CIPU处理管线485，如上所述。通过在CIPU 400的两组不同的寄存器470a(Ra)和470b(Rb)中保存两组不同的值，为两部不同的照相机配置CIPU处理管线485。每组寄存器470包括用于CIPU处理管线485内的每个模块420-460的一个寄存器(Ra或Rb)。每个寄存器组中的每个寄存器保存一组定义一个处理管线模块的操作的值。因此，如图4中所示，寄存器组470a用于指示双照相机移动设备的一部照相机(照相机A)的每个处理管线模块的工作模式，而寄存器组470b用于指示双照相机移动设备的另一部照相机(照相机B)的每个处理管线模块的工作模式。
对于每部照相机不同地配置CIPU处理管线485的一个例子是把CIPU处理管线485的模块配置成处理大小不同的图像。例如，如果照相机传感器405a为640×480像素，照相机传感器405b为2048×1536像素，那么寄存器组470a被配置成保存指令CIPU处理管线485的各个模块处理640×480像素图像的值，以及寄存器组470b被配置成保存指令CIPU处理管线485的各个模块处理2048×1536像素图像的值。
在一些实施例中，不同的处理管线配置(即，寄存器值)被保存在不同的简档设置中。在一些这样的实施例中，允许移动设备的用户选择简档设置之一(例如，通过显示在移动设备上的用户界面)，以设置一部或多部照相机的操作。例如，用户可以选择把照相机配置成拍摄高分辨率视频的简档设置，把相同的照相机配置成拍摄低分辨率视频的简档设置，或者把两部照相机都配置成拍摄高分辨率静止图像的简档设置。各种不同的配置都是可能的，可被保存在许多不同的简档设置中。在其它这样的实施例中，代替允许用户选择简档设置，根据用户选择的应用或活动，自动选择简档设置。例如，如果用户选择视频会议应用，那么自动选择把两部照相机配置成拍摄视频的简档，如果用户选择照相应用，那么自动选择把照相机之一配置成拍摄静止图像的简档，等等。
在BPS模块420之后，LS模块425接收坏像素校正后的图像。LS模块425执行透镜阴影校正操作，以校正由产生光衰减效应(即，朝着照相机传感器的边缘，光逐渐减少)的照相机透镜引起的图像缺陷。这种效应导致图像照明度不均匀(例如，在角落和/或边缘更暗)。为了校正这些图像缺陷，一些实施例的LS模块425估计透镜的照明度衰减的数学模型。估计的模型随后被用于补偿图像的透镜衰减，以均匀地照明图像的未被均匀照明的部分。例如，如果图像的角落的亮度是图像中心的亮度的一半，那么一些实施例的LS模块425把角落像素值乘以2，以便产生均匀的图像。
去马赛克模块430执行去马赛克操作，以便由采样颜色的图像产生全色图像。如上所述，照相机传感器输出拜尔格式图像，由于拜尔格式图像的每个像素只保存一种色值，因此拜尔格式图像是不完整的。去马赛克模块430通过在拜尔格式图像中插入每组颜色的色值，由拜尔格式图像重构红、绿、蓝(RGB)图像。
WB模块435对从去马赛克模块430接收的RGB图像执行白平衡操作，使得图像内容的颜色与现实生活中人眼感觉到的所述内容的颜色相似。WB模块435通过调整图像的颜色来调整白平衡，以正确地呈现中性颜色(例如，灰、白等)。例如，在白炽灯下的一张白纸的图像可能显现为黄色，而人眼感觉所述一张纸为白色。为了解决传感器拍摄的图像的颜色与人眼感觉的图像的颜色之间的差异，WB模块435调整图像的色值，使得拍摄的图像正确地反映人眼感觉的颜色。
统计引擎465收集在CIPU处理管线485的各个阶段的图像数据。例如，图4表示统计引擎465收集在LS模块425、去马赛克模块430和WB模块435之后的图像数据。不同的实施例从CIPU处理管线485的任意数目的不同阶段收集数据。统计引擎465处理收集的数据，并根据处理后的数据，通过控制器模块475和传感器模块415调整照相机传感器405a和405b的操作。这种操作的例子包括曝光和聚焦。尽管图4显示通过控制器模块475控制照相机传感器405a和405b的统计引擎465，不过，统计引擎465的其它实施例通过传感器模块415控制照相机传感器。
处理后的数据还可用于调整CIPU 400的各个模块的操作。例如，一些实施例的统计引擎465根据在WB模块435之后收集的数据，调整WB模块435的操作。在一些这样的实施例中，统计引擎465通过利用处理后的数据提供自动白平衡(AWB)功能，以调整WB模块435的白平衡操作。其它实施例可以使用从CIPU处理管线485的任意数目的阶段收集的处理后数据来调整CIPU处理管线485内的任意数目模块的操作。此外，统计引擎465还能够从控制器模块475接收指令，以调整CIPU处理管线485的一个或多个模块的操作。
在从WB模块435接收到图像之后，γ模块440对图像进行γ校正操作，以编码和解码照相机系统的亮度或者三色值。一些实施例的γ模块440通过把10-12比特的线性信号转换成8比特的非线性编码，以校正图像的γ值，进行γ值校正。一些实施例利用查找表校正γ值。
CSC模块445把从γ模块440接收的图像从一个色空间变换到另一个色空间。具体地说，CSC模块445把图像从RGB色空间变换到亮度和色度(YUV)色空间。不过，CSC模块445的其它实施例可以往来于任意数目的色空间变换图像。
HSC模块450可调整从CSC模块445接收的图像的色调、饱和度、对比度或者它们的任意组合。例如，HSC模块450可以调整这些性质，以降低噪声或者增强图像。例如，可以增大由低噪声照相机传感器拍摄的图像的饱和度，以使图像显得更鲜艳。相反，可以降低由高噪声照相机传感器拍摄的图像的饱和度，以降低这种图像的色噪声。
在HSC模块450之后，定标器模块455可缩放图像，以调整图像的像素分辨率，或者调整图像的数据大小。例如，定标器模块455还可减小图像的大小，以便适合较小的显示器。例如，定标器模块455能够以许多不同的方式比例缩放图像。例如，定标器模块455能够按比例增大(即，放大)和按比例减小(即，缩小)图像。定标器模块455还能够按比例缩放图像，或者变形地缩放图像。
滤波器模块460对从定标器模块455接收的图像应用一种或多种滤波操作，以改变图像的一些或全部像素的一种或多种属性。滤波器的例子包括低通滤波器、高通滤波器、带通滤波器、双边滤波器、高斯滤波器，等等。因而，滤波器模块460能够对图像应用任意多种不同的滤波。
一些实施例的控制器模块475是控制CIPU 400的操作的微控制器。在一些实施例中，控制器模块475(1)通过传感器模块41，控制照相机传感器的操作(例如，曝光度)，(2)控制CIPU处理管线485的操作，(3)控制CIPU处理管线485的定时(例如，何时切换照相机传感器，何时切换寄存器，等等)，和(4)控制闪光灯/频闪闪光灯(未示出)，所述闪光灯/频闪闪光灯是一些实施例的双照相机移动设备的一部分。
控制器模块475的一些实施例处理从统计引擎465和CIPU驱动器480接收的指令。在一些实施例中，从CIPU驱动器480接收的指令是来自双照相机移动设备(即，接收自本地设备)的指令，而在其它实施例中，从CIPU驱动器480接收的指令是来自另一个设备的指令(例如，视频会议期间的远程控制)。根据处理后的指令，控制器模块475能够通过规划寄存器470的值，调整CIPU 400的操作。此外，控制器模块475能够在CIPU 400的操作期间，动态重新规划寄存器470的值。
如图4中所示，CIPU 400包括CIPU处理管线485中的许多模块。不过，本领域的普通技术人员会认识到可以只用一些图解说明的模块，或者用另外的不同模块实现CIPU 400。另外，由不同模块执行的处理可按照与图4中图解说明的顺序不同的顺序应用于图像。
现在参考图4，说明CIPU 400的一个示例操作。为了说明起见，一组寄存器Ra被用于处理由双照相机移动设备的照相机传感器405a拍摄的图像，以及一组寄存器Rb被用于处理由双照相机移动设备的照相机传感器405b拍摄的图像。控制器模块475从CIPU驱动器480接收产生由双照相机移动设备的照相机之一拍摄的图像的指令。
控制器模块475随后初始化CIPU处理管线485的各个模块，以处理由双照相机移动设备的照相机之一拍摄的图像。在一些实施例中，这包括控制器模块475检查是否使用了寄存器470中的一组正确寄存器。例如如果CIPU驱动器480指令控制器模块475产生由照相机传感器405a拍摄的图像，那么控制器模块475检查一组寄存器Ra是否是CIPU 400的模块读取的一组寄存器。如果不是，那么控制器模块475在两组寄存器之间切换，使得该组寄存器Ra是由CIPU 400的模块读取的一组寄存器。
对CIPU处理管线485中的每个模块来说，工作模式由保存在所述一组寄存器Ra中的值指示。如前所述，一组寄存器470中的值能够在CIPU 400的操作期间被动态重新规则。从而，一个图像的处理不同于下一个图像的处理。尽管CIPU 400的本示例操作的讨论描述CIPU 400中的每个模块读取保存在寄存器中的指示各个模块的工作模式的值，不过在一些软件实现的实施例中，改为把参数传送给CIPU400的各个模块。
在一些实施例中，控制器模块475通过指令传感器模块415在从像素阵列410a取回图像之后延迟特定时间量，来初始化传感器模块415。换句话说，控制器模块475指令传感器模块415以特定速率从像素阵列410a取回图像。
随后，控制器模块475通过传感器模块415指令照相机传感器405a拍摄图像。在一些实施例中，控制器模块475还向照相机传感器405a提供曝光参数和其它照相机操作参数。在其它实施例中，照相机传感器405a使用照相机传感器操作参数的默认值。根据所述参数，照相机传感器405a拍摄原始图像，所述原始图像被保存在像素阵列410a中。传感器模块415从像素阵列410a取回所述原始图像，并把图像发送给行/帧缓冲器417以便保存，之后CIPU处理管线485处理该图像。
在某些情况下，图像可能被行/帧缓冲器417丢弃。当照相机传感器405a和/或405b以高速率拍摄图像时，传感器模块415可比BPC模块420能够从行/帧缓冲器417取回图像更快地接收图像，并把图像保存在行/帧缓冲器417中(例如，拍摄高帧速率视频时)，行/帧缓冲器417会变得完全充满。当发生这种情况时，一些实施例的行/帧缓冲器417根据先进先出原则丢弃图像(即，帧)。即，当行/帧缓冲器417丢弃一帧图像时，行/帧缓冲器417丢弃在行/帧缓冲器417中的所有其它图像之前接收的那帧图像。
CIPU处理管线485的图像处理从BPC模块420取回来自行/帧缓冲器417的图像，以校正图像中的任何坏像素开始。BPC模块420随后把图像发送给LS模块425，以校正图像中的任何不均匀照明度。在校正图像的照明度之后，LS模块425把图像发送给去马赛克模块430，去马赛克模块430处理原始图像，由原始图像产生RGB图像。随后，WB模块435从去马赛克模块430接收RGB图像，并调整RGB图像的白平衡。
如上所述，统计引擎465可能已在CIPU处理管线485的各个点收集了一些数据。例如，如图4中图解所示，统计引擎465在LS模块425、去马赛克模块430和WB模块435之后收集数据。根据收集的数据，统计引擎465可调整照相机传感器405a的操作和/或CIPU处理管线485中的一个或多个模块的操作，以便调整从照相机传感器405a的后续图像的拍摄。例如，根据收集的数据，统计引擎465可确定当前图像的曝光度过低，从而通过传感器模块415指令照相机传感器405a增大后续所拍图像的曝光度。从而，一些实施例的统计引擎465起一些处理操作的反馈回路的作用。
在WB模块435调整图像的白平衡之后，它把图像发送给γ模块440，以进行γ校正(例如，调整图像的γ曲线)。CSC模块445从γ模块440接收γ校正后的图像，并进行色空间变换。在本例中，CSC模块445把RGB图像变换成YUV图像。换句话说，CSC模块445把用RGB色空间表现的图像变换成用YUV色空间表现的图像。HSC模块450从CSC模块445接收YUV图像，并调整图像中的各个像素的色调、饱和度和对比度属性。在HSC模块450之后，定标器模块455缩放图像(例如，放大或缩小图像)。在从定标器模块455接收图像之后，滤波器模块460对图像应用一种或多种滤波。最后，滤波器模块460把处理后的图像发送给CIPU驱动器480。
在上面说明的CIPU 400的这个操作例子中，CIPU处理管线485中的每个模块以某种方式处理图像。不过，CIPU 400处理的其它图像可能不需要CIPU处理管线485的所有模块的处理。例如，图像可能不需要白平衡调整、γ校正、比例缩放或滤波。因而，CIPU 400能够根据接收的各种输入，比如来自CIPU驱动器480的指令，或者由统计引擎465收集的数据，以任意各种方式处理图像。
不同的实施例不同地控制处理图像的速率(即，帧速率)。控制帧速率的一种方式是通过垂直消隐间隔(VBI)的操纵。对于取回图像行以便逐行处理图像的一些实施例来说，VBI是从像素阵列取回由双照相机移动设备的照相机拍摄的视频的一个图像的最后一行，和从像素阵列取回视频的下一个图像的第一行之间的时间差。在其它实施例中，VBI是从像素阵列取回由双照相机移动设备的照相机拍摄的视频的一个图像，和从像素阵列取回视频的下一个图像之间的时间差。
其中能够使用VBI的一个例子在传感器模块415与像素阵列410a和410b之间。例如，传感器模块415的一些实施例逐行地从像素阵列410a和410b取回图像，以及传感器模块415的其它实施例逐个图像地从像素阵列410a和410b取回图像。从而，通过调整传感器模块415的VBI，能够控制帧速率：增大VBI会降低帧速率，而减小VBI会提高帧速率。
1.VBI对单照相机的应用：帧速率控制
图5概念地图解说明基于不同VBI的不同帧速率505、510和515的例子。每个序列显示在沿着时间线520的各个时刻525-555，拿着吉它的人物的图像，所述图像由双照相机移动设备的照相机之一拍摄。另外，每个时刻525-555之间的时间都相同，称为一个时间单元。为了说明起见，现在将参考图4的传感器模块415和像素阵列410a，说明图5。因而，每个图像代表沿着时间线520的传感器模块415从像素阵列410a取回图像的时刻。
在示例的帧速率505中，传感器模块415关于像素阵列410a的VBI被设定为3个时间单元(例如，由控制器模块475设定)。即，传感器模块415沿着时间线520，每隔两个时刻从像素阵列410a取回一帧图像。如示例的帧速率505中所示，传感器模块415在时刻525、540和555取回图像。从而，示例的帧速率505具有每三个时间单元一帧图像的帧速率。
除了VBI被设定为2个时间单元之外，示例的帧速率510类似于示例的帧速率505。从而，传感器模块415沿着时间线520，每隔一个时刻从像素阵列410a取回一帧图像。示例的帧速率510表示传感器模块415在时刻525、535、545和555，从像素阵列410a取回图像。由于示例的帧速率510的VBI小于示例的帧速率505的VBI，因此示例的帧速率510的帧速率高于示例的帧速率505的帧速率。
除了传感器模块415关于像素阵列410a的VBI被设定为1个时间单元之外，示例的帧速率515也类似于示例的帧速率505。于是，传感器模块415被指令沿着时间线520，在每个时刻从像素阵列410a取回一帧图像。如图所示，传感器模块415在时刻525-555，从像素阵列410a取回图像。示例的帧速率515的VBI小于示例的帧速率505和510的VBI。于是，示例的帧速率515的帧速率大于示例的帧速率505和510。
2.VBI对双照相机的应用
一些实施例可能希望同时操作双照相机移动设备的两部照相机(例如，在视频会议期间，从两部照相机传送视频)。包括单处理管线的双照相机移动设备的不同实施例提供同时操作双照相机移动设备的两部照相机的不同机制。
一种这样的机制是通过控制每部照相机的VBI，交织由两部照相机拍摄的图像的处理。即，在一部照相机的VBI期间，拍摄和处理由另一部照相机拍摄的一个或多个图像，反之亦然。由于上面说明的CIPU 400具有单处理管线485，因此这种机制能够在一些实施例的CIPU 400中实现。在这样的实施例中，传感器模块415从像素阵列410a和410b之一取回图像，并且取回的图像由CIPU 400在传感器模块415关于另一个像素阵列的VBI期间处理。
传感器模块415关于每个像素阵列的VBI可被设定为特定值。不过，在一些实施例中，VBI不被设定成比CIPU 400取回和处理一帧图像所用时间小的值。一些实施例把传感器模块415关于每个像素阵列的VBI设定成相同值。例如，当传感器模块415关于每个像素阵列的VBI被设定成相同值时，传感器模块415交替地从像素阵列410a和410b取回图像。其它实施例把传感器模块415关于每个像素阵列的VBI设定成不同的值。在一些这样的实施例中，传感器模块415关于一个像素阵列的VBI被设定成传感器模块415关于另一个像素阵列的VBI的倍数。例如，传感器模块415关于一个像素阵列的VBI被设定成2个时间单元，传感器模块415关于另一个像素阵列的VBI被设定成4个时间单元。在这个例子中，相对于传感器模块415从所述另一个像素阵列取回的每一帧图像，传感器模块415从所述一个像素阵列取回两帧图像。
图6概念地图解说明基于不同VBI的不同交织帧速率605、610和615的例子。除了图6包括沿着时间线620的13个时刻625-685之外，图6类似于图5。另外，拿着吉它的人物的图像代表沿着时间线620从一个像素阵列取回该图像的时刻，而戴着学位帽的人物的图像代表沿着时间线620从另一个像素阵列取回图像的时刻。
为了说明起见，拿着吉它的人物的图像假定已由双照相机移动设备的照相机传感器405a拍摄，以及戴着学位帽的人物的图像假定已由双照相机移动设备的照相机传感器405b拍摄。此外，现在将参考图4的传感器模块415及像素阵列410a和401b说明图6。
在示例的交织帧速率605中，传感器模块415关于像素阵列410a和像素阵列401b的VBI被设定成2个时间单元。如示例的交织帧速率605中所示，传感器模块415在沿着时间线620的时刻625、635、645、655、665、675和685，从像素阵列410a取回图像，以及传感器模块415在沿着时间线620的时刻630、640、650、660、670和680，从像素阵列410b取回图像。即，在每个时间单元，传感器模块415交替地从像素阵列取回图像。
除了传感器模块415关于像素阵列410a和像素阵列401b的VBI被设定成4个时间单元之外，示例的交织帧速率610类似于示例的交织帧速率605。示例的交织帧速率610显示传感器模块415在沿着时间线620的时刻625、645、665和685，从像素阵列410a取回图像，以及传感器模块415在沿着时间线620的时刻635、655和675，从像素阵列410b取回图像。由于示例的交织帧速率610的VBI大于示例的交织帧速率605的VBI，因此示例的交织帧速率610的帧速率小于示例的交织帧速率605的帧速率。
除了传感器模块415关于像素阵列410a和像素阵列401b的VBI被设定成6个时间单元之外，示例的交织帧速率615也类似于示例的交织帧速率605。如图6中所示，传感器模块415在沿着时间线620的时刻625、655和685，从像素阵列410a取回图像，以及传感器模块415在沿着时间线620的时刻640和670，从像素阵列410b取回图像。示例的交织帧速率615的VBI大于示例的交织帧速率605和610的VBI。从而，示例的交织帧速率615的帧速率小于示例的交织帧速率605和610的帧速率。
B.多管线
图7概念地图解说明一些实施例的另一个拍摄图像处理单元(CIPU)700。除了CIPU 700由两个前端处理管线，一个存储器，和一个后端处理管线实现，而不是由单处理管线实现之外，CIPU 700实现和上面说明的CIPU 400相同的功能。因此，将参考CIPU 400的模块，说明CIPU 700的功能的描述。
如图所示，CIPU 700包括用于照相机传感器405a和像素阵列410a的前端处理管线715、用于照相机传感器405b和像素阵列410b的前端处理管线720、存储器725、控制器模块730、和后端处理管线735。一些实施例的照相机传感器405a和405b是双照相机移动设备的照相机的传感器。
一些实施例的前端处理管线715和720执行CIPU 400的部分图像处理。因而，不同的实施例可以包括CIPU 400的不同数目的模块。例如，一些实施例的每个前端处理管线715和720包括CIPU 400的传感器模块415、BPC模块420、LS模块425、去马赛克模块430、WB模块435和统计引擎465。
尽管由于具有相同的模块，前端处理管线715和720执行相同类型的图像处理，不过通过如上关于CIPU 400说明的不同的寄存器值，能够不同地配置每个前端处理管线715和720中的每个模块。此外，由于每个照相机传感器405a和405b都具有它自己的前端处理管线，因此前端处理管线715和720能够相互独立地处理图像。例如，前端处理管线715和720能够并行地(即，在相同的时间)、在不同的时间、和以不同的速率处理图像。
在一些实施例中，每个前端处理管线715和720能够从其对应的照相机传感器和像素阵列取回图像。例如，前端处理管线715从像素阵列410a取回由照相机传感器405a拍摄的图像，以及前端处理管线720从像素阵列410b取回由照相机传感器405b拍摄的图像。当前端处理管线715和720之一从其对应的照相机传感器和像素阵列取回图像时，该前端处理管线处理该图像，并把处理后的图像发送给存储器725。另外，每个前端处理管线715和720如上所述与控制器模块730通信(例如，通过每个前端处理管线的统计引擎)。
一些实施例的存储器725保存部分处理后的图像，供后端处理管线735完成处理。在这些实施例中，存储器725从前端处理管线715和720接收部分处理后的图像，并把部分处理后的图像发送给后端处理管线735。一些实施例把存储器725实现成易失性存储器(例如，随机存取存储器(RAM))，而其它实施例把存储器725实现成非易失性存储器(例如，闪速存储器、硬盘、光盘等)。此外，一些实施例的存储器725是内部存储器(例如，RAM)，而其它实施例的存储器725是外部存储器(例如，紧凑式闪存(CF)卡，安全数字(SD)卡，等等)。
后端处理管线735的一些实施例执行CIPU 700的部分图像处理。在一些实施例中，后端处理管线735包括前端处理管线715和720不包括的CIPU 400的模块。例如，参见上面的例子，后端处理管线735应包括CIPU 400的CSC模块445、γ模块440、HSC模块450、定标器模块455和滤波器模块460。因而，这种实施例的后端处理管线735执行前端处理管线715和720不执行的CIPU 400的剩余图像处理。因此，后端处理管线735从存储器725取回部分处理后的图像，并对部分处理后的图像执行剩余的图像处理。在处理图像之后，后端处理管线735把处理后的图像发送给CIPU驱动器480。
控制器模块730执行上面参考图4说明的相同功能。如图7中所示，控制器模块730与前端处理管线715和720及后端处理管线735交互。在一些实施例中，控制器模块730包括在后端处理管线735中，而在其它实施例中，控制器模块730包括在前端处理管线715和720之一中。
现在参考在图7中图解说明的照相机传感器405a和405b、像素阵列401a和410b、前端处理管线715和720、存储器725和后端处理管线735，说明CIPU 700的操作。当前端处理管线715和720之一从其对应的照相机传感器和像素阵列取回图像时，前端处理管线处理该图像，并把部分处理后的图像发送给存储器725。例如，前端处理管线715可从像素阵列410a取回由照相机传感器405a拍摄的图像，或者前端处理管线720可从像素阵列410b取回由照相机传感器405b拍摄的图像。如上所述，前端处理管线715和720都能够并行处理图像。
后端处理管线735从存储器725取回部分处理后的图像，并处理部分处理后的图像以完成图像的图像处理。在一些实施例中，后端处理管线735基于先进先出的原则取回和处理保存在存储器725中的图像。换句话说，存储器725中的特定图像将在先于该特定图像的接收和保存在存储器725中的所有图像之后进行处理，不过，该特定图像将在晚于该特定图像的接收和保存在存储器725中的图像之前进行处理。在后端处理管线735处理图像之后，它把处理后的图像发送给CIPU驱动器480。
图8概念地图解说明一些实施例的另一个拍摄图像处理单元(CIPU)800。除了CIPU 800由两个单独的处理管线实现，每个照相机传感器具有它自己的单独的处理管线之外，CIPU 800执行和上面说明的CIPU 400相同的功能。因而，将参考CIPU 400的模块，说明CIPU 800的功能的描述。
如图所示，CIPU 800包括用于照相机传感器405a和像素阵列410a的处理管线815，和用于照相机传感器405b和像素阵列410b的处理管线820。一些实施例的每个处理管线815和820都包括包含在CIPU 400中的所有模块。于是，这些实施例的每个处理管线815和820的操作均与CIPU 400的操作相同。
由于每个照相机传感器405a和405b都具有它自己的处理管线，因此处理管线815和820能够相互独立地处理图像。例如，处理管线815和820能够并行地(即，在相同的时间)、在不同的时间、和以不同的速率处理图像。另外，通过上面参考CIPU 400说明的不同的寄存器值，能够不同地配置一些实施例的每个处理管线815和820。
在一些实施例中，CIPU 400的许多模块包括用于执行该模块的一些或全部操作的一个或多个行/帧缓冲器。例如，一些实施例的滤波模块460被实现成执行3×3低通滤波。在这样的实施例中，3×3低通滤波器处理图像中的连续三行，以便对所述连续三行的中间行应用3×3低通滤波。从而，这种实施例的滤波模块460至少需要三个行/帧缓冲器，以便实现3×3低通滤波。CIPU 400中的其它模块也包括一个或多个行/帧缓冲器，比如BPC模块420和LS模块425。
CIPU 800的处理管线均可具有不同的行/帧缓冲器大小，以便按照其对应照相机的特征定制图像处理。例如，如果双照相机移动设备的一部照相机具有2048×1500像素传感器，那么该2048×1500像素传感器的处理管线能够包括2048像素宽的行/帧缓冲器。类似地，如果双照相机移动设备的另一部照相机具有640×480像素传感器，那么640×480像素传感器的处理管线可包括为640像素宽的行/帧缓冲器。即，包括在一个处理管线的各个模块中的行/帧缓冲器的大小可不同于包括在另一个处理管线的各个模块中的行/帧缓冲器的大小。
III.视频会议
A.视频会议体系结构
图9概念地图解说明一些实施例的双照相机移动设备的视频会议和处理模块900的软件体系结构。视频会议和处理模块900包括与上面参考图3说明的对应模块和驱动器305、301和320类似的CIPU驱动器905、媒体交换模块910和编码器驱动器920。视频会议和处理模块900还包括用于实现各种视频会议功能的视频会议模块925、视频会议客户端945和网络接口950。类似于视频处理和编码模块300，视频会议和处理模块900处理和编码从双照相机移动设备的照相机拍摄的图像。
如上参考图3所述，媒体交换模块910允许设备中的媒体内容的使用者和制造者交换媒体内容，和与媒体内容的处理有关的指令。CIPU驱动器905充当与拍摄图像处理单元(CIPU)955的通信接口，编码器驱动器920充当与编码器硬件960(例如，编码器芯片、片上系统上的编码组件，等等)的通信接口。
一些实施例的视频会议模块925负责各种视频会议功能，比如图像处理、视频会议管理和连网。如图所示，视频会议模块925与媒体交换模块910、视频会议客户端945和网络接口950交互。在一些实施例中，视频会议模块925从视频会议客户端945接收指令，和向视频会议客户端945发送指令。一些实施例的视频会议模块925还通过网络接口950，向网络发送数据和从网络接收数据，例如，所述网络是局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、网络的网络(a network of networks)、码分多址接入(CDMA)网络、GSM网络，等等。
视频会议模块925包括图像处理层930、管理层935和网络层940。在一些实施例中，图像处理层930对图像进行图像处理操作，以便用于视频会议。例如，一些实施例的图像处理层930进行曝光调整、图像缩放、透视校正和动态范围调整，如下进一步详细所述。一些实施例的图像处理层930通过媒体交换模块910发送对来自CIPU955的图像的请求。
一些实施例的管理层935控制视频会议模块925的操作。例如，在一些实施例中，管理层935初始化双照相机移动设备的一部/两部照相机，处理图像和音频，以便传送给远程设备，和处理从远程设备接收的图像和音频。在一些实施例中，管理层935产生用于该设备的合成(例如PIP)显示。此外，管理层935可根据从网络层940接收的连网报告，改变视频会议模块925的操作。
在一些实施例中，网络层940实现用于视频会议的一些或全部网络功能。例如，如下所述，除了别的功能之外，一些实施例的网络层940建立视频会议的双照相机移动设备和远程设备之间的网络连接(未示出)，把图像传送给远程设备，和从远程设备接收图像。另外，网络层940接收诸如分组丢失、单向等待时间和往返延迟时间之类的连网数据，以及其它各种数据，处理这样的数据，和把数据报告给管理层935。
一些实施例的视频会议客户端945是利用视频会议模块925的视频会议功能的应用，比如视频会议应用、IP话音(VOIP)应用(例如，Skype)或者即时通信应用。在一些实施例中，视频会议客户端945是独立的应用，而在其它实施例中，视频会议客户端945被集成到另一个应用中。
在一些实施例中，网络接口950是允许视频会议模块925和视频会议客户端945通过网络(例如，蜂窝网络、局域网、无线网络、网络的网络、因特网等)发送数据和接收数据的通信接口。例如，如果视频会议模块925想要向因特网上的另一个设备发送数据(例如，由双照相机移动设备的照相机拍摄的图像)，那么视频会议模块925通过网络接口950把图像发送给所述另一个设备。
B.视频会议设置
图10概念地图解说明一些实施例的示例的视频会议请求消息接发序列1000。图10表示运行于设备1005上的视频会议客户端1010，视频会议服务器1015，和运行于设备1020上的视频会议客户端1025之间的视频会议请求消息接发序列1000。在一些实施例中，视频会议客户端1010和1025与图9中所示的视频会议客户端945相同。如图10中所示，一个设备(即，设备1005)请求视频会议，以及另一个设备(即，设备1020)应答该请求。在本申请中描述的双照相机移动设备能够执行这两个操作(即，发出请求和响应请求)。
一些实施例的视频会议服务器1015在视频会议客户端之间路由消息。尽管一些实施例在一个计算设备上实现视频会议服务器1015，不过其它实施例在多个计算设备上实现视频会议服务器1015。在一些实施例中，视频会议服务器是可公开访问的服务器，它能够同时处理和路由众多会议的消息。一些实施例的每个视频会议客户端1010和1025经网络接口，比如上面说明的网络接口950，通过网络(例如，蜂窝网络、局域网、无线网络、网络的网络、因特网等)与视频会议服务器1015通信。
当视频会议客户端1010从设备1005的用户接收到(在操作1)开始和设备1020的视频会议的请求时，一些实施例的视频会议请求消息接发序列1000开始。当设备1005的用户选择显示在设备1005上的用户界面的某一用户界面(UI)项目时，一些实施例的视频会议客户端1010接收开始视频会议的请求。在下面说明的图11和图14中图解说明了这种用户界面的例子。
在视频会议客户端1010接收到请求之后，视频会议客户端1010向视频会议服务器1015发送(在操作2)视频会议请求，该请求根据用户的输入，把设备1020指示为收件人。视频会议服务器1015把视频会议请求转发给(在操作3)设备1020的视频会议客户端1025。在一些实施例中，视频会议服务器1015利用推送技术，把视频会议请求转发给视频会议客户端1025。即，当从视频会议客户端1010接收到请求时，视频会议服务器1015开始向视频会议客户端1025传送视频会议请求，而不是等待客户端1025发送对任何消息的请求。
当一些实施例的视频会议客户端1025接收到视频会议请求时，在设备1020上显示用户界面，以向设备1020的用户指出，设备1005的用户发送了开始视频会议的请求，并提示设备1020的用户接受或拒绝该视频会议请求。在下面说明的图12中图解说明了这种用户界面的例子。在一些实施例中，当视频会议客户端1025接收到(在操作4)接受来自设备1005的用户的视频会议请求的请求时，视频会议客户端1025向视频会议服务器1015发送(在操作5)视频会议接受。当设备1020的用户选择如图12中图解说明的用户界面的某一用户界面项目时，一些实施例的视频会议客户端1025接收到接受视频请求的请求。
在视频会议服务器1015从视频会议客户端1025接收到视频会议接受之后，视频会议服务器1015把视频会议接受转发给(在操作6)视频会议客户端1010。视频会议服务器1015的一些实施例利用上述推送技术，把视频会议接受转发给视频会议客户端1010。
当接收到视频会议接受时，一些实施例在设备1005和设备1020之间建立(在操作7)视频会议。不同的实施例不同地建立视频会议。例如，一些实施例的视频会议建立包括：协商设备1005和设备1020之间的连接、确定对视频编码的比特率、和在设备1005和设备1020交换视频。
在上面的例子中，设备1020的用户接受视频会议请求。在一些实施例中，设备1020可被配置成(例如，通过设备的优先选择设置)自动接受到来的视频会议请求，而不显示UI。此外，设备1020的用户也能够拒绝(在操作4)视频会议请求(例如，通过选择在设备1020上显示的用户界面的某个用户界面项目)。代替发送视频会议接受，视频会议客户端1025向视频会议服务器1015发送视频会议拒绝，视频会议服务器1015把视频会议拒绝转发给视频会议客户端1010。从而根本不建立视频会议。
1.视频会议设置用户界面
在一些实施例中，根据正在进行的通话，发起视频会议。即，在移动设备的用户与第二位用户通话的时候，经另一方的许可，该用户能够把通话变成视频会议。对本发明的一些实施例来说，图11图解说明由双照相机手持移动设备1100进行的这种视频会议的启动。图11利用设备1100的用户界面(“UI”)1105的五个操作阶段1110、1115、1120、1125和1130，图解说明视频会议的启动。
如图11中所示，UI 1105包括名字栏1135、选择菜单1140和可选择的UI项目1145。名字栏1135显示在通话另一端的用户意欲请求与之进行视频会议的人物的名字。在本例中，可选择的UI项目1145(它可被实现成可选择的按钮)向用户提供可选择的结束通话(End Call)选项，以结束通话。选择菜单1140显示可选择的UI项目的菜单，比如喇叭扩音器项目1142、静音项目1144、数字小键盘项目1146、电话簿项目1148、保持项目1152、视频会议项目1154等等。不同的实施例不同地显示选择菜单。对图11图解说明的实施例来说，选择菜单1140包括几个同样大小的图标，每个图标代表一个不同的操作。其它实施例提供可滚动的菜单，或者给予特定项目以优先级(例如，通过使这些项目变得更大)。
现在将参考UI 1105在图11中图解说明的五个阶段1110、1115、1120、1125和1130中的状态，说明UI 1105的操作。在第一阶段1110中，在手持移动设备用户和Nancy Jones之间已经建立了通话。第二阶段1115显示在用户选择可选择的视频会议选项1154(例如，通过手指1150的单指轻点)，以激活视频会议工具之后的UI 1105。在这个例子中，视频会议选项1154(它可被实现成可选择的图标)允许用户在通话期间启动视频会议。在第二阶段中，视频会议选项1150被突出显示，以指示视频会议工具已被激活。不同的实施例可用不同的方式(例如，通过突出显示项目的边框或文本)，指示这样的选择。
第三阶段1120显示在依据选择视频会议选项1154的选择，设备1100已启动视频会议处理之后的UI 1105。第三阶段是在设备等待建立视频会议时(例如，在设备等待通话另一端的设备接受或拒绝视频会议时)的过渡保持阶段。在第三阶段1120中，在建立视频会议连接的时候，设备1100的用户仍然能够与另一设备的用户(即，Nancy Jones)谈话。另外，一些实施例允许设备1100的用户通过选择显示在UI 1105上的用于取消视频会议请求的可选UI项目(未示出)，在第三阶段1120中取消视频会议请求。在该保持阶段期间，不同的实施例使用UI 1105中的不同显示来指示该等待状态。
如图11中所示，在一些实施例中，利用由设备1100拍摄的视频的全屏显示，以及在该视频的底部的“Preview(预览)”符号图解说明第三阶段的等待状态。具体地说，在图11中，第三阶段1120通过在UI 1105的显示区1160中，显示由设备的照相机拍摄的视频的全屏呈现，图解说明视频会议处理的开始。在一些实施例中，正面的照相机是在开始视频会议时，设备选择的默认照相机。通常，在开始视频会议时，所述正面照相机对着设备的用户。因此，在图11中图解说明的例子中，第三阶段1120把设备1100图解表示成呈现设备1100的用户的全屏视频。位于在第三阶段1120期间，出现在显示区1160中的视频之下的“Preview”指示进一步突出设备的等待状态。
在一些实施例中，能够不同地表示过渡性的第三保持阶段1120。例如，一些实施例允许设备1100的用户选择背面的照相机作为启动视频会议的照相机。为了允许这种选择，一些实施例允许用户(例如，通过菜单优先选择设置)把背面的照相机指定为启动视频会议的默认照相机，和/或允许用户从在用户选择视频会议选项1154之后，显示背面和正面的照相机的菜单中选择背面的照相机。在这些情况的任何一种中，UI 1105(例如，显示区1160)在第三保持阶段1120期间，显示由背面的照相机拍摄的视频。
另外，其它实施例可通过显示设备1100所摄视频的较小版本，通过显示保存在设备1100上的静止图像，通过提供突出显示设备的等待状态的消息(例如，通过显示“Conference Being Established”(正在建立会议)，通过不显示“Preview”指示，等等，可指出视频会议工具的激活。另外，在第三阶段1120中，一些实施例的UI 1105提供如果在该阶段(例如，在用户等待远程用户答复他的请求时)，用户决定不进入视频会议，那么允许用户取消进入视频会议，并返回通话状态的结束(End)按钮(未示出)。
第四阶段1125图解说明在远程用户接受了视频会议请求，并且建立了视频会议连接之后，处于过渡状态的UI 1105。在该过渡状态下，显示本地用户的视频(在本例中，由正面的照相机拍摄的视频)的显示区1160的大小逐渐减小(即，逐渐缩小)，如箭头1175所示。显示区1160(即，本地用户的视频)缩小，使得UI 1105能够在显示区1160之后，显示包含来自远程设备的照相机的视频的显示区1170(例如，显示窗口1170)。换句话说，本地用户的视频1160的缩小产生PIP显示1180，PIP显示1180具有本地用户的视频的前景插入显示1160，和远程用户的背景主显示1170。在本例中，背景主显示1170呈现远程设备的正面照相机正在拍摄其视频的女士(例如，Nancy Jones，远程设备的用户)，或者远程设备的背面照相机正在拍摄其视频的女士(例如，Nancy Jones正在拍摄其视频的女士)的视频。普通技术人员会认识到图11中所示的过渡性的第四阶段只是一些实施例使用的一种示例方法，其它实施例可以不同地动画演示过渡性的第四阶段。
第四阶段1125还在下面的显示区1155中图解说明可选的UI项目1132。可选的UI项目1132(它可被实现成可选择的按钮)在PIP显示1180之下提供可选择的结束会议(End Conference)选项1132。用户可以选择结束会议选项1132来结束视频会议(例如，通过单指轻点)。不同的实施例可允许用户用不同的方式结束会议，比如通过转换移动设备上的开关，通过发出话音命令，等等。此外，不同的实施例可允许结束会议选项1132在视频会议期间逐渐消失，从而允许PIP显示1180占据整个显示区1185。随后在单指轻点显示区1185的底部时，结束会议选项1132可重新出现，使用户可以利用结束会议选项1132。在一些实施例中，显示区1155的布局和下面进一步详细说明的显示区1155相同。
第五阶段1130图解说明在结束第四过渡状态1125的动画之后的UI 1105。具体地说，第五阶段1130图解说明在视频会议期间，由UI1105呈现的PIP显示1180。如上所述，PIP显示1180包括两个视频显示：来自远程照相机的较大的背景显示1170，和来自本地照相机的较小的前景插入显示1160。
PIP显示1180只是呈现由远程设备和本地设备拍摄的视频的合成视图的一种方式。除了该合成视图之外，一些实施例的设备提供其它合成视图。例如，代替具有远程用户的较大的背景显示1170，较大的背景显示1170可以是本地用户，而较小的前景插入显示1160是远程用户。如下进一步所述，一些实施例允许用户在视频会议期间，在作为提供PIP显示1180的插入视图和主视图的照相机的本地照相机和/或远程照相机之间切换。
另外，一些实施例允许本地视频和远程视频出现在UI 1105中的两个并排的显示区(例如，左右显示窗口，或者上下显示窗口)，或者两个对角排列的显示区中。在一些实施例中，如下进一步所述，通过设备的优先选择设置，或者通过在视频会议期间，用户能够选择的控件，用户可以规定PIP显示或者默认显示模式的方式。
当图11的设备1100的用户邀请远程用户进行视频会议时，远程用户可接受或拒绝该邀请。图12图解说明在六个不同的阶段1210、1215、1220、1225、1230和1235，远程用户的设备1200的UI 1205，所述六个阶段表示在远程用户的设备呈现和接受视频会议邀请的操作序列。下面的UI 1205的描述把设备1200(即，接收到视频会议请求的设备)的用户称为受邀者(invite recipient)，把设备1100(即，发送视频会议请求的设备)的用户称为邀请者(invite requestor)。另外，在本例中，假定受邀者的设备1200是双照相机设备，和邀请者的设备一样。不过，在其它例子中，这些设备中的一个或者两个都是单照相机设备。
第一阶段1210图解说明当受邀者从邀请者，John Smith接收到视频会议邀请时的UI 1205。如图12中所示，第一阶段的UI 1205包括名字栏1235、消息栏1240和两个可选的UI项目1245和1250。名字栏1235显示正请求视频会议的人物的名字。在一些实施例中，名字栏1235显示正请求视频会议的人物的电话号码，而不是人物的名字。消息栏1240显示邀请者给受邀者的邀请。在本例中，消息栏1240中的“Video Conference Invitation(视频会议邀请)”指示邀请者正在请求与受邀者进行视频会议。可选的UI项目1245和1250(它们可被实现成可选择的按钮)提供可选择的供受邀者用于拒绝或接受邀请的“拒绝请求(Deny Requst)”和“接受请求(Accept Request)”选项1245和1250。不同的实施例可不同地显示这些选项和/或显示其它选项。
当看到显示在消息栏1240中的“Video Conference Invitation”符号时，通过分别选择UI中的“拒绝请求”选项1245或“接受请求”选项1250，受邀者可拒绝或接受请求。第二阶段1215图解说明在图12中所示的例子中，用户选择“接受请求”选项1250。在这个例子中，通过用户的手指轻轻点击“接受请求”选项1250，实现所述选择，并通过选项1250的突出显示，指出所述选择。在一些实施例中提供其它技术来选择“接受”或“拒绝请求”选项1245和1250(例如，连续两次轻轻点击，等等)以指出所述选择(例如，突出显示UI项目的边框或文本)。
第三阶段1220显示在受邀者同意加入视频会议之后的UI 1205。在该阶段，UI 1205进入预览模式，预览模式在显示区1244中显示来自远程设备的正面照相机的视频的全屏呈现。这种情况下的正面照相机对着远程设备的用户(即，本例中的Nancy Jones)。因此，按所述预览模式显示她的图像。这种预览模式使受邀者可以确保她的视频被正确显示，并且在视频会议开始之前(例如，在开始实际传输视频之前)，她对其外表感到满意。在一些实施例中，可在显示区1244之下显示诸如“Preview”符号之类的符号，以指出受邀者处于预览模式。
一些实施例允许受邀者选择背面的照相机作为开始视频会议的默认照相机，或者在开始视频会议时选择正面或背面的照相机，如下进一步所述。另外，其它实施例不同地显示受邀者的预览显示(例如，在置于显示区1244的角落的较小图像中)。除此之外的其它实施例不包括这种预览模式，而是在受邀者接受请求之后，立即开始视频会议。
在第三阶段，UI 1205显示两个可选的UI项目1275和1246。其中一个重叠在显示区1244之上，而另一个在显示区1244下面。可选的UI项目1275是用户可选择以开始视频会议的“接受”按钮1275。可选的UI项目1246是如果受邀者在此阶段决定不加入视频会议，那么她可选择的“结束”按钮1246。
第四阶段1225显示在受邀者选择“接受”按钮1275之后的UI1205。在本例中，“接受”按钮1275被突出显示，以指出受邀者随时可开始视频会议。在其它实施例中可用不同的方式指出这样的选择。
第五阶段1230图解说明在受邀者接受视频会议请求之后，处于过渡状态的UI 1205。在该过渡阶段，显示受邀者的视频(在本例中，所述视频由正面的照相机拍摄)的显示区1244的大小逐渐减小(即，逐渐缩小)，如箭头1260所示。受邀者的视频缩小，使得UI 1205能够在显示区1244之后，显示包含来自邀请者的照相机的视频的显示区1265(例如，显示窗口1265)。换句话说，受邀者的视频的缩小产生PIP显示1280，PIP显示1280具有受邀者的视频的前景插入显示区1244，和邀请者的背景主显示1265。
在这个例子中，背景主显示1265呈现本地设备的正面照相机正在拍摄其视频的男士(即，John Smith，本地设备1100的用户)的视频。在另一个例子中，该视频可以是本地设备的背面照相机拍摄其视频的男士(例如，由John Smith拍摄其视频的男士)的视频。不同地实施例可以不同地动画演示过渡性的第五阶段。
第五阶段1230的UI还显示包括在视频会议期间，使另一用户的音频静音的可选UI项目1285(例如，静音按钮1285)，结束视频会议的可选UI项目1287(例如，结束会议按钮1287)，和下面进一步说明的切换照相机的可选UI项目1289(例如，切换照相机按钮1289)的显示区1155(例如，工具条或菜单条)。因而，受邀者可以选择任意可选UI项目1285-1289(例如，通过单指轻点)，以在视频会议期间执行希望的操作。不同的实施例允许受邀者按照不同的方式，例如切换移动设备上的开关，通过给出话音命令等，执行任意操作。
尽管图12表示显示区1155的示例布局，不过，一些实施例提供显示区1155的不同布局，比如图11的显示区1155的布局，该布局只包括用于结束视频会议的可选的结束会议UI选项1132。显示区1155的其它布局可以包括用于执行不同功能的任意多种不同的可选UI项目。此外，第五阶段1230表示显示在UI 1205的底部的显示区1155。显示区1155的不同实施例可被显示在UI 1205内的不同位置，和/或定义成不同的形状。
图12把显示区1155表示成静态显示区(即，显示区1155总是被显示)。不过，在一些实施例中，显示区1155是动态显示区。在一些这样的实施例中，显示区1155平常不被显示。相反，只有当接收到触发事件(例如，比如轻点显示区1280一次，话音命令之类的用户选择)时，才显示所述显示区1155。在接收到用户选择(例如，选择可选的静音UI项目985)，或者规定量的时间(例如，3秒)之后，显示区1155消失，所述规定量的时间可由用户通过移动设备或视频会议应用的优先选择设置指定。在一些这样的实施例中，显示区1155在视频会议开始后被自动显示，和按照上面提及的相同方式消失。
第六阶段1235图解说明在结束第五过渡阶段的动画之后的UI1205。具体地说，第六阶段图解说明在视频会议期间，由UI 1205呈现的PIP显示1280。如上所述，PIP显示1280包括两个视频显示：来自本地照相机的较大的背景显示1265，和来自远程照相机的较小的前景插入显示1244。PIP显示1280只是呈现由远程设备和本地设备拍摄的视频的合成视图的一种方式。除了该合成视图之外，一些实施例的设备提供其它的合成视图。例如，代替具有较大的受邀者的背景显示，较大的背景显示可以是邀请者的视频，较小的前景插入显示可以是受邀者的视频。如下进一步所述，一些实施例允许用户控制PIP显示中的插入视图和主视图，以可切换地显示本地照相机和远程照相机。另外，一些实施例允许本地视频和远程视频出现在UI 1205中的两个并排显示区(例如，左右显示窗口，或者上下显示窗口)，或者两个对角排列的显示区中。如下进一步所述，通过设备的优先选择设置，或者通过在视频会议期间，用户能够选择的控件，用户可以指定PIP显示的方式或者默认显示模式。
尽管图12按照六个不同的操作阶段表示呈现和接受视频会议邀请的操作序列，不过，一些实施例可以用较少的阶段实现所述操作。例如，一些这样的实施例可以省略呈现第三阶段1220和第四阶段1225，从而在用户选择“接受请求”选项1250之后，从第二阶段1215进到第五阶段1230。用较少的阶段实现所述操作(即，呈现和接受视频会议邀请)的其它实施例可以省略第一阶段1210和第二阶段1215，从而当受邀者从邀请者接收到视频会议的邀请时，向用户呈现第三阶段1220。
图13图解说明通过把第一和第三阶段结合成一个阶段，以及把第二和第四阶段结合成一个阶段，用较少的阶段执行图12中图解说明的操作的例子。特别地，图13图解说明在五个不同的阶段1390、1392、1394、1230和1235，远程用户的设备1200的UI 1205。第一阶段1390类似于阶段1110，除了名字栏1295显示名字“John Smith”，以指出在通话另一端的人物的名字之外。即，已在远程移动设备的用户和本地设备的用户(即，本例中的John Smith)之间建立了通话。第二阶段1392和第三阶段1394类似于图12的第一阶段1210和第二阶段1215，除了第二阶段1392和第三阶段1394还显示远程移动设备的用户(即，本例中的Nancy Jones)的预览之外。第四阶段1230和第五阶段1235与图12的第五阶段1230和第六阶段1235相同。
除了在通话期间，通过可选选项激活视频会议工具之外，一些实施例允许双照相机设备的用户直接发起视频会议，而不必首先打电话。图14图解说明发起视频会议的另一种这样的备选方法。图14图解说明在七个不同阶段1410、1415、1420、1425、1430、1435和1440的UI 1405，所述七个不同阶段显示启动视频会议的备选操作序列。
在第一阶段1410，用户浏览移动设备上的联系人名单，寻找他希望与之进行视频会议的人物，与他为了通话而查找联系人的方式类似。在第二阶段1415，用户选择他愿意与之进行视频会议的人物1455(例如，通过在该人的名字1455上的单指轻点1460)。这种选择触发UI 1405显示联系人的信息和各种用户可选选项。在这个例子中，Jason的名字1455被突出显示，以指出这是用户意欲与之进行视频会议的人。不同的实施例可以用不同的方式指出这种选择。尽管第二阶段1415允许设备1400的用户通过联系人名单，选择用户意欲与之进行视频会议的人，不过一些实施例允许用户通过“Recents(最近)”通话历史选择该人，所述“Recents”通话历史列出设备1400的用户最近与之进行视频会议或者通话的人物的特定号码或名字。
在第三阶段1420，在选择了人物的名字1455之后，UI 1405显示所选人物的信息1462，和各种可选UI项目1468、1472和1470。在这个例子中，各个可选UI项目1472(可被实现成可选的图标或按钮)之一提供视频会议工具。视频会议选项1472允许用户邀请依据联系人1466识别的人物加入视频会议。不同的实施例不同地(例如，用不同的排列)显示信息1462和可选UI项目1468、1472和1470。
第四阶段1425表示用户选择“视频会议”选项1472(例如，通过单指轻点)。在这个例子中，“视频会议”选项1472被突出显示，以指出视频会议工具1472已被激活。在不同的实施例中可不同地指出这种选择(例如，通过突出显示所选图标的文本或边框)。
第五、第六和第七阶段1430、1435和1440类似于图11中图解说明的第三、第四和第五阶段1120、1125和1130，可通过参考这些阶段的讨论可理解第五、第六和第七阶段1430、1435和1440。简单地说，第五阶段1430图解说明等待远程用户响应视频会议邀请的过渡性的保持阶段。第六阶段1435图解说明在远程用户接受视频会议请求之后，(显示本地用户的视频的)显示区1480的大小逐渐减小，使得UI 1405能够在显示区1480之后，显示包含来自远程用户的照相机的视频的显示区1492。在第七阶段1440，在视频会议期间，UI 1405呈现PIP显示1447。在一些实施例中，第六阶段1435和第七阶段1440中的显示区1155的布局与上面说明的图12的显示区1155的布局相似。
图10、11、12、13和14表示建立视频会议的几种方式。在一些实施例中，在通话期间，通过一个通信通道(通过诸如电路交换通信网络或者分组交换通信网络之类的通信网络)传送音频数据(例如，话音)，并在视频会议期间，通过另一个通信通道传送音频数据。从而，在这样的实施例中，在建立视频会议之前，通过一个通信通道传送音频数据(例如，话音)，以及一旦建立了视频会议，就通过不同的通信通道(而不是在通话期间使用的通信通道)传送音频。
为了提供音频数据从通话到视频会议的无缝过渡(例如，切换)，一些实施例在建立视频会议之前，并不终止通话。例如，一些实施例在终止通话并开始通过对等通信会话传送音频/视频数据之前，建立对等视频会议连接(例如，在完成图10中图解说明的消息序列之后)。另一方面，其它实施例在终止通话和开始呈现接收的音频/视频数据之前，建立对等视频会议连接(例如在完成图10中图解说明的消息序列之后)，并开始通过该对等通信会话传送音频/视频数据。
一些实施例的对等视频会议连接允许视频会议中的移动设备直接相互通信(而不是通过例如中央服务器通信)。对等视频会议的一些实施例允许视频会议中的移动设备相互共享资源。例如，经由视频会议的控制通信通道，通过从一个移动设备向另一个移动设备发送指令，以命令所述另一个移动设备不同地处理图像(即，共享其图像处理资源)，比如下面进一步详细描述的曝光调整操作、焦距调整操作和/或切换照相机操作，所述一个移动设备能够远程控制视频会议中的所述另一个移动设备的操作。
2.动态比特率设置
一般来说，视频会议中的移动设备通过不同类型的通信网络，比如不同的专用和公共无线通信网络(例如，诸如GSM、UMTS之类的蜂窝网络)的通信通道，相互传递数据(例如，音频和视频图像)。下面将参考图91和92说明这种无线通信网络的例子。
由于在特定时间接入通信网络的移动设备的数目不断变化，因此通信网络可用于进行视频会议的带宽在不同时间是不同的。即使在视频会议期间，可用带宽也会改变。另外，在视频会议期间用高比特率淹没通信网络，或者企图算出最佳视频会议比特率的大量信令是不可取的。
由于这些原因，一些实施例采用指定视频会议的初始最佳比特率的新方法。为了识别视频会议的初始最佳比特率，所述方法以特定的比特率开始视频会议，如果这些实施例没有检测到会恶化视频会议质量的网络条件，那么所述方法以特定时间间隔递增地增大比特率。
图15中图解说明这种实施例的一个例子。图15概念地图解说明本发明的一些实施例的设定视频会议的比特率的处理1500。作为视频会议设置的一部分(例如，作为图10中图解说明的视频会议建立的一部分)执行处理1500，以根据各种网络条件，动态确定传送数据(例如，音频和视频图像)的比特率。在一些实施例中，处理1500由上面参考图9说明的视频会议模块925的管理层935执行。下面参考图16说明该视频会议模块的更详细形式。
如图15中所示，通过把比特率设为(在1505)初始比特率，开始处理1500。在一些实施例中，初始比特率是设备的默认基准速率。不过，一些实施例允许用户指定初始比特率。在1505，处理1500还通过按初始比特率，通过一个或多个通信通道，向远程设备传送数据(例如，音频和视频图像)，来启动视频会议。
随后，处理1500识别(在1510)从视频会议中的远程设备接收的一组网络条件参数。在一些实施例中，本地设备通过在开始视频会议时建立的实时传送协议(RTP)通信会话，从远程设备接收所述一组网络条件参数。例如，一些实施例通过RTP的扩展特征，提供网络条件参数。此外，通过指出扩展报头在RTP分组报头中的存在，并定义关于附加信息的扩展报头，一些实施例的RTP扩展特征能够被用于传送任意类型的信息(例如，所述一组网络条件参数)。
在不同的实施例中，视频会议中的各个设备传送多组不同的网络条件/拥塞参数。在下面说明的实施例中，所述一组网络条件参数包括单向等待时间和带宽估计比特率。在其它实施例中，所述一组网络条件参数包括分组丢失数据和往返时间(RTT)延迟数据。因而，不同的实施例可在所述一组网络条件参数中包括任意多个不同的网络条件参数。
在一些实施例中，从视频会议的远程设备接收的一组网络条件参数以按在操作1505设定的初始比特率，在视频会议期间，从本地移动设备(即，执行处理1500的移动设备)传送给远程设备的数据(例如，音频和视频)为基础。例如，在一些实施例中，通过利用音频分组的时间戳，计算音频分组通过网络连接，从本地移动设备传播到远程设备所用的时间，远程设备能够确定单向等待时间。具体地说，在一些实施例中，每个音频分组被打上时间戳。在没有分组延迟的情况下，远程设备应与时间戳之差相等的设定时间间隔，接收音频分组。不过，当存在单向等待延迟时，远程设备以比时间戳之差大的时间每隔接收音频分组。
另外，在一些实施例中，远程设备通过检查接收到视频分组的时间，接收到相邻视频分组的时间，和所述相邻视频分组的大小，确定带宽估计比特率。即，接收两个连续视频分组的时间差和第二个视频分组的大小被用于估计网络连接的可用带宽。一些实施例通过检查多对连续视频分组，确定带宽估计比特率。上面的例子利用特定类型的数据(即，用于确定单向等待时间的音频数据，和用于确定带宽估计比特率的视频数据)。不过，在一些实施例中，也可以使用通过本地移动设备和远程设备之间的网络连接传送的其它类型的数据。
在识别(在1510)所述一组网络条件之后，处理1500随后确定(在1515)单向等待时间是否已恶化到超过定义的阈值量。在一些实施例中，所述阈值量被定义为特定的等待时间量，如果当前的单向等待时间和先前的单向等待时间之间的差值超过特定等待时间量，那么确定单向等待时间恶化到超过阈值量。在其它实施例中，阈值量被定义为单向等待时间的特定变化率。因而，当一组单向等待时间(例如，当前的单向等待时间和先前的单向等待时间)的变化率超过特定的变化率，那么确定单向等待时间恶化到超过阈值量。
当确定单向等待时间恶化到超过阈值量时，处理1500结束。否则，处理1500确定(在1520)当前比特率是否达到了带宽估计比特率。在一些实施例中，带宽估计比特率指示网络连接的可用带宽量(例如，15kb/s(kbps))。当处理1500确定当前比特率超过带宽估计比特率时，处理1500结束。当处理1500确定当前比特率未超过带宽估计比特率时，处理1500进入操作1525。
在1525，处理1500确定当前比特率是否达到定义的最大比特率。当处理1500确定当前比特率超过定义的最大比特率时，处理1500结束。否则，处理1500进入操作1530，把当前比特率增大规定量。不同的实施例不同地定义增大比特率的量。增大当前比特率的规定量的例子包括32kbps、64kpbs、以及任意多种其它增大比特率的量值。
随后，处理确定(在1535)规定的时间量是否已过去。规定的时间量可以是1秒、2秒、5秒或者任何其它可能的时间量，因为不同的实施例不同地定义所述时间量。处理1500等待规定的时间量过去，以便让远程设备能够接收以新增大的比特率(在操作1530)，从本地移动设备传送的数据(例如，音频和视频图像)，并根据新增大的比特率确定网络条件参数。如果处理1500确定规定的时间量还未过去，那么处理1500返回操作1535，直到规定的时间量过去为止。当处理1500确定规定的时间量已过去时，处理1500返回操作1510。如上所述继续进行处理1500的从1510开始的操作，直到处理1500结束为止。
当处理1500结束时(即，在操作1515、1520或1525之后)，完成视频会议的比特率的设置，并且确定了最佳比特率。由于视频会议的可用带宽在视频会议期间可能变化，因此，一些实施例继续根据从远程设备接收的一组网络条件参数(即，单向等待时间和带宽估计比特率)，调整比特率。可通过增大比特率，在视频会议期间调整比特率。例如，如果处理1500因单向等待时间恶化到超过规定的阈值量而结束，并且在视频会议期间，单向等待时间得到改善，那么一些实施例增大比特率。类似地，如果处理1500因比特率超过带宽估计比特率而结束，并且在视频会议期间，带宽估计比特率增大，那么一些实施例增大比特率。
相反，可通过降低比特率，在视频会议期间调整比特率。例如，如果在视频会议期间，单向等待时间继续恶化到超过规定的阈值量，那么一些实施例降低比特率。另外，如果在视频会议期间，比特率继续超过带宽估计比特率(例如，带宽估计比特率继续降低)，那么一些实施例降低比特率。
此外，处理1500使用单向等待时间和带宽估计比特率来确定是否增大比特率。不过，普通技术人员会认识到在不同的实施例中，可以使用任意多种网络条件参数来确定是否增大比特率。例如，确定是否增大比特率可以只基于RTT延迟数据或者分组丢失数据。
C.视频会议体系结构
如上所述，图16概念地图解说明一些实施例的双照相机移动设备的视频会议和处理模块1600的软件体系结构。如图所示，视频会议和处理模块1600包括客户端应用1665、视频会议模块1602、媒体交换模块1620、缓冲器1625、拍摄图像处理单元(CIPU)驱动器1630、编码器驱动器1635和解码器驱动器1640。在一些实施例中，缓冲器1625是保存视频的图像以便在双照相机移动设备的显示器1645上显示的帧缓冲器。
在一些实施例中，客户端应用1665与图9的视频会议客户端945相同。如上所述，客户端应用1665可被集成到另一个应用中，或者实现成独立的应用。客户端应用1665可以是利用视频会议模块1602的视频会议功能的应用，比如视频会议应用、IP话音(VOIP)应用(例如，Skype)或者即时消息通信应用。
一些实施例的客户端应用1665向视频会议模块1602发送指令，比如开始会议和结束会议的指令，从视频会议模块1602接收指令，把来自双照相机移动设备的用户的指令路由到视频会议模块1602，和产生显示在双照相机移动设备上并允许用户与应用交互的用户界面。
D.视频会议管理器
如图16中所示，视频会议模块1602包括视频会议管理器1604、图像处理管理器1608、连网管理器1614、和缓冲器1606、1610、1612、1616和1618。在一些实施例中，视频会议模块1602与图9中图解说明的视频会议模块925相同，从而执行上面关于视频会议模块925所述的一些或全部的相同功能。
在一些实施例中，视频会议管理器1604负责当视频会议开始时，初始化视频会议模块1602的一些或所有其它模块(例如，图像处理管理器1608和连网管理器1614)，在视频会议期间控制视频会议模块1602的操作，和当视频会议结束时，停止视频会议模块1602的一些或所有其它模块的操作。
一些实施例的视频会议管理器1604还处理从视频会议中的一个或多个设备接收的图像，和由双照相机移动设备的一部或两部照相机拍摄的图像，以便显示在双照相机移动设备上。例如，一些实施例的视频会议管理器1604从缓冲器1618取回从参与视频会议的另一个设备接收的解码图像，和从缓冲器1606取回由CIPU 1650处理的图像(即，由双照相机移动设备拍摄的图像)。在一些实施例中，在把图像显示在双照相机移动设备上之前，视频会议管理器1604还比例缩放和合成图像。即，在一些实施例中，视频会议管理器1604产生PIP或其它合成视图，以显示在移动设备上。一些实施例比例缩放从缓冲器1606和1618取回的图像，而其它实施例只比例缩放从缓冲器1606和1618之一取回的图像。
尽管图16把视频会议管理器1604图解表示成视频会议模块1602的一部分，不过视频会议管理器1604的一些实施例被实现成与视频会议模块1602分离的组件。因而，单个视频会议管理器1604可被用于管理和控制几个视频会议模块1602。例如，一些实施例将在本地设备上运行独立的视频会议模块以与多方会议中的每一方交互，本地设备上的这些视频会议模块均由一个视频会议管理器管理和控制。
在图像被编码器1655编码之前，一些实施例的图像处理管理器1608处理由双照相机移动设备的照相机拍摄的图像。例如，图像处理管理器1608的一些实施例对CIPU 1650处理的图像执行曝光调整、焦距调整、透视校正、动态范围调整和图像缩放中的一个或多个操作。在一些实施例中，图像处理管理器1608控制传送给视频会议中的另一个设备的编码图像的帧速率。
连网管理器1614的一些实施例管理双照相机移动设备和参加视频会议的另一个设备之间的一个或多个连接。例如，一些实施例的连网管理器1614在视频会议开始时，建立双照相机移动设备和视频会议的另一个设备之间的连接，以及在视频会议结束时，中断这些连接。
在视频会议期间，连网管理器1614把由编码器1655编码的图像传送给视频会议的另一个设备，以及把从视频会议的另一个设备接收的图像路由给解码器1660以便解码。在一些实施例中，连网管理器1614，而不是图像处理管理器1608，控制传送给视频会议的另一个设备的图像的帧速率。例如，连网管理器1614的一些这样的实施例通过丢弃(即，不传送)应该被传送给视频会议的另一个设备的编码帧中的一些编码帧，控制帧速率。
如图所示，一些实施例的媒体交换模块1620包括照相机源模块1622、视频压缩模块1624和视频解压缩模块1626。媒体交换模块1620与图3中所示的媒体交换模块310相同，同时提供更多的细节。照相机源模块1622通过CIPU驱动器1630，在视频会议模块1602和CIPU1650之间路由消息和媒体内容，视频压缩模块1624通过编码器驱动器1635，在视频会议模块1602和编码器1655之间路由消息和媒体内容，以及视频解压缩模块1626通过解码器驱动器1640，在视频会议模块1602和解码器1660之间路由消息和媒体内容。一些实施例把包括在媒体交换模块310中的TNR模块315(图16中未示出)实现成照相机源模块1622的一部分，而其它实施例把TNR模块315实现成视频压缩模块1624的一部分。
在一些实施例中，CIPU驱动器1630和编码器驱动器1635与图3中图解说明的CIPU驱动器305和编码器驱动器320相同。一些实施例的解码器驱动器1640充当视频解压缩模块1626和解码器1660之间的通信接口。在这样的实施例中，解码器1660解码通过连网管理器1614从视频会议的另一个设备接收的并通过视频解压缩模块1626路由的图像。在图像被解码之后，图像通过解码器驱动器1640和视频压缩模块1626被送回视频会议模块1602。
除了在视频会议期间进行视频处理之外，一些实施例的双照相机移动设备的视频会议和处理模块1600还在视频会议期间，执行音频处理操作。图17图解说明这样的软件体系结构。如图所示，视频会议和处理模块1600包括视频会议模块1602(它包括视频会议管理器1604、图像处理管理器1608和连网管理器1614)、媒体交换模块1620和客户端应用1665。图17中省略了图16中所示的视频会议和处理模块1600的其它组件和模块，以简化说明。视频会议和处理模块1600还包括帧缓冲器1705和170、音频处理管理器1715和音频驱动器1720。在一些实施例中，音频处理管理器1715被实现成单独的软件模块，而在其它实施例中，音频处理管理器1715被实现成媒体交换模块1620的一部分。
音频处理管理器1715处理由双照相机移动设备捕获的音频数据，以便传送给视频会议中的另一个设备。例如，音频处理管理器1715通过音频驱动器1720接收由麦克风1725捕获的音频数据，对音频数据编码，之后把编码的音频数据保存在缓冲器1705中，以便传送给所述另一个设备。音频处理管理器1715还处理由视频会议中的另一个设备捕获并从所述另一个设备接收的音频数据。例如，音频处理管理器1715从缓冲器1710取回音频数据，对音频数据解码，解码后的音频数据随后通过音频驱动器1720被输出给扬声器1730。
在一些实施例中，视频会议模块1602连同音频处理管理器1715及其关联的缓冲器一起是更大的会议模块的一部分。当在不交换视频内容的情况下，在几个设备之间进行多方音频会议时，视频会议和处理模块1600只利用连网管理器1614和音频处理管理器1715，以使通过网际协议(IP)层的音频交换更容易。
现在参考图18，说明一些实施例的视频会议管理器1604的操作。图18概念地图解说明由一些实施例的视频会议管理器，比如图16中图解说明的视频会议管理器1604执行的处理1800。这可等同于由图9的管理层935执行。在一些实施例中，当双照相机移动设备的用户接受(例如，通过显示在双照相机移动设备上的用户界面)视频会议请求，或者当另一个设备的用户接受双照相机移动设备的用户发送的请求时，视频会议管理器1604执行处理1800。
通过接收(在1805)开始视频会议的指令，开始处理1800。在一些实施例中，指令是从客户端应用1665接收的，或者是通过显示在双照相机移动设备上的用户界面从用户接收的，并由客户端应用1665转发给视频会议管理器1604。例如，在一些实施例中，当双照相机移动设备的用户接受视频会议请求时，指令是通过用户界面接收的并由客户端应用转发。另一方面，当另一个设备的用户接受从本地设备发出的请求时，一些实施例从客户端应用接收指令，而没有用户界面交互(不过，可存在先前的发送初始请求的用户界面交互)。
随后，处理1800初始化(在1810)与视频会议管理器1604交互的第一模块。一些实施例的与视频会议管理器1604交互的模块包括CIPU 1650、图像处理管理器1608、音频处理管理器1715和连网管理器1614。
在一些实施例中，初始化CIPU 1650包括指令CIPU 1650开始处理由双照相机移动设备的一部或两部照相机拍摄的图像。一些实施例通过指令图像处理管理器1608开始从缓冲器1610取回图像，并处理和编码取回的图像，初始化图像处理管理器1608。为了初始化音频处理管理器1715，一些实施例指令音频处理管理器1715开始编码由麦克风1725捕获的音频数据，和解码保存在缓冲器1710中的音频数据(从另一个设备接收的音频数据)，以便输出给扬声器1730。一些实施例的连网管理器1614的初始化包括指令连网管理器1614建立和视频会议中的另一个设备的网络连接。
处理1800随后确定(在1815)是否还剩有要初始化的任何模块。当剩有要初始化的模块时，处理1800返回操作1810，以初始化另一个模块。当所有需要的模块都已被初始化时，处理1800产生(在1820)供显示在双照相机移动设备(即，本地显示器)上的合成图像。这些合成图像可包括示于下面说明的图65中的那些合成图像(即，PIP或其它合成显示)，并且可包括来自本地的双照相机移动设备的照相机的图像和来自参与视频会议的另一个设备的照相机的图像的各种组合。
接下来，处理1800确定(在1825)是否对视频会议做出了改变。一些实施例通过用户与显示在双照相机移动设备上的用户界面的交互，接收对视频会议的改变，而其它实施例通过连网管理器1614，从另一个设备接收对视频会议的改变(即，远程控制)。在一些实施例中，也可从客户端应用1665，或者视频会议模块1602中的其它模块接收对视频会议设置的改变。视频会议设置还会由于网络条件的变化而改变。
当发生改变时，处理1800确定(在1830)对视频会议的改变是否是对网络设置的改变。在一些实施例中，所述改变或者是网络设置改变或者是图像拍摄设置改变。当对视频会议的改变是对网络设置的改变时，处理修改(在1840)网络设置，随后进入操作1845。一些实施例的网络设置改变包括改变对图像编码的比特率，或者向另一个设备传送图像的帧速率。
当对视频会议的改变不是对网络设置的改变时，处理1800确定所述改变是对图像拍摄设置的改变，从而进入操作1835。处理1800随后执行(在1835)对图像拍摄设置的改变。在一些实施例中，对图像拍摄设置的改变可包括切换照相机(即，切换双照相机移动设备上的哪部照相机拍摄视频)，焦距调整，曝光调整，显示或不显示来自双照相机移动设备的一部或两部照相机的图像，和放大或缩小显示在双照相机移动设备上的图像，以及其它设置改变。
在操作1845，处理1800确定是否结束视频会议。当处理1800确定不结束视频会议时，处理1800返回操作1820。当处理1800确定视频会议将结束时，处理1800结束。当处理1800从客户端应用1665接收到结束视频会议的指令时(即，归因于通过本地双照相机移动设备的用户界面接收的，或者从参与视频会议的另一个设备接收的指令)，处理1800的一些实施例确定结束视频会议。
在一些实施例中，当视频会议结束时，视频会议管理器1604执行未示于处理1800中的各种操作。一些实施例指令CIPU 1650停止产生图像，指令连网管理器1614中断与视频会议中的另一个设备的网络连接，和指令图像处理管理器1608停止处理和编码图像。
E.时间噪声降低
一些实施例包括处理视频图像，以降低视频中的噪声的特殊的时间噪声降低模块。一些实施例的时间噪声降低模块比较视频序列中的后续图像，以识别和从视频中消除有害的噪声。
图19概念地图解说明一些实施例的这种时间噪声降低(TNR)模块190的软件体系结构。一些实施例把TNR模块1900实现成应用的一部分(例如，实现成如图3中所示的媒体交换模块的一部分)，而其它实施例把TNR模块1900实现成由其它应用使用的独立应用。除此以外的其它实施例把TNR模块1900实现成在双照相机移动设备上运行的操作系统的一部分。在一些实施例中，TNR模块1900由一组API实现，所述一组API向其它应用提供TNR模块1900的一些或全部功能。
如图19中所示，TNR模块1900包括TNR管理器1905、差分模块1910、像素平均模块1915和运动历史模块1920。尽管图19把三个模块1910、1915和1920表示成独立的模块，不过一些实施例在单个模块中实现下面说明的这些模块的功能。一些实施例的TNR模块1900接收输入图像、基准图像和运动历史作为输入。在一些实施例中，输入图像是目前正在处理的图像，而基准图像是视频序列中输入图像与之比较的在先图像。TNR模块1900输出输出图像(一种形式的噪声降低的输入图像)和输出运动历史。
一些实施例的TNR管理器1905指引数据在TNR模块1900内的流动。如图所示，TNR管理器1905接收输入图像、基准图像和运动历史。TNR管理器1905还输出输出图像和输出运动历史。TNR管理器1905把输入图像和基准图像发送给差分模块1910，从差分模块1910接收差分图像。
在一些实施例中，差分模块1910处理从TNR管理器1905接收的数据，并把处理后的数据发送给TNR管理器1905。如图所示，差分模块1910从TNR管理器1905接收输入图像和基准图像。一些实施例的差分模块1910通过从另一个图像的像素值中减去一个图像的像素值，产生差分图像。差分图像被发送给TNR管理器1905。一些实施例的差分图像指示两个图像之间的差异，以便识别与前一图像相比，输入图像的已发生变化的部分，和输入图像的保持不变的部分。
TNR管理器1905还把输入图像和基准图像发送给像素平均模块1915。如图所示，一些实施例还把运动历史发送给像素平均模块1915。不过，其它实施例可以只发送输入图像和基准图像，而不发送运动历史。在任何一个实施例中，TNR管理器1905都从像素平均模块1915接收处理后的图像。
一些实施例的像素平均模块1915利用运动历史来确定是否关于图像中的特定位置，从输入图像和基准图像中获得像素的平均值。在一些实施例中，运动历史包括输入图像中的每个像素的概率值。特定的概率值代表相对于基准图像中的对应像素，输入图像中的对应像素已发生变化(即，动态像素)的概率。例如，如果输入图像中的特定像素的概率值为20，那么指示相对于基准图像中的对应像素，输入图像中的特定像素已变化的概率为20％。作为另一个例子，如果输入图像中的特定像素的概率值为0，那么指示相对于基准图像中的对应像素，输入图像中的特定像素未变化(即，静态像素)。
不同的实施例不同地保存输入图像的概率值。一些实施例可把输入图像的每个像素的概率值保存在一个数据阵列中。其它实施例可把概率值保存在维数与视频的图像的分辨率相同的矩阵中(例如，一组阵列中)。例如，如果视频的图像的分辨率为320×240，那么矩阵也为320×240。
当除了输入图像和基准图像之外，像素平均模块1915还从TNR管理器1905接收到运动历史时，像素平均模块1915读取输入图像中的每个像素的概率值。如果输入图像中的特定像素的概率值低于规定的阈值(例如，5％，20％)，那么像素平均模块1915根据在该特定像素，大概不会存在运动，从而在该像素的图像之间的差异可能归因于噪声的假定，求该特定像素值和基准图像中的对应像素值的平均值。
如果输入图像中的特定像素的概率值不低于规定的阈值，那么像素平均模块1915不修改输入图像的特定像素(即，在该像素的像素值保持和输入图像中的一样)。这是因为运动很可能位于该特定像素，从而图像之间的差异很可能不是噪声的结果。在一些实施例中，当运动历史不被发送给像素平均模块1915时，像素平均模块1915求输入图像中的每个像素与基准图像中的对应像素的平均值。由像素平均模块1915输出并被发送给TNR管理器1905的处理后的图像包括未被平均的任何像素的输入图像像素值，和被像素平均模块1915平均的任何像素的平均像素值。
在一些实施例中，运动历史模块1920处理从TNR管理器1905接收的数据，并把结果数据回送给TNR管理器1905。一些实施例的运动历史模块1920从TNR管理器1905接收输入图像和运动历史。一些实施例把该数据输入Bayes估计器，以便产生可在关于下一个输入图像的像素平均中使用的新的运动历史(即，一组概率值)。其它实施例使用其它估计器来产生新的运动历史。
现在参考图20，说明TNR模块1900的操作。图20概念地图解说明一些实施例的降低视频的图像的时间噪声的处理2000。从TNR管理器1905接收(在2005)输入图像、基准图像和运动历史开始处理2000。输入图像是目前为了降噪而处理的图像。在一些实施例中，基准图像是从CIPU接收的视频的图像序列中的前一个图像。不过，在其它实施例中，基准图像是由前一个输入图像的处理产生的输出图像(即，TNR模块1900的输出)。运动历史是由前一个输入图像的处理产生的输出运动历史。
当输入图像是视频的第一个图像时，一些实施例的TNR模块1900并不处理第一个图像(即，不对第一个图像应用TNR)。换句话说，TNR管理器1905接收第一个图像，并且只是输出第一个图像。在其它实施例中，当输入图像是视频的第一个图像时，第一个图像被用作输入图像和基准图像，TNR模块1900如下所述处理该图像。此外，当输入图像是视频的第一图像时，运动历史为空(即，空值，全为零，等等)，TNR管理器1905只是输出空的运动历史，作为输出运动历史。
TNR管理器1905随后确定(在2010)输入图像是否是静态的。为了做出该确定，一些实施例把输入图像和基准图像发送给差分模块1910，从差分模块1910接收差分图像。当两个图像之间的差异低于规定的阈值(例如，5％差异，10％差异等)时，一些实施例把输入图像分类为静态图像。
当输入图像是静态图像时，TNR管理器1905把输入图像和基准图像发送给像素平均模块1915，以计算(在2015)输入图像的像素与基准图像的像素的平均值，以便从静态图像中减少任何噪声。处理随后进入下面说明的操作2040。
当输入图像不是静态图像时，TNR管理器把输入图像、基准图像和运动历史发送给像素平均模块1915以便处理。像素平均模块1915选择(在2020)输入图像中的一个像素。通过利用运动历史，像素平均模块1915确定(在2025)像素的运动概率是否低于特定阈值，如上所述。
如果所选像素的概率低于特定阈值，那么像素平均模块1915计算(在2030)输入图像的所述像素与基准图像中的对应像素的平均值。否则，该像素不被求平均值，并且输出图像将与在所述特定像素的输入图像相同。像素平均模块1915随后确定(在2035)在输入图像中是否剩有任何未选择的像素。如果存在还未被处理的任何像素，那么处理返回操作2020以选择下一个像素。像素平均模块1915执行操作2020-2030，直到评估了所有像素为止。
处理随后更新(在2040)运动历史。如图19中所示和如上所述，运动历史模块1920根据输入图像更新运动历史。新的运动历史连同来自像素平均模块的处理后图像一起由TNR管理器输出。
F.图像处理管理器&编码器
除了由CIPU和/或CIPU驱动器执行的时间噪声降低和图像处理操作之外，一些实施例在视频会议模块925的图像处理层930执行各种图像处理操作。这些图像处理操作可包括曝光调整、焦距调整、透视校正、动态范围的调整和图像缩放等等。
图21概念地图解说明执行这样的图像处理操作的处理2100。在一些实施例中，处理2100的一些或全部操作由图16的图像处理管理器1608和编码器驱动器1635的组合执行。在一些这样的实施例中，图像处理管理器1608执行基于像素的处理(例如，缩放、动态范围调整、透视校正等)。一些实施例在视频会议期间，对将被传送给参与视频会议的另一个设备的图像执行处理2100。
现在参考图16，说明处理2100。通过从缓冲器1606取回(在2105)图像，开始该处理。在一些实施例中，取回的图像是视频的图像(即，图像序列中的一个图像)。该视频可由在其上执行处理2100的设备的照相机拍摄。
随后，处理2100对取回的图像执行(在2110)曝光调整。一些实施例通过显示在双照相机移动设备上的用户界面，进行曝光调整。图22图解说明这种实施例的示例曝光调整操作。
图22参考设备2200的UI 2205的三个阶段2210、2215和2220，说明曝光调整操作。第一阶段2210图解说明包括显示区2225和显示区1155的UI 2205。如图所示，显示区2225显示太阳和脸及身体都暗黑的男士的图像2230。暗黑的脸和身体显示该男士未得到恰当曝光。图像2230可以是由设备2200的照相机拍摄的视频图像。如图所示，显示区1155包括用于结束视频会议的可选UI项目2250。在一些实施例中，显示区1155的布局与上面说明的图12的显示区1155的布局相同。
第二阶段2215图解说明设备2200的用户通过选择显示区2225的某一区域，发起曝光调整操作。在这个例子中，通过把手指2235放在显示区2225内的任何地方实现选择。在一些实施例中，用户从可能的图像设置调整的菜单中选择曝光调整。
第三阶段2220显示在完成曝光调整操作之后，所述男士的图像2240。如图所示，图像2240类似于图像2230，不过图像2240中的男士被恰当曝光。在一些实施例中，恰当曝光的图像是在不恰当曝光的图像之后拍摄的图像。在第二阶段2215中发起的曝光调整操作调整由设备2200的照相机拍摄的后续图像的曝光。
返回图21，处理2100随后对图像执行(在2115)焦距调整。一些实施例通过显示在双照相机移动设备上的用户界面，进行焦距调整。图23概念地图解说明这种焦距调整操作的例子。
图23参考设备2300的UI 2305的三个不同阶段2310、2315和2320，图解说明焦距调整操作。第一阶段2310图解说明包括显示区2325和显示区1155的UI 2305。显示区2325呈现由设备2300的照相机拍摄的男士的模糊图像2330。这种模糊说明该男士的图像2330未对准焦点。即，当照相机拍摄该男士的图像2330时，照相机的透镜未被聚焦于该男士。另外，图像2330可以是由设备2300的照相机拍摄的视频图像。如图所示，显示区1155包括用于结束视频会议的可选UI项目2350。在一些实施例中，显示区1155的布局和上面说明的图12的显示区1155的显示区1155的布局相同。
第二阶段2315图解说明设备2300的用户通过选择显示区2325的一个区域，发起焦距调整操作。在这个例子中，通过把手指2335放在显示区2225内的任何地方实现选择。在一些实施例中，用户从可能的图像设置调整的菜单中选择焦距调整。
第三阶段2320显示在完成焦距调整操作之后，所述男士的图像2340。如图所示，图像2340和图像2330相同，不过图像2340中的男士显得更清晰。这说明照相机的透镜被恰当地聚集于该男士。在一些实施例中，恰当聚焦的图像是在不恰当焦距的图像之后拍摄的图像。在第二阶段2315中发起的焦距调整操作调整由设备2300的照相机拍摄的后续图像的焦距。
返回图21，处理2100对图像进行(在2120)图像缩放。一些实施例对图像进行图像缩放，以减少用于对图像编码的比特数(即，降低比特率)。在一些实施例中，处理2100进行图像缩放，如下面参考图26所述。
处理2100随后对图像进行(在2125)透视校正。在一些实施例中，处理2100进行透视校正，如下在图24中所述。这样的透视校正涉及利用由识别双照相机移动设备的定向和移动的一个或多个加速计和/或陀螺仪传感器获得的数据。所述数据随后被用于修改图像，以校正不正确的透视。
在对图像进行透视校正之后，处理2100调整(在2130)图像的动态范围。在一些实施例中，图像的动态范围是图像中的每个像素能够具有可能值的范围。例如，具有0-255的动态范围的图像可被调整到0-128的范围，或者任何其它数值范围。调整图像的动态范围可减少将用于对图像编码的比特的数量(即，降低比特率)，从而使图像平滑。
调整图像的动态范围还可用于各种其它目的。一个目的是减少图像噪声(例如，图像是由有噪声的照相机传感器拍摄的)。为了减少噪声，可以调整图像的动态范围，使得暗电平被重新定义，以包括浅黑(即，粉碎的黑色(crush black))。以此方式，图像的噪声被减少。动态范围调整的另一个目的是调整一种或多种颜色或者颜色范围，以便增强图像。例如，一些实施例可假定正面照相机拍摄的图像是人脸的图像。因此，可以调整该图像的动态范围，以增强红色和粉红色，使人的面颊显得红润/更红润。动态范围调整操作还可用于其它目的。
最后，处理2100确定(在2135)用于对图像编码的一个或多个速率控制器参数。在一些实施例中，这样的速率控制器参数可包括量化参数和帧类型(例如，预测帧、双向帧、帧内编码帧)。该处理随后结束。
尽管处理2100的各个操作被图解表示成按照特定的顺序执行，不过，普通技术人员会认识到这些操作中的许多操作(曝光调整、焦距调整、透视校正等)可按照任意顺序执行，并且彼此无关。即，一些实施例的处理可在曝光调整之前进行焦距调整，或者可对图21中图解说明的处理进行类似的修改。
1.透视校正
如上所述，一些实施例在显示或传送图像之前，对图像进行透视校正。在一些情况下，双照相机移动设备上的一部或多部照相机不会完全面向其被摄物体，并且在未校正的图像中，被摄物体会显得失真。可以使用透视校正来处理图像，使得图像将忠实地反映图像中的被摄对象在人看来的样子。
图24概述地图解说明由一些实施例的图像处理管理器，比如图16中图解说明的图像处理管理器执行的透视校正处理2400。一些实施例的处理2400由图9中所示的图像处理层930(它可包含图像处理管理器1608)执行。一些实施例在处理2100的操作2125执行处理2400，以便在显示或传送最近拍摄的视频图像之前，校正所述图像的透视。
处理2400从自加速计传感器接收(在2405)数据开始，在一些实施例中，所述加速计传感器是双照相机移动设备的一部分。一些实施例的加速计传感器测量沿着一个或多个轴的设备的速度的变化率(即，设备的加速度)。该处理还从陀螺仪传感器接收(在2410)数据，在一些实施例中，所述陀螺仪传感器也可以是双照相机移动设备的一部分。一些实施例的陀螺仪和加速计传感器可被单独地或者组合地用于识别双照相机移动设备的定向。
随后，处理2400根据从加速计和陀螺仪传感器获得的数据，确定(在2415)要进行的透视校正量。通常，当所述定向离轴更远时，为了产生最佳的图像，需要更多的透视校正。一些实施例根据设备的定向，计算代表透视校正量的扭曲参数(warp parameter)。
在确定要进行的透视校正量之后，处理2400接收(在2420)由双照相机移动设备的照相机拍摄的图像。可对由该照相机拍摄的视频序列中的每个图像进行所述处理。一些实施例可对分别来自双照相机移动设备上的两部照相机的每个图像进行单独的计算。
所述处理随后根据确定的透视校正量，修改(在2425)图像。除了扭曲参数或者透视校正量的其它表示之外，一些实施例还使用基线图像或者其它信息(例如，用户输入的应关于其进行校正的点)。在修改图像之后，处理2400结束。
图25概念地图解说明一些实施例的示例图像处理操作。图25图解说明由不使用透视校正的第一图像处理模块2520执行的第一图像处理操作2505，和由使用透视校正的第二图像处理模块2565执行的第二图像处理操作2550。
如图所示，对由成一定角度向下观看块体的空间透视产生的块体2515的第一图像2510进行第一图像处理操作2505。与块体2515的底部相比，块体的顶部离所述透视更近。因而，块体2515显得朝着拍摄第一图像2510的照相机倾斜。图25还表示了在由第一图像处理模块2520处理之后的处理后的第一图像2525。如图所示，处理后的第一图像2525中的块体2515出现相同的后处理，因为第一图像处理模块2520未进行任何透视校正。
对块体2560的第二图像2555进行第二图像处理操作2550。块体2560和第一图像2510中的块体2515相同。图25还表示在由第二图像处理模块2565的透视校正器2570进行第二图像2555的处理之后的处理后的第二图像2575。透视校正器2570可使用处理2400，以便校正第二图像2555的透视。根据来自加速计和陀螺仪的指出拍摄第二图像2555的照相机成向下的角度倾斜的数据(可能还根据其它数据)，透视校正器2575能够校正第二图像，使得在处理后的第二图像2575中，块体看来好像是笔直地观看的。
2.缩放和比特流处理
图像缩放和比特流处理属于在上面参考图21说明的由一些实施例的图像处理层930执行的功能之列。图像缩放(在操作2130进行)涉及在一些实施例中比例放大或比例缩小图像(即，修改用于表示该图像的像素的数目)。在一些实施例中，比特流处理涉及把指示缩放后图像的大小的数据插入比特流中。在一些实施例中，这种缩放和比特流处理由编码器驱动器(例如，驱动器1635)执行。
图26概念地图解说明一些实施例的这种编码器驱动器2600的软件体系结构，并且显示由编码器驱动器2600对示例图像2605进行的示例缩放和比特流处理操作。在一些实施例中，图像2605是由双照相机移动设备的照相机拍摄的、用于传送给视频会议中的另一个设备的视频的图像。参见图16，在一些实施例中，视频图像已通过CIPU驱动器1630和照相机源模块1622从CIPU 1650传播到缓冲器1606，图像处理管理器1608从缓冲器1606取回所述视频图像。在图像处理管理器1608中经过图像处理(例如，焦距调整、曝光调整、透视校正)之后，图像通过缓冲器1610和视频压缩模块1624被发送给编码器驱动器1635。
如图所示，编码器驱动器2600包括处理层2610和速率控制器2645。在下面说明的图30中图解说明了一些实施例的速率控制器的例子。处理层2610包括图像缩放器2615和比特流管理器2625。在一些实施例中，这些模块在图像被编码之前和之后对图像进行各种操作。尽管在本例中，图像缩放器被表示成编码器驱动器2600的处理层2610的一部分，不过一些实施例把图像缩放器实现成图像处理管理器1608而不是编码器驱动器2600的一部分(即，在把图像和大小数据发送给编码器驱动器之前进行图像缩放)。
如图所示，在图像通过速率控制器2645被发送给编码器2650之前，图像缩放器2615缩放图像。图像2605通过缩放器2615被发送并被比例缩小成图像2630。除了比例缩小图像之外，一些实施例还能够比例放大图像。
如图26中所示，一些实施例比例缩小输入的图像(例如，图像2605)，随后把比例缩小的图像(例如，2630)重叠在空间冗余图像(例如，图像2635)上，所述空间冗余图像的大小(就像素来说)与输入图像相同(即，图像2605的像素的行数和列数与空间冗余图像2635的像素的行数和列数相同)。一些实施例把比例缩小的图像2630重叠在空间冗余图像的左上角(如图所示，以产生合成图像2640)，而其它实施例把比例缩小的图像重叠到空间冗余图像的不同部分(例如，中央、左上角、正上方、正下方、右下方等等)。
在一些实施例中，空间冗余图像是基本上全部为一种颜色(例如，黑色、蓝色、红色、白色等)，或者具有重复图案(例如，方格、条纹等)的图像。例如，图26中所示的空间冗余图像2635具有重复的十字形图案。由于重复性的缘故，合成图像2640的空间冗余部分能够容易地被编码器压缩成少量的数据。此外，如果一系列的图像都被比例缩小，并且对序列中的每个图像来说，使用的空间冗余图像都相同，那么时间压缩可被用于进一步减少为呈现编码图像所需要的数据的量。
图像缩放器2615的一些实施例还产生指示缩放后的图像的大小(例如，比例缩放的图像2630的大小)的大小数据2620，并把产生的大小数据2620发送给比特流管理器2625。一些实施例的大小数据2620按照缩放后的图像2630的像素的行数和像素的列数(即，高度和宽度)，指示缩放后的图像2630的大小。在一些实施例中，大小数据2620还指示缩放后的图像2630在合成图像2640中的位置。
在图像被缩放之后，合成图像2640通过速率控制器2645被发送给编码器2650。在一些实施例中，如下进一步详细所述，速率控制器2645控制由编码器2650输出的图像的比特率(即，数据大小)。一些实施例的编码器2650压缩和编码图像。编码器2650可以使用H.264编码或者另一种编码方法。
一些实施例的比特流管理器2625从编码器2650接收一个或多个编码图像的比特流，并把大小数据插入比特流中。例如，在一些实施例中，比特流管理器2625从图像缩放器2615接收大小数据2620，并把大小数据2620插入从编码器2650接收的编码合成图像2640的比特流2655中。这种情况下，比特流管理器2625的输出是包括大小数据2620的修改后的比特流2660。不同的实施例把大小数据2620插入比特流2655中的不同位置。例如，比特流2660显示大小数据2620被插入在比特流2660的开始。不过，其它实施例把大小数据2620插入在比特流2655的结尾、插入在比特流2655的中间、或者插入在比特流2655内的任何其它位置。
在一些实施例中，比特流2655是包括合成图像2640的一系列的一个或多个编码图像的比特流。在一些这样的实施例中，该系列中的图像都被缩放到相同的大小，并且大小数据2620指示这些缩放后的图像的大小。在图像被传送给在视频会议另一端的设备之后，接收设备能够从比特流中提取大小信息，并利用所述大小信息正确地解码接收的图像。
图27概念地图解说明由双照相机移动设备的编码器驱动器，比如驱动器2600执行的图像缩放处理2700。处理2700从接收(在2705)由双照相机移动设备的照相机拍摄的图像(例如，图像2605)开始。当双照相机设备用两部照相机拍摄图像时，一些实施例对来自两部照相机的图像执行处理2700。
随后，处理2700缩放(在2710)接收的图像。如上所述，不同的实施例不同地缩放图像2605。例如，图26中的图像2605被比例缩小并被重叠在空间冗余图像2635上，从而产生合成图像2640。
处理2700随后把缩放后的图像(例如，包括缩放后的图像2630的合成图像2640)发送给(在2715)编码器2650，以便编码。处理2700的一些实施例把缩放后的图像2630(包括在合成图像2640中)通过确定编码器编码图像的比特率的速率控制器发送给编码器2650。一些实施例的编码器2650压缩和编码图像(例如，利用离散余弦变换、量化、熵编码等等)，并把带有编码图像的比特流返回给编码器驱动器2600。
随后，处理2700把指示缩放后的图像的大小的数据(例如，大小数据2620)发送给(在2720)比特流管理器。如图26中所示，在一些实施例中，该操作是在编码器驱动器2600中进行的(即，编码器驱动器2600中的一个模块把大小数据发送给编码器驱动器2600中的另一个模块)。
在缩放后的图像被编码器2650编码之后，处理2700从编码器接收(在2725)比特流。如图所示，一些实施例在另外已接收大小数据的比特流管理器接收所述比特流。接收的比特流包括编码的合成图像，还可包括视频序列中的一个或多个另外的图像。
处理2700随后把指示缩放后的图像的大小的数据(例如，大小数据2620)插入比特流中，随后结束。如图26中所示，在一些实施例中，该操作也是由比特流管理器执行的。如上所述，不同的实施例把大小数据插入比特流的不同部分。在图解说明的例子中，大小数据2620被插入在比特流2655的开始处，如所得到的比特流2660中所示。现在，该比特流可被传送给参与视频会议的另一个设备，在所述另一个设备，该比特流能够被解码和观看。
在一些实施例中，解码器驱动器(例如，驱动器1640)执行编码器驱动器的相反功能。即，解码器驱动器从接收的比特流提取大小数据，把比特流传送给解码器，并利用大小数据缩放解码的图像。图28概念地图解说明一些实施例的这种解码器驱动器2800的软件体系结构，并且表示由解码器驱动器2800对示例的比特流2825进行的示例比特流处理和缩放操作。
在一些实施例中，比特流2825是包括由视频会议中的一个设备的照相机拍摄的视频的编码图像的比特流(例如，来自诸如驱动器2600之类的编码器驱动器的比特流)，并被传送给解码器驱动器2800所运行于的设备。参见图16，在一些实施例中，该比特流已被连网管理器1614接收，并被发送给缓冲器1616，所述比特流从缓冲器1616被视频解压缩模块1626取回，并被发送给解码器驱动器1640。
如图所示，解码器驱动器2800包括处理层2805。处理层2805包括图像缩放器2810和比特流管理器2820。在一些实施例中，这些模块2810和2820在图像被解码之前和之后，对接收的图像进行各种操作。尽管在本例中，图像缩放器2810被表示成解码器驱动器2800的处理层2805的一部分，不过，一些实施例把图像缩放器实现成图像处理管理器1608，而不是解码器驱动器的一部分(即，在从解码器驱动器2800发送图像之后，进行图像缩放)。
如图所示，一些实施例的比特流管理器2820接收一个或多个编码图像(即，视频序列中的图像)的比特流，并从该比特流中提取大小数据，之后把比特流发送给解码器2835进行解码。例如，如图28中所示，比特流管理器2820接收一个编码图像的比特流2825，从比特流2825提取大小数据2815，并把得到的比特流2830(没有大小数据2815)发送给解码器2835进行解码。如图所示，在一些实施例中，比特流管理器2820把提取的大小数据2815发送给图像缩放器2810。
一些实施例的大小数据2815和由编码器驱动器2600插入比特流中的大小数据2620相同。如上在图26的说明中所述，一些实施例的大小数据2815按照子图像2845的像素的行数和像素的列数，指示子图像2845的大小。大小数据2815还可指示子图像2845在更大的空间冗余图像2840内的位置。在这个例子中，比特流2825显示插入在比特流2825的开始处的大小数据2815。不过，如上所述，不同的实施例把大小数据2815插入比特流2825的不同位置。
一些实施例的图像缩放器2810利用从比特流管理器2820接收的大小数据，从图像中提取子图像。例如，图28图解说明图像缩放器2810从解码器2835接收包括子图像2845的图像2840。如图所示，一些实施例的图像缩放器2810从图像2840提取子图像2845。提取的图像随后可被显示在双照相机移动设备上。
图29概念地图解说明一些实施例的由参与视频会议的设备的解码器驱动器，比如驱动器2800执行的图像提取处理2900。通过接收(在2905)编码图像的比特流(例如，比特流2825)，开始该处理。所述比特流可以发送自与解码器驱动器所运行于的设备进行视频会议的另一个设备，或者可被保存在所述设备的存储器中。当所述设备从多个来源接收图像时，一些实施例对来自每个来源的图像进行处理2900。
随后，处理2900从比特流提取(在2910)大小数据。如上所述，可在比特流中的不同位置找到所述大小数据。一些实施例知道在何处寻找所述大小数据，而其它实施例寻找特定的标记，所述标记指出所述大小数据位于接收的比特流中的何处。在一些实施例中，大小数据指出子图像的大小(例如，每一行中的像素数和每一列中的像素数)和子图像在编码图像中的位置。
处理2900随后把提取的大小数据发送给(在2915)图像缩放器。如图28中所示，在一些实施例中，该操作是在解码器驱动器内进行的(即，解码器驱动器中的一个模块把大小数据发送给解码器驱动器中的另一个模块)。
处理2900还把比特流发送给(在2920)解码器，以便解码。在一些实施例中，解码器解压缩和解码比特流(例如，利用反向离散余弦变换、反向量化等)，并把重构的图像返回给解码器驱动器。
在比特流被解码器解码之后，处理2900从解码器接收(在2925)解码图像。如图所示，一些实施例在还已从比特流管理器接收大小数据的图像缩放器接收解码图像。处理随后利用接收的大小数据，从解码图像提取(在2930)子图像。如图所示，如大小数据2815中所示那样，从解码图像2840的左上角提取子图像2845。现在，提取的子图像可被显示在显示设备(例如，双照相机移动设备的屏幕)上。
3.速率控制器
在一些实施例中，设备的两部照相机具有不同的多组特性。例如，在一些实施例中，正面照相机是为运动视频图像的拍摄而优化的较低分辨率照相机，而背面照相机是为静止图像的拍摄而优化的较高分辨率照相机。由于诸如设备的成本、功能和/或几何形状之类的各种原因，其它实施例可以使用不同特性的照相机的不同组合。
具有不同特性的照相机能够引入不同的伪像。例如，与较低分辨率照相机相比，较高分辨率照相机会显示更多的噪声。与由较低分辨率照相机拍摄的图像相比，由较高分辨率照相机拍摄的图像会表现出更高水平的空间或时间复杂性。另外，具有不同光学性质的不同照相机会在拍摄的图像中引入不同的γ值。由不同的照相机用于拍摄图像的不同感光机构也会引入不同的伪像。
这些照相机特有的伪像中的一些隐藏由其它来源产生的伪像。例如，在由具有高水平噪声的高分辨率照相机拍摄的图像中，作为视频编码处理的副产物的伪像变得不太可见。当编码噪声(比如量化失真)隐藏在照相机特有的伪像之后时，视频编码处理可使用更大的量化步长来获得较小的比特率。另一方面，当照相机引入较少的伪像时(比如就较低分辨率照相机来说)，视频编码处理能够利用更细小的量化步长，以便避免由量化引起的不可接受的视觉失真水平。从而，与忽视这些照相机特有的特性的视频编码处理相比，优化成利用或者补偿这些照相机特有的特性的视频编码处理能够获得更好的速率-失真折衷。
为了把这些照相机特有的特性用于实现速率-失真折衷，一些实施例实现分别相对于两部照相机的每个照相机优化的两种视频编码处理。图30图解说明具有关于两部照相机3060和3070的两个视频编码处理的系统的例子。如图30中所示，系统3000包括编码器驱动器3010、速率控制器3020和3040、和视频编码器3030。编码器3030把从视频照相机3060和3070拍摄的视频图像编码成比特流3080和3090。
在一些实施例中，视频编码器驱动器3010是一个或多个处理单元上运行的软件模块。它提供视频编码器303和系统的其它组件，比如视频照相机、图像处理模块、网络管理模块和存储缓冲器之间的接口。编码器驱动器3010控制拍摄的视频图像从照相机和图像处理模块到视频编码器3030的流动，它还提供编码比特流3080和3090到存储缓冲器和网络管理模块的管道。
如图30中所示，编码器驱动器3010包括速率控制器的两个不同实例3020和3040。这些多个实例可以是用于两部不同照相机的两个不同的速率控制器，或者是关于两部不同的照相机，按照两种不同的方式配置的一个速率控制器。具体地说，在一些实施例中，这两个速率控制器3020和3040代表两个单独的速率控制器。另一方面，在其它实施例中，这两个速率控制器3020和3040是单个速率控制器的两种不同配置。
图30还显示包括状态缓冲器3015的编码器驱动器3010，状态缓冲器3015保存在视频会议期间使用的速率控制操作的编码状态信息。具体地说，在一些实施例中，这两个不同的速率控制器，或者相同速率控制器的两种不同配置在视频会议期间，共享保存在状态缓冲器3015中的相同的编码状态信息。状态信息的这种共享允许双视频拍摄视频会议中的统一的速率控制器操作。这种共享还允许单视频拍摄视频会议中，切换照相机操作期间的最佳视频编码(即，允许关于当前照相机所摄视频的编码的速率控制操作使用由关于前一照相机所摄视频的编码的速率控制操作保持的编码状态信息)。图30把状态缓冲器3015表示成编码器驱动器3010的一部分，不过其它实施例可在编码器驱动器3010之外实现状态缓冲器3015。
在状态缓冲器3015中，不同的实施例保存代表编码状态信息的不同类型的数据(例如，不同类型的编码参数)。这种编码状态信息的一个例子是视频会议的当前目标比特率。上面在III.B节中说明了识别目标比特率的一种方式。这种编码状态信息的其它例子包括缓冲器充满度、最大缓冲器充满度、一个或多个最近编码的帧的比特率、以及其它编码状态信息。
速率控制器随后能够使用目标比特率(或者保存在状态缓冲器中的另一个编码状态参数)来计算在其速率控制操作中使用的一个或多个参数。例如，如下进一步所述，一些实施例的速率控制器使用当前的目标比特率来计算宏块或帧的量化参数QP。例如，一些实施例利用当前的目标比特率来计算量化调整参数，这些实施例从量化调整参数得到宏块和/或帧的量化参数QP。因此，在视频会议中的照相机切换操作期间，在(两个速率控制器，或者一个速率控制器的两种不同配置的)两种速率控制操作之间共享目标比特率允许对当前照相机拍摄的视频编码的速率控制操作受益于对前一照相机拍摄的视频编码的在先速率控制操作的编码状态数据。
图30图解说明包括两个不同的速率控制器实例3020和3040的编码器驱动器3010。不过，在其它实施例中，这些速率控制器实例3020和3040被内置到视频编码器3030中。视频编码器3030把由照相机3060和3070拍摄的视频图像编码成数字比特流3080和3090。在一些实施例中，视频编码器产生符合常规的视频编码标准(例如，H.264MPEG-4)的比特流。在一些这样的实施例中，视频编码器执行包括运动估计、离散余弦变换(“DCT”)、量化和熵编码的编码操作。视频编码器还进行与编码操作的功能相反的解码操作。
在一些实施例中，编码器3030包括用于进行量化的量化器模块3032。量化器模块由来自速率控制器3020或3040的量化参数3022或3042控制。在一些实施例中，每个量化参数由对应的速率控制器设定，并且是与该速率控制器相关的照相机的一种或多种属性的函数，如下进一步所述。速率控制器能够通过设定更大的量化步长减少用于编码的比特数，或者通过设定更小的量化步长增大所使用的比特数。通过控制量化步长，速率控制器还确定在编码的视频图像中会引入多少失真。从而，速率控制器能够实现比特率和图像质量之间的折衷。在实现速率-失真折衷时，速率控制器监控比特率，以便不会上溢存储缓冲器、下溢存储缓冲器、或者超过传输通道容量。速率控制器还必须控制比特率，以便提供最佳的可能图像质量和避免由量化引起的不可接受的图像质量失真。在一些实施例中，每个速率控制器把按照一组状态数据值表示的监控数据保存在状态缓冲器3015中。在一些实施例中，速率控制器3020和3040使用照相机特有的属性来优化速率-失真折衷。
在一些实施例中，每个速率控制器通过直接对其量化参数应用修正系数，优化速率-失真折衷。在一些这样的实施例中，修正系数是预先确定的并和照相机一起被内置在设备中；设备不需要动态计算这些修正系数。在其它实施例中，系统利用由照相机拍摄的输入图像，动态确定特定于照相机的适当修正系数。在一些这样的实施例中，系统在多次编码中，分析由照相机拍摄的一系列的输入视频图像，以收集关于照相机的某些统计数据。系统随后利用这些统计数据得到关于该照相机优化的量化参数的修正系数。
在一些实施例中，这些照相机特有的修正系数经由视频图像的视觉掩蔽属性，被应用于量化参数。图像或一部分图像的视觉掩蔽属性是在所述图像或图像部分中能够容忍多少编码伪像的指示。一些实施例计算量化所述图像或图像部分的亮度能量的视觉掩蔽属性，而其它实施例计算量化所述图像或图像部分的活化能或复杂性的视觉掩蔽属性。与如何计算视觉掩蔽属性无关，一些实施例利用视觉掩蔽属性来计算一个视频帧的修正或掩蔽量化参数。一些这样的实施例把掩蔽量化参数计算为帧级视觉掩蔽属性和基准视觉掩蔽属性的函数。在一些实施例中，用视频掩蔽属性和修正的量化参数被表示成：
其中MQPframe是帧的掩蔽或修正量化参数，QPnom是初始或标称量化值，以及βframe是适合于本地统计数据的常数。在一些实施例中，基准视觉掩蔽属性和标称量化参数QPnom是根据网络条件的初始或周期性评估预先确定的。
在一些实施例中，方程式(1)中的视觉掩蔽属性被计算为
其中avgFrameLuma是帧的平均亮度值，以及avgFrameSAD是帧的绝对差的平均值和数。常数α,β,C,D和E适合于本地统计数据。在一些实施例中，这些常数适合于照相机特有的特性。
一些实施例还计算视频图像的某一部分，比如宏块的掩蔽量化参数。在这些情况下，掩蔽量化参数被计算为宏块视觉掩蔽属性φMB的函数：
其中，在一些实施例中，βMB是适合于本地统计数据的常数，MQPframe是利用方程式(1)和(2)计算的。在一些实施例中，方程式(3)中的视觉掩蔽属性被计算为
其中avgMBLuma是宏块的平均亮度值，以及avgMBSAD是宏块的绝对差的平均值和数。常数α,β,A,B和C适合于本地统计数据。在一些实施例中，这些常数适合于照相机特有的特性。
胜于如上所述利用多个照相机特有的常数来计算修正的量化参数，一些实施例通过只利用单个照相机特有的系数来计算量化参数，实现特定于照相机的速率控制。例如，已知视觉掩蔽属性和以及量化参数QPframe，一些实施例利用单个照相机特有的系数μ来计算宏块的量化参数：
为了计算方程式(5)，一些实施例把帧和宏块的复杂性度量分别用作视觉掩蔽属性和
一些实施例在QPMB的计算中应用不同的照相机特有的系数。例如，在一些实施例中，QPMB被计算为
其中ρ是按照照相机特有的特性调整的系数。
如上所述，状态缓冲器3015保存在视频会议期间，两个不同的速率控制器实例3020和3040能够共享的编码状态信息，以便从它们的速率控制操作获得更好的编码结果。在一些实施例中，目标比特率RT是这种共享的状态信息的一个例子。该比特率是对一系列帧编码的理想比特率。一般来说，该比特率是用比特/秒为单位表示的，并且是根据比如上面在III.B节中描述的处理确定的。
如上所述，一些实施例的速率控制器利用目标比特率来计算它输出给视频编码器3030的帧和/或宏块量化参数QP。例如，一些实施例利用当前的目标比特率来计算量化调整参数，这些实施例从计算的量化调整参数得到宏块和/或帧的量化参数QP。在一些实施例中，量化调整参数是利用通过把前一帧的比特率，或者前一帧的比特率的运行期均值除以当前的目标比特率而计算的分数表示的。在其它实施例中，所述调整参数不是按照这种方式精确计算的，相反一般地说(1)正比于前一帧的比特率或者前一帧的比特率的运行期均值，和(2)反比于当前的目标比特率。
在计算这样的量化调整参数之后，一些实施例的速率控制器利用该参数调整它所计算的宏块和/或帧量化参数。进行这种调整的一种方式是把计算的宏块和/或帧量化参数乘以量化调整参数。进行这种调整的另一种方式是根据量化调整参数计算偏移量化参数值，随后把该偏移参数应用于计算的宏块和/或帧量化参数(例如减去)。这些实施例的速率控制器随后把调整的宏块和/或帧量化参数输出给视频编码器3030。
在其它实施例中，速率控制器利用目标比特率计算在其速率控制操作中使用的其它参数。例如，在一些实施例中，速率控制器利用该目标比特率修正宏块或帧的视觉掩蔽强度。
G.连网管理器
图31概念地图解说明一些实施例的连网管理器3100，比如图16中图解说明的连网管理器1614的软件体系结构。如上所述，连网管理器3100管理它所运行于的双照相机移动设备和视频会议中的远程设备之间的网络连接(例如，连接建立、连接监控、连接调整、连接中断等)。在视频会议期间，一些实施例的连网管理器3100还处理传送给远程设备的数据，和处理从远程设备接收的数据。
如图31中所示，连网管理器3100包括会话协商管理器3105、发射器模块3115、通用传输缓冲器3120、通用传输缓冲器管理器3122、虚拟传送协议(VTP)管理器3125、接收器模块3130和媒体传送管理器3135。
会话协商管理器3105包括协议管理器3110。协议管理器3110确保在视频会议期间，发射器模块3115使用正确的通信协议向远程设备传送数据，和强制服从使用的通信协议的规则。协议管理器3110的一些实施例支持多种通信协议，比如实时传送协议(RTP)、传送控制协议(TCP)、用户数据报协议(UDP)、和超文本传送协议(HTTP)，等等。
会话协商管理器3105负责建立双照相机移动设备和参与视频会议的一个或多个远程设备之间的连接，以及在会议之后中断这些连接。在一些实施例中，会话协商管理器3105还负责建立双照相机移动设备和视频会议中的远程设备之间的(例如，传送和接收视频和/或音频流的)多媒体通信会话(例如，利用会话发起协议(SIP))。
会话协商管理器3105还从媒体传送管理器3135接收反馈数据，根据反馈数据，通过通用传输缓冲器管理器3122，确定通用传输缓冲器3120的操作(例如，是传送还是丢弃分组/帧)。在一些实施例中，这种反馈可包括单向等待时间和带宽估计比特率。在其它实施例中，反馈包括分组丢失信息和往返延迟时间(例如，根据发送给视频会议中的远程设备的分组和来自远程设备的确认的接收确定的)。根据来自媒体传送管理器3135的信息，会话协商管理器3105能够确定是否正在发送过多的分组，和指令通用传输缓冲器管理器3122，让通用传输缓冲器3120传送较少的分组(即，如图15中所述调整比特率)。
发射器模块3115从视频缓冲器(例如，图16的缓冲器1612)取回编码图像(例如，以比特率的形式)，并对图像分包以便通过通用传输缓冲器3120和虚拟传送协议管理器3125，传送给视频会议中的远程设备。产生编码图像并把编码图像发送给发射器模块3115的方式可以基于从媒体传送管理器3115和/或会话协商管理器3105接收的指令或数据。在一些实施例中，对图像分包涉及把接收的比特流分成一组分组，每个分组均具有特定的大小(即，由会话协商管理器3105按照特定协议指定的大小)，和增加任何需要的报头(例如，地址报头、协议指定报头等等)。
通用传输缓冲器管理器3122根据从会话协商管理器3105接收的数据和/或指令，控制通用传输缓冲器3120的操作。例如，可以指令通用传输缓冲器管理器3122命令通用传输缓冲器3120传送数据、停止传送数据、丢弃数据等等。如上所述，在一些实施例中，当参与会议的远程设备好像丢失分组时，根据从远程设备接收的确认，能够识别这种情况。为了减少分组丢失，可以指令通用传输缓冲器管理器3122以较低的速率向远程设备传送分组。
通用传输缓冲器3120保存从发射器模块3115接收的数据，并且通过VTP管理器3125把该数据传送给远程设备。如上所述，根据从通用传输缓冲器管理器3122接收的指令，通用传输缓冲器3120可丢弃分组(例如，视频的图像)。
在一些实施例中，RTP被用于在视频会议期间通过UDP传递数据分组(例如，音频分组和视频分组)。其它实施例利用RTP在视频会议期间通过TCP传递数据分组。在不同的实施例中，也可使用其它传送层协议。
一些实施例用一对端口号(即，源端口号和目的地端口号)，定义两个移动设备之间的特定通信通道。例如，移动设备之间的一个通信通道可用一对端口号(例如，源端口50和目的地端口100)定义，以及移动设备之间的另一个不同的通信通道可用另一对不同的端口号(例如，源端口75和目的地端口150)定义。一些实施例还利用一对网际协议(IP)地址来定义通信通道。在一些实施例中，不同的通信通道被用于传送不同类型的数据分组。例如，可在单独的通信通道中传送视频数据分组、音频数据分组和控制信令数据分组。因而，视频通信通道传送视频数据分组，以及音频通信通道传送音频数据分组。
在一些实施例中，控制通信通道用于视频会议期间本地移动设备和远程设备之间的消息接发。这种消息接发的例子包括发送和接收请求、通知、以及对所述请求和通知的确认。消息接发的另一个例子包括从一个设备向另一个设备发送远程控制指令消息。例如，通过经本地设备的控制通信通道，从本地设备向远程设备发送远程控制远程设备的操作的指令，能够执行下面说明的远程控制操作(例如，指令设备只发送来自特定照相机的图像，或者只利用特定照相机拍摄图像)。不同的实施例利用不同的协议，比如实时传送控制协议(RTCP)、RTP扩展、SIP等实现所述控制通信。例如，一些实施例利用RTP扩展在视频会议中在两个移动设备之间传递一组控制消息，以及使用SIP分组在视频会议期间在所述两个移动设备之间传递另一组控制消息。
一些实施例的VTP管理器3125允许通过单一通信通道(例如，利用相同的一对端口号)，传送指定通过不同的通信通道(例如，利用不同的多对端口号)传送的不同类型的数据分组。用于此目的一种技术涉及识别数据分组类型，通过提取数据分组的一对指定的端口号识别数据分组被规定要通过其传送的通信通道，和通过把数据分组的一对端口号修改成所述单一通信通道的一对端口号来规定数据分组将通过所述单一通信通道传送(即，所有的数据分组通过相同的一对端口号被传送)。
为了明了每种数据分组的一对初始端口号，一些实施例保存相对于数据分组类型的一对初始端口号的映射。一些这样的实施例随后利用协议的分组类型字段来区分被多路复用到一个通信通道中的不同分组。例如，一些具有VTP管理器的实施例把音频、视频和控制分组多路复用到一个RTP流中，利用RTP分组类型字段来区分在一个RTP通道中被传送给视频会议中的另一个设备的音频、视频和控制分组。在一些这样的实施例中，VTP管理器还把SIP分组中的控制消息路由给所述另一个设备。
一些实施例识别检查数据分组签名(即，分组报头格式)，以区分利用不同的协议传递的不同分组(例如，区分利用RTP传送的分组和利用SIP传送的分组)。在这样的实施例中，在确定不同协议的数据分组之后，如上所述检查使用相同协议的数据分组(例如，利用RTP的音频数据和视频数据)的字段，以识别不同的数据类型。按照这种方式，VTP管理器3125通过单一通信通道，传送预定通过不同的通信通道传送的不同数据分组。
尽管上面说明了通过单一通信通道组合不同类型的数据的一种方式，不过其它实施例利用其它技术把不同的分组类型多路复用到一个通信流中。例如，一些实施例的一种技术涉及留意数据分组的一对初始端口号，并把所述一对初始端口号保存在数据分组本身中，以便稍后提取。还存在把两个视频会议参加者之间的不同类型的数据组合到一个端口对通道中的其它技术。
当VTP管理器3125通过虚拟通信通道，从远程设备接收到数据分组时，VTP管理器3125检查数据分组的签名以识别利用不同的协议发送的不同分组。这种签名可被用于区分SIP分组和RTP分组。一些实施例的VTP管理器还利用一些或全部分组的分组类型字段，多路分解被多路复用到单一虚拟化通道中的各种不同类型的分组(例如，音频、视频和控制分组)。在识别这些不同类型的分组之后，VTP管理器根据它保存的端口对号和分组类型的映射，把每个不同类型的分组和其对应的端口对号关联起来。VTP 3125随后用识别的一对端口号修改数据分组的一对端口号，并转发数据分组以便解包。在利用不同的技术把不同的分组类型多路复用到单一通道中的其它实施例中，VTP管理器使用不同的技术解析分组。
通过利用这样的技术多路复用和多路分解不同的分组，VTP管理器3125创建单一的虚拟化通信通道(例如，单对端口号)，通过所述单一的虚拟化通信通道传送视频数据、音频数据和控制信令数据，以及通过所述单一的虚拟化通信通道从远程设备接收音频、视频和控制分组。从而，从网络的观点来看，数据是通过所述单一的虚拟化通信通道传送的，而从会话协商管理器3105和协议管理器3110的观点来看，视频数据、音频数据和控制信令数据是通过不同的通信通道传送的。
类似于传送给视频会议中的远程设备的图像，从视频会议中的远程设备传送的图像是按分组格式接收的。接收器模块3130接收分组，并对分组解包以便重构图像，之后把图像保存在视频缓冲器(例如，图16的缓冲器1616)中以便解码。在一些实施例中，对图像解包涉及除去任何报头，和由分组重构只具有图像数据(可能有大小数据)的比特流。
媒体传送管理器3135处理从网络接收的反馈数据(例如，单向等待时间、带宽估计比特率、分组丢失数据、往返延迟时间数据，等等)，以动态和自适应地调整数据传输的速率(即，比特率)。在一些其它实施例中，媒体传送管理器3135还根据处理后的反馈数据控制容错，还可把反馈数据发送给视频会议管理器1604，以便调整视频会议模块1602的其它操作，比如比例缩放、大小调整和编码。除了当会议中的远程设备不能处理所有分组时，使通用传输缓冲器丢弃分组之外，视频会议模块和编码器能够使用较低比特率对图像编码，使得对每个图像来说将发送较少的分组。
在一些实施例中，媒体传送管理器3135还可监控设备的其它变量，比如会影响如何配置照相机的工作功率模式的功耗和热级，如上所述。该数据还可被用作加入反馈数据中的附加输入(例如，如果设备正变得过热，那么媒体传送管理器3135可设法使处理慢下来)。
现在参考图16，说明连网管理器3100的几个示例操作。首先说明把由双照相机移动设备的照相机拍摄的图像传送给视频会议中的远程设备，之后说明从远程设备接收图像。发射器模块3115从缓冲器1612取回将被传送给视频会议中的远程设备的编码图像。
协议管理器3110确定要使用的恰当协议(例如，传送音频和视频的RTP)，会话协商管理器3105把该协议通知给发射器模块3115。之后，发射器模块3115对图像进行分包，并把分包的图像发送给通用传输缓冲器3120。通用传输缓冲器管理器3122从会话协商管理器3105接收指令，以命令通用传输缓冲器3120传送或丢弃图像。VTP管理器3125从通用传输缓冲器3120接收分组，并处理分组，以便通过单一通信通道把分组传送给远程设备。
当从远程设备接收图像时，VTP管理器3125通过虚拟化的单一通信通道，从远程设备接收分包的图像，并处理分组以便通过分配用来接收图像的通信通道(例如，视频通信通道)，把图像引导到接收器模块3130。
接收器模块3130对分组解包以重构图像，并把图像发送给缓冲器1616，以便由解码器1660解码。接收器模块3130还把控制信令消息转发给媒体传送管理器3130(例如，来自视频会议中的远程设备的接收分组的确认)。
上面说明了连网管理器3100的几个示例操作。这些只是说明性的例子，因为各种其它实施例将利用不同的模块，或者在各种功能不同地分布在模块之间的情况下，执行这些操作或不同的操作。此外，连网管理器3100的模块或者其它模块可执行另外的操作，比如动态比特率调整。
IV.会议中调整和控制操作
A.画中画修改
1.锁定到角落(snap-to-corner)
本发明的一些实施例允许双照相机移动设备的用户通过来回移动构成合成显示的一个或多个显示区，修改显示在设备上的合成显示。一个这样的例子是来回移动PIP显示的插入显示区。图32图解说明在视频会议期间执行的这样一个例子。在视频会议中，由于各种原因，比如当前景插入显示区遮挡了背景显示区的感兴趣区域，用户可能想要移动前景插入显示区。
图32参考UI 3205的五个不同阶段3210、3215、3220、3225和3230，图解说明插入显示区3240在设备的UI 3205中的移动。第一阶段3210图解说明在该设备的本地用户和远程设备的远程用户之间的视频会议期间的UI 3205。图32中的UI 3205显示与在开始视频会议之后，在图11的第五阶段中显示的PIP显示相同的PIP显示。在这个例子中，由本地用户的设备拍摄的视频被显示在插入显示区3240中，由远程用户的设备拍摄的视频被显示在背景显示区3235中。如图所示，显示区1155包括用于结束视频会议的可选UI项目3245。在一些实施例中，显示区1155的布局与上面说明的图12的显示区1155的布局相同。
第二阶段3215图解说明用户通过选择插入显示区3240，启动锁定到角落操作。在这个例子中，通过把手指3255放在插入显示区3240内的任意地方，实现选择。如图所示，用插入显示区3240的粗边框3260，显示这种选择。不同的实施例可用不同的方式指出这样的选择，比如通过突出显示区3240，通过使显示区3240摆动等等。
第三阶段3220图解说明在用户开始把PIP显示3250的插入显示区3240从PIP显示3250中的一个区域移动到该PIP显示3250中的另一个区域之后的UI 3205。在这个例子中，插入显示区3240已开始从PIP显示3250的左下角移动到PIP显示3250的右下角，如箭头3265所示。在这个例子中，在第二阶段3215中选择插入显示之后，用户通过朝着PIP显示3250的右下角拖动其手指3255，移动插入显示区3240。一些实施例提供在PIP显示3250中来回移动插入显示区3240的其它技术。
第四阶段3225图解说明在用户从设备3200的屏幕上移开其手指3255之后的状态下的UI 3205。在这种状态下，插入显示区3240仍然朝着根据在第三阶段3220中的用户手指移动而被识别的PIP显示3250的右下角移动。换句话说，在手指3255开始朝着PIP显示3250的右下角移动插入显示区3240之后，即使移开了手指3255，UI 3205仍然保持这种移动。为了保持所述移动，在用户移开其手指3255之前，一些实施例的UI 3205要求用户的拖动操作大于特定的阈值量(例如，大于特定的距离，或者长于特定的时间)；否则，这些实施例会在稍微移动插入显示区3240之后，使插入显示区3240保持在其初始的左下角位置，或者根本不移动插入显示区3240。
不过，尽管即使用户在插入显示区到达其新位置之前，停止了他的拖动操作，一些实施例仍然允许插入显示区继续移动，不过其它实施例要求用户保持拖动操作，直到插入显示区到达其新位置为止。一些实施例提供移动插入显示区的其它技术。例如，一些实施例要求用户在插入显示区3240实际开始移动之前，指定要把插入显示区3240引导到何处，等等。一些实施例还通过仅仅以不同角度倾斜移动设备，使显示区可以滑动和锁定到角落。
第五阶段3230图解说明在插入显示区3240到达其位于PIP显示3250的右下角的新位置之后的UI 3205。在第五阶段3230中，粗边框3260的消除指示锁定到角落操作已完成。
为了使在上述第三、第四和第五阶段3220、3225和3230中图解说明的移动更容易，一些实施例的UI 3205采用一旦用户使插入显示区朝着PIP显示3250的某个角落移动，就允许插入显示区快速锁定到该角落的锁定规则(snapping rule)。例如，当用户朝着特定角落拖动插入显示区3240超过阈值量时，一些实施例的UI 3205识别插入显示区3240的运动方向，确定所述运动已超过阈值量，从而随后自动移动插入显示区3240，而不用用户进一步输入插入显示区3240可被锁定到的UI 3205中的下一个网格点。在一些实施例中，为锁定插入显示区3240而提供的唯一网格点是位于PIP显示3250的四个角落的网格点。其它实施例提供插入显示区3240可被锁定到的UI 3205中(例如，PIP显示3250中)的其它网格点(即，插入显示区3240的侧边或顶点可被置于其上或者与之对齐的其它网格点)。
另外的实施例可以不采用网格点，使得插入显示区可被置于PIP显示3250中的任意点。再另外的实施例提供允许用户打开或关闭UI的锁定到网格点特征。此外，除了从设备拍摄的视频之外，不同的实施例可允许用户对各种项目，比如图标等执行锁定到角落操作。
图33图解说明UI 3205中的锁定到角落操作的另外两个例子3330和3335。这些另外的锁定到角落操作显示根据用户的垂直或对角拖动操作，在PIP显示3250中被垂直或对角移动的插入显示区3240。
即使图32和33图解说明了插入显示区在PIP显示内的移动，不过普通技术人员会认识到其它实施例可以利用类似的技术在其它类型的PIP显示或其它类型的合成显示中移动显示区。例如，如下进一步所述，一些实施例的PIP显示具有两个或者更多的前景插入显示，通过利用与上面参考图32和33说明的技术类似的技术，能够在PIP显示中移动这些插入显示。另外，一些实施例利用类似的技术在合成显示中来回移动显示区(例如，通过用户拖动移动，把一个显示区从屏幕的左侧移动到屏幕的右侧)。此外，合成显示的一个或多个显示区的移动会导致双照相机移动设备的图像处理操作的变化，比如响应用户的输入，使视频会议管理器1604重新合成合成显示中的显示区。如下进一步所述，一些实施例采用当第二显示区被从第三位置移动到第一位置时，把第一显示区从第一位置推开的锁定和推送技术。
2.旋转
当用于视频会议的移动设备的用户在会议期间旋转所述移动设备时，一些实施例旋转在视频会议期间呈现的PIP显示。图34图解说明当使设备3400从垂直位置旋转到水平位置时，设备3400的UI1105的旋转。当屏幕的长边是垂直的时，设备3400被竖握，而当屏蔽的长边是水平的时，设备3400被横握。在图34中图解说明的例子中，UI 1105从为设备的竖握而优化的纵向视图旋转成为设备3400的横握而优化的横向视图。这种旋转功能使得当移动设备3400被竖握或横握时，用户都可以观看以直立位置显示的UI 1105。
图34按照六个不同的操作阶段3410、3415、3420、3425、3430和3435，图解说明UI 1105的旋转。第一阶段3410图解说明在该设备的本地用户和远程设备的远程用户之间的视频会议期间的UI1105。图34中的UI 1105显示与在建立视频会议之后，在图11的第五阶段中显示的PIP显示相同的PIP显示1180。在这个例子中，本地用户的设备拍摄的视频显示在插入显示区1160中，远程用户的设备拍摄的视频显示在背景显示区1170中。在PIP显示1180之下的显示区1155中包括用户可选择以结束视频会议(例如，通过单指轻点)的可选UI项目3485(例如，“结束会议(End Conference)”按钮3485)。
第二阶段3415图解说明在用户开始向一边倾斜设备3400之后的UI 1105。在这个例子中，用户开始把设备3400从被竖握倾斜到被横握，如箭头3460所示。UI 1105的外观没有变化。在其它情况下，用户可能改为想把设备3400从横握倾斜到被竖握，在这些情况下，UI1105从水平优化的视图切换成垂直优化的视图。
第三阶段3420图解说明在设备3400已从被竖握倾斜到被横握之后的状态下的UI 1105。在这种状态下，UI 1105的外观仍然没有变化。在一些实施例中，在使设备3400倾斜超过阈值量并保持超过阈值量一段时间之后，触发旋转操作。在图34中图解说明的例子中，假定阈值量和旋转速度不会导致UI 1105旋转，直到设备已放置在水平位置之后的较短时间间隔为止。不同的实施例具有用于触发旋转操作的不同阈值量和等待时间。例如，一些实施例可具有如此低的触发旋转操作的阈值，使得不管设备3400的定向，都使UI 1105显得好像它总是以直立位置被显示似的。在其它实施例中，设备3400的用户可以规定何时可以触发旋转操作(例如，通过菜单优先选择设置)。另外，一些实施例可在设备被倾斜超过阈值量之后，不延迟所述旋转。此外，不同的实施例可以允许用不同的方式触发旋转操作，比如通过切换移动设备上的开关、通过发出话音命令、依据通过菜单进行的选择，等等。
第四阶段3425图解说明在开始旋转操作之后的UI 1105。一些实施例动画演示旋转显示区，以向用户提供关于旋转操作的反馈。图34图解说明这样的一种动画的例子。具体地说，图34在其第四阶段3425表现显示区1180和1155一起开始旋转。显示区1180和1155围绕经过UI 1105的中心的轴3465(即，z轴)旋转。显示区1180和1155被旋转相同的数量，不过沿与设备3400的旋转(例如，通过设备3400的倾斜)相反的方向旋转。在这个例子中，由于设备3400沿顺时针方向旋转了90°(通过从竖握变成横握)，因此旋转操作会使显示区1180和1155沿逆时针方向旋转90°。当显示区1180和1155旋转时，显示区1180和1155按比例地缩小，以适合UI 1105，使得显示区1180和1155仍然可以完全出现在UI 1105上。一些实施例可提供指示设备3400的状态的消息(例如，通过显示字词“Rotating(旋转)”)。
第五阶段3430图解说明在显示区1180和1155从纵向视图到横向视图逆时针旋转90°之后的UI 1105。在这个阶段，显示区1180和1155已被旋转，不过还未展开到UI 1105的整个宽度。箭头3475指出在第五阶段的结尾，显示区1180和1155将开始侧向展开，以适合UI 1105的整个宽度。不同的实施例可不包括该阶段，因为可以与第四阶段3425中的旋转同时地进行所述展开。
第六阶段3435图解说明在显示区1180和1155已被展开，从而占据UI 1105的整个显示之后的UI 1105。如上所述，其它实施例可以不同地实现这种旋转。对一些实施例来说，仅仅把设备的屏幕旋转超过阈值量就可触发所述旋转操作，而不管设备3400的定向。
另外，其它实施例可提供用于指示旋转操作的不同动画。在图34中执行的旋转操作涉及显示区1180和1155围绕UI 1105的中心旋转。另一方面，可以使显示区围绕它们各自显示区的中心轴单独旋转。图35中示出了一种这样的方法。图35表示动画演示UI 1105的PIP显示1180的显示区1170和1160的旋转的备选方法。图35中图解说明的PIP显示1180和图11中图解说明的PIP显示1180相同。
图35按照六个不同的操作阶段3410、3415、3420、3525、3530和3535，图解说明PIP显示1180的旋转。UI 1105的前三个阶段的操作与如在图34中的UI 1105中说明的前三个阶段的操作相同。在图34和35的第三阶段，设备3500都已从竖握变成横握，并且UI 1105的旋转还未开始。
第四阶段3525图解说明动画演示所述旋转的备选方法。在第四阶段，旋转操作已开始。具体地说，第四阶段3525表现显示区1170和1160的旋转的开始。显示区1170和1160分别围绕穿过每个显示区的中心的轴3567和3565(即，z轴)旋转。显示区1170和1160被旋转相同的量，不过沿与设备3500的旋转(例如，通过设备3500的倾斜)相反的方向旋转。与上面在图34的第四阶段3425中图解说明的类似，由于设备3500沿顺时针方向旋转了90°(通过从竖握变成横握)，因此旋转操作会使显示区1170和1160沿逆时针方向旋转90°。当显示区1170和1160旋转时，显示区1170和1160按比例缩小以适合UI 1105，使得显示区1170和1160仍然可以完全出现在UI 1105上。
第五阶段3530图解说明在显示区1170和1160都从纵向视图到横向视图逆时针旋转90°之后的UI 1105。在这个阶段，显示区1170和1160已被旋转，不过还未展开到UI 1105的整个宽度。此外，显示区1160还未被移动到其最终位置。插入显示区1160在PIP显示1180中的最终位置由如在第一阶段3410中所示的插入显示区1160在PIP显示1180中的位置确定(例如，插入显示区1160在PIP显示1180的左下角)。在这个阶段，插入显示区1160仍然在UI 1105的左上角。
箭头3580指出在第五阶段3530的结尾，显示区1170和1160将开始侧向展开，直到主显示区1170适合横握的设备的UI 1105的整个宽度为止。此外，箭头3575指出插入显示区1160将滑动到PIP显示1180的左下角。
不同的实施例可不同地实现这一点。在一些实施例中，插入显示区1160的移动可以和主显示区1170的展开同时发生，或者可以顺序发生。此外，一些实施例可以在主显示区1170展开前、展开中或展开后缩放插入显示区1160，以产生新的PIP显示1180。在这个例子中，在显示区1160和1170旋转时，显示区1155消失。不过，在一些实施例中，显示区1155可在旋转期间保留在UI 1105上，并和显示区1160和1170一起旋转。
第六阶段3535图解说明在插入显示区1160到达其新位置，并且显示区1160和1170已被恰当展开，以适合UI 1105的整个宽度之后的UI 1105。在这个例子中，插入显示区1160现在位于PIP显示1180的左下角，重叠在主显示区1170上。PIP显示1180现有具有和第一阶段3410的PIP显示1180相同的显示排列。第六阶段中在PIP显示1180之下出现的显示区1155指示旋转操作已完成。如上所述，仅仅把设备的屏幕旋转超过阈值量就可触发所述旋转操作，而不管设备3500的定向。
在上面参考图34和35说明的例子中，显示区1170的定向也改变(即，从纵向变成横向)。即，在第三阶段3420中旋转显示区1170之后，通过水平展开PIP显示1180，使得它适合整个UI 1105，显示区1170的定向从纵向变成横向。在一些实施例中，当设备3500被旋转时，由远程设备拍摄的视频旋转，不过显示由远程设备拍摄的视频的显示区的定向保持不变。图36中图解说明了一个这样的例子。图36类似于图35，除了显示在显示区1170中的视频旋转，不过显示区1170保持沿纵向方向显示。
图36中还图解说明了其中显示区1155保持在相同位置(而不是如图35中所示那样旋转并且水平展开，以填满PIP显示1180)的旋转操作的例子。此外，图36包括与上面在图12中说明的显示区1155的布局相同的显示区1155的布局。如图所示，在阶段3640、3645、3650、3655、3685和3690中，当设备3500旋转时，显示区1155保留在相同位置。
一些实施例提供一种旋转操作，其中显示由本地设备拍摄的视频的显示区的定向改变(而不是如图35中所示那样保持相同的定向)，以反映在对本地设备进行旋转操作之后本地设备的定向。图36参考六个不同的阶段3640、3645、3650、3655、3685和3690，图解说明UI1105的这种旋转操作的例子。在图36中，第一阶段3640沿纵向方向显示插入显示区1160，插入显示区1160显示由设备3500的照相机拍摄的视频。第二和第三阶段3645和3650与图35的第二和第三阶段3415和3420相同，因为它们表示设备3500在旋转操作的各个阶段的倾斜。此时，设备3500的照相机在沿横向方向拍摄图像。为了指出这种转变，一些实施例提供如在第四和第五阶段3655和3685中所示的动画，而其它实施例根本不提供任何动画。
在第四阶段3655，显示在插入显示区1160中的图像被旋转，不过插入显示区1160本身不被旋转，因为第二和第三阶段3445和3650中设备3500的倾斜已把插入显示区1160旋转到横向方向。在第五阶段3685中，插入显示区1160中的旋转图像被水平展开以填充插入显示区1160，插入显示区1160开始朝着PIP显示1180的左下侧区域移动，以把插入显示区1160置于和插入显示区1160在第一阶段3640的PIP显示中相同的相对位置。
在一些实施例中，显示由远程设备拍摄的视频的显示区的定向也变化，以反映在对远程设备进行旋转操作之后远程设备的定向。图37图解说明设备3500的UI 1105的四个不同阶段，其中(1)显示由本地设备拍摄的视频的显示区(本例中的显示区1160)的定向变化，以反映在对本地设备进行旋转操作之后本地设备的定向，和(2)显示由远程设备拍摄的视频的显示区(本例中的显示区1170)的定向变化，以反映在对远程设备进行旋转操作之后本地设备的定向。
在第一阶段3705，UI 1105和图36中的UI 1105相同。具体地说，第一阶段3705显示纵向定向的显示区1160和1170，因为设备3500是按纵向定向显示的，以及远程设备是纵向定向的(未示出)。从第一阶段3705到第二阶段3710，通过把设备3500从直立位置到横向位置旋转90°，对本地设备进行旋转操作。第二阶段3710显示在完成设备3500的旋转操作之后的UI 1105。在第二阶段，显示在显示区1170和1160中的视频已旋转到直立位置。不过，只有本地拍摄视频的显示区1160从纵向定向旋转到横向定向，因为只对本地设备(即，设备3500)进行了旋转操作。显示区1170保持纵向定向。
从第二阶段3710到第三阶段3715，通过把远程设备从直立位置旋转到横向位置(未示出)，对远程设备进行旋转操作。第三阶段3715显示在完成远程设备的旋转操作之后的UI 1105。在第三阶段，显示在显示区1170中的视频和远程拍摄视频的显示区1170从纵向定向旋转到横向定向，因为只对远程设备进行了旋转操作。从而，UI 1105的第三阶段均按横向定向显示本地和远程拍摄视频的显示区1170和1160。
从第三阶段3715到第四阶段3720，通过把设备3500从横向位置到直立位置旋转90°，对本地设备进行旋转操作。第四阶段3720显示在完成该旋转操作之后的UI 1105。在第四阶段3720，显示在显示区1160和1170中的视频已旋转到直立位置。不过，只有本地拍摄视频的显示区1160从横向定向旋转到纵向定向，因为只对本地设备(即，设备3500)进行了旋转操作。显示区1170保持横向定向。
从第四阶段3720到第一阶段3705，通过把远程设备从横向位置到直立位置旋转90°(未示出)，对远程设备进行旋转操作。在这种情况下，第一阶段3705显示在完成该旋转操作之后的显示区1170。于是，该阶段的UI 1105显示纵向定向的显示区1160和1170。尽管图37图解说明了一系列的不同旋转操作，不过其它实施例可以按照任意许多不同序列，进行任意许多旋转操作。
图34、35、36和37说明在视频会议期间对本地和远程设备进行的旋转操作。当对本地移动设备进行旋转操作时，一些实施例把旋转操作通知给远程设备，以便让远程设备能对本地设备的视频进行任何修改(例如旋转显示本地设备的视频的显示区)。类似地，当对远程设备进行旋转操作时，远程设备把该操作通知给本地设备，使本地设备可以对远程设备的视频进行任何修改。一些实施例提供在视频会议期间，在本地设备和远程设备之间传送旋转操作的通知的控制通信通道。
尽管图34、35、36和37图解说明能够实现旋转的动画的不同方式，不过普通技术人员会认识到其它实施例可以用不同的方式显示旋转的动画。另外，旋转操作的动画能够引起本地移动设备的图像处理操作的变化，比如使视频会议管理器1604在UI 1105中以不同的角度重新合成显示区，和比例缩放显示在显示区中的图像。
3.窗口大小调整
一些实施例允许移动设备的用户调整在视频会议期间呈现的PIP显示的插入显示区的大小。不同的实施例提供缩放插入显示区的不同技术。图38图解说明缩放插入显示区的一种方法。在该方法中，移动设备的用户通过选择插入显示区的一个角落，随后扩大或缩小插入显示区，来调整插入显示区的大小。
在图38中，移动设备3825的UI 3800在与另一个移动设备的远程用户的视频会议期间，呈现PIP显示3865。PIP显示3865包括两个视频显示：背景主显示区3830和前景插入显示区3835。背景主显示区3830占据大部分的PIP显示3865，而前景插入显示区3835较小并重叠在背景主显示区3830上。在这个例子中，背景主显示区3830呈现拿着吉它的人物的视频，该人物被假定为由远程设备的正面照相机拍摄其视频的人物，或者由远程设备的背面照相机拍摄其视频的人物。前景插入显示区3835呈现戴着帽子的人物的视频，在这个例子中，该人物被假定为由本地设备的正面照相机拍摄其视频的人物，或者由本地设备的背面照相机拍摄其视频的人物。在PIP显示3865下面是包括标记成“End Conference(结束会议)”的可选UI项目3860(例如，按钮3860)的显示区1155，可选UI项目3860允许用户通过选择该项目来结束视频会议。
PIP显示3865只是呈现由远程设备和本地设备拍摄的视频的合成视图的一种方式。一些实施例可以提供其它的合成视图。例如，代替具有用于来自远程设备的视频的较大背景显示，较大的背景显示可以是来自本地设备的视频，以及较小的前景插入显示可以是来自远程设备的视频。另外，一些实施例允许本地视频和远程视频出现在UI3800中的两个并排显示区(例如，左右显示窗口，或者上下显示窗口)，或者两个对角排列的显示区中。在一些实施例中，PIP显示的方式或者默认显示模式可由用户规定。在其它实施例中，PIP显示还可包含一个较大的背景显示，和两个较小的前景插入显示。
图38按照UI 3800的四个操作阶段，图解说明缩放操作。在第一阶段3805，前景插入显示区3835显著小于背景主显示区3830。另外在这个例子中，前景插入显示区3835位于PIP显示3865的右下角。在其它例子中，前景插入显示区3835可具有不同的大小，或者位于PIP显示3865中的不同区域。
在第二阶段3810，发起缩放操作。在这个例子中，通过选择用户想要缩放的插入显示区3835的一个角落(例如，通过把手指3840放在插入显示区3835的左上角上)，发起该操作。UI 3800的第二阶段3810用插入显示区3835的粗边框3845指出这种选择。在这个阶段，用户能够扩大或缩小插入显示区3835(例如，通过在PIP显示3865上远离插入显示区3835或者朝着插入显示区3835拖动其手指3840)。
第三阶段3815图解说明在如箭头3850所示，通过远离插入显示区3835移动其手指3840(即在本例中，通过朝着UI 3800的左上角对角移动他的手指)，用户开始扩大插入显示区3835之后的UI 3800。另外如箭头3855所示，手指3840的移动在高度和宽度方向按比例地扩大了插入显示区3835。在其它例子中，用户能够利用相同的技术(即，通过朝着插入显示区3835拖动手指)，缩小插入显示区3835。
第四阶段3820显示在已经完成插入显示区3835的缩放之后的UI 3800。在这个例子中，一旦插入显示区3835已经达到理想的大小，那么用户就通过停止其手指3840的拖动，并从PIP显示3865移开他的手指，完成插入显示区3835的缩放。作为该过程的结果，缩放后的插入显示区3835大于其在第一阶段3805中的初始大小。粗边框3845的消除指示现在完成了插入显示区缩放操作。
一些实施例提供允许用户在视频会议期间，在PIP显示3865中缩放插入显示区3835的其它技术。图39图解说明一种这样的其它技术。图39图解说明一种通过选择插入显示区3835的一个边缘(即，在插入显示区3835的侧边之一)，随后扩大或缩小插入显示区3835，来缩放插入显示区3835的技术。
图39按照图38的UI 3800的四个操作阶段，图解说明该缩放操作。图39的第一阶段3805和图38中的第一阶段3805相同。具体地说，在这个阶段，设备3925的UI 3800图解说明具有较大的背景主显示区3830和位于PIP显示3865的右下角的较小的前景插入显示区3835的PIP显示3865。尽管图38和39图解说明在相同的UI 3800中缩放插入显示区3835的两种不同技术，不过普通技术人员会认识到一些实施例将不在相同的UI中提供这两种技术。
第二阶段3910图解说明缩放操作的开始。在这个例子中，用户通过选择该用户想要缩放的插入显示区3835的一个侧边(例如，把手指3840放在插入显示区3835的顶边或侧边上)，发起缩放操作。在这个例子中，用户把他的手指3840放在插入显示区3835的顶边上，以便实现所述选择。第二阶段3910用插入显示区3835的粗边框3845指示这种选择。
第三阶段3915图解说明在如箭头3950所示，用户通过使其手指3840移离插入显示区3835(即，垂直地朝着PIP显示3865的顶部移动)，开始扩大插入显示区3835之后的UI 3800。另外，如箭头3955所示，手指3840的移动在高度和宽度方向都按比例扩大了插入显示区3835。在其它例子中，用户通过利用相同的技术(即，通过朝着插入显示区3835拖动手指3840)，缩小显示区3835。
第四阶段3920显示在完成插入显示区3835的缩放之后的UI3800。在这个例子中，一旦插入显示区3835达到理想的大小后，那么用户就通过停止其手指3840的拖动，并从设备的显示屏移开他的手指3840，来完成插入显示区3835的缩放。作为该过程的结果，缩放后的插入显示区3835大于其在第一阶段3805中的初始大小。粗边框3845的消除指示现在完成了插入显示区缩放操作。
响应拖动操作，一些实施例在高度和宽度方向，按比例地调整插入显示区3835的大小，如图38和39中所示。其它实施例可允许用户调整插入显示区3835的高度和/或宽度，而不影响另一属性。图40图解说明一种这样的缩放过程的例子。
具体地说，图40图解说明移动设备4025的与图38的UI 3800类似的UI 3800，除了当选择插入显示区3835的边缘之一并水平或垂直移动该边缘时，图40的UI 3800允许插入显示区3835沿水平方向和/或垂直方向扩展之外。图40图解说明UI 3800中的与图38的PIP显示3865类似的PIP显示3865，除了现在插入显示区3835在PIP显示3865的右上角之外。PIP显示3865包括两个视频显示：背景主显示区3830和前景插入显示区3835。在这个例子中，背景主显示区3830呈现由远程设备的正面照相机或背面照相机拍摄的视频。前景插入显示区3835呈现由本地设备的正面照相机或背景照相机拍摄的视频。
类似于图38，图40按照UI 3800的四个操作阶段，图解说明缩放操作。第一阶段4005与图38的第一阶段3805类似，除了现在插入显示区3835在右上角之外。其它三个阶段4010、4015和4020类似于三个阶段3910、3915和3920，除了插入显示区3835的底边的选择和移动只导致插入显示区3835沿垂直方向扩大，而不影响插入显示区3835的宽度之外。
图38、39和40提供通过选择插入显示区3835的一个角落或侧边，允许用户缩放PIP显示3865的插入显示区3835的示例实施例。一些实施例提供缩放插入窗口3835的其它技术。例如，图41图解说明一些实施例允许通过选择插入显示区3835的内部，缩放插入显示区3835。在这种方法中，用户通过把两根手指4155和4156放在屏幕上，并且彼此远离或者接近地拖动所述两根手指，调整插入显示区3835的大小。
在图41中，移动设备4140的UI 3800在与另一个移动设备的远程用户的视频会议期间，提供PIP显示3865。为了简化UI 3800的说明，图41图解说明UI 3800中与图38的PIP显示3865类似的PIP显示3865。
图41按照UI 3800的七个操作阶段，图解说明该缩放操作。前四个阶段3805、4110、4115和4120表示插入显示区3835的扩大，而后三个阶段表示插入显示区3835的缩小。图41中的第一阶段3805和图38中的第一阶段3805相同。具体地说，在这个阶段，UI 3800图解说明具有较大的背景主显示区3830和较小的前景插入显示区3835的PIP显示3865。在这个例子中，背景主显示区3830呈现由远程设备的正面照相机或背面照相机拍摄的视频。前景插入显示区3835呈现由本地设备的正面照相机或背面照相机拍摄的视频。
第二阶段4110图解说明在发起缩放操作之后的UI 3800。在这个例子中，用户通过选择该用户想要缩放的插入显示区3835(例如，通过把两根手指4155和4156放在插入显示区3835内)，发起缩放操作。UI 3800的第二阶段4110用插入显示区3835的粗边框4190指出这种选择。
第三阶段4115图解说明在如箭头4160所示，用户通过相互远离地移动其手指4155和4156(即，朝着PIP显示3865的左上角移动手指4155，朝着PIP显示3865的右下角移动手指4156)，开始扩大插入显示区3835之后的UI 3800。如箭头4165所示，手指4155和4156的移动在高度和宽度方向按比例地扩大了插入显示区3835。
第四阶段4120显示在完成插入显示区3835的缩放之后的UI3800。在这个例子中，用户通过停止其手指4155和4156的拖动，并且从设备的显示屏移开其手指4155和4156，来完成插入显示区3835的缩放。作为该过程的结果，缩放后的插入显示区3835大于其在第一阶段3805中的初始大小。粗边框4190的消除指示现在已完成插入显示区缩放操作。
在第五阶段4125，通过把两根手指4155和4156放在插入显示区3835上，用户重新选择插入显示区3835。第六阶段4130图解说明在如箭头4170所示，用户通过相互接近地移动其手指4155和4156，开始缩小插入显示区3835之后的UI 3800。如箭头4175所示，手指4155和4156的移动在高度和宽度方向按比例地缩小了插入显示区3835。
第七阶段4135类似于图41的第四阶段4120，除了通过所述操作，插入显示区3835的大小已缩小之外。粗边框4190的消除指示现在已完成插入显示区缩放操作。
图38-41的上述说明举例说明了允许用户缩放PIP显示的插入显示区的几种示例用户界面。在一些实施例中，插入显示区的缩放会引起双照相机移动设备的图像处理操作的变化，比如使视频会议管理器1604响应用户的输入，改变PIP显示中的插入显示区的比例缩放和合成。另外，在一些实施例中，图38-41中的显示区1155的布局和上面说明的图12的显示区1155的布局相同。
4.识别感兴趣区域
一些实施例允许用户在视频会议期间，识别显示的视频中的感兴趣区域(ROI)，以便修改图像处理(例如，图16中的图像处理管理器1608)，编码(例如，图16中的编码器1655)，移动设备及其照相机在视频会议期间的行为，或者它们的组合。不同的实施例提供不同的技术来识别视频中的这种感兴趣区域。图42图解说明用于识别视频的感兴趣区域，以便提高视频的图像质量的一些实施例的用户界面。
在图42中，移动设备4225的UI 4200在与另一个移动设备的远程用户的视频会议期间，呈现PIP显示4265。图42中的PIP显示基本上与图41中的PIP显示类似。具体地说，图42中的PIP显示包括两个视频显示：背景主显示4230和前景插入显示4235。在这个例子中，背景主显示4230呈现树和戴着帽子的人物的视频，所述树和人物被假定为由远程设备的正面照相机拍摄其视频的树和人物，或者由远程设备的背面照相机拍摄其视频的树和人物。前景插入显示4235呈现男士的视频，在这个例子中，所述男士被假定为由本地设备的正面照相机拍摄其视频的男士，或者由本地设备的背面照相机拍摄其视频的人物。PIP显示的下面是包括标记成“End Conference(结束会议)”的可选UI项目4260(例如，按钮4260)的显示区1155，可选UI项目4260允许用户通过选择该项目来结束视频会议。
该PIP显示只是呈现由远程设备和本地设备拍摄的视频的合成视图的一种方式。一些实施例可以提供其它的合成视图。例如，代替具有用于来自远程设备的视频的较大背景显示，较大的背景显示可以是来自本地设备的视频，较小的前景插入显示可以是来自远程设备的视频。另外，一些实施例允许本地视频和远程视频出现在UI中的两个并排显示区(例如，左右显示窗口，或者上下显示窗口)，或者两个对角排列的显示区中。在其它实施例中，PIP显示还可包含一个较大的背景显示，和两个较小的前景插入显示。在一些实施例中，PIP显示的方式或者默认显示模式可由用户规定。
图42按照UI 4200的四个操作阶段，图解说明ROI标识操作。如第一阶段4205中所示，呈现在背景显示4230中的视频具有很低的质量(即，视频图像模糊)。在这个例子中，移动设备4225的用户意欲把背景显示4230中出现人物的脸部4270的区域识别为感兴趣区域。
在第二阶段4210中，发起识别感兴趣区域的操作。在这个例子中，通过选择呈现在背景显示4230中的视频之中用户想要识别为感兴趣区域的区域(例如，通过在设备的屏幕上，在背景显示4230中的显示的人物脸部4270附近的位置轻点手指4250)，发起该操作。
如第三阶段4215中所示，用户的区域选择使UI 4200画出环绕用户选择的区域的环绕框4275(例如，虚线方框4275)。第四阶段4220显示在结束感兴趣区域的标识之后的UI 4200。作为该过程的结果，与第一阶段4205中相比，感兴趣区域内的视频的质量已得到显著改善。环绕框4275的消除指示现在已完成ROI选择操作。在一些实施例中，ROI标识处理还对显示在远程设备上的相同视频造成与它对本地设备4225造成的变化相同的变化。例如，在这个例子中，显示在远程设备上的相同视频的感兴趣区域内的画面质量也得到显著改善。
在一些实施例中，用户可在第三阶段4215放大或缩小环绕框4275(例如，通过把手指4250放在显示画面上，并朝着屏幕的右上角移动手指4250，以放大环绕框4275，或者朝着屏幕的左下角移动手指4250，以缩小环绕框4275)。一些实施例还允许用户在第三阶段4215旋转环绕框4275(例如，通过把手指4250放在显示画面上，并在显示画面上水平或垂直移动手指4250)。在一些其它实施例中，所述区域的选择根本不会使UI 4200在第三阶段4215中画出环绕框4275。
其它实施例提供允许用户识别视频中的感兴趣区域的不同技术。图43图解说明一种这样的其它技术。在图43中，用户通过画出包围感兴趣区域的形状，识别感兴趣区域。在这个例子中，所述形状是矩形，不过也可以是其它形状(例如，任何其它多边形、圆形、椭圆形等)。一些实施例在还提供在图42中图解说明的那种技术的设备UI中，提供图43的备选技术。不过，其它实施例不在相同UI中提供这两种技术。
图43按照UI 4200的五个操作阶段，图解说明这种ROI标识操作。图43中的第一阶段4205和图42中的第一阶段4205相同。具体地说，在第一阶段4205中，UI 4200图解说明具有较大的背景主显示4230，和位于PIP显示4265的左下角的较小的前景插入显示4235的PIP显示4265。
在第二阶段4310，发起识别感兴趣区域的操作。在这个例子中，通过持续一段时间选择定义呈现在背景主显示4230中呈现的视频中的感兴趣区域的第一位置(例如，通过在设备的屏幕上，持续一段时间把手指4350放在背景显示4230中的所显示人物脸部4270附近的位置上)，发起所述操作。在第三阶段4315，UI 4200利用临近背景显示区4230上的所选第一位置的圆点4355，指示已选择了所述第一位置4370。
第四阶段4320图解说明在用户选择了定义感兴趣区域的第二位置4375之后的UI 4200。在这个例子中，通过如箭头4360所示，在圆点4355出现之后，从第一位置开始在设备的屏幕内拖动手指4350，并停止在位于背景显示区430中的显示的帽子和显示的树之间的位置，用户选择第二位置4375。如第四阶段中所示，这种拖动导致UI4200画出感兴趣区域的矩形边框4365，所述矩形边框4365具有在其相对顶点上的第一和第二位置4370和4375。
第五阶段4325图解说明在感兴趣区域的标识已完成之后的UI4200。在这个例子中，用户通过一旦标识了期望的感兴趣区域，就停止手指4350的拖动并从设备的显示屏移开手指4350，来完成感兴趣区域的标识。第五阶段4325图解说明通过该拖拉(drawing)过程，与第一阶段4205中相比，感兴趣区域内的视频的质量已得到显著改善。在一些实施例中，和它对本地设备4225所造成的变化一样，这种拖拉过程也对远程设备上的显示画面造成相同的变化。例如，在这个例子中，显示在远程设备上的相同视频的感兴趣区域内的图像质量会得到显著改善。
上面的图42和43的描述举例说明了识别视频中的感兴趣区域，以便改善所识别区域的图像质量的不同方式。在一些实施例中，改善识别的感兴趣区域的画面质量会导致双照相机移动设备的编码操作的变化，比如当对视频编码时，对所识别的区域分配更多的比特。
一些实施例允许用户识别视频中的感兴趣区域，以对移动设备或其照相机做出不同的改变。例如，图44图解说明识别视频中的感兴趣区域，以在显示画面上扩大或缩小感兴趣区域的例子。在这种方法中，用户通过把显示画面上的某一区域选为感兴趣区域的中心，随后扩大或缩小所述感兴趣区域，识别视频中的感兴趣区域。
在图44中，移动设备4425的UI 4400在与另一个移动设备的远程用户的视频会议期间，呈现PIP显示4265。图44中的PIP显示4265基本上与图42的PIP显示4265类似，不过图44的前景插入显示4235位于PIP显示4265的左下角。
图44按照UI 4400的四个操作阶段，图解说明ROI选择操作。如第一阶段4405中所示，背景显示4430呈现具有在背景显示4430的左侧的男士，和在背景显示4430的右侧的树4440的视频。此外，树4440相对较小，只占据背景显示区4430的右侧。在这个例子中，移动设备4425的用户意欲把背景显示区4430上出现树4440的区域识别为感兴趣区域。
在第二阶段4410中，发起识别感兴趣区域的操作。在这个例子中，通过选择呈现在背景显示4430中的视频之中的、用户希望识别为感兴趣区域的区域4440(例如，通过把两根手指4445和4446放在背景显示区4430上、显示树4440的地方)，发起所述操作。在第二阶段4410，通过彼此远离地拖动其手指4445和4446，用户能够使感兴趣区域4440扩大，并占据更大部分的背景显示区4430。通过相互接近地拖动其手指4445和4446，用户还能够使感兴趣区域4440缩小，从而占据较小部分的背景显示区4430。
第三阶段4415图解说明在如箭头4450所示，用户通过彼此远离地移动其手指4445和4446(即，手指4445朝着背景显示区4430的左上角移动，手指4446朝着背景显示区4430的右下角移动)，开始使感兴趣区域4440扩大以占据更大部分的背景显示区4430之后的UI4400。在一些实施例中，手指移动还对远程设备的显示造成和它对本地设备造成的变化一样的变化。例如，在这个例子中，相同视频的感兴趣区域将扩大，从而占据远程设备的更大部分的背景显示区4430。在一些实施例中，本地显示和/或远程显示中的感兴趣区域的扩大导致一个或两个移动设备或其照相机修改它们的一个或多个其它操作，如下进一步所述。
第四阶段4420显示在感兴趣区域的标识已完成之后的UI 4400。在这个例子中，一旦感兴趣区域在背景显示区4430中达到期望的比例后，那么用户通过停止用户的手指4445和4446的拖动，并且从设备的显示屏上移开手指4445和4446，来完成感兴趣区域的标识。作为该过程的结果，感兴趣区域占据了大部分的背景显示区4430。现在完成感兴趣区域的标识操作。
上面的一些例子举例说明用户如何识别视频中的感兴趣区域，以提高视频中的所选感兴趣区域内的图像质量(例如，通过增大对视频的感兴趣区域编码的比特率)。在一些实施例中，识别视频中的感兴趣区域导致移动设备的图像处理操作，比如曝光、比例缩放、聚焦等的变化。例如，识别视频中的感兴趣区域会导致视频会议管理器1604不同地比例缩放和合成视频的图像(例如，识别要变焦的感兴趣区域)。
在其它实施例中，识别视频中的感兴趣区域导致移动设备的照相机的操作的变化(例如，帧速率、变焦、曝光、比例缩放、聚焦等)。在另外的其它实施例中，识别视频中的感兴趣区域导致移动设备的编码操作的变化，比如向识别的区域分配更多的比特、比例缩放等等。另外，尽管上面说明的示例ROI标识操作只会对移动设备或其照相机造成上述修改中的一种修改，不过在一些其它实施例中，ROI标识操作会对移动设备或其照相机的操作造成多于一种的修改。另外，在一些实施例中，图42-44的显示区1155的布局和上面说明的图12的显示区1155的布局相同。
B.切换照相机
一些实施例提供在视频会议期间，切换照相机(即，改变拍摄图像的照相机)的方法。不同的实施例提供实现切换照相机操作的不同方法。一些实施例提供由双照相机移动设备执行的切换该设备的照相机(即，本地切换)的方法，而其它实施例为双照相机移动设备提供指令视频会议中的另一个双照相机移动设备切换所述另一个设备的照相机(即，远程切换)的方法。除此之外的其它实施例同时提供进行本地切换和远程切换的方法。IV.B.1节将说明在双照相机移动设备上进行本地切换照相机操作的处理。IV.B.2节将说明在双照相机移动设备上进行远程切换照相机操作的处理。
1.本地切换照相机
图45图解说明一些实施例在本地双照相机移动设备执行的，在与包括至少一部照相机的远程移动设备的视频会议期间，在本地设备的两部照相机之间进行切换的处理4500。在一些实施例中，处理4500由图16中所示的视频会议管理器1604执行。为了说明起见，下面的讨论将把本地双照相机移动设备的一部照相机称为照相机1，把本地双照相机移动设备的另一部照相机称为照相机2。
通过在本地双照相机移动设备和远程移动设备之间开始(在4505)视频会议，开始处理4500。随后，处理4500把来自本地双照相机移动设备的当前所选照相机(例如，照相机1)的视频图像发送给(在4510)远程移动设备，以便在远程移动设备上显示。在4510，处理4500还根据所述视频图像和它从远程移动设备接收的视频图像，产生和显示合成图像。
处理4500随后确定(在4515)是否接收到结束视频会议的请求。如上所述，在一些实施例中，可以应本地双照相机移动设备的用户的请求(例如，通过本地双照相机移动设备的用户界面)，或者应远程移动设备的用户的请求(例如，通过远程移动设备的用户界面)，结束视频会议。当处理4500接收到结束视频会议的请求时，处理4500结束。
当处理4500未接收到结束视频会议的请求时，处理4500随后确定(在4520)本地双照相机移动设备的用户是否已指令该本地设备切换用于视频会议的照相机。当处理4500确定(在4520)所述本地设备未被指令切换照相机时，处理4500返回操作4510。不过，当处理4500确定(在4520)所述本地设备已被指令切换照相机时，处理4500进入操作4525。
在4525，处理4500向远程移动设备发送指出本地双照相机移动设备要切换照相机的通知。在一些实施例中，处理4500通过如上所述，与音频通道和视频通道一起由VTP管理器3125多路复用的视频会议控制通道发送所述通知。
在发送其通知之后，处理4500进行(在4530)切换照相机操作。在一些实施例中，进行(在4530)切换照相机操作包括指令CIPU停止用照相机1拍摄视频图像，开始用照相机2拍摄视频图像。这些指令可以仅仅指令CIPU切换捕获来自与照相机2关联的像素阵列的图像，并开始处理这些图像。另一方面，在一些实施例中，给CIPU的指令可以伴随一组初始化参数，所述一组初始化参数指令CIPU：(1)根据特定的一组设置操作照相机2，(2)以特定的帧速率捕获由照相机2产生的视频，和/或(3)根据特定的一组设置(例如，分辨率等)处理来自照相机2的视频图像。
在一些实施例中，切换照相机指令(在4530)还包括把未使用的照相机切换成如上所述的第四种工作功率模式的指令。在这个例子中，切换照相机指令包括给照相机2的、切换到其第四种工作功率模式的指令。另外，切换照相机指令还包括给照相机1的、从其第四种工作功率模式切换到另一种工作功率模式，比如第一种工作功率模式，以节省电力，或者切换到第三种工作功率模式，使得当被要求拍摄图像时，它能够快速切换到第四种工作功率模式，并开始拍摄图像的指令。切换照相机操作4530还涉及合成由本地双照相机移动设备的照相机2拍摄的图像(而不是由照相机1拍摄的图像)和从远程移动设备接收的图像，以便在双照相机移动设备上显示。
在4530指令切换照相机之后，处理4500在本地双照相机移动设备上进行(在4535)切换照相机动画，以显示在来自照相机1的图像的显示和来自照相机2的图像的显示之间的转变。在本地双照相机移动设备上的切换照相机动画之后，处理4500循环经过操作4510-4520，直到接收到结束视频会议请求或者新的切换照相机请求为止。
图46图解说明一些实施例如何允许通过双照相机移动设备的UI1105请求切换照相机操作，和这些实施例如何动画演示切换照相机操作的一个例子。图46按照该设备的UI 1105的八个不同的操作阶段4610、4615、4620、4625、4630、4635、4640和4645，图解说明切换照相机操作。UI 1105的前四个阶段图解说明接收用户的切换照相机请求的例子。在本发明的一些实施例中，该设备的用户具有产生这种请求的其它机制。
第一阶段4610和图11的UI 1105的第一阶段1130相同，它表示在建立视频会议之后的UI 1105。在这个阶段，UI 1105显示包括两个视频显示的PIP显示：来自远程照相机的较大的背景显示，和来自本地照相机的较小的前景插入显示。在这个例子中，背景主显示区1170呈现一位女士的视频，在这个例子中，所述女士被假定为由远程设备拍摄其视频的女士，而前景插入显示区1160呈现一位男士的视频，在这个例子中，所述男士被假定为由本地设备的正面照相机拍摄其视频的男士。
第二阶段4615随后显示通过UI 1105的PIP显示区1180的选择，开始切换照相机操作。如图所示，通过把用户的手指4670放在PIP显示1180上，实现所述选择。第三阶段4620显示包括用于在视频会议期间，请求在本地设备4600的照相机间进行切换的可选UI项目4675(例如，切换照相机按钮4675)的UI 1105。第四阶段4625图解说明在本地设备4600的用户选择(例如，通过单指轻点)可选UI项目4675之后，和在通过可选UI项目4675的突出显示指出这种选择之后的UI 1105。通过选择该可选UI项目4675，用户指令设备4600在视频会议期间，从设备4600的正面照相机切换到设备4600的背面照相机。在其中设备4600的背面照相机拍摄视频的其它例子中，用户对可选UI项目4675的选择会指令设备4600从设备4600的背面照相机切换到设备4600的正面照相机。在第四阶段之后，视频会议管理器向CIPU发送指令，以及远程设备开始切换照相机操作。
UI 1105的后四个阶段4630、4635、4640和4645图解说明本地设备上的切换照相机动画的例子。该动画意图造成从本地设备的正面照相机和背面照相机拍摄的视频被并发地显示在观察窗格的正反两面上的印象，在任意时间，所述观察窗格只能够让用户看到其正反两面之一。当在视频会议中间请求切换照相机时，使该观察窗格仿佛围绕垂直轴旋转，使得在观察窗格的先前向用户显示一部照相机的视频的一个侧面上呈现的一部照相机的视频转动离开用户，直到它被观察窗格的另一个侧面代替为止，所述另一个侧面显示另一部照相机的视频。这种感受到的观察窗格的旋转动画和现象是通过(1)在用于一部照相机的显示区中，逐渐缩小来自该部照相机的视频图像，并对所述视频图像应用透视校正操作，随后(2)在所述显示区中，逐渐扩大来自另一部照相机的视频图像，并减小对所述视频图像的透视校正操作实现的。
因此，第五阶段4630图解说明围绕垂直轴4682的“观察窗格的旋转”的开始。为了给出观察窗格的旋转现象，UI 1105减小了视频显示区1160中的正面照相机的视频图像的大小，并应用了透视操作，以显得与视频图像的左侧相比，视频图像的右侧更远离用户。
第六阶段4635图解说明观察窗格已旋转90°，使得用户只能看到窗格的边缘，如显示在显示区1160的中央的细线4686所示。第七阶段4640图解说明观察窗格继续旋转，使得观察窗格4688的背面现在逐渐出现在用户面前，以显示从用户的背面照相机拍摄的视频。同样，在一些实施例中，旋转动画的这种表现是通过减小背面照相机的视频图像在视频显示区4688中的大小，并应用透视操作，以使得与视频图像的右侧相比，视频图像的左侧更远离用户来实现的。
第八阶段4645图解说明表示切换照相机操作的动画的完成。具体地说，这个阶段在显示区1160中显示由设备4600的背面照相机拍摄的汽车的视频图像。
上面参考图46说明的例子通过切换照相机用户界面调用切换照相机操作。其它实施例不同地调用切换照相机操作。例如，一些实施例通过使切换照相机可选UI项目永久地显示在视频会议期间的UI，例如图47的UI 1105上，调用切换照相机操作。在图47中，切换照相机按钮1289连同静音按钮1285和结束会议按钮1287一起被显示在显示区1155中。显示区1155的布局和上面参考图12说明的显示区1155的布局相同。
图47按照六个阶段：4610、4790、4630、4635、4640和4645，图解说明UI 1105的切换照相机操作。图47的第一阶段4610类似于图46的第一阶段4610，除了显示区1155的布局显示静音按钮1285，结束会议按钮1287和切换照相机按钮1289，而不是单一的结束会议按钮之外。第二阶段4790图解说明在本地设备4600的用户选择(例如，通过利用手指4670的单指轻点)切换照相机可选UI项目1289之后的UI 1105。在这个例子中，通过选择可选UI项目1289，用户指令设备4600在视频会议期间，从设备4600的正面照相机切换到设备4600的背面照相机。图47的后四个阶段与图46的后四个阶段类似，除了显示区1155的布局和上面在第一阶段4610中说明的布局相同之外，于是不再进一步说明，以避免用不必要的详情模糊本发明的描述。
在一些实施例中，当远程移动设备接收到来自本地双照相机移动设备的不同照相机的图像(即，本地双照相机移动设备切换照相机)时，远程移动设备也进行切换照相机动画，以显示在来自双照相机移动设备的一部照相机的图像的显示和来自本地双照相机移动设备的另一部照相机的图像的显示之间的转变。图48按照UI 4805的五个操作阶段4810、4815、4820、4825和4830，图解说明这种切换照相机动画之一的例子。图48表示远程移动设备4800上的示例切换照相机动画。各个操作阶段与图46的示例动画相同，除了是对显示在显示区4835中的图像进行动画之外，显示区4835是在远程移动设备4800上显示来自本地双照相机移动设备的图像的地方。因而，显示在显示区4835中的男士的图像被动画演示成仿佛在位于显示区4850中央的垂直轴4855上旋转180°，以表示在显示区4835中的男士的图像的显示和汽车4870的图像的显示之间的转变。一些实施例的切换照相机动画的实现和上面说明的动画的实现相同。
上面的例子举例说明在具有特定用户界面布局的远程设备上的切换照相机动画。其它实施例可在具有不同的用户界面布局的远程设备上实现该切换照相机动画。例如，图49图解说明具有不同的用户界面布局4805的远程设备4800的一个这种例子。特别地，图49的UI 4805具有包括在显示区1155中的静音按钮1285、结束会议按钮1287和切换照相机按钮1289，在视频会议期间，所述显示区1155永久地显示在合成显示4850的一侧。上面参考图48说明了这三个按钮的布局。除了不同的用户界面布局之外，图49的五个阶段4810、4815、4820、4825和4830与图48的五个阶段4810、4815、4820、4825和4830相同。
2.远程切换照相机
图50图解说明在视频会议期间，切换远程双照相机设备的两部照相机的处理5000。处理5000由包括至少一部照相机的设备的视频会议管理器执行。在下面的讨论中，用户通过其指令远程切换照相机的设备被称为本地设备，而切换其两部照相机的设备被称为远程设备。另外，在下面的讨论中，远程设备被认为在其正面照相机(或者说照相机1)和其背面照相机(或者说照相机2)之间进行切换。
下面参考图51、52、53和54，说明图50的处理5000。图51图解说明本地设备5100的UI 5105，在视频会议期间，用户通过本地设备5100请求远程设备在其两部照相机之间进行切换。图51图解说明UI 5105的八个不同的操作阶段5110、5115、5120、5125、5130、5135、5140和5145。图54图解说明从本地设备5100接收切换照相机请求的远程设备5400的UI 5405。图54图解说明UI 5405的六个不同的操作阶段5410、5415、5420、5425、5430和5435。
如图50中所示，通过在本地设备和远程设备之间启动(在5005)视频会议，开始处理5000。处理5000随后(在5010)接收来自每个设备的一部照相机(例如，来自每个设备的正面照相机)的图像，根据这些图像生成视频会议的合成图像。在5010，处理5000还把来自本地设备的视频图像发送给远程设备。
随后，处理5000确定(在5015)是否接收到结束视频会议的请求。如上所述，在一些实施例中，可应本地或远程设备的用户的请求，结束视频会议。当处理5000接收到结束视频会议的请求时，处理5000结束。
当处理5000未接收到结束视频会议的请求时，处理5000随后确定(在5020)在其上执行处理5000的设备的用户(即，本地设备的用户)是否指令该设备请求远程设备在其用于视频会议的照相机之间切换。当处理5000确定(在5020)它未被指令发起远程切换照相机时，处理5000返回操作5010。当处理5000确定(在5020)它已被指令发起远程切换照相机时，处理5000进入下面进一步说明的操作5025。
图51的UI 5105的前四个阶段5110、5115、5120和5125图解说明接收用户的切换远程设备的照相机的请求的例子。第一和第二阶段5100和5115与图46的第一和第二阶段4610和4615相同。第三阶段5120和第三阶段4620相同，除了第三阶段5120不仅包括请求本地设备5100切换照相机的可选UI项目5175，而且包括请求远程设备5100切换照相机的可选UI项目5180之外。第四阶段5125图解说明本地设备5100的用户选择请求远程设备切换照相机的UI项目5180(例如，通过可选UI项目5180的单指轻点5170)。通过突出显示可选UI项目5180，指出所述选择。图51表示进行这种操作的一个例子，不过其它实施例可不同地进行请求远程设备切换照相机的操作。
上面参考图51说明的例子通过远程切换照相机用户界面，调用远程切换照相机操作。其它实施例不同地调用远程切换照相机操作。例如，一些实施例通过使切换照相机可选UI项目永久地显示在视频会议期间的UI，例如图52的UI 5105上，调用切换照相机操作。在图52中，远程切换照相机按钮5288连同静音按钮5282、结束会议按钮5284和本地切换照相机按钮5286一起被显示在显示区1155中。
图52按照六个不同的阶段5110、5290、5130、5135、5140和5145，图解说明设备5100的UI 5105的远程切换照相机操作。图52的第一阶段5110类似于图51的第一阶段5110，除了显示区1155的布局显示静音按钮5282、本地切换照相机按钮5286、远程切换照相机按钮5288和结束会议按钮5284之外。第二阶段5290图解说明在本地设备5100的用户选择(例如，通过单指轻点5170)远程切换照相机可选UI项目5288之后的UI 1105。图52的后四个阶段类似于图51的后四个阶段，除了显示区1155的布局和上面在第一阶段5110中描述的布局相同之外，于是不再进一步说明，以避免用不必要的详情模糊本发明的描述。
一些实施例提供和图52中图解说明的布局类似的布局，除了远程切换照相机可选UI项目显示在PIP显示5165中，而不是显示在显示区1155中之外。图53图解说明这样的布局5105。具体地说，图53表示具有远程切换照相机可选UI项目5180的PIP显示，和只具有静音按钮5282、本地切换照相机按钮5286和结束会议按钮5284的显示区1155。
如上所述，当用户请求远程切换照相机时，处理5000进入操作5025。在操作5025，处理5000把切换照相机的请求发送给远程设备。在一些实施例中，该请求是通过如上所述，与音频通道和视频通道一起被VTP管理器多路复用的视频会议控制通道发送的。
在切换照相机的请求被接收之后，处理5000确定(在5030)远程设备是否响应了切换照相机的请求。在一些实施例中，远程设备自动通过视频会议控制通道，向本地设备发送接受响应(即，发送确认)。不过，在其它实施例中，远程设备的用户必须通过远程设备的用户界面接受该请求。
图54的UI 5405的前两个阶段5410和5415图解说明远程用户接受切换远程设备5400的照相机的请求的例子。第一阶段5410显示(1)用于显示把所述请求通知远程用户的文本的显示区5440，(2)用于接受切换远程设备的照相机的请求的可选UI项目5465(例如，“允许(Allow)”按钮5465)，和(3)用于拒绝切换远程设备的照相机的请求的可选UI项目5470(例如，“拒绝(Reject)”按钮5470)。第二阶段5415随后图解说明在远程设备的用户选择(例如，通过单指轻点5480)用于接受切换照相机的请求的UI项目5465之后的UI 5405，通过突出显示可选UI项目5465，指示用户的所述选择。
当处理5000确定(在5030)它未接收到来自远程设备的响应时，处理5000确定(在5035)是否接收到结束视频会议的请求。如果是，那么处理5000结束。否则，处理接收(在5040)来自远程设备和本地设备的当前所用照相机的图像，根据这些图像产生视频会议的合成图像，把本地设备的视频图像传送给远程设备，以及随后返回操作5030。
当处理5000确定(在5030)它接收到了来自远程设备的响应时，处理5000确定(在5045)远程设备是否接受切换照相机的请求。如果否，那么处理5000返回操作5010，继续接收来自另一个设备的所述照相机的图像。否则，处理5100接收(在5050)来自远程设备的另一部照相机的图像，随后在本地设备上进行(在5055)切换照相机动画，以显示先前利用的远程照相机的视频和当前利用的远程照相机的视频(即，在操作5050的接收图像)之间的转变。在操作5055之后，处理返回上面说明的操作5010。
关于图51中的UI 5105图解说明的后四个操作阶段5130、5135、5140和5145图解说明本地设备5100上的这种远程切换照相机动画的一个例子。该示例动画与在图48的阶段4815、4820、4825和4830中图解说明的示例动画类似，除了图51在显示区5150中，显示用由远程设备的背面照相机拍摄的树的视频，替换由远程设备的正面照相机拍摄的女士的视频的动画之外。图52和图53的后四个阶段图解说明与图51中的动画相同的动画，除了图52和53的显示区1155包含与图51中的显示区1155不同的可选UI项目之外。
在一些实施例中，当远程设备切换照相机时，远程设备的UI也进行切换照相机动画，以显示两部照相机之间的转变。关于图54中的UI 5405图解说明的后四个操作阶段5420、5425、5430和5435图解说明当远程设备5400切换照相机时，显示在远程设备5400上的切换照相机动画的例子。该动画与在图46的阶段4630、4635、4640和4645中图解说明的动画类似，除了显示区5445中的动画用由远程设备5400的背面照相机拍摄的树的视频，替换由远程设备5400的正面照相机拍摄的女士的视频之外。
如上所述，图46、47、48、49、51、52、53和54表示在用户界面上执行的切换照相机动画的各种例子。在一些实施例中，切换照相机动画导致相应双照相机移动设备的图像处理操作的变化，比如可由视频会议管理器1604和图像处理管理器1608执行的比例缩放、合成和透视失真。
C.曝光调整
在双照相机移动设备和另一个移动设备之间的视频会议期间，不同的实施例提供调整由任意一个移动设备的照相机拍摄的图像的曝光的不同技术。一些实施例向双照相机移动设备的用户提供调整由另一个设备的照相机拍摄的图像的曝光的技术，而其它实施例向用户提供调整由双照相机移动设备的照相机拍摄的图像的曝光的技术。下面将详细说明一些示例性的例子。
图55图解说明在视频会议期间，在一些实施例的双照相机移动设备上进行远程曝光调整操作的处理5500。在下面的讨论中，用户通过其指令远程设备调整其曝光度的设备被称为本地设备。在一些实施例中，处理5500由本地设备的视频会议管理器执行。另外，将参考图56、57和58说明处理5500，图56、57和58举例说明本地设备的用户请求远程设备进行曝光调整操作的各种方式。
如图55中所示，通过在本地设备和远程设备之间启动(在5505)视频会议，开始处理5500。处理5500随后接收(在5510)来自远程设备的视频，以在本地设备的显示屏上显示。随后，处理5500确定(在5515)是否接收到结束视频会议的请求。如上所述，一些实施例能够从本地或远程设备的用户接收结束视频会议的请求。当处理5500接收到结束视频会议的请求时，处理5500结束。
不过，当处理5500未接收到结束视频会议的请求时，处理5500随后确定(在5520)是否接收到调整远程设备的照相机的曝光的请求。当处理5500确定未接收到调整远程设备的照相机的曝光的请求时，处理5500返回操作5510，接收从远程设备拍摄的另外的视频。图56、57和58图解说明向用户提供产生这种请求的三个不同例子。在图56、57和58中，第一阶段5610、5710和5810都显示本地设备5600、5700和5800的PIP显示5625、5750和5835，PIP显示5625、5750和5835显示两个视频：由本地设备的照相机拍摄的视频，和由远程设备的照相机拍摄的另一个视频。在第一阶段5610、5710和5810中，背景显示5635、5760和5845中的男士较暗黑，指示该男士未被恰当曝光。
图56的第二阶段561图解说明通过选择远程设备的视频(例如，通过单击背景显示5635)，本地设备5600的用户请求远程设备进行曝光调整的一种方式。按照这种方式，UI 5605自动使用户对由方框5645限定的感兴趣区域的选择与用户的指令远程设备对感兴趣区域进行曝光调整的期望关联起来，从而指令本地设备的视频会议管理器联系远程设备，以进行曝光调整操作。定义的感兴趣区域被远程设备用于曝光调整的计算。
类似于图56的第二阶段5615，图57的第二阶段5715表示本地用户对远程设备的视频的选择，除了该选择指令UI 5705显示如第三阶段5720中所示的可选UI项目5770之外。第四阶段5725图解说明本地设备的用户选择可选UI项目5770，以指令远程设备如上所述进行曝光调整操作。
图58的第二阶段5815类似于图57的第二阶段，不过代替用户对远程设备的视频的选择指令UI显示单一的可选UI项目，用户的选择指令UI 5805显示可选UI项目5855、5860、5865和580的菜单，如第三阶段5820中所示。可选UI项目包括“自动聚焦(Auto Focus)”项目5855、“自动曝光(Auto Exposure)”项目5860、“切换照相机(Switch Camera)”项目5865、和“取消(Cancel)”项目5870。在一些实施例中，“切换照相机”可选UI项目5865被用于请求本地切换照相机操作，而在其它实施例中，“切换照相机”可选UI项目5865被用于请求远程切换照相机操作。第四阶段5825图解说明用户选择“自动曝光”项目5860，以指令远程设备如上所述进行曝光调整操作。
当处理5500确定(在5520)本地用户指令本地设备请求曝光调整操作时，处理5500通过视频会议控制通道向远程设备发送(在5525)命令，以调整由目前拍摄并向本地设备传送视频的照相机拍摄的视频的曝光。在操作5525之后，处理5500返回上面说明的操作5510。
在一些实施例中，在远程设备进行曝光调整操作之前，要求远程设备的用户提供许可，而在其它实施例中，当从本地设备接收到请求后，远程设备自动进行曝光调整操作。此外，在一些实施例中，一些视频会议功能由视频会议管理器1604实现。在一些这样的实施例中，视频会议管理器1604通过指令CIPU 1650调整正在使用的远程设备照相机的传感器的曝光设置，执行曝光调整操作。
图56、57和58的最后阶段5620、5730和5830更明亮地显示远程设备的视频，这指示该男士被恰当曝光。尽管图56、57和58提供接收校正远程设备的曝光的曝光调整请求的例子，不过一些实施例向本地设备的用户提供请求本地设备调整本地设备的照相机的曝光的方式。可与在图56、57和58中图解说明的请求远程设备调整其照相机的曝光的方式类似地产生这样的请求。
上面说明的图56-58表示用于进行曝光调整操作的几种用户界面。在一些实施例中，曝光调整操作能够导致双照相机移动设备的图像处理操作的改变，比如调用下面进一步详细说明的曝光调整处理5900。曝光调整操作还能够造成拍摄视频的双照相机移动设备的照相机的操作的改变，比如改变照相机的曝光度设置。
1.曝光调整方法
图59概念地图解说明由一些实施例的图像处理管理器，比如图16中图解说明的图像处理管理器执行的曝光调整处理5900。在一些实施例中，处理5900是上面参考图55、56、57和58说明的曝光调整操作的一部分。在一些这样的实施例中，图像处理管理器1608执行处理5900，并通过向视频会议管理器1604发送指令调整照相机的曝光设置，所述视频会议管理器1604指令CIPU 1650调整照相机传感器405a或405b，如上所述。
在一些实施例中，处理5900由图9中所示的图像处理层930执行，而在其它实施例中，处理5900由图4中所示的统计引擎465执行。一些实施例对由视频会议中的(本地或远程)设备的照相机拍摄的图像进行处理5900，而其它实施例以图21中图解说明的处理2100的一部分(例如，操作2110)的形式执行处理5900。一些实施例进行曝光调整操作，以曝光由双照相机移动设备的照相机拍摄的不是太亮，也不是太暗的图像。换句话说，执行处理5900，以按照使细节的数量尽可能最大化的方式拍摄图像。
通过接收(在5905)由双照相机移动设备的照相机拍摄的图像，开始处理5900。在一些实施例中，当接收到的图像是由视频会议中的设备的照相机拍摄的第一帧图像时，不对第一帧图像进行处理5900(即，在第一帧图像之前，不存在根据其确定曝光值的任何图像)。处理5900随后读取(在5910)接收图像中的规定区域的像素值。不同的实施例不同地定义所述区域。一些这样的实施例定义不同形状的区域，比如正方形、矩形、三角形、圆形等，而其它的这种实施例在图像的不同位置，比如中心、正上方、正下方等定义所述区域。
随后，处理5900计算(在5915)图像的规定区域中的像素值的平均值。处理5900确定(在5920)像素值的计算平均值是否等于特定的规定值。不同的实施例定义不同的特定值。例如，一些实施例把所述特定值定义为图像的动态范围的中位数像素值。在一些实施例中，定义数值的范围，而不是单个值。在这样的实施例中，处理5900确定(在5920)像素值的计算平均值是否在数值的规定范围之内。
当像素值的计算平均值不等于特定的规定值时，处理5900根据计算平均值调整(在5925)曝光值。当像素值的计算平均值等于特定的规定值时，处理5900结束。在一些实施例中，曝光值代表照相机传感器被曝光的时间量。在一些实施例中，调整后的曝光值被用于曝光将由拍摄接收图像的照相机拍摄的下一帧图像。在根据计算的平均值调整曝光值之后，处理5900结束。
在一些实施例中，重复执行处理5900，直到像素值的计算平均值等于特定的规定值(或者在数值的规定范围内)为止。一些实施例在视频会议期间，不断进行处理5900，而其它实施例在视频会议期间，以规定的时间间隔(例如，5秒、10秒、30秒等)进行处理5900。此外，在视频会议期间，一些实施例的处理5900在进行处理5900之前，动态重新定义特定的像素值。
图60概念地图解说明一些实施例的曝光调整操作的例子。例子6000、6010和6015都把由双照相机移动设备的照相机拍摄的图像6020显示在左侧。具体地说，图像6020显示背对太阳的暗黑人物。暗黑的人物指示图像的曝光度未高到足以曝光人物的脸部或身体。每个例子6000、6010和6015的右侧分别表示在图像6020之后拍摄的图像6025、6030和6035。在一些实施例中，图像6020和右侧的图像是由双照相机移动设备的照相机拍摄的视频的图像。在其它实施例中，图像620和右侧的图像是由双照相机移动设备的照相机在不同时刻拍摄的静止图像。
第一个例子6000图解说明没有任何曝光调整的操作。因而，图像6025显得和图像6020相同。由于没有进行任何曝光调整，因此和图像6020中的人物类似，图像6025中的人物仍然暗黑。
在第二个例子6010中，对图像6020进行曝光调整操作。在一些实施例中，曝光调整操作是由处理5900利用规定区域6040进行的。根据曝光调整操作，照相机的曝光度被调整，照相机利用调整后的曝光度拍摄图像6030。如图60中所示，图像6030中的人物不如图像6025中暗黑。不过，图像6030中人物的脸部和身体仍然不清晰。
第三个例子6015表示对图像6020进行的曝光调整操作。类似于第二个例子6010，一些实施例的例子6015的曝光调整操作是由处理5900利用规定区域6045进行的。根据曝光调整操作，照相机的曝光度被调整，照相机利用调整后的曝光度拍摄图像6035。如图60中所示，图像6035中的人物被正确曝光，因为人物的脸部和身体都可见。
在一些实施例中，规定区域的选择可由双照相机移动设备的用户进行。设备本身可以通过上面在CIPU 400中提及的曝光调整的反馈回路，自动调整其用于曝光调整操作的规定区域。图4中的统计引擎465可收集数据，以确定曝光度是否适合于拍摄的图像，并据此调整照相机传感器(例如，通过与传感器模块415的直接连接)。
D.焦距调整
图61图解说明在视频会议期间，调整双照相机移动设备的焦距的处理6100。在下面的讨论中，用户通过它指令远程设备调整远程设备的照相机焦距的设备被称为本地设备。在一些实施例中，图61的处理6100由本地设备的视频会议管理器1604执行。另外，下面将参考图62和63说明处理6100，图62和63为本地设备的用户提供请求远程设备执行焦距调整操作的两种示例方式。
如图61中所示，通过在本地设备和远程设备之间启动(在6105)视频会议，开始处理6100。处理6100随后接收(在6110)来自远程设备的视频，以便在本地设备的显示屏上显示。随后，在6115，处理6100确定是否接收到结束视频会议的请求。如上所述，在一些实施例中，可应本地或远程设备的用户的请求，结束视频会议。当处理6100接收到结束视频会议的请求时，处理6100结束。
否则，处理6100确定(在6120)它是否接收到调整远程设备的远程照相机的焦距的请求。当处理6100确定它未接收到调整远程设备的远程照相机的焦距的请求时，处理6100返回操作6110，接收来自远程设备的另外的视频。图62、63和64图解说明不同实施例向用户提供的产生这种请求的三种不同方式。在图62、63和64中，第一阶段6210、6310和6472都显示本地设备6200、6300和6471的PIP显示6225、6335和6482，PIP显示6225、6335和6482都显示两个视频，由本地设备拍摄的视频，和由远程设备拍摄的另一个视频。图62和63中的显示区1155和1155显示结束会议按钮。不过，在图64中，显示区1155的布局与上面说明的图12的显示区1155的布局相同。此外，可以选择在显示区1155中所示的切换照相机按钮6488，以在一些实施例中调用本地切换照相机操作，或者在其它实施例中调用远程切换照相机操作。如第一阶段6210、6310和6472中所示，显示在背景显示6235、6345和6480中的远程设备的视频是模糊的。
图62的第二阶段6215图解说明通过简单地选择远程设备的视频(例如，通过在远程设备的视频上的单点6240)，本地设备的用户向远程设备请求焦距调整的方法。按照这种方法，UI 6205自动把用户对由方框6245限定的感兴趣区域的选择与用户的指令远程设备对所述感兴趣区域执行操作(例如，焦距调整操作)的期望关联起来，从而指令本地设备6200的视频会议管理器1604联系远程设备，以执行调整操作(比如，焦距调整操作)。定义的感兴趣区域被远程设备用于焦距调整的计算。
图63的第二阶段6315类似地表示本地用户对远程视频的选择(例如，通过用户对远程设备的视频的轻点)。不过，不同于图62中图解说明的例子，图63中的这种选择指令UI 6305显示如在第三阶段6320中所示的可选UI项目6355、6360、6365和6370(它们可被实现成可选的按钮)的菜单。这些可选UI项目包括“自动聚焦(Auto Focus)”项目6360、“自动曝光(Auto Exposure)”项目6365、“切换照相机(Switch Camera)”项目6370和“取消(Cancel)”项目6355。在一些实施例中，“切换照相机”可选UI项目6370被用于请求本地切换照相机操作，而在其它实施例中，“切换照相机”可选UI项目6370被用于请求远程切换照相机操作。第四阶段6325随后图解说明本地用户选择自动聚焦项目6360。
图64的第二阶段6474再次类似地表示本地用户对远程视频的选择(例如，通过用户对远程设备的视频的轻点)。不过，不同于在图63中图解说明的例子，图64中的这种选择指令UI 6478请求焦距调整操作(即，在第二阶段6474中)。在结束焦距调整操作之后，UI 6478显示可选UI项目6484和6486的菜单(即，在第三阶段6476中)，可选UI项目6484和6486可被实现成可选按钮。这些可选UI项目包括“自动曝光”项目6486和“取消”项目6484。
当处理6100确定(在6120)本地用户指令本地设备请求焦距调整操作时，处理6100通过视频会议控制通道，向远程设备发送(在6140)命令，以调整远程设备目前捕获和传送其视频的照相机的焦距。在6140之后，处理返回上面说明的操作6110。
在一些实施例中，在远程设备进行这种操作之前，远程设备的用户必须提供允许，而在其它实施例中，当接收到本地设备的请求后，远程设备自动执行这种操作。另外，在一些实施例中，焦距调整操作调整远程设备的在视频会议期间使用的照相机的焦距设置。在一些这样的实施例中，如上所述，一些视频会议功能由视频会议模块1602实现。在这些实施例中，视频会议管理器1604指令CIPU 1650调整正在使用的远程设备照相机的传感器。
图62、63和64的最后阶段6220、6330和6476表示恰当聚焦的远程设备的视频。尽管图62、63和64提供接收校正远程设备的焦距的焦距调整请求的例子，不过，一些实施例允许本地设备的用户请求本地设备调整本地设备的照相机的焦距。可类似于在图62、63和64中所示的请求远程设备调整其照相机的焦距的方法，产生这样的请求。
图62、63和64图解说明允许用户进行焦距调整操作的三种示例用户界面。在一些实施例中，焦距调整操作导致拍摄显示在UI中的视频的双照相机移动设备的照相机的操作的改变，比如改变照相机的焦距。
如上在图56和62中所述，规定的感兴趣区域被远程移动设备分别用于视频的曝光调整和焦距调整的计算。不过，在一些其它实施例中，用户对感兴趣区域的选择可被用于指令远程设备进行一个或多个操作。例如，在一些实施例中，可根据定义的感兴趣区域，进行曝光调整和焦距调整，从而指令远程设备进行两个操作。
E.帧速率控制
在视频会议期间，一些实施例可能希望调整或保持向视频会议中的另一个设备传送由双照相机移动设备的照相机拍摄的视频图像的速率(即，帧速率)。例如，假定带宽固定，一些这样的实施例降低视频的帧速率，以提高视频图像的画面质量，而其它这样的实施例增大视频的帧速率，以平滑视频(即，减少抖动)。
不同的实施例提供在视频会议期间，控制视频图像的帧速率的不同技术。前面说明的一个例子调整照相机的传感器模块415的VBI，以控制处理由照相机拍摄的图像的速率。作为另一个例子，图9中所示的视频会议模块925的管理层935的一些实施例通过丢弃图像来控制帧速率。类似地，图像处理层930的一些实施例通过丢弃图像来控制帧速率。一些实施例提供除此之外的其它技术来控制帧速率，比如丢弃通用传输缓冲器3120中的帧。
V.双照相机
A.组合视图
1.画中画：两个远程照相机的显示
一些实施例允许双照相机移动设备按照几种显示排列中的任意一种，显示从在视频会议期间，从该移动设备拍摄的视频和从另一个双照相机移动设备拍摄的视频。图65图解说明从一个或多个双照相机移动设备拍摄的视频的不同显示排列的例子。在图65中，双照相机移动设备6500(设备A)的用户和另一个双照相机移动设备6505(设备B)的另一位用户正在相互进行视频会议。
图65把设备A的显示排列的四种例子表示在左侧。设备A的四种显示排列是第一视图6510、第二视图6515、第三视图6520和第四视图6525。另外，图65还把设备B的显示排列的四种例子表示在右侧。设备B的四种显示排列是第一视图6565、第二视图6570、第三视图6575和第四视图6580。在这个例子中，设备A只显示从设备A的照相机拍摄的两个视频，而设备B显示从设备A的照相机拍摄的两个视频，而且显示从设备B的照相机拍摄的一个或两个视频。
在第一视图6510中，设备A的UI 6585提供合成显示6512。合成显示6512包括两个显示区：显示从设备A的背面照相机拍摄的视频的显示区6530，和显示从设备A的正面照相机拍摄的视频的显示区6535。在这个例子中，显示区6530位于合成显示6512的上半部，而显示区6535位于合成显示6512的下半部。在第一视图6510中，这两个显示区大小相同。上部的显示区6530正显示山脉的视频，所述山脉假定是正由设备A的背面照相机拍摄的山脉。显示区6535正显示树和戴帽男士，所述树和戴帽男士假定是正由设备A的正面照相机拍摄的树和戴帽男士
第二视图6515中的UI 6585提供合成显示6517，合成显示6517包括和第一视图6510相同的两个显示区，除了显示区6535(显示从设备A的正面照相机拍摄的视频)正在位于合成显示6517的上半部，显示区6530(显示从设备A的背面照相机拍摄的视频)位于合成显示6517的下半部之外。
在第三视图6520中，UI 6585提供PIP显示6595。PIP显示6595包括两个显示区：作为背景显示区的、显示从设备A的正面照相机拍摄的视频的显示区6535，和作为前景插入显示区的、显示从设备A的背面照相机拍摄的视频的显示区6530。在这个视图中，背景显示区6535占据大部分的PIP显示6595，而插入显示区6530较小且重叠在一部分的背景显示区6535上。
第四视图6525中的UI 6585也呈现包括如第三视图6520中所示的显示区6530和6535的PIP显示6598。不同于PIP显示6595，PIP显示6598包括作为背景主显示的显示区6530(拍摄自设备A的背面照相机)，和作为前景插入显示的显示区6535(拍摄自设备A的正面照相机)。另外，PIP显示6598是按横向视图呈现的(即，PIP显示598的宽度大于高度)。
上面的例子图解说明设备A的UI的四种可能的合成视图-其中显示第一设备的两部照相机的视频的两个显示区6530和6535纵向层叠的两个视图，和两个PIP视图。对设备A的UI来说，其它视图也是可能的。例如，两个显示区可以水平或对角层叠，或者可以使用不同的PIP视图。
关于设备B图解说明的各个视图表示设备B的UI可以采用不同的视图。这些视图包括从设备A的两部照相机，以及设备B的一部或多部照相机拍摄的视频。在设备B的第一视图6565中，设备B的UI6590提供PIP显示6568。PIP显示6568包括与显示在设备A上的合成显示6512相同的合成显示区6569，以及显示由设备B的照相机之一(例如，正面照相机)拍摄的视频的插入显示区6550。合成显示区6569包括显示从设备A的背面照相机拍摄的视频的显示区6531，和显示从设备B的正面照相机拍摄的视频的显示区6536。显示设备A的视频的合成显示6569占据大部分的PIP显示6568，而插入显示区6550较小且重叠在合成显示6569上。显示区6550显示笑脸的视频，所述笑脸假定是正由设备B的正面照相机拍摄其视频的笑脸。
第二视图6570中的设备B的UI 6590提供PIP显示6572。PIP显示6572包括显示区6550(显示从设备B的正面照相机拍摄的视频)，和具有显示从设备A的照相机拍摄的视频的显示区6531和6536的合成显示6573。合成显示6573与设备A的第二视图6515中的合成显示6517相同，并占据大部分的PIP显示6572。和第一视图6565中的PIP显示6568中一样，显示区6550较小且重叠在合成显示6573上。具体地说，在这两个视图中，显示区6550重叠在显示从设备A的背面照相机拍摄的视频的显示区6531的一部分上。
在第三视图6575中，UI 6590提供与设备A的第三视图6520中的PIP显示6595类似的PIP显示6577。PIP显示6577还包括另外的显示区6550，作为第二插入显示区，第二插入显示区6550重叠在背景显示区6536上。两个插入显示区6531和6550水平平铺在背景主显示区6536的底部。
第四视图6580中的UI 6590提供合成显示6582。合成显示6582包括三个显示：PIP显示6583、显示区6550和显示区6540(例如，用于显示由设备B的背面照相机拍摄的视频)。PIP显示6583与设备A的第四视图6525中的PIP显示6598相同，并占据大部分的合成显示区6582。显示区6540和6550较小，并且水平平铺在PIP显示区6583之下。
尽管图65图解说明了设备B的四种可能视图，不过其它许多视图也是可能的。设备A的视频的背景合成显示可以水平平铺，而不是垂直平铺，插入显示区可重叠在设备A的正面照相机显示区上，而不是重叠在背面照相机显示区上，较大的显示区可以显示设备B的照相机的视频，而不是设备A的照相机的视频，插入显示区可以位于不同的位置，等等。
源于设备A的每个视图的每组箭头6560表明不存在对表示在设备A上的显示和表示在设备B上的显示之间的关联性的要求。例如，即使设备A正在按视图6510的排列显示区视频(例如，按照设备A的用户选择的排列)，设备B也可按图解说明的四种排列，或者按图65中未示出的多种其它排列任意之一显示视频(例如，按照设备B的用户选择的排列)。换句话说，设备A的显示排列与设备B的显示排列无关。一些实施例不把显示区从一个设备传送给另一个设备，而只是传送视频(例如，以编码的形式)，所述视频被设备显示在其对应的显示区中。
2.专用PIP
一些实施例允许双照相机移动设备的用户在视频会议期间，在PIP显示中把视频的前景叠加在另一个视频上。在一些实施例中，视频的前景按照这样的方式混合到另一个视频中，使得它们表现为由单一的照相机拍摄的单一视频的显示。图66图解说明在PIP显示中，插入视频的前景在背景视频上的这种叠加的例子。
图66按照UI 6670的七个操作阶段6620、6625、6630、6635、6640、6660和6665，图解说明这种视频叠加操作。第一阶段6620图解说明在与远程设备的视频会议期间，具有PIP显示6682的双照相机移动设备6600的UI 6670。如第一阶段6620中所示，PIP显示6682包括两个视频显示：背景主显示6610和前景插入显示6605。背景主显示6610占据大部分的UI 6670，而前景插入显示6605较小且重叠在背景主显示6610上。
在这个例子中，背景显示区6610显示山脉的视频，所述山脉假定是由远程设备的照相机之一拍摄的山脉。前景插入显示区6605显示戴帽人物的视频，所述人物假定是由本地设备的照相机之一拍摄其视频的人物。PIP显示6682下面是标记为“End Conference(结束会议)”的可选UI项目6685(例如，按钮6685)，所述可选UI项目6685允许用户通过选择该项目(例如，通过单击或双击该按钮)，结束视频会议。
第二阶段6625图解说明可选菜单6675的调用。在一些实施例中，通过选择(例如触摸)PIP显示区6682，可以调用可选UI项目6675的菜单。代替这种调用操作，或者与这种调用操作结合，一些实施例还允许用户通过其它操作，比如通过不同的触屏操作或者利用设备的一个或多个其它物理输入，调用可选UI项目6675的菜单。
第三阶段6630显示UI 6670，UI 6670具有调用的一组用于选择视频叠加操作的可选UI项目。在这个例子中，在PIP显示6682上显示具有几个可选UI项目的弹出式菜单6675。可选UI项目的菜单6675包括“Flip PIP(翻转PIP)”可选UI项目6640(例如，按钮6640)，“Specialized PIP(专用PIP)”可选UI项目6645(例如，按钮6645)，和“Cancel(取消)”可选UI项目6690(例如，按钮6690)。在这个例子中，选择“Flip PIP”按钮6640会导致UI 6670交换背景显示6610和插入显示6605(在下一节中将详细讨论)，选择“Specialized PIP”按钮6645会导致UI 6670开始视频叠加的操作，以及选择“Cancel”按钮6690会从PIP显示6682中除去弹出式菜单6675。其它实施例在PIP弹出式菜单6675中包括不同的或者更多的项目。
第四阶段6635图解说明在用户选择了“Specialized PIP”按钮6645(例如通过用他的手指6695轻点按钮6645)之后的UI 6670。通过在UI显示6670上突出显示按钮6645，指示这种选择。一些实施例使用不同的指示显示(例如，突出显示所选项目的边框或者所选项目中的文本)。
第五阶段6640表示在开始视频叠加操作之后的UI 6670。在这个阶段，UI 6670允许用户选择他想要从哪个视频进行提取以作为前景，和他想要使用哪个视频作为叠加视频中的背景。UI 6670通过显示在PIP显示6682上的具有几个可选UI项目的弹出式菜单6680，提供各种选项。可选UI项目的弹出式菜单6680包括“Select Inset(选择插入显示)”可选UI项目6655(例如，按钮6655)，“Select Main(选择主显示)”可选UI项目6650(例如，按钮6650)，和“Cancel”可选UI项目6692(例如，按钮6692)。
选择“Select Inset”按钮6655会导致UI 6670把来自本地设备的照相机的插入视频6605的前景(即，戴帽的男士)叠加在来自远程设备的照相机的背景主视频6610上。另一方面，选择“Select Main”按钮6650会导致UI 6670把来自远程设备的照相机的背景主视频6610的前景(即，山脉)叠加在来自本地设备的照相机上的插入视频6605上。在一些实施例中，这导致两个视频推送(feed)的切换，使得目前在插入显示区6605中的视频将占据大部分的UI 6670，目前在主显示区6610中的视频将被叠加在马上的主视频上。选择“Cancel”按钮6692会放弃视频叠加操作，并从PIP显示区6682去除弹出式菜单6680。
第六阶段6600图解说明在用户选择“Select Inset”按钮6655(例如，通过用他的手指6695轻点按钮6655)之后的UI 6670。通过在UI显示6670上突出显示按钮6655，指示这种选择。一些实施例利用不同的指示显示(例如，突出显示所选项目的边框或者所选项目中的文本)。
第七阶段6665图解说明在完成视频叠加操作之后的UI 6670。如UI 6670中所示，从显示区6605中提取出插入显示区6605的前景(即，戴帽的男士)。另外从屏幕中消除插入显示6605的窗框和背景(即，除所述前景外的其它一切)。最后，按照这样的方式把前景(即，戴帽的男士)混合到背景视频6610中，使得它表现为单一视频。可以使用各种不同的技术去除插入视频的背景。一些实施例识别相对于其它像素不移动的像素、寻找恒定不变的图案或颜色、使用与包括前景的图像相比的基线图像、并扣除差异、或者使用不同的技术。
尽管图66的例子图解说明当被叠加在背景显示区6610上时，插入显示区6605的前景保留在UI中的相同位置，不过这只是叠加能够如何实现的一个例子。一些实施例把前景视频移动到UI 6670中的特定位置(例如，中心、角落之一，等等)。类似于在IV.A.1和IV.A.3节中所示的特征，一些实施例允许本地设备的用户在UI中来回拖动叠加的前景视频，或者改变叠加的前景视频的大小。
可以使用不同的技术来确定视频图像的哪个或哪些部分是如上所述的视频叠加操作的“前景”。一些实施例的一个这种方法确定视频图像的哪个或哪些部分(如果有的话)是动态的。动态部分被认为是“前景”，因为视频图像的背景通常是静态的(即，无运动)。在这样的实施例中，在特定的一段时间内分析视频图像。如果所述一段时间内，特定像素的值之间的差异不大于规定的阈值(例如，5％、10％、15％)，那么认为所述特定像素是静态像素。在分析了视频图像中的每个像素之后，视频图像的动态像素(即，不是静态的像素)被认为是视频图像的“前景”。
图67图解说明能够由视频会议管理器1604或者图像处理管理器1608执行的、确定视频图像的前景的这种技术的一个例子。具体地说，图67图解说明显示戴帽的人物和树的视频的一系列六个图像6705-6730。在这个例子中，假定所述人物不是完全静止地站立着的，可能正在说话。如上所述，分析视频图像中的每个像素，以确定像素是动态的还是静态的。例如，确定图像6705-6730中的像素6735的值之间的差异是否大于规定的阈值。这里，由于像素6735代表除人物之外的部分地面，因此认为像素6735是静态的。在分析了图像6705-6730中的所有像素之后，确定图像中的人物是动态的，以及图像的其余部分是静态的。因而，所述人物是将由上面参考图66说明的操作提取的“前景”。
3.交换画中画显示中的视频
一些实施例允许双照相机移动设备的用户在视频会议期间，交换PIP显示中的两个显示区(即，在PIP显示中，插入显示区变成背景显示区，背景显示区变成插入显示区)。图68图解说明在视频会议期间，交换PIP显示6682中的插入显示区6605和背景显示区6610的例子。
图68按照图66中的设备6800的UI 6670的八个操作阶段，图解说明交换PIP操作。图68中的前三个阶段与图66中的前三个阶段相同。在这些阶段中，通过利用本地设备的触摸屏进行选择，用户使菜单6675出现在UI 6670内。
图68的第四阶段6840图解说明在用户选择“Flip PIP”按钮6640(例如，通过用他的手指6695轻点按钮6640)之后的UI 6670。通过在UI显示6670上突出显示按钮6640，指示这种选择。一些实施例利用不同的指示显示(例如，突出显示所选项目的边框或者所选项目中的文本)。
第五阶段6845图解说明在开始交换PIP操作之后的UI 6670。一些实施例通过翻转动作，动画演示插入显示6605和背景显示6610的交换。图68图解说明这种动画演示的一个例子。在这个例子中，通过PIP显示6682(在执行交换操作之前)在其一面上，新的PIP显示6684(在执行交换操作之后)在其另一面上的观察窗格的翻转，能够说明这种动画。观察窗格围绕位于PIP显示6682的中心的垂直轴6686旋转180°。在第五阶段6845，观察窗格开始围绕垂直轴6686旋转。
在第六阶段6850，观察窗格被表示成已旋转大约90°。这是用显示在屏幕中心的细线6688(即，观察窗格的边缘)指示的。第七阶段6855图解说明观察窗格的旋转接近于完成。新的PIP显示6684开始从观察窗格的另一面出现，并水平扩展到充满设备的屏幕。PIP显示6684包括在进行交换操作之后的两个显示区6605和6610。呈现戴帽男士的视频(来自本地设备的照相机)的显示区6605现在在PIP显示6684的背景中，呈现山脉的视频(来自远程设备的照相机)的显示6610现在在PIP显示6684的前景中，所述前景重叠在显示6605上。第八阶段6860表示交换显示操作的完成。
普通技术人员会认识到图68中所示的动画只是PIP插入/背景交换操作的多种可能动画中的一种。例如，不同的实施例可以沿着水平轴旋转观察窗格、瞬间交换这两个显示区、扩展一个显示区同时缩小另一个显示区，等等。一些实施例提供一种总是用于交换操作的动画，而其它实施例允许用户从几种动画中选择，或者使用不同的动画(例如，通过随机选择)。此外，交换操作能够导致双照相机移动设备的图像处理操作的变化，比如导致视频会议管理器1604响应用户的输入，改变视频的比例缩放和合成。
4.锁定到角落
本发明的一些实施例允许双照相机移动设备的用户通过来回移动形成合成显示的一个或多个显示区，修改合成显示。上面在IV.A.1节中说明了这种移动的一个例子。当PIP显示包括多于一个的插入显示区时，插入显示的这种移动也是可能的。
图69图解说明在视频会议期间执行的这种例子。在图69中图解说明的例子与在图3中图解说明的例子类似，除了图69图解说明来回移动包括两个插入显示区6905和6910，而不是仅仅一个这种插入显示区的PIP显示6965的插入显示区6910之外。
在图69中，在与另一个设备的远程用户的视频会议期间，移动设备6900的UI 6960呈现PIP显示6965。图69中的PIP显示6965包括三个视频显示：背景主显示6915及两个前景插入显示6905和6910。在这个例子中，背景主显示6915呈现边唱边弹吉它的人物的视频，所述视频被假定是由远程设备的背面照相机拍摄的视频。前景插入显示6905呈现拿着球拍的人物的视频，在这个例子中，该视频被假定是由本地设备的背面照相机拍摄的视频。另一个前景插入显示6910呈现戴着帽子的人物的视频，在这个例子中，该人物假定是由本地设备的正面照相机拍摄其视频的人物。PIP显示6965下面是标记为“End Conference”的可选UI项目6970(例如，按钮6970)，可选UI项目6970允许用户通过选择它而结束视频会议。
PIP显示6965只是呈现由远程设备和本地设备拍摄的视频的合成视图的一种方式。一些实施例可以提供其它的合成视图。例如，代替具有来自远程设备的视频的较大背景显示6915，较大的背景显示6915可以是来自本地设备的视频，较小的前景插入显示6905和6910可以是来自远程设备的视频。另外，一些实施例允许本地视频和远程视频出现在插入显示6905和6910在一侧，背景显示6915在另一侧，或者所有这三个显示并排排列的UI 6910中。在其它实施例中，PIP显示6965可包含较大的背景显示6915和/或较小的前景插入显示。在一些实施例中，PIP显示6965或者默认显示模式的方式可由用户指定。
图69通过参考五个不同的操作阶段6920、6925、6930、6935和6940，图解说明设备6900的UI 6960中的两个插入显示区之一的移动。第一阶段6920图解说明在设备6900的本地用户和远程设备的远程用户之间的视频会议期间的UI 6960。
第二阶段6925图解说明通过选择插入显示区6910，用户开始锁定到角落操作。在这个例子中，通过把手指6950放在插入显示区6910内的任何地方，做出选择。如图所示，用插入显示区6910的粗边框6962显示这种选择。不同的实施例可用不同的方式指出这样的选择，比如通过突出显示插入显示区6910，通过使插入显示区6910摆动，等等。
第三阶段6930图解说明在用户开始把PIP显示6965的插入显示区6910从PIP显示6965中的一个区域移动到PIP显示6965中的另一个区域之后的UI 6960。在这个例子中，插入显示区6910已开始从PIP显示6965的右下角向PIP显示6965的右上角移动，如箭头6955所示。在选择插入显示区6910之后，用户通过朝着PIP显示6965的右上角拖动其手指6950，移动插入显示区6910。一些实施例提供在PIP显示6965中来回移动插入显示区6910的其它技术。
第四阶段6935图解说明在用户已从设备6900的屏幕移开其手指6950之后的状态下的UI 6960。在这种状态下，插入显示区6910仍然朝着根据第三阶段中的用户手指移动而识别的PIP显示6965的右上角移动。换句话说，在手指6950启动插入显示区6910朝着PIP显示6965的右上角的移动之后，即使在移开手指6950之后，UI 6960仍然保持这种移动。为了保持所述移动，一些实施例的UI 6960要求在用户移开其手指之前，用户的拖动操作要大于特定的阈值量(例如，大于特定的距离，或者长于特定的时间)；否则，这些实施例会在稍微移动插入显示区之后，使该插入显示区保持在其初始的右下角位置，或者根本不移动该插入显示区。
不过，尽管即使用户在插入显示区到达其新位置之前，停止了他的拖动操作，一些实施例仍然允许插入显示区继续移动，不过其它实施例要求用户保持拖动操作，直到插入显示区到达其新位置为止。一些实施例提供移动插入显示区的其它技术。例如，一些实施例要求用户在显示区6910实际开始移动之前，指定要把显示区6910引导到何处，等等。一些实施例还通过仅仅以不同角度倾斜移动设备，使显示区可以滑动和锁定到角落。
第五阶段6940图解说明在插入显示区6910到达其位于PIP显示区6965的右上角的新位置之后的UI 6960。第五阶段中粗边框6962的消除指示锁定到角落操作已完成。
为了使在上述第三、第四和第五阶段6930、6935和6940中图解说明的移动更容易，一些实施例的UI 6960采用一旦用户使插入显示区6910朝着PIP显示6965的某个角落移动，就允许插入显示区6910快速锁定到该角落的锁定规则。例如，当用户朝着特定角落拖动插入显示区6910超过阈值量时，一些实施例的UI 6960识别插入显示区6910的运动方向，确定所述运动已超过阈值量，从而随后自动移动插入显示区6910，而不用用户进一步输入插入显示区6910可被锁定到的UI 6960中的下一个网格点。在一些实施例中，为锁定插入显示区6910而提供的唯一网格点是位于PIP显示6965的四个角落的网格点。其它实施例提供插入显示区6910可被锁定到的UI 6960中(例如，PIP显示6965中)的其它网格点。
另外的实施例可以不采用网格点，使得插入显示区6910可被置于PIP显示中的任意点。再另外的实施例提供允许用户打开或关闭UI的锁定到网格点特征。此外，除了从设备拍摄的视频之外，不同的实施例可允许用户对各种项目，比如图标等执行锁定到角落操作。如上所述，合成显示的一个或多个显示区的移动会导致双照相机移动设备的图像处理操作的变化，比如导致视频会议管理器1604响应用户的输入，重新合成合成显示中的显示区。
5.推送和锁定
图69中的例子图解说明允许双照相机移动设备的用户把两个插入显示区之一，从PIP显示的一个角落移动到未被插入显示占据的另一个角落的锁定到角落操作。一些实施例能够实现把第一插入显示移动到第二插入显示的位置，还把第二插入显示推送到新位置的推送特征。图70图解说明在视频会议期间执行的一个这种例子。
图70通过参考UI 6960的六个不同阶段7020、7025、7030、7035、7040和7045，图解说明插入显示从PIP显示的一个角落到未被另一个插入显示占据的PIP显示的另一个角落的移动。第一阶段7020图解说明在该设备的本地用户和远程设备的远程用户之间的视频会议期间的UI 6960。图70中的UI 6960表示和在开始视频会议之后，在图69的第一阶段中所示的PIP相同的PIP显示6965。在这个例子中，由本地用户的设备拍摄的视频被显示在插入显示区6905和6910中，由远程用户的设备拍摄的视频被显示在背景显示区6915中。
第二阶段7025图解说明用户通过选择插入显示区6905，开始锁定到角落操作。在这个例子中，通过把手指7055放在插入显示区6905内的任意地方，进行选择。如图所示，用插入显示区6905的粗边框7065显示这种选择。不同的实施例用不同的方式指示这样的选择，比如通过突出显示区6905，通过使显示区6905摆动，等等。
第三阶段7030图解说明如箭头7050所示，在用户开始把插入显示区6905从PIP显示6965的左下角移向PIP显示6965的右下角(通过在第三阶段中，在选择插入显示区6905之后，朝着PIP显示6965的右下角拖动他的手指7055)之后的UI 6960。一些实施例提供在PIP显示6965中来回移动插入显示区6905的其它技术。
第四阶段7035图解说明在插入显示区6905接触插入显示区6910之后的UI 6960。当接触时，插入显示区6910朝着下一个最近的角落移动。在这个例子中，插入显示区6910开始沿PIP显示6965的右上角的方向(如箭头7075所示)移动。用插入显示区6910的粗边框7070，显示这种推送操作的激活。不同的实施例可用不同的方式指示这种激活，比如通过突出显示区6910，等等。
第五阶段7040图解说明在插入显示区6905被锁定到先前被插入显示区6910占据的右下角之后的状态下的UI。在这个例子中，该插入显示区仍然朝着PIP显示6965的右上角移动。另外，不再显示粗边框7065。只要第三阶段7030的用户拖动操作大于使插入显示区6905锁定到右角落的阈值，就把插入显示区6910从其角落移开，并一直锁定到下一个最低的角落。
一些实施例包括确定采用哪种方式推送第二插入显示区6910的一组规则。在图70中图解说明的情况下，一些实施例设法继续保持插入显示区的旋转。即，由于插入显示区6905是沿逆时针方向移动的，因此显示区6910也被逆时针移动。一些实施例提供被推送的插入显示区6910能够移动到的可能位置的分级，并选择该列表上的第一个未被占据的位置。例如，当位于右下角的插入显示区被来自左下角的插入显示区推送时，右上角可能是这种列表中的第一个位置。不过，如果第三插入显示区已位于右上角，那么一些实施例会移动到列表上的下一个选项(例如，左上角、中心、或者左下角)。其它实施例可随着第二插入显示区一起推送第三插入显示区，使得设备不需要确定第三插入显示区的新位置。
第六阶段7045图解说明在插入显示区6910到达其位于PIP显示区6965的右上角的新位置之后的UI 6960。在该阶段中，粗边框7070的消除指示锁定到角落-推送操作已完成。类似于参考图68说明的推送到角落操作，合成显示的一个或多个显示区的移动能够导致双照相机移动设备的图像处理操作的变化，比如导致视频会议管理器1604响应用户的输入，重新合成合成显示中的显示区。
6.旋转
当用于视频会议的移动设备的用户在会议期间旋转该设备时，一些实施例旋转在视频会议期间呈现的PIP显示。图71图解说明当设备7100从垂直位置被旋转到水平位置时，该设备的UI显示7175的旋转。当屏幕的长边是垂直的时，设备7100被竖握，而当屏幕的长边水平时，设备7100被横握。在图71中图解说明的例子中，UI显示7175从为设备的竖握而优化的纵向视图旋转到为设备7100的横握而优化的横向视图。这种旋转功能使得当移动设备7100被竖握或横握时，用户都能够观看以直立位置显示的UI 7175。图71中图解说明的例子类似于图34中图解说明的例子，除了图71图解说明旋转包括两个插入显示区而不只是一个插入显示区的PIP显示。
在图71中，在与另一个移动设备的远程用户的视频会议期间，移动设备的UI 7175呈现PIP显示7180。图71中的PIP显示7180包括三个视频显示：背景主显示7115和两个前景插入显示7110和7160。在这个例子中，背景主显示7115呈现山脉的视频，所述视频假定是由远程设备的正面或背面照相机拍摄的视频。前景插入显示7110呈现房间中的笑脸的视频，所述视频假定由本地设备的正面或背面照相机拍摄。另一个前景插入显示7160呈现唱歌的吉它演奏者的视频，所述吉它演奏者假定是正由本地设备的另一部照相机拍摄其视频的吉它演奏者。PIP显示7180下面是“结束会议”按钮7155，用户可以选择该按钮以结束视频会议(例如，通过单指轻点)。该PIP显示只是呈现由远程设备和本地设备拍摄的视频的合成视图的一种方式。一些实施例可提供其它合成视图，比如平铺视图或者不同的PIP显示。
图71按照六个不同的操作阶段7120、7125、7130、7135、7140和7145，图解说明UI 7175的旋转。第一阶段7120图解说明在该设备的本地用户和远程设备的远程用户之间的视频会议期间的UI7175。
第二阶段7125图解说明在用户开始向一边倾斜设备7100之后的UI 7175。在这个例子中，设备7100已开始把设备7100从竖握倾斜到被横握，如箭头7185所示。UI 7175的外观没有变化。在其它情况下，用户可能改为想把设备7100从被横握倾斜到被竖握，在这些情况下，UI显示7175从水平优化的视图切换到垂直优化的视图。
第三阶段7130图解说明在设备7100已从被竖握倾斜到被横握之后的状态下的UI 7175。在这种状态下，UI显示7175的外观仍然没有变化。在一些实施例中，在设备7100被倾斜超过阈值量，并保持超过阈值量一段时间之后，触发旋转操作。在图71中图解说明的例子中，假定阈值量和旋转速度不会使UI显示7175旋转，直到设备已放置在水平位置之后的较短时间间隔为止。不同的实施例具有用于触发旋转操作的不同阈值量和等待时间。例如，一些实施例可具有如此低的触发旋转操作的阈值，使得不管设备7100的定向，都使UI 7175显得好像它总是以直立位置显示似的。在其它实施例中，设备7100的用户可以规定何时可以触发旋转操作(例如，通过菜单优先选择设置)。另外，一些实施例可在设备被倾斜超过阈值量之后，不延迟所述旋转。此外，不同的实施例可以允许用不同的方式触发旋转操作，比如通过切换移动设备上的开关、通过发出话音命令、依据通过菜单进行的选择，等等。
第四阶段7135图解说明在开始旋转操作之后的UI 7175。一些实施例动画演示旋转显示区，以向用户提供关于旋转操作的反馈。图71图解说明这样的一种动画的例子。具体地说，图71在其第四阶段7135表现显示区7110、7115和7160一起开始旋转。显示区7110、7115和7160围绕经过UI显示7175的中心的轴7165(即，z轴)旋转。显示区7110、7115和7160被旋转相同的数量，不过沿与设备7100的旋转(例如，通过设备7100的倾斜)相反的方向旋转。在这个例子中，由于设备7100沿顺时针方向旋转了90°(通过从竖握变成横握)，因此旋转操作会使显示区7110、7115和7160沿逆时针方向旋转90°。当显示区7110、7115和7160旋转时，显示区7110、7115和7160按比例地缩小，以适合UI显示7175，使得显示区7110、7115和7160仍然可以完全出现在UI 7175内。一些实施例可提供指示设备7100的状态的消息(例如，通过显示字词“Rotating(旋转)”)。
第五阶段7140图解说明在显示区7110、7115和7160从纵向视图到横向视图逆时针旋转90°之后的UI 7175。在这个阶段，显示区7110、7115和7160已被旋转，不过还未展开到UI 7175的整个宽度。箭头7170指出在第五阶段的结尾，显示区7110、7115和7160将开始侧向展开，以适合UI 7175的整个宽度。不同的实施例可不包括该阶段，因为可以与第四阶段7135中的旋转同时地进行所述展开。
第六阶段7145图解说明在显示区7110、7115和7160已被展开，以占据UI 7175的整个显示之后的UI 7175。如上所述，其它实施例可以不同地实现这种旋转。对一些实施例来说，仅仅把设备的屏幕旋转超过阈值量就可触发所述旋转操作，而不管设备7100的定向。
另外，其它实施例可提供用于指示旋转操作的不同动画。在图71中执行的旋转操作涉及UI显示7175围绕UI显示7175的中心旋转。另一方面，可以使显示区围绕它们各自显示区的中心轴单独旋转。图72中表示了一种这样的方法，图72表示动画演示UI 7175的PIP显示区7180的旋转的备选方法。图72中图解说明的PIP显示和图71中图解说明的PIP显示7180相同。
图72按照六个不同的操作阶段7120、7125、7130、7220、7225和7230，图解说明PIP显示7180的旋转。UI 7175的前三个阶段的操作与如在图71中的UI 7175中说明的前三个阶段的操作相同。在图71和72的第三阶段，设备都已从竖握变成横握，并且UI 7175的旋转还未开始。
第四阶段7220图解说明动画演示所述旋转的备选方法。在第四阶段，旋转操作已开始。具体地说，第四阶段7220表现显示区7110、7115和7160的旋转的开始。显示区7110、7115和7160分别围绕穿过每个显示区的中心的轴7250(即，z轴)旋转。显示区7110、7115和7160被旋转相同的量，不过沿与设备7100的旋转(例如通过设备7100的倾斜)相反的方向旋转。在这个例子中，由于设备7100沿顺时针方向旋转了90°(通过从竖握变成横握)，因此旋转操作会使显示区7110、7115和7160沿逆时针方向旋转90°。当显示区7110、7115和7160旋转时，它们还按比例缩小，以适合UI显示7175，使得显示区7110、7115和7160仍然可以完全出现在UI 7175上。
第五阶段7225图解说明在显示区7110、7115和7160都从纵向视图到横向视图逆时针旋转90°之后的UI 7175。在这个阶段，显示区7110、7115和7160已被旋转，不过还未展开到UI 7175的整个宽度，或者到达它们的最终位置。显示区在PIP显示7115中的最终位置由如在第一阶段7120中所示的显示区在PIP显示7115中的位置确定(例如，插入显示7110在PIP显示7180的左下角，和插入显示7160在PIP显示7180的右下角)。
箭头7170指出在第五阶段的结尾，显示区7115、7110和7160将开始侧向展开，直到主显示区7115适合UI 7175的整个宽度为止。此外，箭头7255指出插入显示区7110和7160将移动，从而到达它们在PIP显示7180中的最终位置。换句话说，插入显示区7110将向下朝着PIP显示7180的左下角移动，而另一个插入显示区7160移向PIP显示7180的右下角。不同的实施例可不同地实现这种动画，例如通过利用在图71中图解说明的锁定和推送操作。第六阶段7230图解说明在显示区7110、7115和7160已被展开从而占据UI 7175的整个显示并且已移动到它们的最终位置之后的UI 7175。
如上所述，其它实施例可不同地实现这种旋转。例如，与图36和37中图解说明的类似，一些实施例提供一种旋转操作，其中显示由本地设备拍摄的视频的显示区的定向改变，以反映在对本地设备进行旋转操作之后本地设备的定向，一些实施例提供一种旋转操作，其中显示由远程设备拍摄的视频的显示区的定向改变，以反映在对远程设备进行旋转操作之后远程设备的定向，一些实施例提供其中显示区1155保留在相同位置的旋转操作，一些实施例提供显示区中的不同布局(例如，图12的显示区1155的布局)，或者它们的组合。
对一些实施例来说，仅仅使设备的屏幕旋转超过阈值量就可触发旋转操作，而不管设备7100的定向。另外如上所述，本地设备和远程设备可通过控制通信通道，相互通知对两个设备中的一个设备进行的旋转操作，以允许另一个设备对所述一个设备的视频进行任何对应的修改。另外，旋转操作的动画还会导致照相机的操作或者双照相机移动设备的图像处理操作的变化，比如使视频会议管理器1604重新合成UI 1105中的成不同角度的一个或多个显示区，和比例缩放显示在一个或多个显示区中的图像。
7.选择观看远程视图
如上所述，一些实施例允许双照相机移动设备的用户在开始视频会议之前，或者在开始视频会议时，选择把哪部照相机用于视频会议。代替这种能力，或者与这种能力结合，一些实施例允许该设备的用户在两个视频之间进行选择，所述两个视频是在视频会议中显示的并且或者来自远程设备的两部视频照相机，或者来自用户的本地设备的两部视频照相机。图73图解说明在会议中选择两个远程视频中的一个视频，而图74图解说明在会议中选择两个本地视频中的一个视频。
图73按照显示在本地设备7300上的UI 7375的六个操作阶段7335、7340、7345、7350、7355和7360，图解说明所述远程视频的选择。第一阶段7335图解说明具有在与具有两部照相机的移动设备的远程用户的视频会议期间，呈现的初始PIP显示7390的UI 7375。
如第一阶段7335中所示，初始PIP显示7390包括三个显示：背景主显示7315和两个前景插入显示7305和7310。背景显示7315占据大部分的PIP显示区7390，而前景插入显示7305和7310分别重叠在UI 7375上的部分背景显示7315上。在这个例子中，背景显示7315呈现在麦克风之前的人物的视频，所述视频假定是由远程设备的背面照相机拍摄的视频。第一前景插入显示7305呈现男士的脸部的视频，在这个例子中，该视频假定是由本地设备7300的照相机之一拍摄的视频。第二前景插入显示7310呈现戴着帽子的人物的视频，在这个例子中，该视频假定是由远程设备的正面照相机拍摄的视频。
初始PIP显示7390只是呈现由本地设备和远程设备的照相机拍摄的视频的合成视图的一种方式。一些实施例可以提供其它的合成视图。例如，背景显示可以呈现来自本地设备的照相机之一的视频，较小的前景插入显示可以呈现来自远程设备的正面照相机和背面照相机的视频。另外，在一些情况下，PIP显示可以只包括均来自远程设备的一个背景视频显示和一个前景视频显示。在一些实施例中，PIP显示的方式或者默认显示模式可由用户指定。
第二阶段7340图解说明视频选择操作的开始。在这个例子中，通过调用要显示在PIP显示7390上的一组可选UI项目，发起该操作。所述一组可选UI项目呈现用于选择显示用远程视频的选项。在一些实施例中，通过选择(例如，通过触摸)UI 7375上的播放远程视频的任何显示区，调用所述一组可选UI项目。在其它实施例中，通过选择(例如，通过触摸)UI 7375上的任意地方，可调用所述各个项目。代替这种调用操作，或者与这种调用操作结合，一些实施例还允许用户通过其它操作，比如通过不同的触屏操作，或者利用设备的一个或多个其它物理输入，调用所述一组可选UI项目。
第三阶段7345显示UI 7375，UI 7375具有一组调用的用于选择远程视频的可选UI项目7380。在这个例子中，呈弹出式菜单形式的一组可选UI项目7380被显示在PIP显示区7390中，重叠在该PIP显示上。所述一组可选UI项目7380(它们可被实现成可选按钮)包括“Select R1”可选UI项目7320(例如，按钮7320)，“Select R2”可选UI项目7325(例如，按钮7325)，“Select Both”可选UI项目7330(例如，按钮7330)，和“Cancel”可选UI项目7385(例如，按钮7385)。在这个例子中，选择“Select R1”按钮7320会使UI 7375只显示由远程设备的背面照相机拍摄的视频(呈现在背景显示7315中)。选择“SelectR2”按钮7325会使UI 7375只显示由远程设备的正面照相机拍摄的视频(呈现在前景插入显示7310中)。选择“Select Both”按钮7330会使UI 7375继续显示由远程设备的正面照相机和背面照相机拍摄的两个视频。选择“Cancel”按钮7385会取消该操作。在一些实施例中，由本地设备拍摄的视频不受在该菜单上进行的选择的影响。
第四阶段7350图解说明在用户选择了“Select R1”按钮7320(例如，通过用他的手指7365轻点按钮7320)之后的UI 7375。通过突出显示UI 7375上的按钮7320，指示这种选择。一些实施例利用不同的指示显示(例如，突出显示所选项目的边框，或者所选项目中的文本)。
第五阶段7355图解说明在用户选择了来自R1的视频以便显示之后的UI 7375的动画。在这个例子中，通过如箭头7370所示，使不需要的前景插入显示区7310滑出PIP显示7390的右边缘，UI 7375除去不需要的前景插入显示区7310。其它实施例利用不同的动画来消除不需要的插入显示区，比如使该插入显示区淡出或者渐隐、沿不同的方向移动该插入显示区、或者简单地立即消除该插入显示区。
第六阶段7360显示在结束视频选择操作之后，视频会议期间的UI 7375。视频显示区7310不再显示在UI 7375上。在这个阶段，UI7375呈现新的PIP显示7395，PIP显示7395包括作为背景主显示的视频显示区7315，和作为插入显示的视频显示区7305。
在一些实施例中，该视频选择操作还会使远程设备只显示选择的视频，不过在其它实施例中，视频选择操作对远程设备没有任何影响。在一些实施例中，该视频选择操作会使远程设备停止向本地设备传送不需要的视频。事实上，在一些实施例中，盖视频选择操作会使远程设备的照相机停止拍摄不需要的视频。在一些实施例中，远程设备的用户可以否决对远程设备的这些影响。
上面的例子举例说明选择的远程视图是已显示在背景主显示中的远程视图的情况。在一些实施例中，当用户选择显示在插入显示之一中的远程视图时，选择的远程视图被显示在背景主显示中。这种情况下，一些这样的实施例利用和在图68中显示的动画类似的动画。此外，远程视频的选择会导致本地双照相机移动设备的图像处理操作的变化，比如使视频会议管理器1604响应用户的输入，在合成显示中只合成选择的一个或多个远程视频。
8.选择观看本地视图
图74按照显示在本地设备7400上的UI 7475的六个操作阶段7435、7440、7445、745、7455和7460，图解说明本地视频的选择。第一阶段7435图解说明UI 7475，UI 7475具有在与具有至少一部照相机的移动设备的远程用户的视频会议期间呈现的初始PIP显示7490。PIP显示7490和在图73中的第一阶段7335中的PIP显示类似，除了不同于图73，背景显示7415呈现由远程设备的照相机拍摄的男士的视频，左侧的前景插入显示7410呈现由本地移动设备的背面照相机拍摄的拿着吉它的人物的视频，右侧的前景插入显示7405呈现由本地移动设备7400的正面照相机拍摄的戴着帽子的男士的视频之外。从而，只显示一个远程视频，而显示两个本地视频。
第二阶段7440图解说明视频选择操作的开始。在这个例子中，通过调用要显示在PIP显示7490上、用于选择显示用远程视频的一组可选UI项目，发起该操作。在一些实施例中，通过选择(例如，通过触摸)UI显示7475上的播放本地视频的任何显示区，可调用所述一组可选UI项目。在其它实施例中，通过选择(例如，通过触摸)UI显示7475上的任意地方，可调用所述各个项目。代替这种调用操作，或者与这种调用操作结合，一些实施例还允许用户通过其它操作，比如通过不同的触屏操作，或者利用设备的一个或多个其它物理输入，调用所述一组可选UI项目。
第三阶段7445显示UI 7475，UI 7475具有一组调用的用于选择本地视频的可选UI项目7480。在这个例子中，呈弹出式菜单形式的一组可选UI项目7480被显示在PIP显示区7490中，重叠在该PIP显示上。所述一组可选UI项目7480包括“Select L1”可选UI项目7420(例如，按钮7420)，“Select L2”可选UI项目7425(例如，按钮7425)，“Select Both”可选UI项目7430(例如，按钮7430)，和用于取消该操作的“Cancel”可选UI项目7485(例如，按钮7485)。在这个例子中，选择“Select L1”按钮7420会使UI 7475只显示由本地设备的背面照相机拍摄的视频(呈现在前景插入显示7410中)。选择“SelectL2”按钮7425会使UI 7475只显示由本地设备的正面照相机拍摄的视频(呈现在前景插入显示7405中)。选择“Select Both”按钮7430会使UI 7475继续显示由本地设备的两部照相机拍摄的两个视频，以及选择“Cancel”按钮7485会取消该操作。在一些实施例中，由远程设备拍摄的视频不受通过该菜单进行的选择的影响。
第四阶段7450图解说明在用户选择了“Select L2”按钮7425(例如，通过用他的手指7465轻点按钮7425)之后的UI 7475。通过突出显示UI 7475上的按钮7425，指示这种选择。一些实施例利用不同的指示显示(例如，突出显示所选项目的边框，或者所选项目中的文本)。
第五阶段7455显示在用户选择了来自L2的视频以便显示之后的UI 7475的动画。在这个例子中，通过如箭头7470所示，使不需要的前景插入显示7410滑出PIP显示7490的左边缘，UI 7475除去不需要的前景插入显示7410。其它实施例利用不同的动画来消除不需要的插入显示区，比如使该插入显示区淡出或者渐隐、沿不同的方向移动该插入显示区、或者简单地立即消除该插入显示区。
第六阶段显示在完成视频选择操作之后，视频会议期间的UI7475。视频显示区7410不再在UI 7425上。在这个阶段，UI 7475呈现新的PIP显示7495，PIP显示7495包括作为背景主显示的远程视频显示7415，和作为插入显示的本地视频显示7405。在一些实施例中，这种视频选择操作只影响本地显示，因为两个视频仍然被传送给远程设备。其它实施例停止从除去的照相机拍摄视频。
上面的例子举例说明选择的本地视图是已显示在背景主显示中的视图的情况。在一些实施例中，当用户选择显示在插入显示之一中的本地视图时，选择的本地视图被显示在背景主显示中。这种情况下，一些这样的实施例利用和在图68中显示的动画类似的动画。当背景主显示中的本地视图被除去时，其它实施例将利用插入远程视图。
类似于上面参考图73说明的远程视图选择操作，本地视频的选择会导致本地双照相机移动设备的图像处理操作的变化，比如使视频会议管理器1604响应用户的输入，在合成显示中只合成选择的一个或多个远程视频。本地视频的选择还会导致本地设备的一个或多个照相机的操作的变化。例如，一些实施例使不需要的视频的照相机停止向远程设备传送不需要的视频，而其它实施例使该照相机停止拍摄不需要的视频。
9.选择传送本地视图
上面的各个子节举例说明了会议中对视频显示的修改。一些实施例还允许双照相机移动设备的用户在开始视频会议之前，选择把哪部照相机用于视频会议。图75图解说明在会议前，从由用户的双照相机移动设备拍摄的两个视频中选择一个视频，用于视频会议的操作。
图75按照UI 7500的八个操作阶段，图解说明用于视频会议的本地视频的选择。第一阶段7502图解说明双照相机移动设备7518的UI 7500，UI 7500具有在用户请求开始与移动设备的远程用户的视频会议之后呈现的初始PIP显示7542。
如第一阶段7502中所示，初始PIP显示7542包括两个视频显示：背景主显示7520和前景插入显示7522。背景主显示7520和前景插入显示7522。背景主显示7520占据设备的大部分显示屏幕，而前景插入显示7522较小且重叠在背景主显示上。在这个例子中，背景显示7520呈现拿着吉它的人物的视频，该视频假定是由设备的背面照相机拍摄的视频。前景插入显示7522呈现戴着帽子的人物的视频，在本例中，该视频假定是由设备的正面照相机拍摄的视频。
初始PIP显示7542只是呈现由本地设备的照相机拍摄的视频的合成视图的一种方式。一些实施例可以提供其它的合成视图。例如，背景显示可以呈现来自设备的正面照相机的视频，较小的前景插入显示可呈现来自设备的背面照相机的视频。另外，一些实施例允许两个视频出现在UI 7500中的两个并排显示区(例如，左右显示窗口，或者上下显示窗口)，或者两个对角排列的显示区中。在一些实施例中，PIP显示的方式或者默认显示模式可由用户指定。PIP显示的下面是标记为“End Conference”的可选UI项目7540(例如，按钮7540)，可选UI项目7540允许用户通过选择该项目而结束视频会议。
在第一阶段7502，移动设备7518的用户已请求与远程用户进行视频会议，并且正在等待远程用户响应。在显示画面的底面的“Preview,Waiting for response…(预览，正等待响应…)”注解图解说明该等待期。
第二阶段7504图解说明视频选择操作的开始。在这个例子中，通过调用要显示在PIP显示7542上的一组可选UI项目，发起该操作。所述一组可选UI项目呈现用于选择本地视频，以传送给视频会议的远程设备的各种选项。在一些实施例中，在等待远程用户响应的同时，通过在会前时间内选择(例如，触摸)UI显示7500上的任意地方，可调用所述一组可选UI项目。代替这种调用操作，或者与这种调用操作结合，一些实施例还允许用户通过其它操作，比如通过不同的触屏操作，或者利用设备的一个或多个其它物理输入，调用所述一组可选UI项目。
第三阶段7506图解说明具有一组调用的供用户选择视频的可选UI项目7526的UI 7500。在这个例子中，呈弹出式菜单形式的一组可选UI项目7526显示在PIP显示区7542中，并重叠在PIP显示上。在这个例子中，所述一组可选UI项目包括：“Transmit L1”项目7528(例如，按钮7528)；“Transmit L2”项目7530(例如，按钮7530)；“Transmit Both”项目7532(例如，按钮7532)；和“Cancel”项目7534(例如，按钮7534)。在这个例子中，选择“Transmit L1”按钮7528会使UI 7500在视频会议期间，只把由设备的背面照相机拍摄的视频传送给远程设备。选择“Transmit L2”按钮7530会使UI 7500在视频会议期间，只把由设备的正面照相机拍摄的视频传送给远程设备。选择“Transmit Both”按钮7532会使UI 7500把由设备的正面和背面照相机拍摄的两个视频传送给视频会议的远程用户，以及选择“Cancel”按钮7534会取消该操作。
第四阶段7508图解说明在用户选择了“Transmit L1”按钮7528(例如，通过用他的手指7524轻点按钮7528)之后的UI 7500。通过突出显示PIP显示区7542上的按钮7528，指示这种选择。一些实施例利用不同的指示显示(例如，突出显示所选项目的边框或者所选项目中的文本)。
第五阶段7510图解说明在用户选择了设备的背面照相机的视频，以传送给远程设备之后的UI 7500的动画。在这个例子中，通过如箭头756所示，使不需要的前景插入显示7522滑出PIP显示7542的右边缘，UI 7500除去不需要的前景插入显示7522。在第六阶段7512，插入显示7522已从PIP显示区7542中被完全除去。不同的实施例利用不同的动画来除去不需要的显示区，比如使该显示区淡出或者渐隐、沿不同的方向移动该显示区、或者简单地立即消除该显示区。
第七阶段7514图解说明在远程用户已接受视频会议请求之后的UI 7500的动画。通过消除显示画面上的“Preview,Waiting forresponse…”注释，突出显示视频会议请求的接受。在这个阶段，作为来自设备的背面照相机的视频的背景显示区7520逐渐缩小到PIP显示区7542的左下角，如箭头7538所示。背景显示7520缩小，使得UI 7500能够在显示区7520之后显示包含来自远程用户的照相机的视频的显示区7544。一些实施例把本地照相机缩小到不同的位置，利用显示的两个视频的平铺合成显示，或者使远程视图成为PIP显示的插入显示区。
第八阶段7516表示在完成视频选择操作之后的UI 7500。UI 7500呈现新的PIP显示7546，PIP显示7546包括从本地设备拍摄的视频的插入显示7520，和从远程设备传送来的视频的背景显示7544。
B.带宽&帧速率
在一些实施例中，视频会议期间对远程移动设备的显示区的大小的调整会使本地移动设备重新分配分配给由本地移动设备的两部照相机(即，正面照相机和背面照相机)拍摄的每个视频的带宽。图76图解说明在本地设备的两部照相机之间的这种带宽重新分配的两个例子。
图76中的每个例子涉及本地设备的背面照相机传感器7605、本地设备的正面照相机传感器7610、本地设备的视频会议模块7615、和远程移动设备7620的UI 7635。背面照相机传感器7605和正面照相机传感器7610捕获来自本地设备的相应背面照相机和正面照相机的视频。捕获的视频被发送给视频会议模块7615，视频会议模块7615处理捕获的视频，并把它们传送给远程设备，以在UI 7635中显示。
在图76中，远程设备的UI 7635呈现合成显示。合成显示表示由本地设备的正面照相机和背面照相机拍摄的视频。来自正面照相机的视频拍摄树和戴着帽子的男士，而来自背面照相机的视频拍摄山脉风景。如图76中所示，根据用于显示视频的显示区的排列以及显示区的大小，可用许多不同的方式在UI 7635中显示这两个视频。在每个例子中，视频会议模块7615最初按照远程设备中的显示区的相对大小，在每个视频之间分配总的输出带宽。具体地说，显示在UI 7635中的较大显示区中的视频被分配较大部分的总带宽，以及显示在UI7635中的较小显示区中的视频被分配较小部分的带宽。在一些实施例中，当视频被显示在相同大小的显示区中时，在这两个视频之间平分总的输出带宽。
分配给这两个视频中的每个视频的带宽的量会最影响处理每个视频的方式。例如，视频可能需要比分配给该视频的带宽更大的带宽。在这种情况下，视频的帧速率被调整，或者视频图像的大小被比例缩小，以便适应较小的带宽。降低视频的帧速率导致视频显得“不连贯”，而比例缩小视频图像的大小会减小显示该视频的区域。于是，当视频被分配一定量的带宽时，一些实施例调整该视频的帧速率，比例缩小视频图像的大小，或者进行这两者的组合，以便确保能够在分配的带宽内传送该视频。本领域的普通技术人员会认识到帧速率和平均帧大小的调整可变化，以获得最佳的总体视频质量，同时仍然确保能够在分配的带宽内传送该视频。
图76的例子(1)用UI 7635的两个操作阶段，举例说明带宽重新分配的一种情形。第一阶段7670中的远程设备7620的UI 7635呈现包含两个显示的合成显示：一个在UI 7635的顶部，另一个在UI 7635的底部。在这个例子中，顶部的显示区7625显示由本地设备的正面照相机拍摄的视频，底部的显示区7630显示由本地设备的背面照相机拍摄的视频。如第一阶段7670中所示，顶部的显示区7625大于底部的显示区7630。从而，来自本地设备的正面照相机的视频被分配80％的带宽，来自本地设备的背面照相机的视频被分配20％的带宽。为了确保能够在分配的带宽内，把来自本地设备的背面照相机的视频从本地设备传送给远程设备，调整该视频的帧速率和/或缩放比例大小。
第二阶段7675图解说明在远程设备的用户增大底部显示区的大小，使得顶部显示区7625和底部显示区7630的大小近似相同之后的UI 7635。结果，每个视频被视频会议模块7615重新分配50％的总带宽。
图76的例子(2)用UI 7635的两个操作阶段，举例说明带宽重新分配的另一种情形。在例子(2)的第一阶段7680中，UI 7635呈现PIP显示。该PIP显示包含两个显示：背景主显示区7650和前景插入显示区7655。背景主显示区7650占据大部分的PIP显示，而前景插入显示区7655较小且重叠在背景主显示区7650上。在这个例子中，背景显示区7650呈现由该设备的正面照相机拍摄的视频。插入显示区7655呈现由该设备的背面照相机拍摄的视频。如在这个阶段中所示，背景显示区7650大于插入显示区7655。从而，来自设备的正面照相机的视频被分配80％的带宽，来自设备的背面照相机的视频被分配20％的带宽。为了确保在分配的带宽内，能够把来自本地设备的背面照相机的视频从本地设备传送给远程设备，调整视频的帧速率和/或缩放比例大小。
第二阶段7685图解说明在远程设备的用户已交换这两个视频的显示之后的UI 7635。具体地说，背景显示区7660现在呈现由设备的背面照相机拍摄的视频，以及插入显示区7665现在呈现由设备的正面照相机拍摄的视频。由于这两个视频的显示区的大小已改变，因此来自设备的背面照相机的视频被分配80％的带宽，来自设备的正面照相机的视频被分配20％的带宽。因而，来自本地设备的正面照相机的视频的帧速率和/或缩放比例大小将被减小。本领域的普通技术人员会认识到在图76中说明的带宽分布只是例子，在视频会议期间，在两部照相机之间分配带宽的其它技术也是可能的。
1.帧速率控制
类似于上面说明的会议中的帧速率控制操作，一些实施例可能希望单独调整或保持在向视频会议中的另一个设备传送由双照相机移动设备的每部照相机拍摄的视频图像的速率。一些这样的实施例提供上面说明的类似技术。例如，一些实施例通过调整每部照相机的传感器模块415的VBI，控制每部照相机的帧速率。其它实施例还提供另外的技术，比如可由每部照相机的传感器模块415和/或通用传输缓冲器3120执行的帧丢弃。
2.通过比例缩放的带宽控制
如上所述，在双照相机移动设备和另一个设备之间的视频会议期间，在一定时间量内，通过一个或多个网络连接能够传送的图像数据的数量(即，网络连接带宽)有限。为了最大化并维持网络连接的吞吐量，双照相机移动设备的不同实施例提供不同的方式控制在特定时间量内，通过网络连接传送的图像数据的数量。在一些实施例中，吞吐量是通过通信通道(例如，网络连接)的成功消息传送的平均速率。
当传送由双照相机移动设备的两部照相机拍摄的图像时，一种这样的方法调整来自双照相机移动设备的一部或两部照相机的图像的大小，以控制通过网络连接传送的图像数据的数量。一些实施例比例缩小由双照相机移动设备拍摄的图像的大小，以减少通过网络连接传送的图像数据的数量，而其它实施例比例放大图像的大小，以增大通过网络连接传送的图像数据的数量。
一些实施例在缩放时，保持图像的高宽比(即，均匀缩放)。其它实施例缩放图像，使得缩放后的图像的高宽比不同于原始图像的高宽比(即，变形缩放)。
此外，可在图像处理过程的不同阶段进行比例缩放。一些实施例的比例缩放可由照相机传感器进行。在这样的实施例中，照相机传感器可丢弃图像的多行或多列数据(即，像素值)。在一些这样的实施例中，剩余的图像数据被插值，以平滑图像的外形。
其它实施例的比例缩放由CIPU 400的定标器模块455执行。在一些实施例中，比例缩放由视频会议管理器1604执行，如上所述，在其它实施例中，比例缩放由编码器执行。因而，双照相机移动设备的不同实施例不同地进行比例缩放。
3.比特率控制
一些实施例提供不同的机制来管理对由双照相机移动设备的照相机拍摄的视频编码的比特率。在一些实施例中，双照相机移动设备包括用于每部照相机的速率控制器。一些实施例提供固定比特率管理方案。按照这种方案，每个速率控制器被设定为固定比特率，使得来自移动设备上的两部照相机的视频的总比特率是恒定的。其它实施例提供优先级方案，其中当要求减小总比特率时，来自设备的照相机的两个视频之一总是获得比另一个视频高的优先级。
在一些实施例中，判优器模块管理两部照相机的两个速率控制器。图77图解说明这种判优器模块的例子。如图77中所示，速率控制器7700设定正面照相机的比特率，以及速率控制器7705设定背面照相机的比特率。速率控制器把来自照相机传感器的图像发送给编码器7715。判优器模块7710与两个速率控制器连接，并根据诸如可用带宽、两个视频中的每个视频的视频大小等，以任意多种方式控制每个速率控制器7700和7705的比特率的设置。以确保在可用带宽下，能够把两个视频都传送给远程设备。另外，判优器7710可被配置成实现上面提及的固定速率方案，或者优先级方案。
在一些其它实施例中，用于两部照相机的两个速率控制器能够相互通信。按照这种方案，速率控制器能够交换它们各自视频的信息，并据此设定视频的比特率。提供了速率控制器速率管理机制的几个例子。不过，许多其它的不同机制也是可能的。
4.视频处理
双照相机移动设备的一些实施例在不同的情况下，不同地处理由双照相机移动设备的两部照相机拍摄的图像。例如，当处理包括由双照相机移动设备的两部照相机拍摄的图像的PIP合成图像时，一些实施例有选择地对PIP合成图像进行TNR处理2000。一些这种实施例只对PIP合成图像中的主图像进行TNR处理2000，而其它的这种实施例只对PIP合成图像中的插入图像进行TNR处理2000。
作为处理由移动设备的两部照相机拍摄的图像的另一个例子，一些实施例根据视频会议的各种改变，比如用户对显示视频的显示区的调整(例如，放大PIP显示的插入显示区、在显示的视频中定义感兴趣区域、交换PIP显示的主显示区/插入显示区，等等)，对总的可用带宽的改变，等等，比例缩放由双照相机移动设备的两部照相机拍摄的图像。一些这样的实施例按照上述方式比例缩放图像。即，图像可由编码器1655、视频会议管理器1604、定标器模块455和用其拍摄图像的照相机传感器(即，405a或405b)比例缩放。
5.编码
如上所述，一些实施例传送来自双照相机移动设备的两部照相机的视频。因而，这些实施例可对由两部照相机拍摄的视频编码，以便在视频会议期间传送给远程设备。不同的实施例提供不同的方式来编码视频以便传输。图78图解说明利用多路复用器(MUX)7815、编码器模块7825、缓冲器7830和组合模块7835处理视频，以便传输的方法。
根据选择信号，MUX 7815获得一个输入信号，并把选择的输入信号输出给编码器7825。例如，如果选择信号指示MUX 7815获得来自C1的输入信号，那么MUX 7815选择该输入信号，并输出该输入信号。可用多种方式，比如通过来自视频会议管理器1604的指令，提供所述选择信号。通过MUX 7815，编码器7825交替地把从MUX7815接收的图像编码成比特流格式，并把编码的图像保存在缓冲器7830中。组合模块7835组合(即，多路复用)保存在缓冲器7830中的一个或多个比特流，并输出单一的比特流。
现在按照三个阶段7860、7865和7870，说明这种编码方法的操作。在第一阶段7860，MUX 7815被配置成接收由照相机C1拍摄的图像7805，并输出给编码器7825以便编码。编码器7825对接收的图像编码并产生比特流7850，比特流7850随后被保存在缓冲器7830中。第二阶段7865类似于第一阶段7860，除了MUX 7815被配置成接收由照相机C2拍摄的图像7810，并输出给编码器7825，以便编码之外。同样地，编码器对接收的图像编码并产生比特流7855，比特流7855被保存在缓冲器7830中。在第三阶段870，组合模块7835从缓冲器7830取回比特流7850和7855，并把它们组合成一个比特流，以便传送给远程设备。
图79图解说明对来自双照相机移动设备的两个视频编码，以便在视频会议期间传送给远程设备的另一种方法。在这种方法中，来自移动设备的第一部照相机的视频帧(即，图像)和来自移动设备的第二部照相机的另一个视频帧被合成为一个视频帧，之后合成的视频帧被编码成比特流，以便发送给远程设备。如图79中所示，这种方法包括合成器7915、缓冲器7920和编码器7925。
如图所示，合成器7915合成来自第一部照相机的图像7905和来自第二部照相机的图像7910，以形成合成图像7955。不同的实施例不同地合成图像7905和7910。例如，一些实施例的合成器7915可通过把两个图像排列成彼此相邻(如图80中所示)，合成图像。合成图像8030和8035图解说明利用这种技术的两个示例合成图像。在合成图像8030中，来自第一部照相机的图像7905被排列在来自第二照相机的图像7910之上。而合成图像8035表示图像7905排列在图像7910的左侧。
在一些其它的实施例中，合成器7915可通过把两个图像7905和7910叠加在更大的背景图像的上面，合成两个图像7905和7910。图80的合成图像8040图解说明利用这种技术的示例合成图像。在合成图像8040中，图像7905和7910对角排列，并叠加在空白图像上(即，图像7905位于背景图像的左上角，而图像7910位于背景图像的右下角)。在一些实施例中，照相机传感器可能大小不同，从而拍摄具有不同像素分辨率的图像。在这种实施例中，合成器7915可按照如由图80的合成图像8045图解说明的相似方式合成图像7905和7910。在合成这两个图像之后，合成器7915把合成图像保存在缓冲器7920中。编码器7925从缓冲器7920取回合成图像，把合成图像编码成比特流，并将其发送给视频会议的远程设备。
现在参考图79中图解说明的合成器7915、缓冲器7920和编码器7925，说明各个操作。首先，第一部照相机把作为视频中的一系列图像的一部分的图像7905发送给合成器7915。同时，第二部照相机把作为视频中的一系列图像的一部分的图像7910发送给合成器7915。合成器7915随后按照上述方式合成图像7905和7910，以形成合成图像7955。之后，合成器7915把合成图像7955发送给缓冲器7920。缓冲器7920随后保存合成图像，之后把合成图像发送给编码器7925。最后，编码器7925把合成图像编码成比特流，并将其发送给视频会议的远程设备。
图81图解说明对来自双照相机移动设备的两个视频编码，以便在视频会议期间传送给远程设备的再一种方法。在这种方法中，来自该设备的两个视频以合成显示的形式被显示，获得合成显示的屏幕截图，并将其编码成比特流，以便发送给远程设备。如图81中所示，这种方法包括编码器8115。在一些实施例中，编码器8115对合成图像编码，并发送给远程设备。
现在参考图81中图解说明的编码器8115，说明各个操作。首先，来自双照相机移动设备的两部照相机的视频以合成显示的形式被显示在设备的屏幕上。所述合成显示能够按任意方式呈现视频。例如，一些实施例中的合成显示能够把两个视频呈现在PIP显示，比如在图81中图解说明的PIP显示8105中。在其它实施例中，合成显示可把两个视频呈现在两个并排的显示区，或者两个对角排列的显示区中。获得PIP显示8105的屏幕截图，比如图像8110，并将其发送给编码器8115。编码器随后把一系列的屏幕截图编码成比特流8120，之后将其发送给视频会议的远程设备。尽管上面说明了对两个视频编码的几种不同方法，不过其它方法也是可能的。
6.解码
双照相机移动设备的一些实施例可接收用上面参考图78-81说明的方法编码的比特流。在这样的实施例中，双照相机移动设备可接收(例如，通过视频会议控制通道)指示用于对视频编码的方法的信息。图82图解说明一种对通过通信网络，从另一个设备接收的两个视频的比特流解码，以便在视频会议期间，显示在双照相机移动设备上的方法。具体地说，这种方法用于对用上面参考图78说明的编码方法编码的比特流解码。
如图82中所示，这种方案使用分离模块8235、缓冲器8230和8290、以及解码器模块8225。分离模块8235把比特流分离(即，多路分解)成一个或多个比特流，并把比特流保存在缓冲器8230中。解码器8225取回编码的比特流，对它们解码以产生视频，随后把视频保存在缓冲器8290中。
现在参考图82中图解说明的分离模块8235、缓冲器8230和8290、以及解码器模块8225，说明这种方法的操作。首先，双照相机移动设备通过通信网络，从视频会议中的另一个设备接收比特流7845(即，在连网管理器1614)。分离模块8235把接收的比特流分离成两个比特流8255和8260，因为接收的比特流是两个比特流的多路复用比特流。每个编码的比特流代表从设备的两部照相机之一拍摄的视频数据。随后，分离模块8235把比特流8255和8260保存在缓冲器8230中。
之后，解码器8225从缓冲器8230取回比特流8250(它是两个比特流8255和8260中的一个)，解码器8225对比特流8250解码，以产生视频8280，并把视频8280保存在缓冲器8290中。解码器8225还对比特流8255和8260中的另一个解码，并把产生的视频保存在缓冲器8290中。现在，两个视频可从缓冲器8290被取回，并被保存或显示在双照相机移动设备上。
图83图解说明对用参考图79说明的方法编码的比特流解码的方法。如图83中所示，该方法包括解码器8325、缓冲器8320和去合成器8315。
在一些实施例中，解码器8325接收用图79中图解说明的方法编码的比特流，把比特流解码成一个或多个合成图像，所述合成图像随后被保存在缓冲器8320中。去合成器8315从每个合成图像中提取这两个图像。为了从合成图像中提取这两个图像，去合成器8315还接收指示每个图像在合成图像内的位置的信息(例如，通过视频会议通信控制通道，从视频会议中的合成并编码图像的设备接收的信息)。
现在参考图83中图解说明的解码器8325、缓冲器8320和去合成器8315，说明这种方法的操作。首先，解码器325从视频会议的另一个移动设备接收视频的比特流，比如用参考图79说明的方法产生的视频的比特流。解码器8325把该比特流解码成包括合成图像7955的一个或多个合成图像，并把它们保存在缓冲器8320中。缓冲器8320随后保存合成图像，之后把它们发送给去合成器8315。当去合成器从缓冲器8320接收到合成图像7955时，它把合成图像7955分离成与图79中的图像7905和7910相同的两个图像7905和7910。
当从诸如图81中说明的系统之类的系统接收到比特流时，解码器，比如图83中的解码器8325把比特流解码成一系列的屏幕截图。所述一系列的屏幕截图作为视频被显示在设备的屏幕上，而没有进一步的处理。
VI.多个来源
如上所述，视频可由双照相机移动设备的两部照相机拍摄，并传送给视频会议中的另一个设备。一些实施例可随同从双照相机移动设备的一部照相机拍摄的视频一起，传送显示在双照相机移动设备上的不同媒体内容或者任意内容，而不是传送从双照相机移动设备的两部照相机拍摄的视频。换句话说，这些实施例能够随同由双照相机移动设备的照相机拍摄的视频一起，传送来自多个来源的内容。
图84概念地图解说明一些实施例的双照相机移动设备的视频会议和处理模块的另一种软件体系结构。图84的视频会议和处理模块类似于图16的视频会议和处理模块1600，除了该视频会议和处理模块包括显示驱动器8485和存储器8475，以及媒体交换模块1620包括媒体来源模块8470和屏幕捕获模块8480之外。
一些实施例的媒体来源模块8470在视频会议模块8402和存储器8475之间路由媒体内容。媒体内容的例子包括视频、图像、文档和音乐。其它实施例把其它类型的媒体内容保存在存储器8475中。一些实施例的存储器8475是内部存储器(例如，RAM)，而其它实施例的存储器8475是外部存储器(例如，紧凑式闪存(CF)卡、安全数字(SD)卡，等等)。
在一些实施例中，屏幕捕获模块8480通过显示驱动器8485，路由显示在双照相机移动设备的显示器上的内容的图像。在一些实施例中，显示驱动器8485负责捕获显示器上的内容，并把内容转换成图像。不同的实施例捕获显示在显示器上的不同内容。例如，一些实施例捕获显示在显示器上的所有内容。其它实施例捕获显示器的特定显示区(例如，当前活动窗口的显示区，PIP显示的显示区，等等)。
现在参考图84，说明视频会议和处理模块的一些示例操作。为了随同从双照相机移动设备的照相机拍摄的视频一起传送媒体内容，一些实施例的视频会议模块8402进行和上面在图16中说明的视频会议模块1602相同的操作，除了代替从CIPU 1650取回图像，视频会议管理器1604通过媒体来源模块8470，从存储器8475取回媒体内容之外。为了传送显示在双照相机移动设备的显示器上的内容的图像，视频会议管理器1604的一些实施例通过显示驱动器8485，取回显示在双照相机移动设备的显示器上的内容的图像。一些实施例对显示在显示器上的媒体内容或者内容的图像进行与对从CIPU 1650取回的图像进行的处理类似的处理(例如，透视校正、缩放等)，而其它实施例根本不进行任何处理。
上面的讨论描述了随同由双照相机移动设备的一部照相机拍摄的视频一起，传送来自各种来源的内容的几个例子。不过，其它实施例可以传送其它不同类型的内容。例如，在涉及多个参与者的视频会议中，一些实施例把从视频会议中的一个设备接收的视频，和由双照相机移动设备的照相机拍摄的视频传送给另一个设备。因而，随同由双照相机移动设备的一部照相机拍摄的视频一起，可以传送来自任意多个来源的任意多种不同类型的内容。
VII.多方视频会议
涉及视频会议的上述各节描述了具有两个参与者的视频会议。不过，借助一些实施例的移动设备的多方视频会议(即，三个以上的参与者)也是可能的。在一些实施例中，多方视频会议中的所有参与者能够相互看到和听到。其它实施例提供一种多方广播视频会议，其中一个参与者(例如，广播者)能够看到和听到所有其它的参与者，以及所有其它的参与者能够看到和听到该广播者，不过其它参与者不能相互看到或听到(除非例如得到广播者的批准)。
A.多方视频会议的用户界面
在多方视频会议期间，一些实施例提供各种用于显示视频会议的参与者，并选择要观看的一个或多个特定参与者的不同UI。例如，移动设备的一些实施例提供同时显示多方视频会议的所有参与者，并允许移动设备的用户选择参与者之一以便观看(例如，通过放大所选参与者的图像)的UI。图85图解说明了这种UI的一个例子。
图85参考UI 8530的五个不同阶段8505、8510、8515、8520和8525，图解说明在移动设备8500的UI 8530中同时显示多方视频会议的所有参与者，并选择参与者之一以便观看的一系列操作。第一阶段8505图解说明在建立了其它设备的另外三位用户之间的多方视频会议之后的UI 8530。如图所示，UI 8530包括合成显示8535和显示区1155。合成显示8535包括显示由多方视频会议的参与者的照相机拍摄的图像的四个显示区8565、8570、8575和8580。在这个例子中，显示区8565表示移动设备8500的用户(即，显示区8565显示由移动设备8500的正面照相机拍摄的图像)。显示区1155和前面在图12中说明的显示区1155相同。
第二阶段8510表示移动设备8500的用户通过选择合成显示区8530的显示区之一，开始参与者选择操作。特别地，第二阶段8510表示用户选择显示区870(例如，通过在显示区8570上轻点手指8550)。
UI 8530的第三阶段8515图解说明在完成参与者选择操作之后的合成显示8555。一些实施例提供显示第二阶段8510和第三阶段8515之间的转变的动画(未示出)。合成显示8555包括PIP显示8560，PIP显示8560把在第二阶段8510中选择的参与者的显示区(即，显示区8570)显示为背景显示区，以及把用户的显示区8565显示为PIP显示8560的插入显示区。在这个例子中，PIP显示8560显示被水平拉伸以适合横向定向的所选显示区8570的图像。在一些实施例中，该图像不被拉伸，并且选显示区的图像保持其纵向定向(即，如图36中所示，用黑条填充在背景显示区两侧的多余空间)。此外，合成显示8555还包括合成显示8585，合成显示8585显示两个未选择的显示区8575和8580的比例缩小的图像。
第四阶段8520表示移动设备8500的用户通过选择PIP显示8560(例如，通过PIP显示8560上轻点手指8550)，开始参与者取消选择操作。第五阶段8525图解说明在参与者取消选择操作完成之后的合成显示8535。
图85表示同时显示多方视频会议的所有参与者，进行参与者选择操作和进行参与者取消选择操作的示例操作序列。其它操作序列也是可能的。例如，在第三阶段8515之后，代替开始参与者取消选择操作，用户能够选择显示在合成显示8585中的未选显示区之一，以交换显示区8585中的新选显示区和PIP显示8560的背景显示区(即，先前选择的显示区)。因而，在多方视频会议期间，用户能够随时并且任意多次地交换显示区8585中的显示区和PIP显示8560的背景显示区。另外，在多方视频会议期间的任意时候，用户能够进行参与者取消选择操作，以返回合成显示8535。此外，不同的实施例允许用户按照不同的方式，比如切换移动设备8500上的开关，通过发出话音命令等，选择特定的参与者。
一些实施例提供例如根据语音检测自动选择参与者的技术。在这样的实施例中，当参与者之一说话时，该参与者的显示区被自动选为PIP显示8560的背景显示区。当一位不同的参与者说话时，该参与者的显示区被自动选为PIP显示8560的背景显示区。在一些实施例中，当多方视频会议的参与者都没有说话时，在规定量的静默(例如，3秒)之后，显示器显示合成显示8535。在一些实施例中，当移动设备8500的用户说话时，移动设备8500的UI 8530上什么操作也不发生。
图86图解说明同时显示多方视频会议的所有参与者并选择参与者之一以便观看的另一个示例的操作序列。图86参考UI 8645的七个不同阶段8505、8605、8610、8615、8620、8625和8630，图解说明移动设备850的UI 8645中的这种操作。第一阶段8505和在图85中图解说明的第一阶段8505相同，因为它显示在建立了其它设备的另外三位用户之间的多方视频会议之后的UI 8645。
第二阶段8605图解说明通过选择显示区8570(例如，通过把两根手指放在显示区8570上)，移动设备8500的用户开始参与者选择操作。第三阶段8610表示参与者选择操作的转变阶段。在这个阶段，用户彼此远离地拖动两根手指，同时使显示区8570变得更大，并充满用于显示合成显示835的显示区。这个例子表示显示区8570被选择，不过任意其它显示区8565、8575和8580也可被选择。在一些实施例中，不允许移动设备8500的用户选择该用户的显示区(即，这个例子中的显示区8565)。
UI 8645的第四阶段8615显示在完成参与者选择操作之后的UI8645的PIP显示8635。一些实施例要求用户继续彼此远离地拖动两根手指，直到显示区8570充满PIP显示8635的背景显示区8640为止，而其它实施例只要求在用户移开手指之前，用户的拖动操作大于特定的阈值量(例如，大于特定的距离，或者大于特定的时间量)。当用户的拖动操作满足或超过特定阈值量时，UI 8645继续显示区8570的放大，直到它充满PIP显示8635的背景显示区8640为止。否则，参与者选择操作未完成，UI 8645返回合成显示8535。如图所示，选择的显示区(即，显示区8570)是PIP显示8635的背景显示区8640，用户的显示区8565是PIP显示8635的插入显示区。一些实施例提供显示第三阶段8610和第四阶段8615之间的转变的动画(未示出)。
第五阶段8620图解说明通过选择PIP显示8635的背景显示区8640(例如，通过把两根手指放在背景显示区8640上)，移动设备8500的用户开始参与者取消选择操作。第六阶段8625表示参与者取消选择操作的转变阶段。该阶段图解说明用户相互接近地拖动手指，以缩小被用于PIP显示8635的背景显示区8640的显示区。类似于在第三阶段8610中说明的操作，一些实施例要求在用户移开手指之前，用户的拖动操作要大于特定阈值量(例如，大于特定的距离，或者大于特定的时间量)。否则，参与者取消选择操作未完成，UI 8645返回PIP显示8635。UI 8645的第七阶段8630表示在完成参与者取消选择操作之后的合成显示8535。
图86图解说明同时显示多方视频会议的所有参与者，进行参与者选择操作，和进行参与者取消选择操作的另一个示例操作序列。不过，一些实施例允许移动设备8500的用户重复进行参与者选择操作和参与者取消选择操作。图87图解说明一个这样的实施例。
具体地说，图87参考UI 8730的七个不同阶段8505、8705、8615、8710、8715、8720和8725，图解说明多次进行参与者选择操作和参与者取消选择操作的示例序列。第一阶段8505和上面提及的图85和86的第一阶段8505相同。第二阶段8705类似于图86的第二阶段8605，除了用户通过轻点显示区8570一次(而不是把两根手指放在显示区8570上)，选择显示区8570之外。第三阶段8615和图86的第四阶段8615相同，因为它表示在完成参与者选择操作之后的PIP显示8635。第四阶段8710类似于图86的第五阶段8620，除了用户通过轻点背景显示区8640一次(而不是把两根手指放在背景显示区8640上)，选择PIP显示8645的背景显示区8640之外。
第五阶段8715和图86的第七阶段8630相同，因为它表示在参与者完成取消选择操作之后的合成显示8535。第六阶段8720类似于第二阶段8510，除了对显示区8575进行参与者选择操作之外。类似地，第七阶段8725类似于第三阶段8705，因为它把选择的显示区(即，显示区8575)表示成PIP显示8635的背景显示区8640。尽管图87只表示了少许参与者选择和参与者取消选择操作，不过在多方视频会议期间，可以进行任意多次的这种操作。
此外，一些实施例提供在视频会议期间，能够显示不同数目的参与者的UI。例如，当移动设备被直立拿着(即，纵向定向)时，一些实施例的UI只显示多方视频会议的一些参与者，当移动设备被横向拿着(即，横向定向)时，显示另外的参与者。其它实施例在移动设备被横向拿着时，显示所有的参与者。另外，一些实施例提供动画来指示在和图34、35、36和37中图解说明的类似的移动设备的不同位置和/或定向之间的转变。其它不同的动画也是可能的。
作为在视频会议期间，显示不同数目的参与者的UI的另一个例子，一些实施例允许移动设备的用户在视频会议期间选择要同时观看的多位参与者。为了说明起见，参见图85的第一阶段8505，一些这样的实施例允许移动设备8500的用户选择显示区8565、8570、8575和8580中的两个或更多个显示区(例如，通过轻点合成显示8535中的对应显示区)。选择的显示区随后能够按照各种方式被显示，比如合成显示、PIP显示、图65中图解说明的显示排列中的任意一种，以及其它各种多参与者显示排列。此外，尽管说明了一些实施例的例子，不过，普通技术人员会认识到不同的实施例能够按照任意多种方式，选择和显示多方视频会议的多位参与者。
B.多方广播视频会议的用户界面
如上所述，多方广播视频会议只允许一位参与者听到和看到所有其它参与者，而其它参与者不能相互听到或看到。为了使多方广播视频会议更容易，一些实施例提供用于显示多方广播视频会议的广播者和其它参与者的众多不同的UI。例如，一些实施例提供学生-教师式UI布局，类似于在图85中图解说明的第三阶段8515的布局。因而，现在参考所述第三阶段8515，说明一些实施例的学生-教师式UI布局。
在这些实施例中，只有广播者被显示在PIP显示8560的整个显示区中(即，不显示插入显示区)。多方广播视频会议的其它参与者被显示在PIP显示8560下面，类似于在合成显示8585中显示的显示区。与上面所述类似，在一些实施例中，当移动设备处于纵向模式时，在合成显示8585中显示规定数目的其它参与者，而当移动设备处于横向模式时，合成显示8585中可显示另外的或者所有参与者。另外，其它实施例提供显示多方广播视频会议的广播者和其它参与者的不同UI。
C.控制多方视频会议的音频
此外，一些实施例的移动设备提供控制多方视频会议的多个参与者的音频的不同技术。例如，移动设备的一些实施例允许移动设备的用户通过显示在这种实施例的UI上的单组音量控件(例如，音量滑动块)，控制多方视频会议中的每位参与者的音频。在其它实施例中，移动设备允许移动设备的用户通过一组音量控件，比如显示在每个参与者的显示区中的音量滑动块，分别控制多方视频会议中的每位参与者的音频的音量。一些实施例只提供静音按钮，而不是一组音量控件。因而，在一些这样的实施例中，移动设备的用户只能够静音或取消静音多方视频会议的所有参与者，而在其它这种实施例中，移动设备的用户能够分别静音或取消静音多方视频会议的每个参与者。另外，控制多方视频会议的参与者的音频的其它技术也是可能的，比如通过切换移动设备上的开关、通过发出话音命令等等。
VIII.电子系统
许多上述特征和应用被实现成软件进程，所述软件进程被规定为记录在计算机可读存储介质(也称为计算机可读介质)上的一组指令。当这些指令被一个或多个处理单元(例如，一个或多个处理器，处理器的核芯，或者其它处理单元)执行时，它们使处理单元执行在指令中指示的动作。计算机可读介质的例子包括但不限于CD-ROM、闪存驱动器、RAM芯片、硬盘驱动器、EPROM等等。计算机可读介质不包括无线或者通过有线连接传递的载波和电信号。
在本说明书中，术语“软件”意图包括驻留在只读存储器中的固件，或者保存在磁性存储器中的应用，它们可被读入存储器中，以便由处理器处理。另外，在一些实施例中，多个软件发明可被实现成更大程序的子部分，同时仍然是不同的软件发明。在一些实施例中，多个软件发明也可被实现成独立的程序。最后，一同实现这里描述的软件发明的分离程序的任何组合也在本发明的范围之内。在一些实施例中，当安装到在一个或多个电子系统上操作时，软件程序定义执行和实现软件程序的操作的一个或多个特定的机器实现。
在调用程序代码通过一个或多个接口与被调用的其它程序代码交互的环境中，一些实施例被实现成包括一个或多个应用编程接口(API)的软件进程。进一步可包括各种参数的各种函数调用、消息或其它各种调用可通过API，在调用程序和被调用代码之间传送。另外，API可向调用程序代码提供使用在API中定义并在被调用的程序代码中实现的数据类型或类别的能力。
至少一些实施例包括调用软件组件通过API与被调用的软件组件交互的环境。在这种环境中通过API操作的一种方法包括通过API，传送一个或多个函数调用、消息、其它各种调用或参数。
在一些实施例中，可以使用一个或多个应用编程接口(API)。例如，媒体交换模块310(或者910)的一些实施例向其它软件组件提供一组API，用于访问在图3和9中描述的各种视频处理和编码功能，比如在图19中描述的TNR模块1900的功能。
API是由程序代码组件或硬件组件(下面称为“API实现组件”)实现的接口，允许不同的程序代码组件或硬件组件(下面称为“API调用组件”)访问和使用由API实现组件提供的一个或多个函数、方法、过程、数据结构、类别和/或其它服务。AIP能够定义在API调用组件和AIP实现组件之间传送的一个或多个参数。
API允许API调用组件的开发人员(可以是第三方开发人员)利用由API实现组件提供的规定特征。可以存在一个API调用组件，或者可以存在多于一个的API调用组件。API可以是计算机系统或者程序库为支持来自应用的服务请求而提供的源代码接口。操作系统(OS)可具有多个API，以允许在OS上运行的应用调用一个或多个这样的API，服务(比如程序库)可以具有多个API，以允许使用该服务的应用调用一个或多个这样的API。可利用当建立应用时，能够被解释或编译的编程语言指定API。
在一些实施例中，API实现组件可提供多于一个的API，每个API提供访问由API实现组件实现的功能的不同方面的不同状况的不同视图，或者具有所述不同状况的不同视图。例如，API实现组件的一个API能够提供第一组函数，并且能够暴露给第三方开发人员，API实现组件的另一个API能够被隐藏(不被暴露)，并提供第一组函数的子集，还提供另一组函数，比如不在第一组函数中的测试或调试函数。在其它实施例中，API实现组件本身可通过下层的API调用一个或多个其它组件，从而既是API调用组件，又是API实现组件。
API定义当访问和利用API实现组件的指定特征时，API调用组件使用的语言和参数。例如，API调用组件通过API暴露的一个或多个API调用或启用(例如用函数或方法调用具体化)，访问API实现组件的指定特征，并经由API调用或启用，利用参数传送数据和控制信息。API实现组件可响应来自API调用组件的API调用，通过API返回数值。尽管API定义API调用的语法和结果(例如，如何启用API调用，和API调用做什么)，不过API可不展现AIP调用如何完成由API调用指定的函数。各个API调用是通过调用方(API调用组件)和API实现组件之间的一个或多个应用编程接口传送的。传送API调用可包括发出、初启、启用、调用、接收、返回或响应函数调用或消息；换句话说，传送能够描述API调用组件或者API实现组件的动作。API的函数调用或其它启用可通过参数列表或其它结构，发送或接收一个或多个参数。参数可以是常数、键码(key)、数据结构、对象、对象类别、变量、数据类型、指针、数组、列表、或者函数或方法的指针或引用要通过API传递的数据或另一项目的其他方式。
此外，数据类型或类别可由API提供，并由API实现组件实现。从而，API调用组件可以利用在API中提供的定义，说明变量、使用这种类型或类别的指针、使用或例示这种类型或类别的常量。
通常，API能够被用于访问由API实现组件提供的服务或数据，或者发起由API实现组件提供的操作或计算的执行。例如，API实现组件和API调用组件都可以是操作系统、程序库、设备驱动器、API、应用程序或者其它模块任意之一(应明白API实现组件和API调用组件可以是相同类型的模块，或者类型彼此不同的模块)。在一些情况下，可以至少部分用固件、微代码或者其它硬件逻辑来具体体现API实现组件。在一些实施例中，API可允许客户端程序使用由软件开发套件(SDK)库提供的服务。在其它实施例中，应用或者其它客户端程序可以使用由应用架构提供的API。在这些实施例中，应用或客户端程序可包含对由SDK提供和由API提供的函数或方法的调用，或者使用在SDK中定义和由API提供的数据类型或对象。在这些实施例中，应用架构可为程序提供响应由所述架构定义的各种事件的主事件循环。API允许应用利用应用架构，指定事件和对事件的响应。在一些实现中，API调用能够向应用报告硬件设备的能力或状态，包括与各个方面相关的能力或状态，比如输入能力和状态、输出能力和状态、处理能力、电源状态、存储容量和状态、通信能力等等，以及API可部分用固件、微代码、或者部分在硬件组件上运行的其它低级逻辑实现。
API调用组件可以是本地组件(即，和API实现组件在相同的数据处理系统上)，或者是通过网络经API与API实现组件通信的远程组件(即，与API实现组件在不同的数据处理系统上)。应明白API实现组件还可充当API调用组件(即，它可对由不同的API实现组件暴露的AIP进行API调)，通过实现暴露给不同的API调用组件的API，API调用组件还可充当API实现组件。
API还允许用不同的编程语言编写的多个API调用组件与API实现组件通信(从而，API可包括在API实现组件和API调用组件之间转换调用和回复的特征)；不过，可利用特定的编程语言实现API。在一个实施例中，API调用组件可调用来自不同提供商的API，比如来自OS提供商的一组API、来自插件提供商的另一组API、和来自另一个提供商(例如，软件库的提供商)或者另一组API的创建者的另一组API。
图88是图解说明可用在本发明的一些实施例中的示例API体系结构的方框图。如图88中所示，API体系结构8800包括实现API 8820的API实现组件8810(例如，操作系统、程序库、设备驱动器、API、应用程序、软件或其它模块)。API 8820指定可由API调用组件8830使用的一个或多个函数、方法、类别、对象、协议、数据结构、格式和/或API实现组件的其它特征。API 8820可以规定至少一种调用约定，所述调用约定规定API实现组件8810中的函数如何接收来自API调用组件8830的参数，和该函数如何把结果返回给API调用组件。API调用组件8830(例如，操作系统、程序库、设备驱动器、API、应用、软件或其它模块)通过API 8820发出API调用，以访问和利用由API 8820指定的API实现组件8810的特征。API实现组件8810可响应API调用，通过API 8820向API调用组件830返回数值。
要认识到API实现组件8810可包括未通过API 8820指定并不可供API调用组件8830使用的另外的函数、方法、类别、数据结构和/或其它特征。应明白API调用组件8830可以和API实现组件8810在相同的系统上，或者可以位于远程位置，并通过网络利用API 8820访问API实现组件8810。尽管图88图解说明与API 8820交互的单个API调用组件8830，不过应明白其它API调用组件可以使用API8820，所述其它API调用组件可以用与API调用组件8830不同的语言(或者用相同的语言)编写。
API实现组件8810、API 8820和API调用组件8830可被保存在机器可读介质中，所述机器可读介质包括以机器(例如计算机或者其它数据处理系统)可读的形式保存信息的任何机构。例如，机器可读介质包括磁盘、光盘、随机存取存储器、只读存储器、闪速存储设备等等。
图89是双照相机移动计算设备体系结构8900的一个例子。移动计算设备的实现可包括一个或多个处理单元8905、存储器接口8910和外设接口8915。构成计算设备体系结构的这些组件都可以是单独的组件，或者被集成到一个或多个集成电路中。这些各个组件还可用一个或多个通信总线或信号线耦接在一起。
外设接口8915可与各种传感器和子系统，包括照相机子系统8920、无线通信子系统8925、音频子系统8930、I/O子系统8935等耦接。外设接口8915能够实现处理器和外围设备之间的通信。诸如定向传感器8945或加速度传感器8950之类的外围设备能够与外设接口8915耦接，以便利定向和加速度功能。
照相机子系统8920能够与一个或多个光学传感器8940，例如电荷耦合器件(CCD)光学传感器、互补金属氧化物半导体(CMOS)光学传感器耦接。与传感器耦接的照相机子系统8920能够便利照相机功能，比如图像和/或视频数据捕获。无线通信子系统8925可用于便利通信功能。无线通信子系统8925可包括射频接收器和发射器，和光学接收器和发射器。它们可被实现成通过一个或多个通信网络，比如GSM网络、Wi-Fi网络、蓝牙网络等工作。音频子系统8930与扬声器和麦克风耦接，以便利允许话音的功能，比如话音识别、数字记录等等。
I/O子系统8935涉及诸如显示器、触摸屏之类的输入/输出外围设备与CPU的数据总线之间通过外设接口的传送。I/O子系统8935可包括触摸屏控制器8955和其它输入控制器8960，以便利这些功能。触摸屏控制器8955可与触摸屏8965耦接，并利用多种触敏技术中的任意一种，检测屏幕上的接触和移动。其它输入控制器8960能够与其它输入/输出设备，比如一个或多个按钮耦接。
存储器接口8910可与存储器8970耦接，存储器8970可包括高速随机存取存储器和/或非易失性存储器，比如闪速存储器。存储器能够保存操作系统(OS)8972。OS 8972可包括处理基本系统服务和执行硬件相关任务的指令。
存储器还可包括使与一个或多个另外设备的通信更容易的通信指令8974；便利图形用户界面处理的图形用户界面指令8976；便利涉及图像/视频的处理和功能的图像/视频处理指令8978；便利涉及电话的处理和功能的电话指令8980；便利与媒体通信和处理相关的处理和功能的媒体交换和处理指令8982；便利涉及照相机的处理和功能的照相机指令8984；和便利视频会议处理和功能的视频会议指令8986。上述指令不需要被实现成独立的软件程序或模块。可用硬件和/或软件，包括用一个或多个信号处理和/或专用集成电路实现移动计算设备的各种功能。
上述实施例可以包括能够接收触摸输入，以如图90中所示通过有线或无线通信通道9002，与计算系统9003交互的触摸I/O设备9001。触摸I/O设备9001可被用于代替或者结合其它输入设备，比如键盘、鼠标等，把用户输入提供给计算系统9003。一个或多个触摸I/O设备9001可用于把用户输入提供给计算系统9003。触摸I/O设备9001可以是计算系统9003的组成部分(例如，膝上型计算机的触摸屏)，或者独立于计算系统9003。
触摸I/O设备9001可以包括完全或部分透明、半透明、不透明的触敏面板，或者它们的任意组合。触摸I/O设备9001可被具体体现为触摸屏、触摸板、起触摸板作用的触摸屏(例如，代替膝上型计算机的触摸板的触摸屏)、与任何其它输入设备结合或合并的触摸屏或触摸板(例如，置于键盘上的触摸屏或触摸板)、或者具有用于接收触摸输入的触敏表面的任何多维物体。
在一个例子中，具体体现为触摸屏的触摸I/O设备9001可包括部分或全部置于至少一部分的显示器之上的透明和/或半透明的触敏面板。按照这个实施例，触摸I/O设备9001用于显示从计算系统9003(和/或另一来源)传送的图形数据，并且还用于接收用户输入。在其它实施例中，触摸I/O设备9001可被具体体现为其中使触敏组件/设备与显示组件/设备结合的集成触摸屏。在又一些实施例中，触摸屏可被用作显示辅助图像数据，或者和主显示器相同的图形数据和接收触摸输入的辅助或附加显示屏。
触摸I/O设备9001可被配置成根据电容、电阻、光学、声学、感应、机械或化学测量结果，或者关于邻近设备9001的一次或多次触摸或者接近触摸的发生可测量的任何现象，检测设备9001上的一次或多次触摸或接近触摸的位置。软件、硬件、固件或者它们的任意组合可被用于处理所检测的触摸的测量结果，以识别和跟踪一个或多个手势。手势可对应于触摸I/O设备9001上的固定或非固定的一次或多次触摸或接近触摸。通过基本同时地、不间断地或者相继地按照预定方式，比如轻点、按压、摆动、擦动、扭动、改变定向、压力变化地按压等，在触摸I/O设备9001上移动一根或多根手指或者其它物体，可做出手势。手势可用手指之间，或者任何其它一根或多根手指的捏挤、滑动、挥击、旋转、弯曲、拖动或者轻点动作表征(但不限于此)。单一的手势可用一只手或两只手、由一个或多个用户、或者它们的任意组合实现。
计算系统9003可用图形数据驱动显示器，以显示图形用户界面(GUI)。GUI可被配置成通过触摸I/O设备9001接收触摸输入。具体体现为触摸屏的触摸I/O设备9001可显示GUI。另一方面，GUI可被显示在与触摸I/O设备9001分离的显示器上。GUI可包括显示在界面内的特定位置的图形元件。图形元件可包括但不限于各种显示的虚拟输入设备，包括虚拟滚轮、虚拟键盘、虚拟旋钮、虚拟按钮、任意虚拟UI等等。用户可在触摸I/O设备9001的与GUI的图形元件关联的一个或多个特定位置做手势。在其它实施例中，用户可在与GUI的图形元件的位置无关的一个或多个位置做手势。在触摸I/O设备9001上做的手势可直接或间接地操纵、控制、修改、移动、激励、启动或一般地影响GUI内的图形元件，比如光标、图标、媒体文件、列表、文本、全部或部分的图像等等。例如，就触摸屏来说，用户可通过在触摸屏上的图形元件上做手势，直接与图形元件交互。另一方面，触摸板一般提供间接的交互。手势还影响未显示的GUI元件(例如，导致用户界面出现)，或者可影响计算系统9003内的其它动作(例如，影响GUI、应用或操作系统的状态或模式)。可结合显示的光标，在触摸I/O设备9001上做或不做手势。例如，就在触摸板上做手势的情况来说，光标(或者指示符)可被显示在显示屏或触摸屏上，借助触摸板上的触摸输入可控制光标，以与显示屏上的图形对象交互。在其中在触摸屏上直接做手势的其它实施例中，用户可在光标或指示符显示或未显示在触摸屏上的情况下，直接与触摸屏上的对象交互。
响应或者根据触摸I/O设备9001上的触摸或接近触摸，可通过通信通道9002向用户提供反馈。反馈可以可变地或者不可变地用光学、机械、电气、嗅觉、声学等方式，或者它们的任意组合来传送。
上述这些功能可用数字电子电路、用计算机软件、固件或硬件来实现。各种技术可利用一个或多个计算机程序产品来实现。可编程处理器和计算机可包括在或者包装成移动设备。处理和逻辑流程可由一个或多个可编程处理器和由一个或多个可编程逻辑电路执行。通用和专用计算设备和存储设备可通过通信网络互连。
一些实施例包括把计算机程序指令保存在机器可读或计算机可读介质(另一方面称为计算机可读存储介质、机器可读介质或者机器可读存储介质)中的电子组件，比如微处理器、存储器和记忆装置。这种计算机可读介质的例子包括RAM、ROM、只读光盘(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、只读数字通用光盘(例如，DVD-ROM，双层DVD-ROM)、各种可记录/可重写DVD(例如，DVD-RAM、DVD-RW、DVD+RW等)、闪速存储器(例如SD卡、小型SD卡、微型SD卡等)、磁和/或固态硬盘驱动器、只读和可记录蓝光盘、超高密度光盘、任意其它光学或磁性介质、和软盘。计算机可读介质可保存可由至少一个处理单元执行的计算机程序，包括用于实现各种操作的多组指令。计算机程序或计算机代码的例子包括机器代码，比如由编译器产生的机器代码，和包括由计算机、电子组件或者利用解释器的微处理器执行的高级代码的文件。
尽管上面的讨论主要涉及执行软件的微处理器或者多核芯处理器，不过一些实施例由一个或多个集成电路，比如专用集成电路(ASIC)或现场可编程门阵列(FPGA)执行。在一些实施例中，这样的集成电路执行保存在电路本身上的指令。
在说明书和本申请的任何权利要求中使用的术语“计算机”、“服务器”、“处理器”和“存储器”都指的是电子设备或者其它技术设备。这些术语排除人或人群。对说明书来说，术语“显示”意味在电子设备上显示。在说明书和本申请的任何权利要求中使用的术语“计算机可读介质”完全局限于以计算机可读的形式保存信息的有形实体。这些术语排除任何无线信号、有线下载信号和任何其它瞬息信号。
图91概念地图解说明按照一些实施例，用于连接视频会议的一些参与者的示例通信系统9100。如图所示，通信系统9100包括若干移动设备9115、若干蜂窝基站(或者说Node B)9110、若干无线网络控制器(RNC)9105，和核心网络9125。蜂窝基站和RNC被集体称为通用移动电信系统(UMTS)地面无线接入网络(UTRAN)9130。每个RNC9105与一起被称为无线接入网络(RAN)的一个或多个蜂窝基站9110连接。
每个蜂窝基站9110覆盖一个服务区9120。如图所示，每个服务区中的移动设备9115通过Uu接口，与服务区9120的服务蜂窝基站9110无线连接。Uu接口使用具有两个平面的协议栈：控制平面和用户平面。用户平面支持电路交换、分组交换和广播数据流。控制平面携带网络的信令消息。
每个蜂窝基站通过Iub接口与RNC连接。每个RNC 9105通过Iu-cs和Iu-ps接口与核心网络9125连接。Iu-cs接口用于电路交换服务(例如，话音)，而Iu-ps接口用于分组交换服务(例如，数据)。Iur接口用于把两个RNC连接在一起。
因此，通信系统9100支持电路交换服务和分组交换服务。例如，电路交换服务允许通过经由通信系统9100的电路交换设备传送通话数据(例如，话音)，进行通话。分组交换服务允许通过利用在网际协议层(比如IP)之上的传送协议层(比如UDP或TCP)，经由通信系统9100的分组交换设备传送视频会议数据，进行视频会议。在一些实施例中，前面在视频会议设置章节中说明的通话-视频会议转变(例如，切换)利用诸如通信系统9100之类的通信系统支持的电路交换服务和分组交换服务。即，在这样的实施例中，通话是通过通信系统9100的电路交换设备进行的，视频会议是通过通信系统9100的分组交换设备进行的。
尽管图91中的示例通信系统举例说明第三代(3G)技术UTRAN无线移动通信系统，不过应注意在一些实施例中，第二代(2G)通信系统，其它3G通信系统，比如3GPP2演进数据优化或者进化-只是数据(EV-DO)和第三代合作伙伴计划2(3GPP2)码分多址接入1X(CDMA1X)，第四代(4G)通信系统，无线局域网(WLAN)，和微波存取全球互通(WiMAX)通信系统可被用于连接会议的一些参与者。2G系统的例子包括全球移动通信系统(GSM)，通用分组无线服务(GPRS)和增强数据速率GSM演进(EDGE)。2G通信系统体系结构类似于图91中所示的体系结构，除了2G通信系统体系结构使用基站收发器(BTS)代替Node B 9110，和基站控制器(BSC)代替RNC 9105之外。在2G通信系统中，BSC和核心网络之间的A接口用于电路交换服务，以及BSC和核心网络之间的Gb接口用于分组交换服务。
在一些实施例中，通信系统9100由最初供应移动设备9115以允许移动设备9115利用通信系统9100的服务运营商运行。一些实施例通过在移动设备9115中配置和登记用户识别模块(SIM)，提供移动设备9115。在其它实施例中，改为利用移动设备9115的存储器配置和登记移动设备9115。此外，可以提供另外的服务(在客户购买移动设备9115之后)，比如类似GPRS、多媒体消息接发服务(MMS)和即时通信的数据服务。一旦被供应，移动设备9115就被服务运营商激活，从而允许使用通信系统9100。
在一些实施例中，通信系统9100是专用通信网络。在这样的实施例中，移动设备9115能够在相互之间(例如，为通信系统9100提供的移动设备9115)通信(例如，进行语音通话、交换数据)。在其它实施例中，通信系统9100是公共通信网络。从而，除了为通信系统9110提供的移动设备9115之外，移动设备9115还能够与在通信系统9100外的其它设备通信。在通信系统9100外的其它设备中的一些包括通过其它网络，比如公共交换电话网或另一种无线通信网络，与通信系统9100连接的电话机、计算机和其它设备。
长期演进(LTE)规范用于定义4G通信系统。图92概念地图解说明在一些实施例中，用于连接视频会议的一些参与者的4G通信系统9200的例子。如图所示，通信系统9200包括若干移动设备9115、若干演进型Node B(eNB)9205、移动管理实体(MME)9215、服务网关(S-GW)9220、分组数据网络(PDN)网关9225、和归属用户服务器(HSS)9235。在一些实施例中，通信系统9200包括一个或多个MME 9215、一个或多个S-GW 9220、一个或多个PDN网关9225、和一个或多个HSS 9235。
eNB 9205为移动设备9115提供空中接口。如图所示，每个eNB9205覆盖服务区9210。每个服务区9210中的移动设备设备9115通过LTE-Uu接口，与服务区9210的eNB 9205无线连接。图92还表示eNB 9205通过X2接口相互连接。另外，eNB 9205通过S1-MME接口与MME 9215连接，通过S1-U接口与S-GW 9220连接。eNB 9205集体被称为演进的UTRAN(E-TRAN)9230。
eNB 9205提供各种功能，比如无线电资源管理(例如，无线承载控制、连接移动性控制等等)，用户平面数据朝着S-GW 9220的路由，信号测量和测量报告，在移动设备连接时的MME选择，等等。MME9215的功能包括空闲模式移动设备跟踪和寻呼，无线承载的启用和停用，在移动设备连接时的S-GW 9220的选择，非接入层面(NAS)信令终止，通过与HSS 9235交互的用户鉴权，等等。
S-GW 9220的功能包括(1)路由和转发用户数据分组，和(2)管理和保存移动设备上下文，比如IP承载服务的参数和网络内部路由信息。PDN网关9225的功能包括通过成为移动设备的通信量的出口点和入口点，提供从移动设备到外部分组数据网络(未示出)的连通性。移动站可具有多于一个PDN网关的同时连通性，以便接入多个分组数据网络。PDN网关9225还充当3GPP和非3GPP技术，比如WiMAXt 3GPP2(例如，CDMA 1X和EV-DO)之间的移动性的锚点(anchor)。
如图所示，MME 9215通过S11接口与S-GW 9220连接，通过S6a接口与HSS 9235连接。S-GW 9220和PDN网关9220通过S8接口连接。MME 9215、S-GW 9220和PDN网关9225集体被称为分组核心演进(EPC)。EPC是系统体系结构演进(SAE)体系结构的主要组件，系统体系结构演进(SAE)体系结构是3GPP LTE无线通信标准的核心网络体系结构。EPC是纯分组系统。例如，EPC不具有话音媒体网关。诸如话音和SMS之类的服务是分组交换路由的，并由利用EPC服务的应用功能提供。如此利用前面说明的通话-视频会议转变作为例子，在一些实施例中，通话和视频会议都是通过通信系统9200的分组交换设备进行的。在一些这样的实施例中，在通话结束之后，用于通话的分组交换通道继续被用于视频会议的音频数据。不过，在其它这种实施例中，创建不同的分组交换通道(例如，当建立视频会议时)，通过新创建的分组交换通道而不是当通话结束时，利用通话的分组交换通道传送音频数据。
此外，这些不同技术提供的带宽的数量从GPRS的44千比特/秒(kbps)到LTE的超过10兆比特/秒(Mbps)。未来对LTE来说，预计下载速率为100Mbps，上传速率为50Mbps。
尽管关于众多的具体细节说明了本发明，不过本领域的普通技术人员会认识到可用其它特定形式具体体现本发明，而不脱离本发明的精神。另外，众多的附图概念地图解说明了各种处理。可不按照所述表示和描述的严格顺序执行这些处理的具体操作。在连续的一系列操作中可不执行特定的操作，以及可在不同的实施例中执行不同的特定操作。此外，处理可利用几个子处理来实现，或者被实现成更大的宏处理的一部分。
另外，上面关于双照相机移动设备之间的视频会议说明了许多实施例。不过，本领域的普通技术人员会认识到在这些实施例中的许多实施例可用在涉及双照相机移动设备和另一个设备，比如单照相机移动设备、计算机、具有视频会议能力的电话机等之间的视频会议的情况中。此外，在单照相机移动设备和具有视频会议能力的其它计算设备中，可以使用上面说明的许多实施例。从而，本领域的普通技术人员理解本发明不受上面的示例细节限制，而是由附加的权利要求限定。

Claims (20)

1.一种操作第一移动设备的方法，所述方法包括：
在通过无线通信网络与第二设备的音频通话期间，呈现用于从音频通话切换到视频会议的第一可选用户界面UI项目；
在接收到对第一可选UI项目的选择之后：
显示由第一移动设备的第一照相机拍摄的第一视频，和
呈现用于在第一移动设备的第一照相机和第二照相机之间切换的第二可选UI项目；
在发起视频会议之前，接收对第二可选UI项目的选择，以利用由第二照相机拍摄的第二视频代替由第一照相机拍摄的视频；以及
通过与由第二照相机拍摄的视频同时显示由第二设备拍摄的第三视频来发起视频会议。
2.按照权利要求1所述的方法，其中呈现第二可选UI项目包括在视频会议发起期间和在视频会议已经发起之后呈现第二可选UI项目。
3.按照权利要求2所述的方法，其中呈现第二可选UI项目包括在预定的时间量之后停止呈现第二可选UI项目。
4.按照权利要求1所述的方法，还包括一旦第一可选UI项目被选择就向第二设备发送视频会议请求。
5.按照权利要求4所述的方法，其中，发起视频会议包括在同时显示第二视频和第三视频之前，接收对来自第二设备的视频会议请求的接受。
6.按照权利要求5所述的方法，其中，同时显示所述视频包括将第二视频显示为与第三视频的至少一部分重叠的插入视频。
7.按照权利要求1所述的方法，其中，第一移动设备的第一照相机是正面的照相机，而第一移动设备的第二照相机是背面的照相机。
8.一种第一设备，包括：
第一照相机和第二照相机；
用于呈现用于发起与第二设备的视频会议的第一可选用户界面UI项目；
用于在接收到对第一可选UI项目的选择之后：
显示由第一设备的第一照相机拍摄的第一视频，并且
呈现用于在第一设备的第一照相机和第二照相机之间切换的第二可选UI项目的装置；
用于在发起视频会议之前，接收对第二可选UI项目的选择，以利用由第二照相机拍摄的第二视频代替由第一照相机拍摄的视频的装置；以及
用于通过与由第二照相机拍摄的视频同时显示由第二设备拍摄的第三视频来发起与第二设备的视频会议的装置。
9.按照权利要求8所述的第一设备，其中用于呈现第二可选UI项目的装置包括用于在视频会议发起期间和在视频会议已经发起之后呈现第二可选UI项目的装置。
10.按照权利要求9所述的第一设备，其中用于呈现第二可选UI项目的装置包括用于在预定的时间量之后停止呈现第二可选UI项目的装置。
11.按照权利要求8所述的第一设备，还包括用于一旦第一可选UI项目被选择就向第二设备发送视频会议请求的装置。
12.按照权利要求11所述的第一设备，其中，用于发起视频会议的装置包括用于在同时显示第二视频和第三视频之前，接收对来自第二设备的视频会议请求的接受的装置。
13.按照权利要求12所述的第一设备，其中，用于同时显示第二视频和第三视频的装置包括用于将第二视频显示为与第三视频的至少一部分重叠的插入视频的装置。
14.按照权利要求8所述的第一设备，其中，第一设备的第一照相机是正面的照相机，而第一设备的第二照相机是背面的照相机。
15.一种用于第一设备进行与第二设备的视频会议的方法，所述方法包括：
呈现用于发起与第二设备的第一可选用户界面UI项目；
在接收到对所述第一可选UI项目的选择之后：
显示由第一设备的第一照相机拍摄的第一视频，和
呈现用于在第一设备的第一照相机和第二照相机之间切换的第二可选UI项目；
在发起视频会议之前，接收对第二可选UI项目的选择，以利用由第二照相机拍摄的第二视频代替由第一照相机拍摄的视频；以及
通过与由第二照相机拍摄的视频同时显示由第二设备拍摄的第三视频来发起视频会议。
16.按照权利要求15所述的方法，还包括一旦第一可选UI项目被选择就向第二设备发送视频会议请求。
17.按照权利要求16所述的方法，其中，发起视频会议包括在同时显示第二视频和第三视频之前，接收对来自第二设备的视频会议请求的接受。
18.按照权利要求17所述的方法，其中，同时显示所述视频包括将第二视频显示为与第三视频的至少一部分重叠的插入视频。
19.按照权利要求15所述的方法，其中，第一设备的第一照相机是正面的照相机，而第一设备的第二照相机是背面的照相机。
20.按照权利要求15所述的方法，其中，第一设备和第二设备是智能电话。
CN201410575145.4A 2010-04-07 2010-09-25 在通话期间建立视频会议 Active CN104270597B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US32187110P 2010-04-07 2010-04-07
US61/321,871 2010-04-07
US12/794,766 2010-06-06
US12/794,766 US8744420B2 (en) 2010-04-07 2010-06-06 Establishing a video conference during a phone call
CN201010600623.4A CN102215217B (zh) 2010-04-07 2010-09-25 在通话期间建立视频会议

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201010600623.4A Division CN102215217B (zh) 2010-04-07 2010-09-25 在通话期间建立视频会议

Publications (2)

Publication Number Publication Date
CN104270597A true CN104270597A (zh) 2015-01-07
CN104270597B CN104270597B (zh) 2018-07-24

Family

ID=44760640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410575145.4A Active CN104270597B (zh) 2010-04-07 2010-09-25 在通话期间建立视频会议

Country Status (11)

Country Link
US (14) US9264659B2 (zh)
EP (2) EP3425624B1 (zh)
JP (7) JP2013524684A (zh)
KR (11) KR101627818B1 (zh)
CN (1) CN104270597B (zh)
AU (1) AU2010350749B2 (zh)
BR (1) BR112012025746B1 (zh)
HK (2) HK1162797A1 (zh)
MX (3) MX2012011623A (zh)
TW (4) TWI547136B (zh)
WO (1) WO2011126511A1 (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107005703A (zh) * 2016-09-09 2017-08-01 深圳市大疆创新科技有限公司 图像编码方法及系统
CN108063745A (zh) * 2016-11-08 2018-05-22 北京视联动力国际信息技术有限公司 一种基于安卓设备的视频通话方法及其系统
CN109076188A (zh) * 2016-05-12 2018-12-21 谷歌有限责任公司 视频呼叫的呼叫者预览
CN109327672A (zh) * 2018-12-11 2019-02-12 维沃移动通信有限公司 一种视频通话方法及终端
CN110460799A (zh) * 2018-05-07 2019-11-15 苹果公司 创意相机
CN110650341A (zh) * 2019-09-29 2020-01-03 华为终端有限公司 视频交互方法及相关设备
CN111164955A (zh) * 2017-05-26 2020-05-15 流迅方案有限公司 通信事件
US10861248B2 (en) 2018-05-07 2020-12-08 Apple Inc. Avatar creation user interface
CN112422871A (zh) * 2020-11-12 2021-02-26 广州市保伦电子有限公司 一种基于ios平台的双流视频会议方法及处理终端
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
CN113099151A (zh) * 2016-01-06 2021-07-09 三星电子株式会社 显示装置及其控制方法
US11061372B1 (en) 2020-05-11 2021-07-13 Apple Inc. User interfaces related to time
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11165949B2 (en) 2016-06-12 2021-11-02 Apple Inc. User interface for capturing photos with different camera magnifications
US11178335B2 (en) 2018-05-07 2021-11-16 Apple Inc. Creative camera
US11204692B2 (en) 2017-06-04 2021-12-21 Apple Inc. User interface camera effects
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11223771B2 (en) 2019-05-06 2022-01-11 Apple Inc. User interfaces for capturing and managing visual media
CN113938633A (zh) * 2020-06-29 2022-01-14 聚好看科技股份有限公司 一种视频通话处理方法及显示设备
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11350026B1 (en) 2021-04-30 2022-05-31 Apple Inc. User interfaces for altering visual media
US11468625B2 (en) 2018-09-11 2022-10-11 Apple Inc. User interfaces for simulated depth effects
US11481988B2 (en) 2010-04-07 2022-10-25 Apple Inc. Avatar editing environment
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar

Families Citing this family (674)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
TWI386863B (zh) * 2008-10-03 2013-02-21 Alpha Imaging Technology Corp 多媒體處理器、手持式電子通訊裝置及其影像處理方法
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8416300B2 (en) * 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
KR20100135145A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 원격제어장치 및 그의 디스플레이방법
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9277021B2 (en) * 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
DE102009039834A1 (de) * 2009-09-03 2011-03-10 Deutsche Telekom Ag Automatisches Sprach-Chat-System in Mobilfunknetzen mit Ortsbezug
US20220129126A9 (en) * 2009-12-20 2022-04-28 Benjamin Firooz Ghassabian System for capturing event provided from edge of touch screen
US20110153768A1 (en) * 2009-12-23 2011-06-23 International Business Machines Corporation E-meeting presentation relevance alerts
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US8725880B2 (en) 2010-04-07 2014-05-13 Apple, Inc. Establishing online communication sessions between client computing devices
US8583149B2 (en) 2010-04-07 2013-11-12 Apple Inc. Registering email addresses for online communication sessions
US9264659B2 (en) 2010-04-07 2016-02-16 Apple Inc. Video conference network management for a mobile device
US8751667B2 (en) 2010-04-07 2014-06-10 Apple Inc. Supporting hands-free services via a hands-free device for IP video calls
US8606306B2 (en) 2010-04-07 2013-12-10 Apple Inc. Multiple client computing device invitations for online communication sessions
US9955209B2 (en) 2010-04-14 2018-04-24 Alcatel-Lucent Usa Inc. Immersive viewer, a method of providing scenes on a display and an immersive viewing system
US8786664B2 (en) * 2010-04-28 2014-07-22 Qualcomm Incorporated System and method for providing integrated video communication applications on a mobile computing device
US9294716B2 (en) 2010-04-30 2016-03-22 Alcatel Lucent Method and system for controlling an imaging system
US9084002B2 (en) * 2010-05-03 2015-07-14 Microsoft Technology Licensing, Llc Heterogeneous image sensor synchronization
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US9025030B2 (en) * 2010-06-08 2015-05-05 Cheryl Garcia Video system
US20110306325A1 (en) * 2010-06-10 2011-12-15 Rajesh Gutta Streaming video/audio from mobile phone to any device
US8335991B2 (en) * 2010-06-11 2012-12-18 Microsoft Corporation Secure application interoperation via user interface gestures
US20120001999A1 (en) * 2010-07-01 2012-01-05 Tandberg Telecom As Apparatus and method for changing a camera configuration in response to switching between modes of operation
US8723912B2 (en) 2010-07-06 2014-05-13 DigitalOptics Corporation Europe Limited Scene background blurring including face modeling
US20120030595A1 (en) * 2010-07-29 2012-02-02 Seiko Epson Corporation Information storage medium, terminal apparatus, and image generation method
US8823739B2 (en) * 2010-08-25 2014-09-02 International Business Machines Corporation Background replacement for videoconferencing
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
GB201014614D0 (en) * 2010-09-02 2010-10-13 Skype Ltd Premium communication sessions
US9024997B2 (en) * 2010-09-03 2015-05-05 At&T Intellectual Property L.L.P. Virtual presence via mobile
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
CN101951492A (zh) * 2010-09-15 2011-01-19 中兴通讯股份有限公司 视频通话中视频录制的方法及装置
US9078082B2 (en) * 2010-09-24 2015-07-07 Amazon Technologies, Inc. Interacting with cloud-based applications using unrelated devices
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
US20120083314A1 (en) * 2010-09-30 2012-04-05 Ng Hock M Multimedia Telecommunication Apparatus With Motion Tracking
US20130191742A1 (en) * 2010-09-30 2013-07-25 Rakuten, Inc. Viewing device, viewing method, non-transitory computer-readable recording medium whereon program is recorded, and script program
US8754925B2 (en) 2010-09-30 2014-06-17 Alcatel Lucent Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal
US8842080B2 (en) 2010-10-01 2014-09-23 Z124 User interface with screen spanning icon morphing
US20120218202A1 (en) 2010-10-01 2012-08-30 Sanjiv Sirpal Windows position control for phone applications
US9436217B2 (en) 2010-10-01 2016-09-06 Z124 Windows position control for phone applications
US9189018B2 (en) * 2010-10-01 2015-11-17 Z124 Windows position control for phone applications
US20120225693A1 (en) 2010-10-01 2012-09-06 Sanjiv Sirpal Windows position control for phone applications
US20120225694A1 (en) 2010-10-01 2012-09-06 Sanjiv Sirpal Windows position control for phone applications
US9588545B2 (en) 2010-10-01 2017-03-07 Z124 Windows position control for phone applications
US8723913B2 (en) 2010-10-07 2014-05-13 T-Mobile Usa, Inc. Rate adaptation for video calling
CN102447843A (zh) * 2010-10-11 2012-05-09 宏达国际电子股份有限公司 投影方法及其移动装置
EP2442562B1 (en) * 2010-10-12 2017-08-02 BlackBerry Limited Method and apparatus for image orientation indication and correction
US9294717B2 (en) * 2010-10-13 2016-03-22 At&T Intellectual Property I, L.P. System and method to enable layered video messaging
US9237305B2 (en) * 2010-10-18 2016-01-12 Apple Inc. Overlay for a video conferencing application
KR20120040410A (ko) * 2010-10-19 2012-04-27 한국전자통신연구원 통신 시스템에서 서비스 제공 서버, 서비스 제공 노드 및 서비스 제공 방법
US20120092381A1 (en) * 2010-10-19 2012-04-19 Microsoft Corporation Snapping User Interface Elements Based On Touch Input
US20120092444A1 (en) * 2010-10-19 2012-04-19 Cisco Technology, Inc. System and method for providing videomail in a network environment
KR101738105B1 (ko) * 2010-10-22 2017-05-22 삼성디스플레이 주식회사 영상 처리 장치, 영상 처리 방법 및 평판 표시장치
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8902244B2 (en) * 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US9264664B2 (en) * 2010-12-03 2016-02-16 Intouch Technologies, Inc. Systems and methods for dynamic bandwidth allocation
US8928810B2 (en) * 2010-12-15 2015-01-06 Bernhard Fritsch System for combining video data streams into a composite video data stream
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
CN102541414A (zh) * 2010-12-28 2012-07-04 英华达（上海）科技有限公司 一种能自动切换操作模式的移动终端装置
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US8751063B2 (en) 2011-01-05 2014-06-10 Orbotix, Inc. Orienting a user interface of a controller for operating a self-propelled device
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US8589509B2 (en) * 2011-01-05 2013-11-19 Cloudium Systems Limited Controlling and optimizing system latency
KR101739379B1 (ko) * 2011-01-11 2017-05-24 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
TW201233156A (en) * 2011-01-26 2012-08-01 Altek Corp Method and system for controlling external lens
US20120206568A1 (en) * 2011-02-10 2012-08-16 Google Inc. Computing device having multiple image capture devices and image modes
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8438233B2 (en) 2011-03-23 2013-05-07 Color Labs, Inc. Storage and distribution of content for a user device group
KR20140053885A (ko) * 2011-04-18 2014-05-08 아이시360, 인코포레이티드 모바일 컴퓨팅 디바이스에서의 파노라마 비디오 이미징을 위한 장치 및 방법
US8581958B2 (en) * 2011-04-18 2013-11-12 Hewlett-Packard Development Company, L.P. Methods and systems for establishing video conferences using portable electronic devices
KR101764372B1 (ko) * 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US9191615B1 (en) * 2011-05-02 2015-11-17 Needle, Inc. Chat window
US20120290650A1 (en) * 2011-05-11 2012-11-15 Futurewei Technologies, Inc. System and Method for Peer to Peer Communications in Cellular Communications Systems
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
WO2012155951A1 (en) * 2011-05-13 2012-11-22 Valeo Schalter Und Sensoren Gmbh Camera arrangement for a vehicle and method for calibrating a camera and for operating a camera arrangement
US9098611B2 (en) * 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
JP5830935B2 (ja) * 2011-05-27 2015-12-09 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US20120307989A1 (en) * 2011-06-02 2012-12-06 Hawley Michael J Method and apparatus for multimedia calls
US9600176B2 (en) * 2011-06-16 2017-03-21 Nokia Technologies Oy Method and apparatus for controlling a spatial relationship between at least two groups of content during movement of the content
US9325935B2 (en) * 2011-06-20 2016-04-26 Cisco Technology, Inc. Preview window for video communications
US20130003543A1 (en) * 2011-06-30 2013-01-03 Avistar Communications Corporation NEXT-GENERATION BANDWIDTH MANAGEMENT CONTROL SYSTEMS FOR MULTIPLE-SERVICE CALLS, SESSIONS, PACKET-LEVEL PROCESSES, AND QoS PARAMETERS - PART 1: STRUCTURAL AND FUNCTIONAL ARCHITECTURES
US20130002532A1 (en) * 2011-07-01 2013-01-03 Nokia Corporation Method, apparatus, and computer program product for shared synchronous viewing of content
US20130067331A1 (en) * 2011-09-09 2013-03-14 Screenovate Technologies Ltd. Method and System of Simultaneous Display of Multiple Screens on a Target Display
KR101314679B1 (ko) * 2011-09-14 2013-10-07 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
US8473550B2 (en) 2011-09-21 2013-06-25 Color Labs, Inc. Content sharing using notification within a social networking environment
US9152970B1 (en) 2011-09-27 2015-10-06 Amazon Technologies, Inc. Remote co-browsing session management
US8878794B2 (en) * 2011-09-27 2014-11-04 Z124 State of screen info: easel
US8861893B2 (en) * 2011-09-27 2014-10-14 The Boeing Company Enhancing video using super-resolution
US9383958B1 (en) * 2011-09-27 2016-07-05 Amazon Technologies, Inc. Remote co-browsing session management
US8823765B2 (en) * 2011-09-30 2014-09-02 Verizon Patent And Licensing Inc. Method and apparatus for device peer resource pooling
US9009341B2 (en) * 2011-10-11 2015-04-14 Avaya Inc. Video bandwidth management system and method
JP5977498B2 (ja) * 2011-10-14 2016-08-24 キヤノン株式会社 撮像装置、撮像装置の制御方法
US9448708B1 (en) 2011-10-19 2016-09-20 Google Inc. Theming for virtual collaboration
US9118801B2 (en) 2011-10-24 2015-08-25 T-Mobile Usa, Inc. Optimizing video-call quality of service
CN104012040B (zh) * 2011-10-24 2017-07-18 T移动美国公司 优化视频通话服务质量
US8490008B2 (en) 2011-11-10 2013-07-16 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
TWI492629B (zh) * 2011-11-02 2015-07-11 Quanta Comp Inc 視訊會議系統、視訊會議裝置及其方法
US9652448B2 (en) 2011-11-10 2017-05-16 Blackberry Limited Methods and systems for removing or replacing on-keyboard prediction candidates
US9122672B2 (en) 2011-11-10 2015-09-01 Blackberry Limited In-letter word prediction for virtual keyboard
US9715489B2 (en) 2011-11-10 2017-07-25 Blackberry Limited Displaying a prediction candidate after a typing mistake
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
JP5884421B2 (ja) * 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US9313100B1 (en) 2011-11-14 2016-04-12 Amazon Technologies, Inc. Remote browsing session management
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US9430119B2 (en) 2011-11-26 2016-08-30 Douzen, Inc. Systems and methods for organizing and displaying hierarchical data structures in computing devices
US9557892B2 (en) * 2011-11-26 2017-01-31 Douzen, Inc. Systems and methods for organizing and displaying hierarchical data structures in computing devices
US9008487B2 (en) 2011-12-06 2015-04-14 Alcatel Lucent Spatial bookmarking
US9215405B2 (en) 2011-12-09 2015-12-15 Hewlett-Packard Development Company, L.P. Modification of images based on orientation
US9246543B2 (en) * 2011-12-12 2016-01-26 Futurewei Technologies, Inc. Smart audio and video capture systems for data processing systems
US9569752B2 (en) * 2011-12-15 2017-02-14 Cisco Technology, Inc. Providing parameterized actionable communication messages via an electronic communication
US9449583B2 (en) * 2011-12-15 2016-09-20 Lenovo (Beijing) Co., Ltd. Control method and electronic apparatus
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9330188B1 (en) 2011-12-22 2016-05-03 Amazon Technologies, Inc. Shared browsing sessions
EP2618248B1 (en) 2012-01-19 2017-08-16 BlackBerry Limited Virtual keyboard providing an indication of received input
US9557913B2 (en) 2012-01-19 2017-01-31 Blackberry Limited Virtual keyboard display having a ticker proximate to the virtual keyboard
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
EP2811739B1 (en) * 2012-02-03 2021-11-24 Samsung SDS Co., Ltd. Terminal, image communication control server, and system and method for image communication using same
US10289660B2 (en) * 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
CA2865272C (en) * 2012-02-24 2019-11-05 Blackberry Limited Virtual keyboard with dynamically reconfigurable layout
EP2631756B1 (en) * 2012-02-24 2014-11-26 BlackBerry Limited User interface for a digital camera
US8675113B2 (en) 2012-02-24 2014-03-18 Research In Motion Limited User interface for a digital camera
US20130227149A1 (en) * 2012-02-24 2013-08-29 Intel Mobile Communications GmbH Method for providing a communication session and device
EP2631758B1 (en) 2012-02-24 2016-11-02 BlackBerry Limited Touchscreen keyboard providing word predictions in partitions of the touchscreen keyboard in proximate association with candidate letters
TWI499935B (zh) * 2012-08-30 2015-09-11 Realtek Semiconductor Corp 可避免非預期性互動行為發生的多媒體互動系統及相關的電腦程式產品
TWI485576B (zh) * 2012-03-02 2015-05-21 Realtek Semiconductor Corp 可避免非預期性互動行為發生的多媒體互動系統及相關的電腦程式產品
US10282055B2 (en) 2012-03-06 2019-05-07 Apple Inc. Ordered processing of edits for a media editing application
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
JP6123274B2 (ja) * 2012-03-08 2017-05-10 株式会社リコー 撮像装置
US9489827B2 (en) 2012-03-12 2016-11-08 Cisco Technology, Inc. System and method for distributing content in a video surveillance network
CN103503551B (zh) * 2012-03-26 2017-02-01 华为技术有限公司 一种数据传输的方法、设备及系统
US9256457B1 (en) 2012-03-28 2016-02-09 Google Inc. Interactive response system for hosted services
US9201510B2 (en) 2012-04-16 2015-12-01 Blackberry Limited Method and device having touchscreen keyboard with visual cues
US8818345B1 (en) * 2012-04-17 2014-08-26 Sprint Communications Company L.P. Enhancing conference bridge muting to save network resources
CN103379044A (zh) * 2012-04-26 2013-10-30 鸿富锦精密工业（深圳）有限公司 网络装置及其动态调整带宽的方法
KR101452038B1 (ko) 2012-04-26 2014-10-22 삼성전기주식회사 모바일 기기 및 그 화면 제어 방법
KR101858604B1 (ko) * 2012-04-30 2018-05-17 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10025487B2 (en) 2012-04-30 2018-07-17 Blackberry Limited Method and apparatus for text selection
US9292192B2 (en) 2012-04-30 2016-03-22 Blackberry Limited Method and apparatus for text selection
US9354805B2 (en) 2012-04-30 2016-05-31 Blackberry Limited Method and apparatus for text selection
US9451163B2 (en) * 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
US9292758B2 (en) * 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
US9280717B2 (en) 2012-05-14 2016-03-08 Sphero, Inc. Operating a computing device by detecting rounded objects in an image
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
RU2012119843A (ru) * 2012-05-15 2013-11-20 Общество с ограниченной ответственностью "Синезис" Способ отображения видеоданных на мобильном устройстве
US9049349B2 (en) * 2012-05-16 2015-06-02 Cisco Technology, Inc. System and method for video recording and retention in a network
CN103428523B (zh) * 2012-05-22 2015-07-08 华为技术有限公司 评估视频质量的方法和装置
US8830295B2 (en) 2012-05-23 2014-09-09 Google Inc. Multimedia conference endpoint transfer system
US9207860B2 (en) 2012-05-25 2015-12-08 Blackberry Limited Method and apparatus for detecting a gesture
CN102724479A (zh) * 2012-05-28 2012-10-10 康佳集团股份有限公司 具有图像实时显示和放大功能的电视系统及其实现方法
US9813666B2 (en) * 2012-05-29 2017-11-07 Qualcomm Incorporated Video transmission and reconstruction
US9661264B2 (en) * 2012-06-01 2017-05-23 Nintendo Co., Ltd. Multi-display video communication medium, apparatus, system, and method
US9241131B2 (en) * 2012-06-08 2016-01-19 Samsung Electronics Co., Ltd. Multiple channel communication using multiple cameras
US9325889B2 (en) 2012-06-08 2016-04-26 Samsung Electronics Co., Ltd. Continuous video capture during switch between video capture devices
EP2974831B1 (en) 2012-06-12 2021-04-07 Snap-On Incorporated An inventory control system having advanced functionalities
US8957915B1 (en) * 2012-06-14 2015-02-17 Cinemagram Inc. Method, apparatus and system for dynamic images
US20180048750A1 (en) * 2012-06-15 2018-02-15 Muzik, Llc Audio/video wearable computer system with integrated projector
US9123145B2 (en) * 2012-06-15 2015-09-01 Disney Enterprises, Inc. Temporal noise control for sketchy animation
US9438818B2 (en) * 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
US9014060B2 (en) * 2012-06-21 2015-04-21 Level 3 Communications, Llc System and method for integrating VoIP client for audio conferencing
US8830296B1 (en) 2012-06-26 2014-09-09 Google Inc. Endpoint device-specific stream control for multimedia conferencing
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
KR101992397B1 (ko) * 2012-06-27 2019-09-27 삼성전자주식회사 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법
US10165245B2 (en) 2012-07-06 2018-12-25 Kaltura, Inc. Pre-fetching video content
US9632648B2 (en) 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
US9911222B2 (en) * 2012-07-06 2018-03-06 Tangome, Inc. Animation in threaded conversations
US9876988B2 (en) * 2012-07-13 2018-01-23 Microsoft Technology Licensing, Llc Video display modification for video conferencing environments
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
WO2014014238A1 (en) 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
US9131143B2 (en) 2012-07-20 2015-09-08 Blackberry Limited Dynamic region of interest adaptation and image capture device providing same
US9813255B2 (en) 2012-07-30 2017-11-07 Microsoft Technology Licensing, Llc Collaboration environments and views
US8805431B2 (en) * 2012-07-31 2014-08-12 Motorola Solutions, Inc. Apparatus and method for initiating and sharing incident information in a communication system
US10742692B2 (en) 2012-08-09 2020-08-11 Avaya Inc. Snap-in invocation for call reconstruction
US10601880B2 (en) * 2015-07-17 2020-03-24 Avaya Inc. Conference reconstruction in SIP networks
EP2696591B1 (en) * 2012-08-09 2019-04-10 Samsung Electronics Co., Ltd Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy
US9024995B2 (en) * 2012-08-09 2015-05-05 Samsung Electronics Co., Ltd. Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy
KR101901919B1 (ko) * 2012-08-27 2018-09-27 삼성전자주식회사 휴대 단말기 및 메신저 영상 서비스 운용 방법
US9113033B2 (en) * 2012-08-28 2015-08-18 Microsoft Technology Licensing, Llc Mobile video conferencing with digital annotation
US9063653B2 (en) 2012-08-31 2015-06-23 Blackberry Limited Ranking predictions based on typing speed and typing confidence
US9524290B2 (en) 2012-08-31 2016-12-20 Blackberry Limited Scoring predictions based on prediction length and typing speed
US8928724B2 (en) * 2012-08-31 2015-01-06 Microsoft Corporation Unified user experience for mobile calls
US9578224B2 (en) * 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
GB201216210D0 (en) 2012-09-12 2012-10-24 Appeartome Ltd Augmented reality apparatus and method
US9148625B2 (en) * 2012-09-21 2015-09-29 Cisco Technology, Inc. Transition control in a videoconference
US20140085178A1 (en) * 2012-09-24 2014-03-27 3M Innovative Properties Company Method and apparatus for controlling information display areas in a mirror display
KR20140042280A (ko) * 2012-09-28 2014-04-07 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
US9007426B2 (en) 2012-10-04 2015-04-14 Blackberry Limited Comparison-based selection of video resolutions in a video call
US10154177B2 (en) * 2012-10-04 2018-12-11 Cognex Corporation Symbology reader with multi-core processor
US10552030B2 (en) * 2012-10-15 2020-02-04 Kirusa, Inc. Multi-gesture media recording system
ITTO20120908A1 (it) * 2012-10-16 2014-04-17 Selex Galileo Spa Innovativo sistema di comando e controllo e di puntamento e tiro per veicoli militari terrestri equipaggiati con almeno un'arma
ITTO20120907A1 (it) * 2012-10-16 2014-04-17 Selex Galileo Spa Sistema di visione esterna e/o di puntamento di un'arma per veicoli militari terrestri ed unita' navali militari
EP2909971B1 (en) 2012-10-18 2020-09-02 Dolby Laboratories Licensing Corporation Systems and methods for initiating conferences using external devices
US9035995B2 (en) * 2012-10-23 2015-05-19 Electronics And Telecommunications Research Institute Method and apparatus for widening viewing angle in video conferencing system
KR101960311B1 (ko) * 2012-10-29 2019-03-20 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20140063125A (ko) * 2012-11-16 2014-05-27 삼성전자주식회사 영역에 따라 다른 계수를 적용하여 화질을 개선하는 영상 처리 방법 및 그 장치
US20150304239A1 (en) * 2012-11-27 2015-10-22 Oliver Solutions Ltd. Telecommunication network node supporting hybrid management using a hardware abstraction and management protocol cross-connect function
JP5974881B2 (ja) * 2012-12-14 2016-08-23 ソニー株式会社 情報処理装置およびその制御方法
CN103024342B (zh) * 2012-12-25 2016-05-18 广东威创视讯科技股份有限公司 视频会议系统中的带宽控制方法及系统
US9615176B2 (en) * 2012-12-28 2017-04-04 Nvidia Corporation Audio channel mapping in a portable electronic device
KR102000536B1 (ko) 2012-12-28 2019-07-16 삼성전자주식회사 합성 이미지를 촬영하는 촬영 장치 및 그 방법
US8953079B2 (en) * 2012-12-31 2015-02-10 Texas Instruments Incorporated System and method for generating 360 degree video recording using MVC
KR102049977B1 (ko) * 2012-12-31 2019-11-28 엘지전자 주식회사 이동 단말기
US10021431B2 (en) * 2013-01-04 2018-07-10 Omnivision Technologies, Inc. Mobile computing device having video-in-video real-time broadcasting capability
KR20140089146A (ko) 2013-01-04 2014-07-14 삼성전자주식회사 영상 통화 방법 및 그 방법을 처리하는 전자 장치
US9509919B2 (en) * 2014-11-17 2016-11-29 Duelight Llc System and method for generating a digital image
WO2014125403A2 (en) * 2013-02-12 2014-08-21 Amit Kumar Jain Amit Method of video interaction using poster view
KR102076771B1 (ko) * 2013-02-21 2020-02-12 삼성전자주식회사 다수의 이미지 동시 포착
TWI477108B (zh) * 2013-02-22 2015-03-11 Quanta Comp Inc 視訊會議建立方法
WO2014130977A1 (en) * 2013-02-25 2014-08-28 Herold Williams Nonlinear scaling in video conferencing
KR102032347B1 (ko) * 2013-02-26 2019-10-15 삼성전자 주식회사 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법
KR102032541B1 (ko) * 2013-02-26 2019-11-08 삼성전자주식회사 이미지 촬영장치 및 방법
US9087393B2 (en) * 2013-03-07 2015-07-21 Apple Inc. Network display support in an integrated circuit
KR20140114501A (ko) * 2013-03-14 2014-09-29 삼성전자주식회사 영상 데이터 처리 방법 및 이를 지원하는 전자 장치
US20140280490A1 (en) * 2013-03-15 2014-09-18 Atakan Artun Systems and methods for visual communication
KR101978219B1 (ko) * 2013-03-15 2019-05-14 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US10187433B2 (en) 2013-03-15 2019-01-22 Swyme Ip Bv Methods and systems for dynamic adjustment of session parameters for effective video collaboration among heterogenous devices
KR102037930B1 (ko) 2013-03-15 2019-10-30 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9792654B1 (en) * 2013-03-15 2017-10-17 United Services Automobile Association (Usaa) Insurance claim processing via streaming video
US20140279029A1 (en) * 2013-03-15 2014-09-18 Paschar Llc Mobile device user interface with dynamic advertising control interface area
US9292264B2 (en) 2013-03-15 2016-03-22 Paschar Llc Mobile device user interface advertising software development kit
EP2975995B1 (en) * 2013-03-20 2023-05-31 Covidien LP System for enhancing picture-in-picture display for imaging devices used for surgical procedures
JP2014192566A (ja) * 2013-03-26 2014-10-06 Sony Corp 映像処理装置、映像処理方法およびコンピュータプログラム
JP5731088B2 (ja) * 2013-03-29 2015-06-10 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器制御方法、及び、プログラム
CN104104898B (zh) * 2013-04-03 2017-06-27 联想(北京)有限公司 一种数据处理方法、装置和电子设备
KR20140121711A (ko) * 2013-04-08 2014-10-16 삼성전자주식회사 색 추출 기반의 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 장치
US10349115B2 (en) * 2013-04-12 2019-07-09 Brian Hernandez Multimedia content management system and method of displaying remotely hosted content
US9236088B2 (en) * 2013-04-18 2016-01-12 Rapt Media, Inc. Application communication
US9407874B2 (en) * 2013-04-30 2016-08-02 Esurance Insurance Services, Inc. Remote claims adjuster
CN105474157A (zh) 2013-05-09 2016-04-06 亚马逊技术股份有限公司 移动设备界面
KR20140133363A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US9197853B2 (en) * 2013-05-20 2015-11-24 Ricoh Company, Ltd Switching between views using natural gestures
JP6229314B2 (ja) * 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US9692831B1 (en) * 2013-05-31 2017-06-27 Google Inc. Pausing interactive sessions
KR102169523B1 (ko) 2013-05-31 2020-10-23 삼성전자 주식회사 디스플레이장치 및 그 제어방법
KR102101850B1 (ko) * 2013-06-04 2020-04-17 삼성전자주식회사 전자 장치에서 이미지를 편집하기 위한 장치 및 방법
KR102064973B1 (ko) * 2013-06-04 2020-01-10 삼성전자주식회사 듀얼 이미지를 편집하는 전자 장치 및 방법
US10074400B2 (en) 2013-06-05 2018-09-11 Snakt, Inc. Methods and systems for creating, combining, and sharing time-constrained videos
US10168882B2 (en) * 2013-06-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for switching between camera interfaces
US9008296B2 (en) 2013-06-10 2015-04-14 Microsoft Technology Licensing, Llc Catching up with an ongoing conference call
US10297284B2 (en) 2013-06-26 2019-05-21 Touchcast LLC Audio/visual synching system and method
US10757365B2 (en) 2013-06-26 2020-08-25 Touchcast LLC System and method for providing and interacting with coordinated presentations
US10356363B2 (en) 2013-06-26 2019-07-16 Touchcast LLC System and method for interactive video conferencing
US9787945B2 (en) 2013-06-26 2017-10-10 Touchcast LLC System and method for interactive video conferencing
US11488363B2 (en) 2019-03-15 2022-11-01 Touchcast, Inc. Augmented reality conferencing system and method
US10523899B2 (en) 2013-06-26 2019-12-31 Touchcast LLC System and method for providing and interacting with coordinated presentations
US11659138B1 (en) 2013-06-26 2023-05-23 Touchcast, Inc. System and method for interactive video conferencing
US9661256B2 (en) 2014-06-26 2017-05-23 Touchcast LLC System and method for providing and interacting with coordinated presentations
US10075676B2 (en) 2013-06-26 2018-09-11 Touchcast LLC Intelligent virtual assistant system and method
US11405587B1 (en) 2013-06-26 2022-08-02 Touchcast LLC System and method for interactive video conferencing
WO2015000085A2 (en) * 2013-07-02 2015-01-08 Unsworth Andrew Baillie A system for activating a recording device to capture the reaction of a recipient, subject, and/or sender during a media or gift exchange
US10084849B1 (en) 2013-07-10 2018-09-25 Touchcast LLC System and method for providing and interacting with coordinated presentations
US9232177B2 (en) * 2013-07-12 2016-01-05 Intel Corporation Video chat data processing
TWI496109B (zh) * 2013-07-12 2015-08-11 Vivotek Inc 影像處理器及其影像合成方法
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
US9104241B2 (en) * 2013-07-17 2015-08-11 Tangome, Inc. Performing multiple functions by a mobile device during a video conference
US20150022618A1 (en) * 2013-07-18 2015-01-22 Bot Home Automation Inc. Wireless Entrance Communication Device
AU355184S (en) 2013-08-01 2014-05-01 Palantir Tech Display screen
USD781869S1 (en) 2013-08-01 2017-03-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD757028S1 (en) 2013-08-01 2016-05-24 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
US20150042669A1 (en) * 2013-08-08 2015-02-12 Nvidia Corporation Rotating displayed content on an electronic device
KR20150019766A (ko) * 2013-08-16 2015-02-25 삼성전자주식회사 영상 통화 방법 및 이를 지원하는 전자 장치
US9961608B2 (en) 2013-08-19 2018-05-01 Microsoft Technology Licensing, Llc Seamless call transitions
US9888210B2 (en) 2013-08-19 2018-02-06 Microsoft Technology Licensing, Llc Seamless call transitions with pinpoint call escalation
US9681095B2 (en) 2013-08-19 2017-06-13 Microsoft Technology Licensing, Llc Seamless call transitions with pre-escalation participation confirmation
FR3009916A1 (fr) * 2013-08-26 2015-02-27 Orange Procede et dispositif d'enrichissement d'une communication
US9973722B2 (en) 2013-08-27 2018-05-15 Qualcomm Incorporated Systems, devices and methods for displaying pictures in a picture
TWI493433B (zh) * 2013-08-28 2015-07-21 Acer Inc 被遮蔽畫面投影方法及應用該方法之可攜式電子裝置
US9401938B2 (en) * 2013-08-29 2016-07-26 Citrix Systems, Inc. Efficiently accessing web conferences from a mobile device
KR102109883B1 (ko) * 2013-09-03 2020-05-12 삼성전자주식회사 컨텐츠 전송 방법 및 전자 장치
CN104469243A (zh) * 2013-09-13 2015-03-25 联想(北京)有限公司 通信方法和电子设备
KR20150043894A (ko) * 2013-10-15 2015-04-23 삼성전자주식회사 복수의 영상의 프리뷰 영역을 조정하는 전자 장치 및 방법
US9854013B1 (en) 2013-10-16 2017-12-26 Google Llc Synchronous communication system and method
GB201318658D0 (en) * 2013-10-22 2013-12-04 Microsoft Corp Controlling resolution of encoded video
US9179097B2 (en) * 2013-10-23 2015-11-03 Google Inc. Control of a video conference system using personal devices
US20150109532A1 (en) * 2013-10-23 2015-04-23 Google Inc. Customizing mobile media captioning based on mobile media rendering
JPWO2015059793A1 (ja) 2013-10-24 2017-03-09 株式会社東芝 表示装置、表示方法および表示プログラム
JP6426969B2 (ja) * 2013-10-31 2018-11-21 キヤノン株式会社 撮像装置及びその制御方法、システム、並びにプログラム
US10271010B2 (en) * 2013-10-31 2019-04-23 Shindig, Inc. Systems and methods for controlling the display of content
US9538223B1 (en) 2013-11-15 2017-01-03 Google Inc. Synchronous communication system and method
US9307191B2 (en) * 2013-11-19 2016-04-05 Microsoft Technology Licensing, Llc Video transmission
JP5877406B2 (ja) * 2013-12-06 2016-03-08 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像システム
WO2015081555A1 (zh) 2013-12-06 2015-06-11 华为终端有限公司 双镜头设备的拍照方法及双镜头设备
KR102126507B1 (ko) * 2013-12-09 2020-06-24 삼성전자주식회사 센서 데이터 스트림을 처리하는 단말기, 시스템 및 방법
JP2015133693A (ja) * 2013-12-10 2015-07-23 株式会社半導体エネルギー研究所 表示装置、及び、電子機器
US9628538B1 (en) * 2013-12-13 2017-04-18 Google Inc. Synchronous communication
USD790584S1 (en) * 2013-12-16 2017-06-27 Fujifilm Corporation Electronic viewfinder display screen with graphical user interface
KR102187236B1 (ko) * 2013-12-17 2020-12-04 삼성전자 주식회사 프리뷰 방법 및 이를 구현하는 전자 장치
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
US9420178B2 (en) 2013-12-20 2016-08-16 Qualcomm Incorporated Thermal and power management
US9578233B2 (en) * 2013-12-26 2017-02-21 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the same
US9270937B2 (en) * 2013-12-26 2016-02-23 OnCam Inc. Real time stream provisioning infrastructure
JP6312426B2 (ja) * 2013-12-26 2018-04-18 キヤノン株式会社 撮像装置およびその制御方法
US9386275B2 (en) 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
JP6324079B2 (ja) * 2014-01-14 2018-05-16 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US10935788B2 (en) 2014-01-24 2021-03-02 Nvidia Corporation Hybrid virtual 3D rendering approach to stereovision
US9282283B2 (en) 2014-01-29 2016-03-08 Microsoft Technology Licensing, Llc Detecting patterns traced on a screen of a user device
WO2015118367A1 (en) * 2014-02-04 2015-08-13 Sony Corporation Media stream from sender seen on receiver side before confirming receipt of media stream
US20150237268A1 (en) * 2014-02-20 2015-08-20 Reflective Practices, LLC Multiple Camera Imaging
CN103841353B (zh) * 2014-02-24 2017-08-01 广州华多网络科技有限公司 视频交互方法、终端、服务器及系统
US9380261B2 (en) * 2014-02-25 2016-06-28 Cisco Technology, Inc. Multi-camera access for remote video access
US10178346B2 (en) 2014-03-17 2019-01-08 Microsoft Technology Licensing, Llc Highlighting unread messages
US9888207B2 (en) 2014-03-17 2018-02-06 Microsoft Technology Licensing, Llc Automatic camera selection
US10284813B2 (en) 2014-03-17 2019-05-07 Microsoft Technology Licensing, Llc Automatic camera selection
US9749585B2 (en) 2014-03-17 2017-08-29 Microsoft Technology Licensing, Llc Highlighting unread messages
CN103970414B (zh) * 2014-03-18 2017-06-13 深圳市艾优尼科技有限公司 一种管理应用程序图标的方法及终端
GB201404990D0 (en) 2014-03-20 2014-05-07 Appeartome Ltd Augmented reality apparatus and method
US9392217B2 (en) 2014-03-20 2016-07-12 Blackberry Limited Automatically relocating picture-in-picture window in video calls
JP2015186020A (ja) * 2014-03-24 2015-10-22 オリンパス株式会社 表示機器、撮影機器及び表示方法
JP2015195477A (ja) * 2014-03-31 2015-11-05 ブラザー工業株式会社 プログラム、端末装置および方法
JP6364965B2 (ja) * 2014-03-31 2018-08-01 株式会社リコー 伝送端末、プログラム、伝送方法、伝送システム
US9196039B2 (en) 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
KR102244248B1 (ko) * 2014-04-01 2021-04-26 삼성전자주식회사 컨텐츠 운용 방법 및 이를 지원하는 전자 장치
US8838071B1 (en) 2014-04-30 2014-09-16 Oto Technologies Llc Secure communications smartphone system
US9075508B1 (en) 2014-04-30 2015-07-07 Grandios Technologies, Llc Next application suggestions on a user device
JP6376618B2 (ja) * 2014-05-15 2018-08-22 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチフレームノイズ低減方法および端末
US9363426B2 (en) 2014-05-29 2016-06-07 International Business Machines Corporation Automatic camera selection based on device orientation
US20150350118A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Canned answers in messages
US9553913B2 (en) 2014-05-30 2017-01-24 Apple Inc. Seamless video pipeline transition between WiFi and cellular connections for real-time applications on mobile devices
US10565219B2 (en) 2014-05-30 2020-02-18 Apple Inc. Techniques for automatically generating a suggested contact based on a received message
US9736381B2 (en) * 2014-05-30 2017-08-15 Intel Corporation Picture in picture recording of multiple regions of interest
US10579212B2 (en) 2014-05-30 2020-03-03 Apple Inc. Structured suggestions
WO2015183366A1 (en) 2014-05-30 2015-12-03 Apple, Inc. Continuity
USD771112S1 (en) * 2014-06-01 2016-11-08 Apple Inc. Display screen or portion thereof with graphical user interface
KR102146858B1 (ko) * 2014-06-03 2020-08-21 삼성전자주식회사 촬영 장치 및 촬영 장치의 비디오 생성방법
US9509799B1 (en) 2014-06-04 2016-11-29 Grandios Technologies, Llc Providing status updates via a personal assistant
US9538062B2 (en) 2014-06-04 2017-01-03 Grandios Technologies, Llc Camera management system
US9294575B1 (en) 2014-06-04 2016-03-22 Grandios Technologies, Inc. Transmitting appliance-specific content to a user device
US9590984B2 (en) 2014-06-04 2017-03-07 Grandios Technologies, Llc Smartphone fingerprint pass-through system
US9323421B1 (en) 2014-06-04 2016-04-26 Grandios Technologies, Llc Timer, app, and screen management
US9078098B1 (en) 2014-06-04 2015-07-07 Grandios Technologies, Llc Geo-fencing based functions
US9584645B2 (en) 2014-06-04 2017-02-28 Grandios Technologies, Llc Communications with wearable devices
US9161193B1 (en) 2014-06-04 2015-10-13 Grandios Technologies, Llc Advanced telephone management
US9619159B2 (en) 2014-06-04 2017-04-11 Grandios Technologies, Llc Storage management system
US9391988B2 (en) 2014-06-04 2016-07-12 Grandios Technologies, Llc Community biometric authentication on a smartphone
US9516467B1 (en) 2014-06-04 2016-12-06 Grandios Technologies, Llc Mobile device applications associated with geo-locations
US9420477B2 (en) 2014-06-04 2016-08-16 Grandios Technologies, Llc Signal strength management
US9377939B1 (en) 2014-06-04 2016-06-28 Grandios Technologies Application player management
US9509789B2 (en) 2014-06-04 2016-11-29 Grandios Technologies, Llc Managing mood data on a user device
US9491562B2 (en) 2014-06-04 2016-11-08 Grandios Technologies, Llc Sharing mobile applications between callers
US9395754B2 (en) 2014-06-04 2016-07-19 Grandios Technologies, Llc Optimizing memory for a wearable device
US9648452B1 (en) 2014-06-05 2017-05-09 ProSports Technologies, LLC Wireless communication driven by object tracking
US9711146B1 (en) 2014-06-05 2017-07-18 ProSports Technologies, LLC Wireless system for social media management
US9635506B1 (en) 2014-06-05 2017-04-25 ProSports Technologies, LLC Zone based wireless player communications
US10290067B1 (en) 2014-06-05 2019-05-14 ProSports Technologies, LLC Wireless concession delivery
US8995972B1 (en) 2014-06-05 2015-03-31 Grandios Technologies, Llc Automatic personal assistance between users devices
US10592924B1 (en) 2014-06-05 2020-03-17 ProSports Technologies, LLC Managing third party interactions with venue communications
GB201410285D0 (en) * 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
JP2016005083A (ja) 2014-06-16 2016-01-12 ソニー株式会社 情報処理装置、情報処理方法及び端末装置
US9471955B2 (en) * 2014-06-19 2016-10-18 Apple Inc. Multiple display pipelines driving a divided display
US10255251B2 (en) 2014-06-26 2019-04-09 Touchcast LLC System and method for providing and interacting with coordinated presentations
CN105323532B (zh) * 2014-06-30 2019-10-15 中兴通讯股份有限公司 一种移动终端图像的自适应显示方法和装置
US10771736B2 (en) * 2014-06-30 2020-09-08 Microsoft Technology Licensing, Llc Compositing and transmitting contextual information during an audio or video call
US10318361B2 (en) 2014-07-02 2019-06-11 Atheer, Inc. Methods and systems for multiple access to a single hardware data stream
US9473737B1 (en) 2014-07-03 2016-10-18 Securus Technologies, Inc. On-demand video communication for controlled-environment facility residents
WO2016007972A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Ticket upsell system
US9343066B1 (en) 2014-07-11 2016-05-17 ProSports Technologies, LLC Social network system
US9965938B1 (en) 2014-07-11 2018-05-08 ProSports Technologies, LLC Restroom queue management
US9498678B2 (en) 2014-07-11 2016-11-22 ProSports Technologies, LLC Ball tracker camera
US9398213B1 (en) 2014-07-11 2016-07-19 ProSports Technologies, LLC Smart field goal detector
US9571903B2 (en) 2014-07-11 2017-02-14 ProSports Technologies, LLC Ball tracker snippets
WO2016007970A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Whistle play stopper
US9760572B1 (en) 2014-07-11 2017-09-12 ProSports Technologies, LLC Event-based content collection for network-based distribution
US9610491B2 (en) 2014-07-11 2017-04-04 ProSports Technologies, LLC Playbook processor
US9305441B1 (en) 2014-07-11 2016-04-05 ProSports Technologies, LLC Sensor experience shirt
US9724588B1 (en) 2014-07-11 2017-08-08 ProSports Technologies, LLC Player hit system
US9655027B1 (en) 2014-07-11 2017-05-16 ProSports Technologies, LLC Event data transmission to eventgoer devices
US9474933B1 (en) 2014-07-11 2016-10-25 ProSports Technologies, LLC Professional workout simulator
US9591336B2 (en) 2014-07-11 2017-03-07 ProSports Technologies, LLC Camera feed distribution from event venue virtual seat cameras
US11070457B2 (en) * 2014-07-18 2021-07-20 Arris Enterprises Llc Remedial action based on monitored wireless throughput
US9892371B1 (en) 2014-07-28 2018-02-13 ProSports Technologies, LLC Queue information transmission
US9729644B1 (en) 2014-07-28 2017-08-08 ProSports Technologies, LLC Event and fantasy league data transmission to eventgoer devices
US10057542B2 (en) 2014-08-15 2018-08-21 Thereo LLC System for immersive telepresence
GB2529454A (en) * 2014-08-20 2016-02-24 Starleaf Ltd An electronic system for forming a control channel between an electronic device and a videotelephone device
US9607497B1 (en) 2014-08-25 2017-03-28 ProSports Technologies, LLC Wireless communication security system
WO2016032714A1 (en) 2014-08-25 2016-03-03 ProSports Technologies, LLC Disposable connectable wireless communication receiver
KR102391772B1 (ko) * 2014-08-28 2022-04-28 삼성전자 주식회사 터치 감응 디스플레이를 포함하는 전자 장치 및 이 전자 장치를 동작하는 방법
CN104238877B (zh) 2014-09-04 2018-03-13 华为技术有限公司 控制图标的方法和终端
US9699523B1 (en) 2014-09-08 2017-07-04 ProSports Technologies, LLC Automated clip creation
US9282287B1 (en) * 2014-09-09 2016-03-08 Google Inc. Real-time video transformations in video conferences
US10715577B2 (en) * 2014-09-09 2020-07-14 Vmware, Inc. Virtual desktop encoding based on user input behavior
US10264175B2 (en) 2014-09-09 2019-04-16 ProSports Technologies, LLC Facial recognition for event venue cameras
US9417090B2 (en) 2014-09-11 2016-08-16 ProSports Technologies, LLC System to offer coupons to fans along routes to game
WO2016049882A1 (en) * 2014-09-30 2016-04-07 Tencent Technology (Shenzhen) Company Limited Device and method for capturing, sharing and watching video messages
US9560095B2 (en) * 2014-09-30 2017-01-31 Cisco Technology, Inc. Method and system for remote meetings
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
JP6471451B2 (ja) * 2014-10-16 2019-02-20 株式会社リコー 伝送システム、通信制御装置、通信制御方法、通信方法、プログラム
USD780770S1 (en) 2014-11-05 2017-03-07 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
US10147155B2 (en) * 2014-11-26 2018-12-04 Visual Supply Company Image perspective processing
US20160165128A1 (en) * 2014-12-05 2016-06-09 Facebook, Inc. Capturing and sending images and videos based on a single user interaction with a user interface element
US10021346B2 (en) 2014-12-05 2018-07-10 Intel IP Corporation Interactive video conferencing
KR20160074334A (ko) * 2014-12-18 2016-06-28 엘지전자 주식회사 이동단말기 및 그 제어방법
WO2016130853A1 (en) * 2015-02-11 2016-08-18 AVG Netherlands B.V. Systems and methods for identifying unwanted photos stored on a device
GB201502434D0 (en) 2015-02-13 2015-04-01 Digital Barriers Services Ltd Video encoder
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
US9846919B2 (en) 2015-02-16 2017-12-19 Samsung Electronics Co., Ltd. Data processing device for processing multiple sensor data and system including the same
DE102015103778A1 (de) * 2015-03-16 2016-09-22 Connaught Electronics Ltd. Verfahren zur Ausgabe eines Bilds einer Bildsequenz auf einer Anzeigeeinheit, Anzeigevorrichtung und Kraftfahrzeug
US9667871B2 (en) * 2015-03-20 2017-05-30 Motorola Mobility Llc Remote imaging in modular cellular phone
US10600169B2 (en) * 2015-03-26 2020-03-24 Sony Corporation Image processing system and image processing method
USD775648S1 (en) * 2015-04-02 2017-01-03 Snakt, Inc. Video viewing display screen with graphical user interface for rotatable display
USD791830S1 (en) * 2015-04-10 2017-07-11 Visa International Service Association Display screen or portion thereof with animated graphical user interface
US10348777B2 (en) * 2015-04-30 2019-07-09 Telemerge, Inc. Telehealth video chat mirroring of disparate video chat devices
EP3099081B1 (en) 2015-05-28 2020-04-29 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
CN104853136A (zh) * 2015-05-29 2015-08-19 小米科技有限责任公司 视频通信方法及装置
JP6582562B2 (ja) * 2015-05-29 2019-10-02 株式会社リコー 通信端末、通信システム、通信方法、及びプログラム
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
CN105100432B (zh) * 2015-06-10 2018-02-06 小米科技有限责任公司 通话界面显示方法及装置
WO2016205800A1 (en) * 2015-06-19 2016-12-22 Serious Simulations, Llc Processes systems and methods for improving virtual and augmented reality applications
US9906715B2 (en) * 2015-07-08 2018-02-27 Htc Corporation Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device
KR20170014356A (ko) 2015-07-29 2017-02-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
CN105072336A (zh) * 2015-07-31 2015-11-18 小米科技有限责任公司 调节拍摄功能的控制方法、装置和设备
US20170034470A1 (en) * 2015-08-02 2017-02-02 Cfkk, Llc Systems and methods and apparatuses for capturing concurrent multiple perspectives of a target by mobile devices
EP3342158A4 (en) * 2015-08-25 2019-04-17 Touchcast LLC SYSTEM AND METHOD FOR INTERACTIVE VIDEOCONFERENCES
CN105120099A (zh) * 2015-08-31 2015-12-02 小米科技有限责任公司 拍摄控制方法和装置
CN105163028B (zh) * 2015-09-11 2018-09-28 青岛海信移动通信技术股份有限公司 一种双摄像头的控制方法及装置
US10445425B2 (en) 2015-09-15 2019-10-15 Apple Inc. Emoji and canned responses
US10284503B2 (en) * 2015-09-25 2019-05-07 Lg Electronics Inc. Mobile terminal and control method thereof
US10929854B2 (en) * 2015-10-02 2021-02-23 The Western Union Company Methods and systems for real-time identification and mitigation of agent risks relating to AML
US20180342078A1 (en) * 2015-10-08 2018-11-29 Sony Corporation Information processing device, information processing method, and information processing system
KR20170042431A (ko) 2015-10-08 2017-04-19 삼성전자주식회사 디스플레이 모양에 따라 영상 데이터를 불균일하게 인코딩/디코딩하도록 구성되는 전자 장치
US11929088B2 (en) 2015-11-20 2024-03-12 Synaptics Incorporated Input/output mode control for audio processing
US20170148438A1 (en) * 2015-11-20 2017-05-25 Conexant Systems, Inc. Input/output mode control for audio processing
US10440316B2 (en) * 2015-12-03 2019-10-08 Hisense USA Corporation Device and method for displaying a video over a network
CN105554553B (zh) * 2015-12-15 2019-02-15 腾讯科技（深圳）有限公司 通过悬浮窗口播放视频的方法及装置
JP6613131B2 (ja) * 2015-12-24 2019-11-27 京セラ株式会社 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム
US10645137B2 (en) 2015-12-28 2020-05-05 Facebook, Inc. Systems and methods to create composite videos
US20170193644A1 (en) * 2015-12-30 2017-07-06 Ebay Inc Background removal
US9681097B1 (en) 2016-01-20 2017-06-13 Global Tel*Link Corporation Secure video visitation system
US10810673B1 (en) * 2016-01-22 2020-10-20 United Services Automobile Association (Usaa) Systems and methods for automatically reallocating investment funds
KR20170091913A (ko) 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
KR102496225B1 (ko) * 2016-02-11 2023-02-07 삼성전자 주식회사 영상 인코딩 방법 및 이를 지원하는 전자 장치
US10296994B2 (en) 2016-02-11 2019-05-21 Global Tel*Link Corporation System and method for visitation management in a controlled environment
US20170237986A1 (en) 2016-02-11 2017-08-17 Samsung Electronics Co., Ltd. Video encoding method and electronic device adapted thereto
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
KR102467869B1 (ko) 2016-02-19 2022-11-16 삼성전자주식회사 전자 장치 및 그의 동작 방법
US9906981B2 (en) 2016-02-25 2018-02-27 Nvidia Corporation Method and system for dynamic regulation and control of Wi-Fi scans
US20170272435A1 (en) 2016-03-15 2017-09-21 Global Tel*Link Corp. Controlled environment secure media streaming system
TWI573459B (zh) * 2016-03-18 2017-03-01 聚晶半導體股份有限公司 具有多攝像模組的電子裝置及其控制的方法
KR20170110469A (ko) * 2016-03-23 2017-10-11 삼성전자주식회사 영상 통화를 제공하기 위한 방법 및 이를 위한 전자 장치
US9558523B1 (en) 2016-03-23 2017-01-31 Global Tel* Link Corp. Secure nonscheduled video visitation system
JP2017183658A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、撮像装置、および電子機器
US11322261B2 (en) * 2016-04-08 2022-05-03 19Labs Inc. System and method for implementing augmented reality during telehealth sessions in a telehealth device
US9699406B1 (en) * 2016-04-14 2017-07-04 Alexander Mackenzie & Pranger Methods and systems for multi-pane video communications
US10511805B2 (en) 2016-04-14 2019-12-17 Popio Ip Holdings, Llc Methods and systems for multi-pane video communications to execute user workflows
US10827149B2 (en) 2016-04-14 2020-11-03 Popio Ip Holdings, Llc Methods and systems for utilizing multi-pane video communications in connection with check depositing
US11523087B2 (en) 2016-04-14 2022-12-06 Popio Mobile Video Cloud, Llc Methods and systems for utilizing multi-pane video communications in connection with notarizing digital documents
USD881907S1 (en) * 2016-04-22 2020-04-21 Aetna Inc. Display screen with a graphical user interface
US20170324927A1 (en) 2016-05-06 2017-11-09 Global Tel*Link Corp. Controlled Environment Media and Communication System
CN109792505A (zh) * 2016-05-07 2019-05-21 斯玛特第三-I有限公司 涉及手持设备中边缘相机组件的系统和方法
JP6700959B2 (ja) * 2016-05-11 2020-05-27 キヤノン株式会社 通信装置、通信装置の制御方法、及び、プログラム
WO2017195514A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
CN107422934B (zh) 2016-05-23 2020-04-28 华为终端有限公司 一种图标的设置方法及电子设备
US10103997B2 (en) * 2016-06-01 2018-10-16 At&T Intellectual Property I, L.P. Dynamic quality of service for over-the-top content
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
USD803246S1 (en) 2016-06-29 2017-11-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD802016S1 (en) 2016-06-29 2017-11-07 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD858572S1 (en) 2016-06-29 2019-09-03 Palantir Technologies Inc. Display screen or portion thereof with icon
USD826269S1 (en) 2016-06-29 2018-08-21 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD802000S1 (en) 2016-06-29 2017-11-07 Palantir Technologies, Inc. Display screen or portion thereof with an animated graphical user interface
USD835646S1 (en) 2016-07-13 2018-12-11 Palantir Technologies Inc. Display screen or portion thereof with an animated graphical user interface
USD847144S1 (en) 2016-07-13 2019-04-30 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
USD811424S1 (en) 2016-07-20 2018-02-27 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US9948888B1 (en) * 2016-08-04 2018-04-17 Google Llc Techniques for utilizing a television for a video chat session
JP7081835B2 (ja) 2016-08-09 2022-06-07 コントラスト， インコーポレイテッド 車両制御のためのリアルタイムｈｄｒビデオ
USD802615S1 (en) * 2016-08-30 2017-11-14 Google Inc. Display screen with animated graphical user interface
USD802004S1 (en) 2016-08-30 2017-11-07 Google Inc. Display screen with animated graphical user interface
USD802005S1 (en) 2016-08-30 2017-11-07 Google Inc. Display screen with animated graphical user interface
US10089793B2 (en) 2016-09-02 2018-10-02 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
US9729820B1 (en) * 2016-09-02 2017-08-08 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices
US9979921B2 (en) 2016-09-02 2018-05-22 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices
EP3516627A4 (en) 2016-09-23 2020-06-24 Apple Inc. CREATION AND EDITION OF AVATAR
KR102124269B1 (ko) 2016-10-31 2020-06-18 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 멀티미디어 정보 플레이 방법 및 시스템, 수집 기기, 표준화 서버
US20180131710A1 (en) * 2016-11-07 2018-05-10 Microsoft Technology Licensing, Llc Network telephony anomaly detection images
US10116898B2 (en) * 2016-11-18 2018-10-30 Facebook, Inc. Interface for a video call
US10079994B2 (en) 2016-11-18 2018-09-18 Facebook, Inc. Methods and systems for displaying relevant participants in a video communication
TWI617969B (zh) 2016-11-24 2018-03-11 新加坡商雲網科技新加坡有限公司 畫面控制方法及使用者終端
CN106534695B (zh) * 2016-11-28 2021-10-22 宇龙计算机通信科技(深圳)有限公司 拍摄方法、拍摄装置和终端
USD808991S1 (en) 2016-12-22 2018-01-30 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
CN108234788A (zh) * 2016-12-22 2018-06-29 展讯通信（上海）有限公司 电话会议的管理方法、装置、终端及网络侧设备
US10559309B2 (en) 2016-12-22 2020-02-11 Google Llc Collaborative voice controlled devices
US10477277B2 (en) * 2017-01-06 2019-11-12 Google Llc Electronic programming guide with expanding cells for video preview
US10586111B2 (en) 2017-01-13 2020-03-10 Google Llc Using machine learning to detect which part of the screen includes embedded frames of an uploaded video
CN110168630B (zh) * 2017-02-03 2021-12-28 杰创科系统有限公司 增强视频现实
US20180227502A1 (en) * 2017-02-06 2018-08-09 Qualcomm Incorporated Systems and methods for reduced power consumption in imaging pipelines
KR102557662B1 (ko) 2017-02-09 2023-07-19 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 전자 장치
USD868827S1 (en) 2017-02-15 2019-12-03 Palantir Technologies, Inc. Display screen or portion thereof with set of icons
US10038877B1 (en) * 2017-03-13 2018-07-31 Microsoft Technology Licensing, Llc Event conditioned views for teleconferencing sessions
WO2018175621A1 (en) * 2017-03-23 2018-09-27 Ring Inc. Audio/video recording and communication devices with multiple cameras having variable capture settings
KR102402096B1 (ko) * 2017-03-27 2022-05-26 삼성전자주식회사 이미지 내 오브젝트와 관련된 정보를 제공하는 전자 장치
USD834039S1 (en) 2017-04-12 2018-11-20 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
WO2018191514A1 (en) * 2017-04-12 2018-10-18 Marble Robot, Inc. Method for sensor data processing
USD839298S1 (en) 2017-04-19 2019-01-29 Palantir Technologies Inc. Display screen or portion thereof with graphical user interface
USD822705S1 (en) 2017-04-20 2018-07-10 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US10255525B1 (en) * 2017-04-25 2019-04-09 Uber Technologies, Inc. FPGA device for image classification
USD905713S1 (en) * 2017-04-28 2020-12-22 Oshkosh Defense, Llc Display screen or portion thereof with graphical user interface
USD872736S1 (en) 2017-05-04 2020-01-14 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US10466889B2 (en) 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
US10540080B2 (en) * 2017-05-23 2020-01-21 Melissa SULLY Visual media capture and user interface animation
USD837234S1 (en) 2017-05-25 2019-01-01 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
US10896622B2 (en) 2017-06-20 2021-01-19 Global Tel*Link Corporation Educational content delivery system for controlled environments
WO2019014057A1 (en) * 2017-07-10 2019-01-17 Contrast, Inc. STEREOSCOPIC CAMERA
USD881216S1 (en) * 2017-07-14 2020-04-14 Huawei Technologies Co., Ltd. Display screen or portion thereof with graphical user interface
TWI650018B (zh) * 2017-07-18 2019-02-01 晶睿通訊股份有限公司 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置
US11164151B2 (en) 2017-07-20 2021-11-02 Global Tel*Link Corporation System and method for providing job-specific training and employment to residents of a controlled environment facility
US10554705B2 (en) * 2017-07-26 2020-02-04 Sony Corporation System and method for controlling client electronic devices in wireless local ad hoc network
US10405007B2 (en) 2017-07-27 2019-09-03 Global Tel*Link Corporation Systems and methods for a video sharing service within controlled environments
US10122825B1 (en) 2017-07-27 2018-11-06 Global Tel*Link Corporation Systems and methods for providing a visual content gallery within a controlled environment
US10015546B1 (en) 2017-07-27 2018-07-03 Global Tel*Link Corp. System and method for audio visual content creation and publishing within a controlled environment
US10565247B2 (en) 2017-07-28 2020-02-18 Global Tel*Link Corporation Controlled environment secure media streaming system with digital video recording
USD874472S1 (en) 2017-08-01 2020-02-04 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US9992449B1 (en) * 2017-08-10 2018-06-05 Everysight Ltd. System and method for sharing sensed data between remote users
US11213754B2 (en) 2017-08-10 2022-01-04 Global Tel*Link Corporation Video game center for a controlled environment facility
US11785180B2 (en) 2017-09-11 2023-10-10 Reelay Meetings, Inc. Management and analysis of related concurrent communication sessions
US11122240B2 (en) 2017-09-11 2021-09-14 Michael H Peters Enhanced video conference management
US11290686B2 (en) 2017-09-11 2022-03-29 Michael H Peters Architecture for scalable video conference management
US10382722B1 (en) * 2017-09-11 2019-08-13 Michael H. Peters Enhanced video conference management
US11128610B2 (en) * 2017-09-29 2021-09-21 Apple Inc. Secure multiway calling
US10372298B2 (en) * 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
WO2019071287A1 (en) * 2017-10-11 2019-04-18 Liveshop Pty Ltd ONLINE SHOPPING SYSTEM
USD936671S1 (en) * 2017-10-23 2021-11-23 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11553216B2 (en) 2017-10-26 2023-01-10 Halo Innovative Solutions Llc Systems and methods of facilitating live streaming of content on multiple social media platforms
US11323407B2 (en) 2017-10-26 2022-05-03 Halo Innovative Solutions Llc Methods, systems, apparatuses, and devices for facilitating managing digital content captured using multiple content capturing devices
US10693830B2 (en) 2017-10-26 2020-06-23 Halo Innovative Solutions Llc Methods, systems, apparatuses and devices for facilitating live streaming of content on multiple social media platforms
US10999642B1 (en) * 2017-11-03 2021-05-04 Snap Inc. Multi-video capture system
USD872121S1 (en) 2017-11-14 2020-01-07 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
CN107959965B (zh) * 2017-11-20 2021-03-19 Oppo广东移动通信有限公司 应用程序的降帧方法、装置、移动终端及可读存储介质
CN109922204A (zh) * 2017-12-13 2019-06-21 中兴通讯股份有限公司 图像处理方法及终端
US10331394B1 (en) 2017-12-21 2019-06-25 Logmein, Inc. Manipulating shared screen content
US10747411B2 (en) * 2017-12-29 2020-08-18 Facebook, Inc. Systems and methods for generating and sharing content
US11019305B2 (en) * 2018-01-12 2021-05-25 Facebook, Inc. Coordinated effects in videos
KR102552137B1 (ko) * 2018-01-22 2023-07-07 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
US10212472B1 (en) * 2018-02-05 2019-02-19 Mcleanics Technology Corporation Record me-a-stream
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
USD883997S1 (en) 2018-02-12 2020-05-12 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
USD883301S1 (en) 2018-02-19 2020-05-05 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
USD872116S1 (en) * 2018-02-22 2020-01-07 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
CN108536345B (zh) * 2018-03-02 2019-09-10 Oppo广东移动通信有限公司 应用程序图标处理方法、装置以及移动终端
US10831331B2 (en) * 2018-03-09 2020-11-10 International Business Machines Corporation Window control for simultaneously running applications
CN108762652B (zh) * 2018-03-27 2020-08-21 Oppo广东移动通信有限公司 智能终端的显示控制方法、装置、存储介质及智能终端
USD886848S1 (en) 2018-04-03 2020-06-09 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
USD885413S1 (en) 2018-04-03 2020-05-26 Palantir Technologies Inc. Display screen or portion thereof with transitional graphical user interface
USD888082S1 (en) 2018-04-03 2020-06-23 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
USD869488S1 (en) 2018-04-03 2019-12-10 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
US20190313026A1 (en) * 2018-04-09 2019-10-10 Qualcomm Incorporated Multi-context real time inline image signal processing
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
EP3800829A1 (en) * 2018-05-07 2021-04-07 Apple Inc. Multi-participant live communication user interface
USD888765S1 (en) * 2018-06-05 2020-06-30 Ernieapp Ltd. Display screen or portion thereof with graphical user interface
WO2019236728A1 (en) * 2018-06-05 2019-12-12 T1V, Inc. Video conferencing during real time collaboration on a virtual canvas
US11334960B2 (en) 2018-06-08 2022-05-17 Uatc, Llc Systems and methods for pipelined processing of sensor data using hardware
USD937857S1 (en) * 2018-06-11 2021-12-07 Patientory, Inc. Display screen or portion thereof with graphical user interface
US10594418B2 (en) * 2018-07-16 2020-03-17 Luke Gregory Stavrowsky Voice operated electronic device that blocks radio commercials and substitutes alternate audio content
USD879821S1 (en) 2018-08-02 2020-03-31 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD928800S1 (en) * 2018-08-03 2021-08-24 Kilpatrick Townsend & Stockton Llp Display screen or portion thereof having an icon
USD962953S1 (en) 2018-08-03 2022-09-06 Kilpatrick Townsend & Stockton Llp Display screen or portion thereof having an icon
CN109005377B (zh) * 2018-08-10 2020-07-17 维沃移动通信有限公司 一种视频处理方法及终端设备
TWI687102B (zh) * 2018-08-23 2020-03-01 奇勤科技股份有限公司 雙邊控制之遠端視訊系統及其方法
TWI684338B (zh) * 2018-08-29 2020-02-01 圓展科技股份有限公司 網路會議的執行方法
US10728529B2 (en) 2018-09-06 2020-07-28 Qualcomm Incorporated Synchronization of frame captures from multiple cameras with different fields of capture
US10902761B2 (en) * 2018-09-30 2021-01-26 Chongqing Hkc Optoelectronics Technology Co., Ltd. Quality determination method of a display panel, determination system and computer readable storage medium
CN115580709A (zh) * 2018-10-26 2023-01-06 深圳市道通智能航空技术股份有限公司 航拍相机的图像处理方法、图像处理系统及无人机
CN109120869A (zh) * 2018-11-07 2019-01-01 深圳市道通智能航空技术有限公司 双光图像整合方法、整合设备及无人机
CN109525880A (zh) * 2018-11-08 2019-03-26 北京微播视界科技有限公司 视频数据的合成方法、装置、设备和存储介质
US11574476B2 (en) * 2018-11-11 2023-02-07 Netspark Ltd. On-line video filtering
WO2020095294A1 (en) 2018-11-11 2020-05-14 Netspark Ltd. On-line video filtering
US10531039B1 (en) 2018-11-13 2020-01-07 International Business Machines Corporation Dynamically switching cameras in web conference
USD973699S1 (en) * 2018-12-21 2022-12-27 Richard Herbst Computer screen display or portion thereof with graphical user interface
USD919645S1 (en) 2019-01-02 2021-05-18 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
KR20200091522A (ko) 2019-01-22 2020-07-31 삼성전자주식회사 컨텐츠의 표시 방향을 제어하기 위한 방법 및 그 전자 장치
USD916789S1 (en) 2019-02-13 2021-04-20 Palantir Technologies, Inc. Display screen or portion thereof with transitional graphical user interface
WO2020171824A1 (en) * 2019-02-22 2020-08-27 Mursion, Inc. Peer to peer communication system and method
US11805158B2 (en) 2019-03-20 2023-10-31 Zoom Video Communications, Inc. Method and system for elevating a phone call into a video conferencing session
KR20200117695A (ko) 2019-04-05 2020-10-14 삼성전자주식회사 외부 전자 장치를 이용하여 카메라를 제어하는 전자 장치 및 방법
US10999629B1 (en) 2019-04-23 2021-05-04 Snap Inc. Automated graphical image modification scaling based on rules
USD953345S1 (en) 2019-04-23 2022-05-31 Palantir Technologies, Inc. Display screen or portion thereof with graphical user interface
USD947239S1 (en) * 2019-04-26 2022-03-29 The Dedham Group Llc Display screen or portion thereof with graphical user interface
USD947240S1 (en) * 2019-04-26 2022-03-29 The Dedham Group Llc Display screen or portion thereof with graphical user interface
USD947221S1 (en) * 2019-04-26 2022-03-29 The Dedham Group Llc Display screen or portion thereof with graphical user interface
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11087560B2 (en) 2019-05-15 2021-08-10 Microsoft Technology Licensing, Llc Normalization of objects for a 3D environment within an authoring application
USD894942S1 (en) 2019-05-29 2020-09-01 Apple Inc. Electronic device with graphical user interface
EP4134811A1 (en) 2019-05-31 2023-02-15 Apple Inc. User interfaces for audio media control
US10771740B1 (en) 2019-05-31 2020-09-08 International Business Machines Corporation Adding an individual to a video conference
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US11611608B1 (en) * 2019-07-19 2023-03-21 Snap Inc. On-demand camera sharing over a network
WO2021016974A1 (zh) * 2019-07-31 2021-02-04 西安诺瓦星云科技股份有限公司 数据处理方法、装置和系统以及系统控制器和模组控制器
TWI707339B (zh) * 2019-08-27 2020-10-11 瑞昱半導體股份有限公司 影像處理電路以及影像處理方法
CN110505428B (zh) * 2019-08-28 2021-06-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN112449097A (zh) * 2019-08-29 2021-03-05 中兴通讯股份有限公司 视频通信方法、终端及存储介质
CN110661993A (zh) * 2019-10-17 2020-01-07 维沃移动通信有限公司 一种视频显示内容的处理方法及终端设备
CN110856014B (zh) * 2019-11-05 2023-03-07 北京奇艺世纪科技有限公司 动态图像生成方法、装置、电子设备及存储介质
CN110896495A (zh) * 2019-11-19 2020-03-20 北京字节跳动网络技术有限公司 用于目标设备的视图调整方法、装置、电子设备和介质
US11252206B2 (en) * 2019-12-03 2022-02-15 Microsoft Technology Licensing, Llc Reducing setup time for online meetings
CN111050091B (zh) * 2019-12-23 2021-04-13 联想(北京)有限公司 输出控制方法、装置及电子设备
US10917608B1 (en) 2019-12-27 2021-02-09 Microsoft Technology Licensing, Llc Dynamically controlled aspect ratios based on a number of participants depicted in communication video streams
US11050973B1 (en) 2019-12-27 2021-06-29 Microsoft Technology Licensing, Llc Dynamically controlled aspect ratios for communication session video streams
US10924709B1 (en) * 2019-12-27 2021-02-16 Microsoft Technology Licensing, Llc Dynamically controlled view states for improved engagement during communication sessions
US11006076B1 (en) * 2019-12-31 2021-05-11 Facebook, Inc. Methods and systems for configuring multiple layouts of video capture
US11064256B1 (en) 2020-01-15 2021-07-13 Microsoft Technology Licensing, Llc Dynamic configuration of communication video stream arrangements based on an aspect ratio of an available display area
US11109741B1 (en) 2020-02-21 2021-09-07 Ambu A/S Video processing apparatus
US10835106B1 (en) 2020-02-21 2020-11-17 Ambu A/S Portable monitor
US10980397B1 (en) * 2020-02-21 2021-04-20 Ambu A/S Video processing device
US11166622B2 (en) 2020-02-21 2021-11-09 Ambu A/S Video processing apparatus
DK202070608A1 (en) 2020-03-10 2021-11-16 Apple Inc Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
CN111246032B (zh) 2020-03-27 2021-07-30 北京小米移动软件有限公司 通话管理方法和装置
EP3913911A1 (fr) * 2020-04-02 2021-11-24 Société Anonyme Edagora Système de visiophonie simple
EP3902244B1 (en) * 2020-04-23 2022-03-23 Axis AB Controlling a pan-tilt-zoom camera
US11470300B2 (en) * 2020-05-08 2022-10-11 Tencent America LLC Event-based trigger interval for signaling of RTCP viewport for immersive teleconferencing and telepresence for remote terminals
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US20210365893A1 (en) 2020-05-21 2021-11-25 HUDDL Inc. Recommendation unit for generating meeting recommendations
CN111641797B (zh) * 2020-05-25 2022-02-18 北京字节跳动网络技术有限公司 视频通话界面显示控制方法、装置、存储介质及设备
KR102310577B1 (ko) * 2020-06-29 2021-10-13 주식회사 씨앤에이아이 Rtp 패킷 관리 장치 및 방법
USD944837S1 (en) * 2020-09-03 2022-03-01 PassiveLogic, Inc. Display screen or portion thereof with animated graphical user interface
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US20220116552A1 (en) * 2020-10-08 2022-04-14 Vidiplus, Ltd System and/or Method for Enhancing Content in Live Streaming Video
US11425412B1 (en) * 2020-11-10 2022-08-23 Amazon Technologies, Inc. Motion cues for video encoding
KR102408303B1 (ko) * 2020-11-17 2022-06-10 주식회사 카카오 컨텐츠 정보 제공 방법 및 컨텐츠 정보를 제공하는 사용자 단말
US11729387B1 (en) * 2020-12-03 2023-08-15 Amazon Technologies, Inc. Automatic configuration of settings for a video encoder
US11792353B2 (en) * 2020-12-07 2023-10-17 Avaya Management L.P. Systems and methods for displaying users participating in a communication session
USD992562S1 (en) * 2020-12-23 2023-07-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD965004S1 (en) 2021-01-11 2022-09-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11477325B2 (en) 2021-01-28 2022-10-18 Zoom Video Communications, Inc. Elevating a telephone call to a virtual meeting
US11671697B2 (en) * 2021-01-31 2023-06-06 Apple Inc. User interfaces for wide angle video conference
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
CN113031839B (zh) * 2021-02-22 2022-08-16 北京字节跳动网络技术有限公司 视频通话中的图像处理方法、装置、设备和介质
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
JP7082224B1 (ja) * 2021-03-02 2022-06-07 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
US11451694B1 (en) 2021-03-16 2022-09-20 International Business Machines Corporation Mitigation of obstacles while capturing media content
US11516517B2 (en) 2021-03-19 2022-11-29 Sm Tamjid Localized dynamic video streaming system
USD978179S1 (en) * 2021-03-31 2023-02-14 453I Display screen or portion thereof with a graphical user interface for a digital card
US20220337782A1 (en) * 2021-04-16 2022-10-20 Hyperconnect, Inc. Methods, Systems, and Computer Program Products for Providing Video Call Service
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
WO2022260654A1 (en) * 2021-06-08 2022-12-15 Hewlett-Packard Development Company, L.P. Video conference images
US11330145B1 (en) 2021-06-10 2022-05-10 Bank Of America Corporation Image processing edge device for document noise removal
US20230045610A1 (en) * 2021-08-03 2023-02-09 Dell Products, L.P. Eye contact correction in a communication or collaboration session using a platform framework
KR102482924B1 (ko) * 2021-08-26 2022-12-29 주식회사 모노랩스 리펄시브 포스를 통한 얼굴 중심 비대면 커뮤니케이션 시스템
US11516434B1 (en) * 2021-08-26 2022-11-29 Motorola Mobility Llc Routing visual content from different camera systems to different applications during video call
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
JP2023058322A (ja) * 2021-10-13 2023-04-25 キヤノン株式会社 映像処理装置及びその制御方法及びプログラム
WO2023122820A1 (pt) * 2021-12-27 2023-07-06 Rosan Ismael Smartphone estereoscópico 3d
US11722767B2 (en) * 2022-01-10 2023-08-08 Motorola Mobility Llc Automatic camera selection in a communication device
US11838332B2 (en) 2022-01-10 2023-12-05 Motorola Mobility Llc Context based automatic camera selection in a communication device
TWI802258B (zh) * 2022-02-07 2023-05-11 明基電通股份有限公司 視訊會議系統
WO2023196231A1 (en) * 2022-04-04 2023-10-12 Apple Inc. User interfaces for camera sharing
CN114531554B (zh) * 2022-04-24 2022-08-16 浙江华眼视觉科技有限公司 一种快件码识别机的视频融合合成方法及装置
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
EP4273676A1 (en) 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
US20230379374A1 (en) * 2022-05-23 2023-11-23 Snap Inc. Content collections linked to a base item
WO2023235519A1 (en) * 2022-06-03 2023-12-07 Datasya Ltd. Interactive multimedia collaboration platform with remote-controlled camera and annotation
JP7208689B1 (ja) 2022-06-29 2023-01-19 テレポート株式会社 情報処理プログラム
KR20240016784A (ko) * 2022-07-29 2024-02-06 삼성전자주식회사 화상통화 서비스를 제공가능한 전자 장치 및 그 제어방법
US20240089435A1 (en) * 2022-09-13 2024-03-14 Google Llc Setting a Maximum Quantization Parameter for Encoding a Video Frame
US11949923B1 (en) * 2022-12-19 2024-04-02 Adobe Inc. Trigger based digital content caching

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1473430A (zh) * 2000-11-01 2004-02-04 ���˹���Ѷ��� 混合媒体电信呼叫建立
US20080084482A1 (en) * 2006-10-04 2008-04-10 Sony Ericsson Mobile Communications Ab Image-capturing system and method
CN101296356A (zh) * 2007-04-24 2008-10-29 Lg电子株式会社 视频通信终端和显示图像的方法
US20090109276A1 (en) * 2007-10-26 2009-04-30 Samsung Electronics Co. Ltd. Mobile terminal and method for transmitting image therein

Family Cites Families (194)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US102663A (en) * 1870-05-03 Jonathan dillen
US1279477A (en) 1918-01-10 1918-09-17 Frederick Stellar Insect gathering and destroying machine.
US4809069A (en) 1988-03-10 1989-02-28 North American Philips Corporation Multifunction memory for digital television
EP0447212B1 (en) 1990-03-15 1994-12-28 Canon Kabushiki Kaisha Voice and video communication apparatus
US5371534A (en) 1992-07-23 1994-12-06 At&T Corp. ISDN-based system for making a video call
JPH06113297A (ja) * 1992-09-25 1994-04-22 A W New Hard:Kk テレビ電話のモニタ装置
US5717857A (en) 1993-03-19 1998-02-10 Ncr Corporation System for switching data connection to use first channel and second channel without substantial interruption of transfer of audio signals and image data between computers
JPH06276335A (ja) * 1993-03-22 1994-09-30 Sony Corp データ処理装置
JP3039186B2 (ja) 1993-03-23 2000-05-08 日本電気株式会社 テレビ会議画像制御方式
USRE43462E1 (en) * 1993-04-21 2012-06-12 Kinya (Ken) Washino Video monitoring and conferencing system
JPH07135594A (ja) 1993-11-11 1995-05-23 Canon Inc 撮像制御装置
US5896128A (en) 1995-05-03 1999-04-20 Bell Communications Research, Inc. System and method for associating multimedia objects for use in a video conferencing system
US6356555B1 (en) * 1995-08-25 2002-03-12 Terayon Communications Systems, Inc. Apparatus and method for digital data transmission using orthogonal codes
KR970031883A (ko) 1995-11-28 1997-06-26 배순훈 터치스크린을 이용한 tv 화면제어방법
JPH09247655A (ja) * 1996-03-01 1997-09-19 Tokyu Constr Co Ltd リモート制御システム
KR100281526B1 (ko) 1996-07-08 2001-02-15 윤종용 음성/화상 전화 모드 전환기능을 갖는 화상 전화 시스템 및 그 전환방법
CN1166163C (zh) 1997-03-03 2004-09-08 株式会社东芝 通信终端装置
DE19804564A1 (de) 1998-02-05 1999-08-12 Fraunhofer Ges Forschung Kommunikationsnetz, Verfahren zum Übertragen eines Signals, Netzverbindungseinheit und Verfahren zum Anpassen der Datenrate eines skalierten Datenstroms
US6346962B1 (en) * 1998-02-27 2002-02-12 International Business Machines Corporation Control of video conferencing system with pointing device
JP3475809B2 (ja) 1998-10-14 2003-12-10 株式会社デンソー 携帯型テレビ無線電話
US6025871A (en) * 1998-12-31 2000-02-15 Intel Corporation User interface for a video conferencing system
US6760482B1 (en) 1999-02-19 2004-07-06 Unisearch Limited Method for visual optimisation of embedded block codes to exploit visual masking phenomena
JP2001054084A (ja) 1999-08-09 2001-02-23 Matsushita Electric Ind Co Ltd テレビ電話装置
FI109742B (fi) 1999-10-26 2002-09-30 Nokia Corp Matkaviestin
JP3546784B2 (ja) * 1999-12-14 2004-07-28 日本電気株式会社 携帯端末
US6473631B1 (en) 1999-12-20 2002-10-29 Motorola, Inc. Video swivel phone
KR100358166B1 (ko) 2000-12-19 2002-10-25 주식회사 팬택앤큐리텔 화상 휴대폰 장치
US20020093531A1 (en) * 2001-01-17 2002-07-18 John Barile Adaptive display for video conferences
JP2002251365A (ja) 2001-02-21 2002-09-06 Square Co Ltd 電子会議システム、そのクライアント、電子会議方法およびクライアント用プログラム
US6833874B2 (en) 2001-03-27 2004-12-21 Sony Corporation Ticker tape picture-in-picture system
JP2002320140A (ja) * 2001-04-20 2002-10-31 Sony Corp 画像切り換え装置
JP2002351802A (ja) * 2001-05-24 2002-12-06 Cresys:Kk 電子メールを用いたデータ配信方法及びデータ配信システム
US20030158886A1 (en) 2001-10-09 2003-08-21 Walls Jeffrey J. System and method for configuring a plurality of computers that collectively render a display
KR100408525B1 (ko) 2001-10-31 2003-12-06 삼성전자주식회사 네트워크에 적응적인 실시간 멀티미디어 스트리밍 시스템및 방법
US7317685B1 (en) 2001-11-26 2008-01-08 Polycom, Inc. System and method for dynamic bandwidth allocation for videoconferencing in lossy packet switched networks
JP2003189168A (ja) 2001-12-21 2003-07-04 Nec Corp 携帯電話用カメラ
WO2003077553A1 (fr) * 2002-03-08 2003-09-18 Mitsubishi Denki Kabushiki Kaisha Dispositif de communication mobile, procede de commande d'affichage pour un dispositif de communication mobile et programme correspondant
JP4203246B2 (ja) * 2002-03-14 2008-12-24 京セラ株式会社 携帯通信装置
JP4208476B2 (ja) * 2002-03-29 2009-01-14 キヤノン株式会社 情報配信装置、情報配信方法、プログラム及びコンピュータ読み取り可能な記録媒体
JP4061473B2 (ja) 2002-04-26 2008-03-19 日本電気株式会社 折り畳み型携帯電話機
US7256833B2 (en) 2002-05-22 2007-08-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Method and apparatus for automatically optimizing optical contrast in automated equipment
JP4066714B2 (ja) 2002-05-23 2008-03-26 ソニー株式会社 画像信号の処理装置および処理方法
KR100472470B1 (ko) 2002-08-19 2005-03-10 삼성전자주식회사 부분화면과 전체화면을 동시에 스케일링하는 장치 및 방법
JP3542587B2 (ja) * 2002-08-30 2004-07-14 キヤノン株式会社 カメラ制御装置
US6879828B2 (en) 2002-09-09 2005-04-12 Nokia Corporation Unbroken primary connection switching between communications services
US6850541B2 (en) * 2002-09-30 2005-02-01 Intel Corporation Technique to measure network path bandwidth capacity using modal analysis
JP2004165943A (ja) 2002-11-13 2004-06-10 Fujitsu Ltd 携帯電子機器及びその撮影方法
JP2004166159A (ja) 2002-11-15 2004-06-10 Nec Saitama Ltd カメラ付き携帯電話装置
JP2004193860A (ja) * 2002-12-10 2004-07-08 Canon Inc 電子機器
JP2004221738A (ja) 2003-01-10 2004-08-05 Matsushita Electric Ind Co Ltd テレビ電話装置及びテレビ電話制御方法
TW200424767A (en) 2003-02-20 2004-11-16 Tokyo Ohka Kogyo Co Ltd Immersion exposure process-use resist protection film forming material, composite film, and resist pattern forming method
JP4053444B2 (ja) 2003-03-07 2008-02-27 シャープ株式会社 携帯可能な多機能電子機器
US7321384B1 (en) 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
KR101130413B1 (ko) 2003-06-19 2012-03-27 소니 에릭슨 모빌 커뮤니케이션즈 에이비 미디어 스트림 믹싱
JP4380252B2 (ja) 2003-07-22 2009-12-09 ソニー株式会社 撮像装置および撮像方法
GB2404297B (en) 2003-07-24 2007-12-05 Hewlett Packard Development Co Editing multiple camera outputs
GB0321083D0 (en) 2003-09-09 2003-10-08 British Telecomm Video communications method and system
EP1696684B1 (en) 2003-11-19 2010-08-18 National Institute of Information and Communications Technology, Incorporated Administrative Agency Radio communication system
JP4191016B2 (ja) 2003-11-21 2008-12-03 日本電気株式会社 電話端末の通話モード切替方式
KR100595619B1 (ko) * 2003-12-05 2006-06-30 엘지전자 주식회사 이동 통신 단말기의 화상 통화 방법
KR100677303B1 (ko) 2003-12-26 2007-02-05 엘지전자 주식회사 휴대 단말기
DE102004004806B4 (de) 2004-01-30 2012-04-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronische Laufbildkamera
JP4478868B2 (ja) * 2004-03-09 2010-06-09 ソニー株式会社 画像表示装置および画像表示方法
KR100550567B1 (ko) 2004-03-22 2006-02-10 엘지전자 주식회사 무선 네트워크망을 통해 통신하는 서버 시스템 및 그동작방법
JP2005286445A (ja) * 2004-03-29 2005-10-13 Mitsubishi Electric Corp 画像伝送端末、画像伝送端末システム及び端末画像伝送方法
EP1603339A1 (en) 2004-06-01 2005-12-07 STMicroelectronics S.r.l. Method and system for communicating video data in a packet-switched network, related network and computer program product therefor
US8406293B2 (en) * 2004-06-27 2013-03-26 Apple Inc. Multi-pass video encoding based on different quantization parameters
US8005139B2 (en) * 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
FI117843B (fi) 2004-08-02 2007-03-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi ja vastaava ohjelmatuote
KR101067774B1 (ko) 2004-09-03 2011-09-28 엘지전자 주식회사 방송 수신기 및 그의 튜너 제어 방법
US7381952B2 (en) * 2004-09-09 2008-06-03 Flir Systems, Inc. Multiple camera systems and methods
FI116749B (fi) * 2004-09-14 2006-02-15 Nokia Corp Kameraelementtejä käsittävä laite
KR20060031959A (ko) * 2004-10-11 2006-04-14 가온미디어 주식회사 디지털 방송 수신기에 채널 전환 방법
JP4046721B2 (ja) 2004-11-05 2008-02-13 株式会社アイチコーポレーション 作業用車両の充電装置
JP4592551B2 (ja) 2004-11-10 2010-12-01 シャープ株式会社 通信装置
US7430238B2 (en) 2004-12-10 2008-09-30 Micronas Usa, Inc. Shared pipeline architecture for motion vector prediction and residual decoding
CN101091395A (zh) 2004-12-23 2007-12-19 诺基亚公司 用于电子设备的多照相机解决方案
JP4586534B2 (ja) 2004-12-28 2010-11-24 セイコーエプソン株式会社 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
JP4770178B2 (ja) 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
JP2006222822A (ja) 2005-02-14 2006-08-24 Hitachi Ltd ハンドオーバシステム
JP2006245732A (ja) 2005-03-01 2006-09-14 Matsushita Electric Ind Co Ltd パケットバッファ装置、パケット中継転送装置およびネットワークシステム
JP2006246019A (ja) * 2005-03-03 2006-09-14 Canon Inc マルチ画面表示におけるリモコン制御方式
US8977063B2 (en) 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
JP4365800B2 (ja) * 2005-03-14 2009-11-18 パナソニック株式会社 携帯端末装置及び表示切替方法
US20060248210A1 (en) * 2005-05-02 2006-11-02 Lifesize Communications, Inc. Controlling video display mode in a video conferencing system
TW200743385A (en) 2006-05-05 2007-11-16 Amtran Technology Co Ltd Method of audio-visual communication using television and television using the same
KR100703454B1 (ko) * 2005-05-11 2007-04-03 삼성전자주식회사 다양한 화면 방식을 제공하는 휴대단말기
JP2006319742A (ja) * 2005-05-13 2006-11-24 Toshiba Corp 通信端末
US7768548B2 (en) 2005-08-12 2010-08-03 William Bradford Silvernail Mobile digital video recording system
JP4781065B2 (ja) * 2005-09-20 2011-09-28 キヤノン株式会社 撮像装置
US7724284B2 (en) 2005-09-29 2010-05-25 Aptina Imaging Corporation Multi-camera system and method having a common processing block
US7885681B2 (en) 2005-10-07 2011-02-08 Agere Systems Inc. Method of using mobile communications devices for monitoring purposes and a system for implementation thereof
US7728866B2 (en) * 2005-11-03 2010-06-01 Broadcom Corp. Video telephony image processing
US7697024B2 (en) 2005-11-03 2010-04-13 Broadcom Corp. Method and system of tracking and stabilizing an image transmitted using video telephony
JP5007782B2 (ja) * 2005-11-17 2012-08-22 株式会社デンソー ナビゲーション装置および地図表示縮尺設定方法
US7876996B1 (en) * 2005-12-15 2011-01-25 Nvidia Corporation Method and system for time-shifting video
US20070147827A1 (en) 2005-12-28 2007-06-28 Arnold Sheynman Methods and apparatus for wireless stereo video streaming
JP2007201727A (ja) * 2006-01-25 2007-08-09 Nec Saitama Ltd テレビ電話機能付き携帯電話機
US8593502B2 (en) * 2006-01-26 2013-11-26 Polycom, Inc. Controlling videoconference with touch screen interface
US8872879B2 (en) * 2006-01-26 2014-10-28 Polycom, Inc. System and method for controlling videoconference with touch screen interface
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
JP4916749B2 (ja) 2006-03-30 2012-04-18 京セラ株式会社 テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法
US8000747B2 (en) * 2006-04-03 2011-08-16 Research In Motion Limited Communications device and method for associating contact names with contact methods
TW200743365A (en) 2006-05-05 2007-11-16 Univ Nat Central Method of de-interlace processing by edge detection
KR20070111270A (ko) 2006-05-17 2007-11-21 삼성전자주식회사 다자간 화상통화 중 음성인식을 활용한 화면 디스플레이방법
JP2007312039A (ja) 2006-05-17 2007-11-29 Nec Saitama Ltd Ｔｖ電話機能付き携帯端末
US8004555B2 (en) 2006-05-31 2011-08-23 Motorola Mobility, Inc. Methods and devices for simultaneous dual camera video telephony
US9030968B2 (en) * 2006-06-16 2015-05-12 Alcatel Lucent System and method for processing a conference session through a communication channel
US7626612B2 (en) 2006-06-30 2009-12-01 Motorola, Inc. Methods and devices for video correction of still camera motion
KR100784971B1 (ko) 2006-07-06 2007-12-11 삼성전자주식회사 휴대 단말기 간 원격 제어 시스템과 이를 이용한업그레이드 시스템 및 방법
KR20090054427A (ko) 2006-07-07 2009-05-29 안토니오 누에즈 관내 인공 삽입 임플란트를 모니터링하기 위한 방법 및 시스템
KR101139454B1 (ko) * 2006-07-14 2012-04-30 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US20080034096A1 (en) 2006-08-01 2008-02-07 Ati Technologies Inc. Method and Apparatus for Transferring Multimedia Signals from a Handheld Device to a Computer System for Display
US8509786B2 (en) 2006-08-04 2013-08-13 At&T Intellectual Property I, L.P. Systems and methods for handling calls in a wireless enabled PBX system using mobile switching protocols
KR20080014329A (ko) 2006-08-10 2008-02-14 삼성전자주식회사 영상표시장치 및 그 제어방법과 프로그램이 기록된 기록매체
TWI321016B (en) * 2006-08-30 2010-02-21 Vibo Telecom Inc Method for transferring video data and proxy server using the same
US8165635B2 (en) * 2006-09-01 2012-04-24 Vivotech, Inc. Methods, systems, and computer readable media for over the air (OTA) provisioning of soft cards on devices with wireless communications capabilities
JP4245020B2 (ja) 2006-09-04 2009-03-25 ソニー株式会社 マトリックススイッチャ装置及びマトリックススイッチャ装置の制御方法
US20080063389A1 (en) 2006-09-13 2008-03-13 General Instrument Corporation Tracking a Focus Point by a Remote Camera
US7965309B2 (en) * 2006-09-15 2011-06-21 Quickwolf Technology, Inc. Bedside video communication system
KR100817315B1 (ko) * 2006-09-25 2008-03-27 삼성전자주식회사 터치 스크린을 갖는 디지털 방송 수신용 휴대 단말기 및그의 ｐｉｐ 화면 제어 방법
US20080080142A1 (en) 2006-09-28 2008-04-03 Mediatek Inc. Electronic devices with enhanced heat spreading
US7899489B2 (en) 2006-10-30 2011-03-01 Kyocera Corporation Wireless communication device and wireless communication method
JP4781980B2 (ja) 2006-11-29 2011-09-28 京セラ株式会社 無線通信装置および無線通信方法
KR100836616B1 (ko) 2006-11-14 2008-06-10 (주)케이티에프테크놀로지스 영상 합성 기능을 가지는 휴대용 단말기 및 휴대용단말기의 영상 합성 방법
CN101191878A (zh) 2006-11-28 2008-06-04 鸿富锦精密工业（深圳）有限公司 立体取像相机模组及电子装置
US20080129816A1 (en) * 2006-11-30 2008-06-05 Quickwolf Technology, Inc. Childcare video conferencing system and method
US7646972B2 (en) 2006-12-08 2010-01-12 Sony Ericsson Mobile Communications Ab Method and apparatus for capturing multiple images at different image foci
US20080165388A1 (en) 2007-01-04 2008-07-10 Bertrand Serlet Automatic Content Creation and Processing
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US20080239061A1 (en) 2007-03-30 2008-10-02 Cok Ronald S First portable communication device
KR101390103B1 (ko) 2007-04-03 2014-04-28 엘지전자 주식회사 영상제어방법 및 이동단말기
KR101460712B1 (ko) * 2007-04-26 2014-11-12 엘지전자 주식회사 이동통신 단말기 및 그 제어방법
JP4782074B2 (ja) * 2007-05-18 2011-09-28 シャープ株式会社 携帯端末、制御方法、制御プログラム、および記憶媒体
US8542266B2 (en) 2007-05-21 2013-09-24 Polycom, Inc. Method and system for adapting a CP layout according to interaction between conferees
US8154578B2 (en) 2007-05-31 2012-04-10 Eastman Kodak Company Multi-camera residential communication system
US20080303922A1 (en) 2007-06-08 2008-12-11 Imran Chaudhri Image capture
US8319814B2 (en) * 2007-06-22 2012-11-27 Lifesize Communications, Inc. Video conferencing system which allows endpoints to perform continuous presence layout selection
US7817187B2 (en) 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
US9954996B2 (en) * 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
KR100893206B1 (ko) * 2007-07-02 2009-04-16 주식회사 케이티프리텔 다자간 영상통화 중 화자 추가 서비스 제공 방법 및 장치
KR20090004176A (ko) * 2007-07-06 2009-01-12 주식회사 엘지텔레콤 카메라 모듈을 구비한 이동통신단말기 및 그 영상표시방법
KR101378880B1 (ko) 2007-07-13 2014-03-28 엘지전자 주식회사 카메라를 구비한 휴대 단말기
JP5031476B2 (ja) 2007-08-02 2012-09-19 キヤノン株式会社 ズームレンズ及びそれを有する撮像装置
US8095932B2 (en) 2007-08-14 2012-01-10 Intel Corporation Providing quality of service via thread priority in a hyper-threaded microprocessor
US20090047995A1 (en) 2007-08-15 2009-02-19 Sony Ericsson Mobile Communications Ab Portable communication device having a dual camera module with a common image sensor element
KR101403785B1 (ko) * 2007-08-16 2014-06-03 엘지전자 주식회사 터치 스크린을 구비한 이동통신 단말기 및 그 영상 통화제어방법
KR101403839B1 (ko) * 2007-08-16 2014-06-03 엘지전자 주식회사 터치 스크린을 구비한 이동통신 단말기 및 그 디스플레이제어방법
KR101417002B1 (ko) * 2007-08-29 2014-07-08 엘지전자 주식회사 다자 영상 통화 기능을 제공하는 이동 통신 단말기 및 다자영상 통화의 모드 전환 방법
US8046033B2 (en) 2007-09-17 2011-10-25 Lg Electronics Inc. Mobile terminal
KR101334015B1 (ko) 2007-10-09 2013-11-28 주식회사 케이티 다자간 화상 통화시 화자 구분 기능을 구비한 휴대용단말기 및 다자간 화상 통화시 화자 구분 방법
KR101356167B1 (ko) 2007-11-02 2014-01-24 엘지전자 주식회사 휴대 단말기
JP2008125105A (ja) * 2007-12-14 2008-05-29 Nec Corp 通信端末装置、テレビ電話制御方法及びテレビ電話制御プログラム
JP4926034B2 (ja) * 2007-12-26 2012-05-09 京セラ株式会社 複合端末および表示制御プログラム
US8040382B2 (en) 2008-01-07 2011-10-18 Dp Technologies, Inc. Method and apparatus for improving photo image quality
US8259157B2 (en) 2008-01-11 2012-09-04 Sony Corporation Teleconference terminal apparatus and image transmitting method
JP4636139B2 (ja) 2008-01-11 2011-02-23 ソニー株式会社 テレビ会議端末装置、画像送信方法
JP2009189075A (ja) 2008-02-01 2009-08-20 Denso Corp 通信システム
US8205157B2 (en) * 2008-03-04 2012-06-19 Apple Inc. Methods and graphical user interfaces for conducting searches on a portable multifunction device
KR101012300B1 (ko) * 2008-03-07 2011-02-08 삼성전자주식회사 터치스크린을 구비한 휴대 단말기의 사용자 인터페이스장치 및 그 방법
EP2258085A1 (en) * 2008-03-10 2010-12-08 Dilithium Holdings, Inc. Method and apparatus for video services
JP5058042B2 (ja) * 2008-03-24 2012-10-24 シャープ株式会社 画像通信システムおよび画像通信方法
KR101442112B1 (ko) 2008-05-26 2014-09-18 엘지전자 주식회사 근접센서를 이용하여 동작 제어가 가능한 휴대 단말기 및그 제어방법
US8363019B2 (en) 2008-05-26 2013-01-29 Lg Electronics Inc. Mobile terminal using proximity sensor and method of controlling the mobile terminal
US8305899B2 (en) * 2008-05-28 2012-11-06 Microsoft Corporation Pull-based data transmission approach
CN101291379A (zh) 2008-06-05 2008-10-22 中兴通讯股份有限公司 移动终端及其可视电话实现方法
US8548428B2 (en) * 2009-01-28 2013-10-01 Headwater Partners I Llc Device group partitions and settlement platform
CN104216613B (zh) 2008-06-30 2018-02-09 日本电气株式会社 信息处理设备、显示控制方法和记录介质
JP4561888B2 (ja) 2008-07-01 2010-10-13 ソニー株式会社 情報処理装置、及び情報処理装置における振動制御方法
KR20100007625A (ko) 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
JP5217724B2 (ja) 2008-07-22 2013-06-19 ブラザー工業株式会社 サーバ
NO333026B1 (no) * 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
JP5410720B2 (ja) 2008-09-25 2014-02-05 日立コンシューマエレクトロニクス株式会社 ディジタル情報信号送受信装置、およびディジタル情報信号送受信方法
US20100087230A1 (en) * 2008-09-25 2010-04-08 Garmin Ltd. Mobile communication device user interface
JP4577531B2 (ja) 2008-10-28 2010-11-10 日本電気株式会社 認証サーバ、通信システム、接続装置割り当て方法およびプログラム
US20100118111A1 (en) 2008-11-10 2010-05-13 Nokia Corporation Method and apparatus for remote camera control indications in video conferencing
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
US8738696B2 (en) * 2009-01-29 2014-05-27 At&T Mobility Ii Llc Single subscription management for multiple devices
CN101521696B (zh) 2009-04-08 2011-06-22 候万春 一种能够选择与切换前后摄像头的移动电话终端
GB2518542B (en) * 2009-04-14 2015-07-08 Skype Transmitting and receiving data
US20100309284A1 (en) * 2009-06-04 2010-12-09 Ramin Samadani Systems and methods for dynamically displaying participant activity during video conferencing
EP2285068B1 (en) * 2009-08-07 2014-06-25 BlackBerry Limited Method, mobile device and computer readable medium for mobile telepresence
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8457604B2 (en) * 2009-11-17 2013-06-04 Hewlett-Packard Development Company, L.P. Apparatus and method for sharing content on a mobile device
US8320364B2 (en) 2009-12-15 2012-11-27 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Control of bit-rate and packet duplication in a real-time media stream
US8451312B2 (en) 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
US8649297B2 (en) * 2010-03-26 2014-02-11 Cisco Technology, Inc. System and method for simplifying secure network setup
US20110242355A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US9264659B2 (en) 2010-04-07 2016-02-16 Apple Inc. Video conference network management for a mobile device
US8725880B2 (en) * 2010-04-07 2014-05-13 Apple, Inc. Establishing online communication sessions between client computing devices
AU2015201127B2 (en) 2010-04-07 2017-02-23 Apple Inc. Establishing a video conference during a phone call
CN102010622B (zh) 2010-10-27 2013-02-27 吴传仪 防腐耐磨材料及其无积灰防腐耐磨粉体输送管道

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1473430A (zh) * 2000-11-01 2004-02-04 ���˹���Ѷ��� 混合媒体电信呼叫建立
US20080084482A1 (en) * 2006-10-04 2008-04-10 Sony Ericsson Mobile Communications Ab Image-capturing system and method
CN101296356A (zh) * 2007-04-24 2008-10-29 Lg电子株式会社 视频通信终端和显示图像的方法
US20090109276A1 (en) * 2007-10-26 2009-04-30 Samsung Electronics Co. Ltd. Mobile terminal and method for transmitting image therein

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481988B2 (en) 2010-04-07 2022-10-25 Apple Inc. Avatar editing environment
US11869165B2 (en) 2010-04-07 2024-01-09 Apple Inc. Avatar editing environment
CN113099151A (zh) * 2016-01-06 2021-07-09 三星电子株式会社 显示装置及其控制方法
CN109076188A (zh) * 2016-05-12 2018-12-21 谷歌有限责任公司 视频呼叫的呼叫者预览
US11165949B2 (en) 2016-06-12 2021-11-02 Apple Inc. User interface for capturing photos with different camera magnifications
US11641517B2 (en) 2016-06-12 2023-05-02 Apple Inc. User interface for camera effects
US11962889B2 (en) 2016-06-12 2024-04-16 Apple Inc. User interface for camera effects
US11245837B2 (en) 2016-06-12 2022-02-08 Apple Inc. User interface for camera effects
US10972681B2 (en) 2016-09-09 2021-04-06 SZ DJI Technology Co., Ltd. Image encoding method and system
CN107005703A (zh) * 2016-09-09 2017-08-01 深圳市大疆创新科技有限公司 图像编码方法及系统
CN108063745A (zh) * 2016-11-08 2018-05-22 北京视联动力国际信息技术有限公司 一种基于安卓设备的视频通话方法及其系统
CN111164955A (zh) * 2017-05-26 2020-05-15 流迅方案有限公司 通信事件
CN111164955B (zh) * 2017-05-26 2021-09-03 流迅方案有限公司 影响通信事件的方法、可读存储介质及计算机系统
US11204692B2 (en) 2017-06-04 2021-12-21 Apple Inc. User interface camera effects
US11687224B2 (en) 2017-06-04 2023-06-27 Apple Inc. User interface camera effects
US11682182B2 (en) 2018-05-07 2023-06-20 Apple Inc. Avatar creation user interface
US11178335B2 (en) 2018-05-07 2021-11-16 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10861248B2 (en) 2018-05-07 2020-12-08 Apple Inc. Avatar creation user interface
CN110460799A (zh) * 2018-05-07 2019-11-15 苹果公司 创意相机
US11380077B2 (en) 2018-05-07 2022-07-05 Apple Inc. Avatar creation user interface
US11468625B2 (en) 2018-09-11 2022-10-11 Apple Inc. User interfaces for simulated depth effects
US11895391B2 (en) 2018-09-28 2024-02-06 Apple Inc. Capturing and displaying images with multiple focal planes
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11669985B2 (en) 2018-09-28 2023-06-06 Apple Inc. Displaying and editing images with depth information
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
CN109327672A (zh) * 2018-12-11 2019-02-12 维沃移动通信有限公司 一种视频通话方法及终端
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11223771B2 (en) 2019-05-06 2022-01-11 Apple Inc. User interfaces for capturing and managing visual media
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
CN110650341A (zh) * 2019-09-29 2020-01-03 华为终端有限公司 视频交互方法及相关设备
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11822778B2 (en) 2020-05-11 2023-11-21 Apple Inc. User interfaces related to time
US11442414B2 (en) 2020-05-11 2022-09-13 Apple Inc. User interfaces related to time
US11061372B1 (en) 2020-05-11 2021-07-13 Apple Inc. User interfaces related to time
US11617022B2 (en) 2020-06-01 2023-03-28 Apple Inc. User interfaces for managing media
US11330184B2 (en) 2020-06-01 2022-05-10 Apple Inc. User interfaces for managing media
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
CN113938633A (zh) * 2020-06-29 2022-01-14 聚好看科技股份有限公司 一种视频通话处理方法及显示设备
CN113938633B (zh) * 2020-06-29 2023-09-08 聚好看科技股份有限公司 一种视频通话处理方法及显示设备
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112422871B (zh) * 2020-11-12 2023-05-16 广东保伦电子股份有限公司 一种基于ios平台的双流视频会议方法及处理终端
CN112422871A (zh) * 2020-11-12 2021-02-26 广州市保伦电子有限公司 一种基于ios平台的双流视频会议方法及处理终端
US11416134B1 (en) 2021-04-30 2022-08-16 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11350026B1 (en) 2021-04-30 2022-05-31 Apple Inc. User interfaces for altering visual media
US11418699B1 (en) 2021-04-30 2022-08-16 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen

Also Published As

Publication number Publication date
US20230262196A1 (en) 2023-08-17
KR20200013268A (ko) 2020-02-06
TW201143349A (en) 2011-12-01
TWI439133B (zh) 2014-05-21
US20210360192A1 (en) 2021-11-18
US8744420B2 (en) 2014-06-03
TWI547136B (zh) 2016-08-21
JP2015057894A (ja) 2015-03-26
KR20200138841A (ko) 2020-12-10
US20110249086A1 (en) 2011-10-13
KR102189345B1 (ko) 2020-12-11
KR20180137616A (ko) 2018-12-27
KR101627818B1 (ko) 2016-06-08
US20110249078A1 (en) 2011-10-13
EP3425624A1 (en) 2019-01-09
US20110249075A1 (en) 2011-10-13
JP2020017995A (ja) 2020-01-30
US20180160072A1 (en) 2018-06-07
EP2556665B1 (en) 2018-08-15
US9055185B2 (en) 2015-06-09
KR101491428B1 (ko) 2015-02-06
JP2022008507A (ja) 2022-01-13
US20130265378A1 (en) 2013-10-10
AU2010350749A1 (en) 2012-11-08
EP2556665A1 (en) 2013-02-13
JP2013524684A (ja) 2013-06-17
US20110249074A1 (en) 2011-10-13
JP6367272B2 (ja) 2018-08-01
WO2011126511A4 (en) 2011-12-08
US8502856B2 (en) 2013-08-06
MX342799B (es) 2016-10-13
US8451994B2 (en) 2013-05-28
US20150103135A1 (en) 2015-04-16
US20140354759A1 (en) 2014-12-04
WO2011126511A8 (en) 2012-11-22
MX2012011623A (es) 2012-11-30
EP3425624B1 (en) 2020-09-09
JP6335094B2 (ja) 2018-05-30
KR102660942B1 (ko) 2024-04-26
US8874090B2 (en) 2014-10-28
US20110249077A1 (en) 2011-10-13
WO2011126511A1 (en) 2011-10-13
KR20170016032A (ko) 2017-02-10
KR20140138327A (ko) 2014-12-03
KR20140063646A (ko) 2014-05-27
US8941706B2 (en) 2015-01-27
US20200059628A1 (en) 2020-02-20
TW201143348A (en) 2011-12-01
KR20150038707A (ko) 2015-04-08
JP6949917B2 (ja) 2021-10-13
KR20220029789A (ko) 2022-03-08
US11025861B2 (en) 2021-06-01
TWI499271B (zh) 2015-09-01
MX2020003290A (es) 2020-09-07
JP7194243B2 (ja) 2022-12-21
JP2018191307A (ja) 2018-11-29
US20110249076A1 (en) 2011-10-13
HK1162796A1 (zh) 2012-08-31
AU2010350749B2 (en) 2014-12-04
JP2017005736A (ja) 2017-01-05
KR20160075779A (ko) 2016-06-29
HK1162797A1 (zh) 2012-08-31
BR112012025746A2 (pt) 2016-06-28
KR101438988B1 (ko) 2014-10-22
US8917632B2 (en) 2014-12-23
US9264659B2 (en) 2016-02-16
BR112012025746B1 (pt) 2021-09-28
KR102052296B1 (ko) 2019-12-04
KR20130010003A (ko) 2013-01-24
KR101564868B1 (ko) 2015-10-30
KR102079850B1 (ko) 2020-02-20
US20110249073A1 (en) 2011-10-13
TW201143434A (en) 2011-12-01
KR20230028583A (ko) 2023-02-28
JP2023036677A (ja) 2023-03-14
TWI462566B (zh) 2014-11-21
US9787938B2 (en) 2017-10-10
US10462420B2 (en) 2019-10-29
TW201136292A (en) 2011-10-16
CN104270597B (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
CN102215373B (zh) 会议中的显示调整
CN102215217B (zh) 在通话期间建立视频会议
CN104270597A (zh) 在通话期间建立视频会议
CN102215372B (zh) 视频会议中的远程控制操作
CN102215374B (zh) 在多照相机移动设备的视频会议期间切换照相机

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant