CN110457095B - 多参与者实时通信用户界面 - Google Patents

多参与者实时通信用户界面 Download PDF

Info

Publication number
CN110457095B
CN110457095B CN201910400179.2A CN201910400179A CN110457095B CN 110457095 B CN110457095 B CN 110457095B CN 201910400179 A CN201910400179 A CN 201910400179A CN 110457095 B CN110457095 B CN 110457095B
Authority
CN
China
Prior art keywords
participant
real
representation
communication session
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910400179.2A
Other languages
English (en)
Other versions
CN110457095A (zh
Inventor
M·范欧斯
L·S·布劳顿
P·D·卡拉威
P·F·卡洛
J·W·常
A·德瑞尔
A·C·戴
C·M·费德瑞吉
R·加西亚三世
N·V·金
S·O·勒梅
J·劳驰
H·珐姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DKPA201870364A external-priority patent/DK201870364A1/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110457095A publication Critical patent/CN110457095A/zh
Application granted granted Critical
Publication of CN110457095B publication Critical patent/CN110457095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818—Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/48—Message addressing, e.g. address format or anonymous messages, aliases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/043—Real-time or near real-time messaging, e.g. instant messaging [IM] using or handling presence information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities

Abstract

本发明题为“多参与者实时通信用户界面”。本发明提供了一种方法，所述方法包括：显示即时消息应用程序的即时消息用户界面，所述即时消息用户界面包括消息区域，所述消息区域包括三个或更多个参与者之间的消息对话中的多个消息。接收指示所述三个或更多参与者可用的实时通信会话处于活动状态的第一数据。响应于接收到所述第一数据，显示指示所述实时通信会话处于活动状态的通知。在显示所述通知时，接收指示所述三个或更多参与者之间的所述实时通信会话不再处于活动状态的第二数据。响应于接收到所述第二数据，停止显示或更新指示所述实时通信会话处于活动状态的所述通知以指示所述实时通信会话不再处于活动状态。

Description

多参与者实时通信用户界面
本申请是申请日为2018年9月28日、申请号为201811136766.7、名称为“多参与者实时通信用户界面”的发明专利申请的分案申请。
相关申请的交叉引用
本专利申请涉及于2018年5月7日提交的标题为“MULTI-PARTICIPANT LIVECOMMUNICATION USER INTERFACE”的美国临时专利申请序列号62/668,229，该专利申请的内容据此全文以引用方式并入。
技术领域
本公开总体涉及计算机用户界面，更具体地讲，涉及用于包括多个参与者的实时通信的技术。
背景技术
由于个人和商业原因，用户越来越多地使用电子设备与他人进行虚拟通信。大多数电子设备能够在用户和多个参与者之间提供实时通信。作为示例，一些电子设备提供用于显示和控制实时通信的交互式界面。
发明内容
然而，用于包括使用电子设备的多个参与者的实时通信的一些技术通常很麻烦且效率低下。例如，一些现有技术使用复杂且耗时的用户界面，该用户界面可包括多次按键或击键。现有技术需要比所需更多的时间，这导致浪费用户的时间和设备能量。这后一考虑在电池驱动的设备中是特别重要的。
因此，本技术为电子设备提供了更快、更有效的方法和界面，用于包括多个参与者的实时通信。此类方法和界面任选地补充或替换用于包括多个参与者的实时通信的其他方法。此类方法和界面减少对用户所造成的认知负担，并且产生更有效的人机界面。对于电池驱动的计算设备，此类方法和界面节省功率，并且增大电池充电之间的时间间隔。
在一些实施方案中，在具有显示器的电子设备处执行一种方法。该方法可包括：显示即时消息应用程序的即时消息用户界面，该即时消息用户界面包括消息区域，该消息区域包括三个或更多个参与者之间的消息对话中的多个消息；接收指示三个或更多个参与者可用的实时通信会话处于活动状态的第一数据；响应于接收到指示三个或更多个参与者之间的实时通信会话处于活动状态的第一数据，显示指示实时通信会话处于活动状态的通知；在显示指示实时通信会话处于活动状态的通知的同时，接收指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据；并且响应于接收到指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据，停止显示通知或更新通知以指示实时通信会话不再处于活动状态。
在一些实施方案中，非暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序被配置为由具有显示器的电子设备的一个或多个处理器执行。所述一个或多个程序包括用于以下操作的指令：显示即时消息应用程序的即时消息用户界面，该即时消息用户界面包括消息区域，该消息区域包括三个或更多个参与者之间的消息对话中的多个消息；接收指示三个或更多个参与者可用的实时通信会话处于活动状态的第一数据；响应于接收到指示三个或更多个参与者之间的实时通信会话处于活动状态的第一数据，显示指示实时通信会话处于活动状态的通知；在显示指示实时通信会话处于活动状态的通知的同时，接收指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据；并且响应于接收到指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据，停止显示通知或更新通知以指示实时通信会话不再处于活动状态。
在一些实施方案中，暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序被配置为由具有显示器的电子设备的一个或多个处理器执行。所述一个或多个程序包括用于以下操作的指令：显示即时消息应用程序的即时消息用户界面，该即时消息用户界面包括消息区域，该消息区域包括三个或更多个参与者之间的消息对话中的多个消息；接收指示三个或更多个参与者可用的实时通信会话处于活动状态的第一数据。响应于接收到指示三个或更多个参与者之间的实时通信会话处于活动状态的第一数据，显示指示实时通信会话处于活动状态的通知；在显示指示实时通信会话处于活动状态的通知的同时，接收指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据；并且响应于接收到指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据，停止显示通知或更新通知以指示实时通信会话不再处于活动状态。
在一些实施方案中，电子设备包括显示器、一个或多个处理器以及存储器。存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序。所述一个或多个程序包括用于以下操作的指令：显示即时消息应用程序的即时消息用户界面，该即时消息用户界面包括消息区域，该消息区域包括三个或更多个参与者之间的消息对话中的多个消息；接收指示三个或更多个参与者可用的实时通信会话处于活动状态的第一数据。响应于接收到指示三个或更多个参与者之间的实时通信会话处于活动状态的第一数据，显示指示实时通信会话处于活动状态的通知；在显示指示实时通信会话处于活动状态的通知的同时，接收指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据；并且响应于接收到指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据，停止显示通知或更新通知以指示实时通信会话不再处于活动状态。
在一些实施方案中，电子设备包括：显示器；用于显示即时消息应用程序的即时消息用户界面的装置，该即时消息用户界面包括消息区域，该消息区域包括三个或更多个参与者之间的消息对话中的多个消息；用于接收指示三个或更多个参与者可用的实时通信会话处于活动状态的第一数据的装置；响应于接收到指示三个或更多个参与者之间的实时通信会话处于活动状态的第一数据而用于以下操作的装置：显示指示实时通信会话处于活动状态的通知；在显示指示实时通信会话处于活动状态的通知的同时用于以下操作的装置：接收指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据；以及用于执行以下操作的装置：响应于接收到指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据，停止显示通知或更新通知以指示实时通信会话不再处于活动状态。
在一些实施方案中，在具有显示器的电子设备处执行一种方法。该方法可包括：接收显示用于两个或更多个参与者之间的实时通信会话的用户界面的请求；并且响应于接收到显示用于两个或更多个参与者之间的实时通信会话的用户界面的请求，显示实时通信用户界面，包括同时显示实时通信会话中的多个参与者表示，其中显示实时通信会话中的多个参与者表示包括：根据确定实时通信会话中的参与者的数量包括大于阈值的参与者数量，同时以大于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的第一多个参与者的表示，而在溢出区域中显示第二多个参与者的表示，其中第二多个参与者包括未包括在第一多个参与者中的一个或多个参与者，并且在溢出区域中显示的一个或多个其他参与者的表示以小于相应阈值尺寸的尺寸显示；并且根据确定实时通信会话中的参与者数量包括小于或等于阈值的参与者数量，以大于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示，而不以小于或等于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示。
在一些实施方案中，非暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序被配置为由具有显示器的电子设备的一个或多个处理器执行。所述一个或多个程序包括用于以下操作的指令：接收显示用于两个或更多个参与者之间的实时通信会话的用户界面的请求；并且响应于接收到显示用于两个或更多个参与者之间的实时通信会话的用户界面的请求，显示实时通信用户界面，包括同时显示实时通信会话中的多个参与者表示，其中显示实时通信会话中的多个参与者表示包括：根据确定实时通信会话中的参与者的数量包括大于阈值的参与者数量，同时以大于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的第一多个参与者的表示，而在溢出区域中显示第二多个参与者的表示，其中第二多个参与者包括未包括在第一多个参与者中的一个或多个参与者，并且在溢出区域中显示的一个或多个其他参与者的表示以小于相应阈值尺寸的尺寸显示；并且根据确定实时通信会话中的参与者数量包括小于或等于阈值的参与者数量，以大于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示，而不以小于或等于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示。
在一些实施方案中，暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序被配置为由具有显示器的电子设备的一个或多个处理器执行。所述一个或多个程序包括用于以下操作的指令：接收显示用于两个或更多个参与者之间的实时通信会话的用户界面的请求；并且响应于接收到显示用于两个或更多个参与者之间的实时通信会话的用户界面的请求，显示实时通信用户界面，包括同时显示实时通信会话中的多个参与者表示，其中显示实时通信会话中的多个参与者表示包括：根据确定实时通信会话中的参与者的数量包括大于阈值的参与者数量，同时以大于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的第一多个参与者的表示，而在溢出区域中显示第二多个参与者的表示，其中第二多个参与者包括未包括在第一多个参与者中的一个或多个参与者，并且在溢出区域中显示的一个或多个其他参与者的表示以小于相应阈值尺寸的尺寸显示；并且根据确定实时通信会话中的参与者数量包括小于或等于阈值的参与者数量，以大于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示，而不以小于或等于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示。
在一些实施方案中，电子设备包括显示器、一个或多个处理器以及存储器。存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序。所述一个或多个程序包括用于以下操作的指令：接收显示用于两个或更多个参与者之间的实时通信会话的用户界面的请求；并且响应于接收到显示用于两个或更多个参与者之间的实时通信会话的用户界面的请求，显示实时通信用户界面，包括同时显示实时通信会话中的多个参与者表示，其中显示实时通信会话中的多个参与者表示包括：根据确定实时通信会话中的参与者的数量包括大于阈值的参与者数量，同时以大于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的第一多个参与者的表示，而在溢出区域中显示第二多个参与者的表示，其中第二多个参与者包括未包括在第一多个参与者中的一个或多个参与者，并且在溢出区域中显示的一个或多个其他参与者的表示以小于相应阈值尺寸的尺寸显示；并且根据确定实时通信会话中的参与者数量包括小于或等于阈值的参与者数量，以大于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示，而不以小于或等于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示。
在一些实施方案中，电子设备包括：显示器；用于接收显示用于两个或更多个参与者之间的实时通信会话的用户界面的请求的装置；以及响应于接收到显示用于两个或更多个参与者之间的实时通信会话的用户界面的请求而用于以下操作的装置：显示实时通信用户界面，包括同时显示实时通信会话中的多个参与者表示，其中显示实时通信会话中的多个参与者表示包括：根据确定实时通信会话中的参与者的数量包括大于阈值的参与者数量而用于以下操作的装置：同时以大于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的第一多个参与者的表示，而在溢出区域中显示第二多个参与者的表示，其中第二多个参与者包括未包括在第一多个参与者中的一个或多个参与者，并且在溢出区域中显示的一个或多个其他参与者的表示以小于相应阈值尺寸的尺寸显示；以及用于以下操作的装置：根据确定实时通信会话中的参与者数量包括小于或等于阈值的参与者数量，以大于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示，而不以小于或等于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示。
在一些实施方案中，在具有显示器的电子设备处执行一种方法。该方法可包括：显示实时视频通信用户界面，其包括同时显示实时视频通信会话中的第一参与者的表示，实时视频通信会话中的第二参与者的表示，以及实时视频通信会话中的第三参与者的表示；在显示实时视频通信用户界面的同时，接收指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据；并且响应于接收到指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据：改变实时视频通信用户界面中第一参与者的表示的尺寸和/或位置；改变实时视频通信用户界面中第二参与者的表示的尺寸和/或位置；并且改变实时视频通信用户界面中第三参与者的表示的尺寸和/或位置。
在一些实施方案中，非暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序被配置为由具有显示器的电子设备的一个或多个处理器执行。所述一个或多个程序包括用于以下操作的指令：显示实时视频通信用户界面，其包括同时显示实时视频通信会话中的第一参与者的表示，实时视频通信会话中的第二参与者的表示，以及实时视频通信会话中的第三参与者的表示；在显示实时视频通信用户界面的同时，接收指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据；并且响应于接收到指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据：改变实时视频通信用户界面中第一参与者的表示的尺寸和/或位置；改变实时视频通信用户界面中第二参与者的表示的尺寸和/或位置；并且改变实时视频通信用户界面中第三参与者的表示的尺寸和/或位置。
在一些实施方案中，暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序被配置为由具有显示器的电子设备的一个或多个处理器执行。所述一个或多个程序包括用于以下操作的指令：显示实时视频通信用户界面，其包括同时显示实时视频通信会话中的第一参与者的表示，实时视频通信会话中的第二参与者的表示，以及实时视频通信会话中的第三参与者的表示；在显示实时视频通信用户界面的同时，接收指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据；并且响应于接收到指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据：改变实时视频通信用户界面中第一参与者的表示的尺寸和/或位置；改变实时视频通信用户界面中第二参与者的表示的尺寸和/或位置；并且改变实时视频通信用户界面中第三参与者的表示的尺寸和/或位置。
在一些实施方案中，电子设备包括显示器、一个或多个处理器以及存储器。存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序。所述一个或多个程序包括用于以下操作的指令：显示实时视频通信用户界面，其包括同时显示实时视频通信会话中的第一参与者的表示，实时视频通信会话中的第二参与者的表示，以及实时视频通信会话中的第三参与者的表示；在显示实时视频通信用户界面的同时，接收指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据；并且响应于接收到指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据：改变实时视频通信用户界面中第一参与者的表示的尺寸和/或位置；改变实时视频通信用户界面中第二参与者的表示的尺寸和/或位置；并且改变实时视频通信用户界面中第三参与者的表示的尺寸和/或位置。
在一些实施方案中，电子设备包括：显示器；用于显示实时视频通信用户界面的装置，显示实时视频通信用户界面包括同时显示实时视频通信会话中的第一参与者的表示，实时视频通信会话中的第二参与者的表示，以及实时视频通信会话中的第三参与者的表示；用于执行以下操作的装置：在显示实时视频通信用户界面的同时，接收指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据；以及响应于接收到指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据而用于以下操作的装置：改变实时视频通信用户界面中第一参与者的表示的尺寸和/或位置；改变实时视频通信用户界面中第二参与者的表示的尺寸和/或位置；并且改变实时视频通信用户界面中第三参与者的表示的尺寸和/或位置。
在一些实施方案中，在具有显示器的电子设备处执行一种方法。该方法可包括：显示即时消息应用程序的即时消息用户界面，该即时消息用户界面包括：消息区域，该消息区域包括在包括三个或更多个参与者的消息对话中参与者之间的多个消息；以及与用于在实时视频通信应用程序中开始实时视频通信会话的消息区域分开的示能表示；检测与示能表示的选择对应的输入；并且响应于检测到与示能表示的选择对应的输入，在实时视频通信应用程序中发起用于开始实时视频通信会话的过程，该实时视频通信会话包括消息对话的参与者。
在一些实施方案中，非暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序被配置为由具有显示器的电子设备的一个或多个处理器执行。所述一个或多个程序包括用于以下操作的指令：显示即时消息应用程序的即时消息用户界面，该即时消息用户界面包括：消息区域，该消息区域包括在包括三个或更多个参与者的消息对话中参与者之间的多个消息；以及与用于在实时视频通信应用程序中开始实时视频通信会话的消息区域分开的示能表示；检测与示能表示的选择对应的输入；并且响应于检测到与示能表示的选择对应的输入，在实时视频通信应用程序中发起用于开始实时视频通信会话的过程，该实时视频通信会话包括消息对话的参与者。
在一些实施方案中，暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序被配置为由具有显示器的电子设备的一个或多个处理器执行。所述一个或多个程序包括用于以下操作的指令：显示即时消息应用程序的即时消息用户界面，该即时消息用户界面包括：消息区域，该消息区域包括在包括三个或更多个参与者的消息对话中参与者之间的多个消息；以及与用于在实时视频通信应用程序中开始实时视频通信会话的消息区域分开的示能表示；检测与示能表示的选择对应的输入；并且响应于检测到与示能表示的选择对应的输入，在实时视频通信应用程序中发起用于开始实时视频通信会话的过程，该实时视频通信会话包括消息对话的参与者。
在一些实施方案中，电子设备包括显示器、一个或多个处理器以及存储器。存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序。所述一个或多个程序包括用于以下操作的指令：显示即时消息应用程序的即时消息用户界面，该即时消息用户界面包括：消息区域，该消息区域包括在包括三个或更多个参与者的消息对话中参与者之间的多个消息；以及与用于在实时视频通信应用程序中开始实时视频通信会话的消息区域分开的示能表示；检测与示能表示的选择对应的输入；并且响应于检测到与示能表示的选择对应的输入，在实时视频通信应用程序中发起用于开始实时视频通信会话的过程，该实时视频通信会话包括消息对话的参与者。
在一些实施方案中，电子设备包括：显示器；用于显示即时消息应用程序的即时消息用户界面的装置，该即时消息用户界面包括：消息区域，该消息区域包括在包括三个或更多个参与者的消息对话中参与者之间的多个消息；以及与用于在实时视频通信应用程序中开始实时视频通信会话的消息区域分开的示能表示；用于检测与示能表示的选择对应的输入的装置；以及响应于检测到与示能表示的选择对应的输入而用于以下操作的装置：在实时视频通信应用程序中发起用于开始实时视频通信会话的过程，该实时视频通信会话包括消息对话的参与者。
在一些实施方案中，在具有显示器的电子设备处执行一种方法。该方法可包括：显示实时视频通信应用程序的实时视频通信用户界面，该实时视频通信用户界面包括：对应于相应的一个或多个参与者的多个参与者示能表示，所述多个参与者示能表示包括与三个或更多个参与者的群对应的第一参与者示能表示；以及用于开始新的实时视频通信会话的新的会话示能表示；检测对应于以下请求的输入，即发起开始新的实时视频通信会话的过程；并且响应于检测到该输入：根据与第一参与者示能表示的选择对应的输入，发起开始新的实时视频通信会话的过程，该新的实时视频通信会话包括三个或更多个参与者的群；并且根据与新的会话示能表示的选择对应的输入，发起用于选择两个或更多个参与者并且开始新的实时视频通信会话的过程，该新的实时视频通信会话包括与该设备相关联的参与者以及两个或更多个所选参与者。
在一些实施方案中，非暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序被配置为由具有显示器的电子设备的一个或多个处理器执行。所述一个或多个程序包括用于以下操作的指令：显示实时视频通信应用程序的实时视频通信用户界面，该实时视频通信用户界面包括：对应于相应的一个或多个参与者的多个参与者示能表示，所述多个参与者示能表示包括与三个或更多个参与者的群对应的第一参与者示能表示；以及用于开始新的实时视频通信会话的新的会话示能表示；检测对应于以下请求的输入，即发起开始新的实时视频通信会话的过程；并且响应于检测到该输入：根据与第一参与者示能表示的选择对应的输入，发起开始新的实时视频通信会话的过程，该新的实时视频通信会话包括三个或更多个参与者的群；并且根据与新的会话示能表示的选择对应的输入，发起用于选择两个或更多个参与者并且开始新的实时视频通信会话的过程，该新的实时视频通信会话包括与该设备相关联的参与者以及两个或更多个所选参与者。
在一些实施方案中，暂态计算机可读存储介质存储一个或多个程序，所述一个或多个程序被配置为由具有显示器的电子设备的一个或多个处理器执行。所述一个或多个程序包括用于以下操作的指令：显示实时视频通信应用程序的实时视频通信用户界面，该实时视频通信用户界面包括：对应于相应的一个或多个参与者的多个参与者示能表示，所述多个参与者示能表示包括与三个或更多个参与者的群对应的第一参与者示能表示；以及用于开始新的实时视频通信会话的新的会话示能表示；检测对应于以下请求的输入，即发起开始新的实时视频通信会话的过程；并且响应于检测到该输入：根据与第一参与者示能表示的选择对应的输入，发起开始新的实时视频通信会话的过程，该新的实时视频通信会话包括三个或更多个参与者的群；并且根据与新的会话示能表示的选择对应的输入，发起用于选择两个或更多个参与者并且开始新的实时视频通信会话的过程，该新的实时视频通信会话包括与该设备相关联的参与者以及两个或更多个所选参与者。
在一些实施方案中，电子设备包括显示器、一个或多个处理器以及存储器。存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序。所述一个或多个程序包括用于以下操作的指令：显示实时视频通信应用程序的实时视频通信用户界面，该实时视频通信用户界面包括：对应于相应的一个或多个参与者的多个参与者示能表示，所述多个参与者示能表示包括与三个或更多个参与者的群对应的第一参与者示能表示；以及用于开始新的实时视频通信会话的新的会话示能表示；检测对应于以下请求的输入，即发起开始新的实时视频通信会话的过程；并且响应于检测到该输入：根据与第一参与者示能表示的选择对应的输入，发起开始新的实时视频通信会话的过程，该新的实时视频通信会话包括三个或更多个参与者的群；并且根据与新的会话示能表示的选择对应的输入，发起用于选择两个或更多个参与者并且开始新的实时视频通信会话的过程，该新的实时视频通信会话包括与该设备相关联的参与者以及两个或更多个所选参与者。
在一些实施方案中，电子设备包括：显示器；用于显示实时视频通信应用程序的实时视频通信用户界面的装置，该实时视频通信用户界面包括：对应于相应的一个或多个参与者的多个参与者示能表示，所述多个参与者示能表示包括与三个或更多个参与者的群对应的第一参与者示能表示；以及用于开始新的实时视频通信会话的新的会话示能表示；用于检测对应于以下请求的输入，即发起开始新的实时视频通信会话的过程的装置；以及响应于检测到该输入而用于以下操作的装置：根据与第一参与者示能表示的选择对应的输入，发起开始新的实时视频通信会话的过程，该新的实时视频通信会话包括三个或更多个参与者的群；并且根据与新的会话示能表示的选择对应的输入，发起用于选择两个或更多个参与者并且开始新的实时视频通信会话的过程，该新的实时视频通信会话包括与该设备相关联的参与者以及两个或更多个所选参与者。
用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。
因此，为设备提供更快更高效的方法和界面以用于包括多个参与者的实时通信，由此提高此类设备的有效性、效率和用户满意度。此类方法和界面可补充或替换用于包括多个参与者的实时通信的其他方法。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出了根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4A示出了根据一些实施方案的针对便携式多功能设备上应用程序的菜单的示例性用户界面。
图4B示出了根据一些实施方案的针对具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图5A示出了根据一些实施方案的个人电子设备。
图5B是示出了根据一些实施方案的个人电子设备的框图。
图5C-图5D示出了根据一些实施方案具有触敏显示器和强度传感器的个人电子设备的示例性部件。
图5E-图5H示出了根据一些实施方案的个人电子设备的示例性部件和用户界面。
图6A至图6AF示出了根据一些实施方案的示例性用户界面。
图7A至图7F示出了根据一些实施方案的示例性方法。
图8A至图8BK示出了根据一些实施方案的示例性用户界面。
图9A至图9K示出了根据一些实施方案的示例性方法。
图10A至图10S示出了根据一些实施方案的示例性用户界面。
图11A至图11F示出了根据一些实施方案的示例性方法。
图12A至图12N示出了根据一些实施方案的示例性用户界面。
图13A至图13D示出了根据一些实施方案的示例性方法。
图14A至图14I示出了根据一些实施方案的示例性用户界面。
图15A至图15C示出了根据一些实施方案的示例性方法。
具体实施方式
以下描述阐述了示例性方法、参数等。然而，应当认识到，此类描述并非意在限制本公开的范围，而是作为对示例性实施方案的描述来提供。
电子设备需要提供有效的方法和界面以用于包括多个参与者的实时通信。此类技术可减轻参与包括多个参与者的实时通信的用户的认知负担，由此提高生产效率。此外，此类技术可减少以其他方式浪费在冗余用户输入上的处理器功率和电池功率。
下面，图1A至图1B、图2、图3、图4A至图4B和图5A至图5H提供了用于执行用于多个参与者之间的实时通信会话的技术的示例性设备的描述。图6A至图6AF示出了用于管理事件通知的示例性用户界面。图7A至图7F为示出根据一些实施方案的进行多个参与者之间的实时通信会话的方法的流程图。图6A至图6AF中的用户界面用于示出包括图7A至图7F中的过程的下文描述的过程。
图8A至图8BK示出了用于多个参与者之间的实时通信会话的示例性用户界面。图9A至图9K为示出根据一些实施方案的进行多个参与者之间的实时通信会话的方法的流程图。图8A至图8BK中的用户界面用于示出包括图9A至图9K中的过程的下文描述的过程。
图10A至图10S示出了用于多个参与者之间的实时通信会话的示例性用户界面。图11A至图11F为示出根据一些实施方案的进行多个参与者之间的实时通信会话的方法的流程图。图10A至图10S中的用户界面用于示出包括图11A至图11F中的过程的下文描述的过程。
图12A至图12N示出了用于多个参与者之间的实时通信会话的示例性用户界面。图13A至图13D为示出根据一些实施方案的进行多个参与者之间的实时通信会话的方法的流程图。图12A至图12N中的用户界面用于示出包括图13A至图13D中的过程的下文描述的过程。
图14A至图14I示出了用于多个参与者之间的实时通信会话的示例性用户界面。图15A至图15C为示出根据一些实施方案的进行多个参与者之间的实时通信会话的方法的流程图。图14A至图14I中的用户界面用于示出包括图15A至图15C中的过程的下文描述的过程。
尽管以下描述使用术语“第一”、“第二”等来描述各种元件，但这些元件不应受术语的限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一触摸可被命名为第二触摸并且类似地第二触摸可被命名为第一触摸，而不脱离各种所述实施方案的范围。第一触摸和第二触摸两者均为触摸，但是它们不是同一触摸。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
根据上下文，术语“如果”任选地被解释为意指“当......时”、“在......时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino,California)的
Figure BDA0002059536850000141
设备、iPod
Figure BDA0002059536850000142
设备、和
Figure BDA0002059536850000143
设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触摸板)的膝上型电脑或平板电脑。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而，应当理解，该电子设备任选地包括一个或多个其他物理用户界面设备，诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用程序，诸如以下中的一者或多者：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频摄像机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备，诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化，和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器112有时为了方便被叫做“触摸屏”，并且有时被称为或被叫做“触敏显示器系统”。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入控制设备116和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如，触敏表面，诸如设备100的触敏显示器系统112)上的接触的强度的一个或多个接触强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器167(例如，在触敏表面诸如设备100的触敏显示器系统112或设备300的触控板355上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触)的力或压力(每单位面积的力)，或是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量值被组合(例如，加权平均)以确定所估计的接触力。类似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如，强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中，接触力或压力的替代物测量被转换成估计的力或压力，并且估计的力或压力用于确定是否已超过强度阈值(例如，强度阈值是以压力的单位进行测量的压力阈值)。使用接触的强度作为用户输入的属性，从而允许用户访问用户在实地面积有限的尺寸更小的设备上本来不可访问的附加设备功能，该尺寸更小的设备用于(例如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示器、触敏表面或物理控件/机械控件，诸如旋钮或按钮)。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。
应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件以硬件、软件、或硬件与软件两者的组合来实现，包括一个或多个信号处理和/或专用集成电路。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。存储器控制器122任选地控制设备100的其他部件访问存储器102。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接到CPU 120和存储器102。所述一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。在一些实施方案中，外围设备接口118、CPU 120和存储器控制器122任选地被实现在单个芯片诸如芯片104上。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被叫做电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与通信网络及其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信与网络以及其他设备进行通信，该网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。RF电路108任选地包括用于检测近场通信(NFC)场的熟知的电路，诸如通过近程通信无线电部件来进行检测。无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、蓝牙低功耗(BTLE)、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11b、IEEE 802.11g、IEEE 802.11n和/或IEEE802.11ac)、互联网协议语音(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)，或者包括在本文档提交日期时还未开发出的通信协议的任何其他适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人耳可听见的声波。音频电路110还接收由麦克风113根据声波转换来的电信号。音频电路110将电信号转换为音频数据，并将音频数据传输到外围设备接口118以进行处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110与可移除音频输入/输出外围设备之间的接口，该外围设备为诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触摸屏112和其他输入控制设备116耦接至外围设备接口118。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、深度相机控制器169、强度传感器控制器159、触觉反馈控制器161，以及用于其他输入或控制设备的一个或多个输入控制器160。所述一个或多个输入控制器160从其他输入控制设备116接收电信号/将电信号发送到所述其他输入控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选实施方案中，一个或多个输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、USB端口以及指针设备诸如鼠标。一个或多个按钮(例如，图2中的208)任选地包括用于扬声器111和/或麦克风113的音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮(例如，图2中的206)。
快速按压下压按钮任选地解除对触摸屏112的锁定或者任选地开始使用触摸屏上的手势来对设备进行解锁的过程，如于2005年12月23日提交的名称为“Unlocking aDevice by Performing Gestures on an Unlock Image”的美国专利申请11/322,549(即美国专利No.7,657,849)中所述，该专利据此全文以引用方式并入。长按下压按钮(例如206)任选地使设备100开机或关机。一个或多个按钮的功能任选地为用户可定制的。触摸屏112用于实现虚拟按钮或软按钮以及一个或多个软键盘。
触敏显示器112提供设备和用户之间的输入接口和输出接口。显示控制器156从触摸屏112接收电信号并且/或者将电信号发送到该触摸屏。触摸屏112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出任选地与用户界面对象对应。
触摸屏112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器或传感器组。触摸屏112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触摸屏112上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与被显示在触摸屏112上的用户界面对象(例如，一个或多个软键、图标、网页或图像)的交互。在一个示例性实施方案中，触摸屏112与用户之间的接触点对应于用户的手指。
触摸屏112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触摸屏112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触摸屏112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如在来自Apple Inc.(Cupertino,California)的
Figure BDA0002059536850000201
和iPod
Figure BDA0002059536850000202
中使用的技术。
触摸屏112的一些实施方案中的触敏显示器任选地类似于以下美国专利中描述的多点触敏触控板：6,323,846(Westerman等人)、6,570,557(Westerman等人)和/或6,677,932(Westerman等人)和/或美国专利公开2002/0015024A1，该每个专利据此全文以引用方式并入。然而，触摸屏112显示来自设备100的视觉输出，而触敏触控板不提供视觉输出。
在一些实施方案中，触摸屏112的触敏显示器如以下申请所述：(1)2006年5月2日提交的名称为“Multipoint Touch Surface Controller”的美国专利申请No.11/381,313；(2)2004年5月6日提交的名称为“Multipoint Touchscreen”(多点触摸屏)的美国专利申请No.10/840,862；(3)2004年7月30日提交的名称为“Gestures For Touch Sensitive InputDevices”(用于触敏输入设备的手势)的美国专利申请No.10/903,964；(4)提交于2005年1月31日的名称为“Gestures For Touch Sensitive Input Devices”的美国专利申请No.11/048,264；(5)2005年1月18日提交的名称为“Mode-Based Graphical UserInterfaces For Touch Sensitive Input Devices”(用于触敏输入设备的基于模式的图形用户界面)的美国专利申请No.11/038,590；(6)2005年9月16日提交的名称为“VirtualInput Device Placement On A Touch Screen User Interface”(放置在触摸屏用户界面上的虚拟输入设备)的美国专利申请No.11/228,758；(7)2005年9月16日提交的名称为“Operation Of A Computer With A Touch Screen Interface”(具有触摸屏界面的计算机的操作)的美国专利申请No.11/228,700；(8)2005年9月16日提交的名称为“ActivatingVirtual Keys Of A Touch-Screen Virtual Keyboard”(激活触摸屏虚拟键盘的虚拟键)的美国专利申请No.11/228,737；以及(9)2006年3月3日提交的名称为“Multi-FunctionalHand-Held Device”(多功能手持设备)的美国专利申请No.11/367,749。所有这些申请全文以引用方式并入本文。
触摸屏112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏具有约160dpi的视频分辨率。用户任选地使用任何合适的物体或附加物诸如触笔、手指等等来与触摸屏112接触。在一些实施方案中，将用户界面设计为主要通过基于手指的接触和手势来工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触控板。在一些实施方案中，触控板是设备的触敏区域，与触摸屏不同，该触敏区域不显示视觉输出。触摸板任选地是与触摸屏112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如，发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出了耦接到I/O子系统106中的光学传感器控制器158的光学传感器。光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块143(也叫做相机模块)，光学传感器164任选地捕获静态图像或视频。在一些实施方案中，光学传感器位于设备100的后部上，与设备前部上的触摸屏显示器112相背对，使得触摸屏显示器能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，光学传感器位于设备的前部上，使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取该用户的图像，以用于视频会议。在一些实施方案中，光学传感器164的位置可由用户改变(例如，通过旋转设备外壳中的透镜和传感器)，使得单个光学传感器164与触摸屏显示器一起使用以用于视频会议和静态图像和/或视频图像采集两者。
设备100任选地还包括一个或多个深度相机传感器175。图1A示出了耦接到I/O子系统106中的深度相机控制器169的深度相机传感器。深度相机传感器175从环境接收数据以从视点(例如，深度相机传感器)创建场景内的对象(例如，面部)的三维模型。在一些实施方案中，结合成像模块143(也称为相机模块)，深度相机传感器175可选地用于确定由成像模块143捕获的图像的不同部分的深度图。在一些实施方案中，深度相机传感器位于设备100的前部，使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取具有深度信息的用户图像以用于视频会议，并且捕捉具有深度图数据的自拍。在一些实施方案中，深度相机传感器175位于设备的后部，或者设备100的后部和前部。在一些实施方案中，深度相机传感器175的位置可由用户改变(例如，通过旋转设备外壳中的透镜和传感器)，使得深度相机传感器175与触摸屏显示器一起使用以用于视频会议和静态图像和/或视频图像采集两者。
在一些实施方案中，深度图(例如，深度图图像)包含与场景中的对象距视点(例如，相机、光学传感器、深度相机传感器)的距离相关的信息(例如，值)。在深度图的一个实施方案中，每个深度像素定义视点的Z轴中其对应的二维像素所在的位置。在一些实施方案中，深度图由像素组成，其中每个像素由值(例如，0到255)定义。例如，“0”值表示位于“三维”场景中距离视点(例如，相机、光学传感器、深度相机传感器)最远处的像素，“255”值表示位于“三维”场景中距离视点最近处的像素。在其他实施方案中，深度图表示场景中的对象与视点的平面之间的距离。在一些实施方案中，深度图包括关于深度相机的视野中感兴趣对象的各种特征的相对深度的信息(例如，用户面部的眼睛、鼻部、嘴巴、耳朵的相对深度)。在一些实施方案中，深度图包括使设备能够确定感兴趣对象在z方向上的轮廓的信息。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了耦接到I/O子系统106中的强度传感器控制器159的接触强度传感器。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于与位于设备100的前部上的触摸屏显示器112相背对的设备100的后部上。
设备100任选地还包括一个或多个接近传感器166。图1A示出了耦接到外围设备接口118的接近传感器166。另选地，接近传感器166任选地耦接到I/O子系统106中的输入控制器160。接近传感器166任选地如以下美国专利申请中所述的那样执行：11/241,839，名称为“Proximity Detector In Handheld Device”；No.11/240,788，名称为“ProximityDetector In Handheld Device”(手持设备中的接近检测器)；No.11/620,702，名称为“Using Ambient Light Sensor To Augment Proximity Sensor Output”(使用环境光线传感器增强接近传感器输出)；No.11/586,862，名称为“Automated Response To AndSensing Of User Activity In Portable Devices”(自动响应和感测便携式设备中的用户活动)；以及No.11/638,251，名称为“Methods And Systems For AutomaticConfiguration Of Peripherals”(用于外围设备的自动配置的方法和系统)，这些美国专利申请据此全文以引用方式并入本文。在一些实施方案中，当多功能设备被置于用户的耳朵附近时(例如，当用户正在进行电话呼叫时)，接近传感器关闭并且禁用触摸屏112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出了耦接到I/O子系统106中的触觉反馈控制器161的触觉输出发生器。触觉输出发生器167任选地包括一个或多个电声设备，诸如扬声器或其他音频部件；以及/或者将能量转换成线性运动的机电设备，诸如马达、螺线管、电活性聚合器、压电致动器、静电致动器或其他触觉输出生成部件(例如，将电信号转换成设备上的触觉输出的部件)。接触强度传感器165从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动该触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的后部上，与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个加速度计168。图1A示出了耦接到外围设备接口118的加速度计168。另选地，加速度计168任选地耦接到I/O子系统106中的输入控制器160。加速度计168任选地如以下美国专利公开中所述的那样执行：美国专利公开20050190059，名称为“Acceleration-based Theft Detection System for Portable ElectronicDevices”和美国专利公开20060017692，名称为“Methods And Apparatuses ForOperating A Portable Device Based On An Accelerometer”，这两个美国专利公开均全文以引用方式并入本文。在一些实施方案中，基于对从一个或多个加速度计接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图显示信息。设备100任选地除了加速度计168之外还包括磁力仪和GPS(或GLONASS或其他全球导航系统)接收器，以用于获取关于设备100的位置和取向(例如，纵向或横向)的信息。
在一些实施方案中，存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102(图1A)或370(图3)存储设备/全局内部状态157，如图1A和图3中所示。设备/全局内部状态157包括以下各项中的一者或多者：活动应用程序状态，指示哪些应用程序(如果有的话)当前活动；显示状态，指示什么应用程序、视图或其他信息占据触摸屏显示器112的各个区域；传感器状态，包括从设备的各个传感器和输入控制设备116获取的信息；以及关于设备的位置和/或姿态的位置信息。
操作系统126(例如，Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动程序，并且促进各种硬件部件和软件部件之间的通信。
通信模块128有利于通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由RF电路108和/或外部端口124接收的数据的各种软件部件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或者间接地通过网络(例如，互联网、无线LAN等)进行耦接。在一些实施方案中，外部端口是与
Figure BDA0002059536850000251
(Apple Inc.的商标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如，30针)连接器。
接触/运动模块130任选地检测与触摸屏112(结合显示控制器156)和其他触敏设备(例如，触控板或物理点击轮)的接触。接触/运动模块130包括各种软件部件以用于执行与接触的检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件)、确定接触的强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如，检测一个或多个手指拖动事件)、以及确定接触是否已停止(例如，检测手指抬起事件或接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如，单指接触)或者多点同时接触(例如，“多点触摸”/多个手指接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触控板上的接触。
在一些实施方案中，接触/运动模块130使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如，确定用户是否已“点击”图标)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如，强度阈值不是由特定物理致动器的激活阈值来确定的，并且可在不改变设备100的物理硬件的情况下被调节)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏的鼠标“点击”阈值可被设定成预定义的阈值的大范围中的任一个阈值。另外，在一些具体实施中，向设备的用户提供用于调节一组强度阈值中的一个或多个强度阈值(例如，通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检测手指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标的位置处)检测手指抬起(抬离)事件。作为另一个示例，在触敏表面上检测手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。
图形模块132包括用于在触摸屏112或其他显示器上呈现和显示图形的各种已知的软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉属性)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，其非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，然后生成屏幕图像数据以输出到显示控制器156。
触觉反馈模块133包括用于生成指令的各种软件部件，该指令由触觉输出发生器167使用，以便响应于用户与设备100的交互而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置，并提供该信息以供在各种应用程序中使用(例如，提供给电话138以供在基于位置的拨号中使用；提供给相机143作为图片/视频元数据；以及提供给提供基于位置的服务的应用，诸如天气桌面小程序、本地黄页桌面小程序和地图/导航桌面小程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时被称为通讯录或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(IM)模块141；
·健身支持模块142；
·用于静态图像和/或视频图像的相机模块143；
·图像管理模块144；
·视频播放器模块；
·音乐播放器模块；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下各项中的一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获取的其他桌面小程序、以及用户创建的桌面小程序149-6；
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
·搜索模块151；
·视频和音乐播放器模块152，其合并视频播放器模块和音乐播放器模块；
·记事本模块153；
·地图模块154；和/或
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、和文本输入模块134，联系人模块137任选地用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)，包括：向通讯录添加一个或多个姓名；从地址簿删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名关联；将图像与姓名关联；对姓名进行归类和分类；提供电话号码或电子邮件地址来发起和/或促进通过电话138、视频会议模块139、电子邮件140或即时消息141的通信；等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，电话模块138任选地用于输入与电话号码对应的字符序列、访问联系人模块137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话，以及当会话完成时断开或挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132、文本输入模块134、联系人模块137和电话模块138，视频会议模块139包括用于根据用户指令来发起、进行和终止用户与一个或多个其他参与者之间的视频会议的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括用于响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，即时消息模块141包括用于以下操作的可执行指令：输入对应于即时消息的字符序列、修改先前输入的字符、传输相应的即时消息(例如，使用短消息服务(SMS)或多媒体消息服务(MMS)协议以用于基于电话的即时消息，或者使用XMPP、SIMPLE或IMPS以用于基于互联网的即时消息)、接收即时消息以及查看所接收的即时消息。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、照片、音频文件、视频文件和/或MMS和/或增强消息服务(EMS)中所支持的其他附件。如本文所用，“即时消息”是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联网的消息(例如，使用XMPP、SIMPLE或IMPS发送的消息)两者。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块，健身支持模块142包括创建健身(例如，具有时间、距离和/或卡路里燃烧目标)的可执行指令；与健身传感器(运动设备)进行通信；接收健身传感器数据；校准用于监视健身的传感器；为健身选择和播放音乐；以及显示、存储和传输健身数据。
结合触摸屏112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132和图像管理模块144，相机模块143包括用于以下操作的可执行指令：捕捉静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征或从存储器102删除静态图像或视频。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和相机模块143，图像管理模块144包括用于以下操作的可执行指令：排列、修改(例如，编辑)或以其他方式操控、加标签、删除、演示(例如，在数字幻灯片或相册中)以及存储静态图像和/或视频图像。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，浏览器模块147包括用于根据用户指令来浏览互联网(包括搜索、链接至、接收和显示网页或其部分，以及链接至网页的附件和其他文件)的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括用于根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合RF电路108、触摸屏112、显示系统控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载和使用的微型应用(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)或由用户创建的微型应用(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序创建器模块150任选地被用户用于创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中匹配一个或多个搜索条件(例如，一个或多个用户指定的搜索词)的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触摸屏112上或在经由外部端口124连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，记事本模块153包括根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154任选地用于根据用户指令接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾驶方向、与特定位置处或附近的商店及其他兴趣点有关的数据，以及其他基于位置的数据)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括用于进行以下操作的指令：允许用户访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如在触摸屏上或在经由外部端口124所连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件，以及以其他方式管理一种或多种文件格式诸如H.264的在线视频。在一些实施方案中，使用即时消息模块141而不是电子邮件客户端模块140来发送至特定在线视频的链接。在线视频应用程序的其他描述可在于2007年6月20日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国临时专利申请60/936,562和于2007年12月31日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国专利申请11/968,067中找到，这两个专利申请的内容据此全文以引用方式并入本文。
上述每个模块和应用程序对应于用于执行上述一种或多种功能以及在本专利申请中所述的方法(例如，本文所述的计算机实现的方法和其他信息处理方法)的可执行指令集。这些模块(例如，指令集)不必以独立的软件程序、过程或模块实现，并因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。例如，视频播放器模块任选地与音乐播放器模块组合成单个模块(例如，图1A中的视频和音乐播放器模块152)。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子集。此外，存储器102任选地存储上文未描述的另外的模块和数据结构。
在一些实施方案中，设备100是唯一地通过触摸屏和/或触控板来执行其上预定义的一组功能的操作的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备，任选地减少设备100上的物理输入控制设备(例如，下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中，触控板当被用户触摸时将设备100从显示在设备100上的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中，使用触摸板来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是触摸板。
图1B是示出了根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A)或存储器370(图3)包括事件分类器170(例如，在操作系统126中)以及相应的应用程序136-1(例如，前述应用程序137至151、155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并且确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时被显示在触敏显示器112上的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用于确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用于确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括另外的信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示正被应用程序136-1显示的信息或准备好用于被该应用程序显示的信息的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列、以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，触敏显示器112上的用户触摸，作为多点触摸手势的一部分)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、加速度计168和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106接收的信息包括来自触敏显示器112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时，命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图是发起子事件(例如，形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块172识别，命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图均为活跃参与的视图，并且因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器182进行检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用程序136-1包括事件分类器170。在其他实施方案中，事件分类器170为独立模块，或者为被存储在存储器102中的另一个模块(诸如接触/运动模块130)的一部分。
在一些实施方案中，应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191，其中每个应用程序视图包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常，相应应用程序视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器是独立模块的一部分，该独立模块为诸如用户界面工具包或应用程序136-1从中继承方法和其他属性的更高级别的对象。在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者：数据更新器176、对象更新器177、GUI更新器178和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用内部状态192。另选地，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者被包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件，或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他事件。在一些实施方案中，事件(187)中的子事件包括例如触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是被显示对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬离(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬离(触摸结束)。在另一个示例中，事件2(187-2)的定义是被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器112上的移动以及触摸的抬离(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在触敏显示器112上显示三个用户界面对象的应用程序视图中，当在触敏显示器112上检测到触摸时，事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示的对象与相应的事件处理程序190相关联，则事件比较器使用该命中测试的结果，以确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，相应事件(187)的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括元数据183，所述元数据具有指示事件递送系统应该如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表。在一些实施方案中，元数据183包括指示事件识别器彼此如何进行交互或如何能够进行交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当识别事件的一个或多个特定子事件时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别事件相关联的标志，并且与该标志相关联的事件处理程序190接获该标志并执行预定义过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用程序136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频播放器模块中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建并更新在应用程序136-1中使用的对象。例如，对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息并且将显示信息发送到图形模块132，以用于显示在触敏显示器上。
在一些实施方案中，事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178，或具有对该数据更新器、该对象更新器和该GUI更新器的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下；触控板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；设备的移动；口头指令；检测到的眼睛移动；生物特征输入；和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图2示出了根据一些实施方案的具有触摸屏112的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在本实施方案中以及在下文描述的其他实施方案中，用户能够通过例如利用一个或多个手指202(在附图中没有按比例绘制)或者利用一支或多支触笔203(在附图中没有按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)以及/或者已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“home”或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用中的任何应用136。另选地，在一些实施方案中，菜单按钮被实现为显示在触摸屏112上的GUI中的软键。
在一些实施方案中，设备100包括触摸屏112、菜单按钮204、用于使设备开机/关机和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在另选的实施方案中，设备100还通过麦克风113来接受用于激活或去激活一些功能的言语输入。设备100还任选地包括用于检测触摸屏112上的接触的强度的一个或多个接触强度传感器165，和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必为便携式的。在一些实施方案中，设备300是膝上型计算机、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于使这些部件互连的一条或多条通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时被称为芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触控板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于以上参考图1A所述的触觉输出发生器167)、传感器359(例如，光学传感器、加速度传感器、接近传感器、触敏传感器和/或接触强度传感器(类似于以上参考图1A所述的接触强度传感器165))。存储器370包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与便携式多功能设备100(图1A)的存储器102中存储的程序、模块和数据结构类似的程序、模块和数据结构或它们的子集。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388和/或电子表格模块390，而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中的上述元素中的每个元素任选地存储于先前提到的存储器设备的一个或多个存储器设备中。上述模块中的每个模块对应于用于执行上述功能的指令集。上述模块或程序(例如，指令集)不必被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子集任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子组。此外，存储器370任选地存储上面未描述的另外的模块和数据结构。
现在将注意力转到任选地在例如便携式多功能设备100上实现的用户界面的实施方案。
图4A示出了根据一些实施方案的用于便携式多功能设备100上的应用程序的菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面400包括以下元件或者其子集或超集：
·一个或多个无线通信(诸如蜂窝信号和Wi-Fi信号)的一个或多个信号强度指示符402；
·时间404；
·蓝牙指示器405；
·电池状态指示器406；
·具有常用应用程序的图标的托盘408，常用应用图标诸如：
ο电话模块138的被标记为“电话”的图标416，该图标任选地包括未接来电或语音留言的数量的指示符414；
ο电子邮件客户端模块140的被标记为“邮件”的图标418，该图标任选地包括未读电子邮件的数量的指示符410；
ο浏览器模块147的被标记为“浏览器”的图标420；以及
ο视频和音乐播放器模块152(也称为iPod(Apple Inc.的商标)模块152)的被标记为“iPod”的图标422；以及
·其他应用的图标，诸如：
οIM模块141的被标记为“消息”的图标424；
ο日历模块148的被标记为“日历”的图标426；
ο图像管理模块144的被标记为“照片”的图标428；
ο相机模块143的被标记为“相机”的图标430；
ο在线视频模块155的被标记为“在线视频”的图标432；
ο股市桌面小程序149-2的被标记为“股市”的图标434；
ο地图模块154的被标记为“地图”的图标436；
ο天气桌面小程序149-1的被标记为“天气”的图标438；
ο闹钟桌面小程序149-4的被标记为“时钟”的图标440；
ο健身支持模块142的被标记为“健身支持”的图标442；
ο记事本模块153的被标记为“记事本”的图标444；以及
ο用于设置应用程序或模块的被标记为“设置”的图标446，该图标提供对设备100及其各种应用程序136的设置的访问。
应当指出的是，图4A中示出的图标标签仅是示例性的。例如，视频和音乐播放器模块152的图标422被标记“音乐”或“音乐播放器”。对于各种应用程序图标任选地使用其他标签。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450(例如，触摸屏显示器112)分开的触敏表面451(例如，图3的平板电脑或触控板355)的设备(例如，图3的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面451上的接触的强度的一个或多个接触强度传感器(例如，传感器359中的一个或多个传感器)和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器357。
尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出以下示例中的一些示例，但是在一些实施方案中，设备检测与显示器分开的触敏表面上的输入，如图4B中所示。在一些实施方案中，触敏表面(例如，图4B中的451)具有与显示器(例如，450)上的主轴(例如，图4B中的453)对应的主轴(例如，图4B中的452)。根据这些实施方案，设备检测在对应于显示器上的相应位置的位置(例如，在图4B中，460对应于468并且462对应于470)处与触敏表面451的接触(例如，图4B中的460和462)。这样，在触敏表面(例如，图4B中的451)与多功能设备的显示器(图4B中的450)分开时，由设备在触敏表面上检测到的用户输入(例如，接触460和462以及它们的移动)被该设备用于操控显示器上的用户界面。应当理解，类似的方法任选地用于本文所述的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、单指轻击手势、手指轻扫手势)来给出下面的示例，但是应当理解的是，在一些实施方案中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如，基于鼠标的输入或触笔输入)替代。例如，轻扫手势任选地由鼠标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)替代。又如，轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如，代替对接触的检测，之后是停止检测接触)替代。类似地，当同时检测到多个用户输入时，应当理解的是，多个计算机鼠标任选地被同时使用，或鼠标和手指接触任选地被同时使用。
图5A示出了示例性个人电子设备500。设备500包括主体502。在一些实施方案中，设备500可包括相对于设备100和300(例如，图1A至图4B)所述的特征中的一些或全部特征。在一些实施方案中，设备500具有在下文中称为触摸屏504的触敏显示屏504。另选地或作为触摸屏504的补充，设备500还具有显示器和触敏表面。与设备100和300的情况一样，在一些实施方案中，触摸屏504(或触敏表面)任选地包括用于检测所施加的接触(例如，触摸)强度的一个或多个强度传感器。触摸屏504(或触敏表面)的一个或多个强度传感器可提供表示触摸的强度的输出数据。设备500的用户界面可基于其强度来对触摸作出响应，这意味着不同强度的触摸可调用设备500上的不同用户界面操作。
用于检测和处理触摸强度的示例性技术见于例如以下相关专利申请中：2013年5月8日提交的名称为“Device,Method,and Graphical User Interface for DisplayingUser Interface Objects Corresponding to an Application”的国际专利申请序列号PCT/US2013/040061，发布为WIPO专利公开号WO/2013/169849；以及2013年11月11日提交的名称为“Device,Method,and Graphical User Interface for Transitioning BetweenTouch Input to Display Output Relationships”的国际专利申请序列号PCT/US2013/069483，发布为WIPO专利公开号WO/2014/105276，该每个专利申请据此全文以引用方式并入。
在一些实施方案中，设备500具有一个或多个输入机构506和508。输入机构506和508(如果包括的话)可以是物理形式的。物理输入机构的示例包括下压按钮和可旋转机构。在一些实施方案中，设备500具有一个或多个附接机构。此类附接机构(如果包括的话)可允许将设备500与例如帽子、眼镜、耳环、项链、衬衣、夹克、手镯、表带、手链、裤子、皮带、鞋子、钱包、背包等附接。这些附接机构允许用户穿戴设备500。
图5B示出了示例性个人电子设备500。在一些实施方案中，设备500可包括相对于图1A、图1B和图3描述的部件中的一些或全部部件。设备500具有总线512，该总线将I/O部分514与一个或多个计算机处理器516以及存储器518操作性地耦接。I/O部分514可连接到显示器504，该显示器可具有触敏部件522并且任选地具有强度传感器524(例如，接触强度传感器)。此外，I/O部分514可与通信单元530连接，用于使用Wi-Fi、蓝牙、近场通信(NFC)、蜂窝和/或其他无线通信技术来接收应用程序和操作系统数据。设备500可包括输入机构506和/或508。例如，输入机构506任选地是可旋转输入设备或者可按压输入设备以及可旋转输入设备。在一些示例中，输入机构508任选地是按钮。
在一些示例中，输入机构508任选地是麦克风。个人电子设备500任选地包括各种传感器，诸如GPS传感器532、加速度计534、定向传感器540(例如，罗盘)、陀螺仪536、运动传感器538和/或其组合，所有这些设备均可操作性连接到I/O部分514。
个人电子设备500的存储器518可包括用于存储计算机可执行指令的一个或多个非暂态计算机可读存储介质，该可执行指令当由一个或多个计算机处理器516执行时例如可使得计算机处理器执行下述技术，包括过程700、900、1100、1300和1500(图7A至图7F、图9A至图9K、图11A至图11F、图13A至图13D以及图15A至图15C)。计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质。在一些示例中，存储介质是暂态计算机可读存储介质。在一些示例中，存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘、以及持久性固态存储器诸如闪存、固态驱动器等。个人电子设备500不限于图5B的部件和配置，而是可包括多种配置中的其他部件或附加部件。
如本文所用，术语“示能表示”是指任选地在设备100、300和/或500(图1A、图3和图5A至图5B)的显示屏上显示的用户交互式图形用户界面对象。例如，图像(例如，图标)、按钮和文本(例如，超链接)任选地各自构成示能表示。
如本文所用，术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如，图3中的触摸板355或图4B中的触敏表面451)上检测到输入(例如，按压输入)的情况下，该特定用户界面元素根据所检测到的输入而被调节。在包括能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1A中的触敏显示器系统112或图4A中的触摸屏112)的一些具体实施中，触摸屏上的所检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，由接触进行的按压输入)时，该特定用户界面元素根据所检测到的输入而被调节。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应移动或触摸屏显示器上的接触的移动(例如，通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制的以便递送与用户界面的用户预期的交互(例如，通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触摸板或触摸屏)上检测到按压输入时，焦点选择器(例如，光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。
如说明书和权利要求中所使用的，接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中，特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如，在检测到接触之后，在检测到接触抬离之前，在检测到接触开始移动之前或之后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者：接触的强度的最大值、接触的强度的均值、接触的强度的平均值、接触的强度的前10％处的值、接触的强度的半最大值、接触的强度的90％最大值等。在一些实施方案中，在确定特征强度时使用接触的持续时间(例如，在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中，将特征强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操作。例如，该组一个或多个强度阈值任选地包括第一强度阈值和第二强度阈值。在该示例中，特征强度未超过第一阈值的接触导致第一操作，特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，而特征强度超过第二阈值的接触导致第三操作。在一些实施方案中，使用特征强度与一个或多个阈值之间的比较来确定是否要执行一个或多个操作(例如，是执行相应操作还是放弃执行相应操作)而不是用于确定执行第一操作还是第二操作。
图5C示出了利用多个强度传感器524A-524D检测触敏显示屏504上的多个接触552A-552E。图5C还包括强度图，其相对于强度单位示出了强度传感器524A-524D的当前强度测量值。在该示例中，强度传感器524A和524D的强度测量值均是9个强度单位，并且强度传感器524B和524C的强度测量值均是7个强度单位。在一些具体实施中，累积强度是多个强度传感器524A-524D的强度测量值之和，在该示例中是32个强度单位。在一些实施方案中，每个接触都被分配了相应强度，即累积强度的一部分。图5D示出了基于其与力554中心的距离而向接触552A-552E分配累积强度。在该示例中，接触552A、552B和552E中的每个接触都被分配以累积强度的8个强度单位的接触的强度，并且接触552C和552D的中每个接触都被分配以累积强度的4个强度单位的接触的强度。更一般地讲，在一些具体实施中，每个接触j都根据预定义的数学函数Ij＝A·(Dj/ΣDi)被分配相应强度Ij，其为累积强度A的一部分，其中Dj是相应接触j距力中心的距离，并且ΣDi是所有相应接触(例如，i＝1到最后)距力中心的距离之和。可以利用类似于或等同于设备100、300或500的电子设备执行参考图5C-图5D所述的操作。在一些实施方案中，接触的特征强度基于接触的一个或多个强度。在一些实施方案中，强度传感器用于确定单个特征强度(例如，单个接触的单个特征强度)。应当指出，强度图不是所显示用户界面的部分，而是包括在图5C-图5D中以帮助读者。
在一些实施方案中，识别手势的一部分以用于确定特征强度。例如，触敏表面任选地接收连续的轻扫接触，该连续的轻扫接触从起始位置过渡并到达结束位置，在该结束位置处，接触强度增加。在该示例中，接触在结束位置处的特征强度任选地仅基于连续轻扫接触的一部分，而不是整个轻扫接触(例如，仅结束位置处的轻扫接触的部分)。在一些实施方案中，在确定接触的特征强度之前任选地向轻扫接触的强度应用平滑化算法。例如，平滑化算法任选地包括以下各项中的一种或多种：不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下，这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷，以实现确定特征强度的目的。
任选地相对于一个或多个强度阈值诸如接触检测强度阈值、轻按压强度阈值、深按压强度阈值和/或一个或多个其他强度阈值来表征触敏表面上的接触强度。在一些实施方案中，轻按压强度阈值对应于这样的强度：在该强度下设备将执行通常与点击物理鼠标或触摸板的按钮相关联的操作。在一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高于标称接触检测强度阈值，比标称接触检测强度阈值低的接触不再被检测到)的接触时，设备将根据接触在触敏表面上的移动来移动焦点选择器，而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲，除非另有陈述，否则这些强度阈值在不同组的用户界面附图之间是一致的。
接触特征强度从低于轻按压强度阈值的强度增大到介于轻按压强度阈值与深按压强度阈值之间的强度有时被称为“轻按压”输入。接触特征强度从低于深按压强度阈值的强度增大到高于深按压强度阈值的强度有时被称为“深按压”输入。接触特征强度从低于接触检测强度阈值的强度增大到介于接触检测强度阈值与轻按压强度阈值之间的强度有时被称为检测到触摸表面上的接触。接触特征强度从高于接触检测强度阈值的强度减小到低于接触检测强度阈值的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中，接触检测强度阈值为零。在一些实施方案中，接触检测强度阈值大于零。
在本文中所述的一些实施方案中，响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)执行的相应按压输入来执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到相应按压输入。在一些实施方案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值(例如，相应按压输入的“向下冲程”)来执行相应操作。在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值，并且响应于检测到相应接触的强度随后减小到低于按压输入阈值(例如，相应按压输入的“向上冲程”)来执行相应操作。
图5E-图5H示出了对手势的检测，手势包括与接触562的强度从低于图5E中的轻按压强度阈值(例如，“ITL”)的强度增大到高于图5H中的深按压强度阈值(例如，“ITD”)的强度对应的按压输入。在所显示的包括预定义区域574中显示的应用图标572A-572D的用户界面570上，在与应用2对应的应用图标572B上方显示光标576的同时，在触敏表面560上检测利用接触562执行的手势。在一些实施方案中，在触敏显示器504上检测手势。强度传感器检测触敏表面560上的接触的强度。该设备确定，接触562的强度在深按压强度阈值(例如，“ITD”)以上达到峰值。在触敏表面560上保持接触562。响应于检测到手势，并且根据在手势期间强度升高到深按压强度阈值(例如，“ITD”)以上的接触562，显示最近为应用2打开的文档的尺度减小的表示578A-578C(例如，缩略图)，如图5F-图5H所示。在一些实施方案中，与一个或多个强度阈值相比，强度是接触的特征强度。应当指出，针对接触562的强度图不是所显示用户界面的部分，而是包括在图5E-图5H中以帮助读者。
在一些实施方案中，表示578A-578C的显示包括动画。例如，表示578A一开始显示于应用图标572B的附近，如图5F所示。随着动画的进行，表示578A向上移动，并在应用图标572B附近显示表示578B，如图5G中所示。然后，表示578A向上移动，578B向着表示578A向上移动，并且在应用图标572B附近显示表示578C，如图5H中所示。表示578A-578C形成图标572B上方的阵列。在一些实施方案中，动画根据接触562的强度进展，如图5F-图5G中所示，其中表示578A-578C出现并随着接触562的强度向深按压强度阈值(例如，“ITD”)增大而向上移动。在一些实施方案中，动画进展所依据的强度是接触的特征强度。可以利用类似于或等同于设备100、300或500的电子设备执行参考图5E-图5H所述的操作。
在一些实施方案中，设备采用强度滞后以避免有时被称为“抖动”的意外输入，其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如，滞后强度阈值比按压输入强度阈值低X个强度单位，或滞后强度阈值是按压输入强度阈值的75％、90％或某个合理比例)。因此，在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值(例如，相应按压输入的“向上冲程”)来执行相应操作。类似地，在一些实施方案中，仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入，并且响应于检测到按压输入(例如，根据环境，接触强度增大或接触强度减小)来执行相应操作。
为了容易解释，任选地，响应于检测到以下各种情况中的任一种情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述：接触强度增大到高于按压输入强度阈值、接触强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触强度减小到低于按压输入强度阈值、和/或接触强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中，任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。
如本文所用，“已安装的应用程序”是指已下载到电子设备(例如，设备100、300和/或500)上并准备好在设备上启动(例如，变为打开)的软件应用程序。在一些实施方案中，下载的应用程序利用安装程序而变为已安装的应用程序，已安装的应用程序从下载的软件包提取程序部分并将提取的部分与计算机系统的操作系统集成。
如本文所用，术语“打开的应用程序”或“执行中的应用程序”是指具有保持状态信息(例如，作为设备/全局内部状态157和/或应用程序内部状态192的一部分)的软件应用程序。打开的或执行中的应用程序是任选地以下类型的应用程序中的任一者：
·活动应用程序，其当前显示在其上正在使用该应用程序的设备的显示屏上；
·后台应用程序(或后台进程)，其当前未显示但该应用程序的一个或多个进程正由一个或多个处理器处理；和
·暂停的或休眠的应用程序，其没有运行但具有存储在存储器(分别有易失性和非易失性的)中并且可用于恢复该应用程序的执行的状态信息。
如本文所用，术语“关闭的应用程序”是指不具有保持状态信息的软件应用程序(例如，关闭的应用程序的状态信息不被存储在设备的存储器中)。因此，关闭应用程序包括停止和/或移除应用程序的应用程序过程以及从设备的存储器移除应用程序的状态信息。一般来讲，当在第一应用程序中时，打开第二应用程序并不关闭第一应用程序。在显示第二应用程序并且第一应用程序停止被显示时，第一应用程序变为后台应用程序。
现在将注意力转到在电子设备(诸如便携式多功能设备100、设备300或设备500)上实现的用户界面(“UI”)以及相关联的过程的实施方案。
图6A至图6AF示出了根据一些实施方案的用于发起和参与实时通信会话(例如，来自即时消息应用程序)的示例性用户界面。这些附图中的用户界面被用于示出包括图7A至图7F中的过程的下文描述的过程。
图6A示出了具有触敏显示器602的设备600。在一些实施方案中，设备600包括设备100、300和500的一个或多个特征。在一些实施方案中，设备600还包括相机603，该相机至少包括能够捕获表示光谱的一部分(例如，可见光、红外光或紫外光)的数据的图像传感器。在一些实施方案中，相机603包括多个图像传感器和/或其他类型的传感器。除了捕获表示感测光的数据之外，在一些实施方案中，相机603能够捕获其他类型的数据诸如深度数据。例如，在一些实施方案中，相机603还使用基于斑点、飞行时间、视差或焦点的技术来捕获深度数据。设备600使用相机603捕获的图像数据包括对应于相机视场内的场景的光谱的一部分的数据。另外，在一些实施方案中，捕获的图像数据还包括光数据的深度数据。在一些其他实施方案中，捕获的图像数据包含足以针对光谱的该部分的数据确定或生成深度数据的数据。
在一些示例中，电子设备600包括深度相机(例如，作为相机603的部分)，诸如红外相机、热成像相机或其组合。在一些示例中，该设备还包括光发射设备(例如，光投射器)，诸如IR泛光灯、结构化光投影仪或其组合。可选地，光发射设备用于在通过可见光相机和深度相机(例如，IR相机)捕获图像期间照亮对象，并且来自深度相机和可见光相机的信息用于确定由可见光相机捕获的对象的不同部分的深度图。在一些实施方案中，深度图(例如，深度图图像)包含与场景中的对象距视点(例如，相机)的距离相关的信息(例如，值)。在深度图的一个实施方案中，每个深度像素定义视点的Z轴中其对应的二维像素所在的位置。在一些示例中，深度图由像素组成，其中每个像素由值(例如，0到255)定义。例如，“0”值表示位于“三维”场景中距离视点(例如，相机)最远处的像素，“255”值表示位于“三维”场景中距离视点最近处的像素。在其他示例中，深度图表示场景中的对象与视点的平面之间的距离。在一些实施方案中，深度图包括关于深度相机的视野中感兴趣对象的各种特征的相对深度的信息(例如，用户面部的眼睛、鼻部、嘴巴、耳朵的相对深度)。在一些实施方案中，深度图包括使设备能够确定感兴趣对象在z方向上的轮廓的信息。在一些实施方案中，使用来自两个相机(例如，两个可见光相机)的视差信息显示本文所述的照明效果以用于后向图像，并且使用来自深度相机的深度信息结合来自可见光相机的图像数据以用于前向图像(例如，自拍图像)。在一些实施方案中，当使用两个可见光相机确定深度信息时以及使用深度相机确定深度信息时，使用相同的用户界面，从而即使在使用截然不同的技术确定产生照明效果时使用的信息时，也为用户提供一致的体验。在一些实施方案中，在显示应用了所述照明效果之一的相机用户界面时，设备检测相机切换示能表示的选择并且从前向相机(例如，深度相机和可见光相机)切换到后向相机(例如，彼此间隔开的两个可见光相机)(或反之亦然)，同时保持用户界面控件的显示以应用照明效果并且将前向相机的视场显示替换为后向相机的视场(反之亦然)。
如图6A中所示，设备600显示即时消息应用程序的即时消息用户界面604。即时消息用户界面604包括消息区域606，该消息区域包括在包括三个或更多个参与者的参与者群(“梦之队”)之间的消息对话中的消息608A至608D。
在显示即时消息用户界面604时，设备600接收指示实时通信会话处于活动状态的数据(例如，加入实时通信会话的邀请)，其中实时通信会话可用于“梦之队”组中的参与者。在一些实施方案中，实时通信会话是音频通信会话或音频/视频通信会话。
响应于接收到指示实时通信会话处于活动状态的数据，设备600显示指示实时通信会话处于活动状态的通知。如图6B所示，该通知包括作为来自消息区域606中的参与者Pablo的消息的通知614，指示Pablo发起了实时通信会话。通知614指示具有文本“视频”和视频相机图标的实时通信会话的类型。通知614还指示当前在实时通信会话中处于活动状态的参与者的数量(“1个人处于活动状态”)。在一些实施方案中，通知614指示当前在实时通信会话中处于活动状态的一个或多个参与者的姓名。通知614还包括实时通信加入示能表示614A，其在被选择时使设备600发起用于加入由通知614表示的实时通信会话的过程。下面更详细地描述了用于加入实时通信会话的技术。
可选地，响应于接收到指示实时通信会话处于活动状态的数据，设备600生成指示实时通信会话处于活动状态的音频输出。在一些实施方案中，音频输出不同于与即时消息应用程序相关联的音频输出(例如，所接收消息的通知)和与电话应用程序相关联的音频输出(例如，用于来电的铃声)。在一些实施方案中，音频输出是与消息通知相关联的音频和与来电通知相关联的音频的混合。在一些实施方案中，音频输出与电话呼叫和消息通知的音频输出两者共享音频特性(例如，共同的音调、音符、节奏)。
同样响应于接收到指示实时通信会话处于活动状态的数据，设备600显示实时通信示能表示610。在一些实施方案中，实时通信示能表示610在实时通信会话被发起之前(例如，处于变灰状态下)被显示，并且在实时通信会话被发起时被视觉强调(例如，被突出显示)或被修改(例如，变为非变灰状态)。在一些实施方案中，实时通信示能表示610或选项示能表示612的选择发起用于加入实时通信会话的过程。在一些实施方案中，显示通知614和/或实时通信示能表示610而没有音频和/或触觉输出(例如，电话铃声输出)(例如，因为它正在用户可能已经关注的活动消息对话中显示)。
如图6C所示，随着附加消息被添加到消息区域606中的消息对话，通知614向上移动到消息区域606中的不同位置。在一些实施方案中，设备600将通知614移动到消息区域之外的位置(例如，通知614从消息转换到消息区域606之外的显示器602顶部的横幅)。
在一些实施方案中，设备600响应于满足通知重定位标准而移动通知614。在一些实施方案中，通知重定位标准包括选自以下各项的一个或多个标准：预先确定的时间过去(例如，在显示通知614之后的时间过去)、即时消息用户界面604停止显示、即时消息应用程序被关闭，以及/或者通知614的全部或通知614的一部分被隐藏在消息区域606中(例如，由于新传入消息填充消息区域606)。在一些实施方案中，通知614被移动到显示器602的底部、右侧或左侧。在一些实施方案中，通知614是直接响应于接收到指示实时通信会话可用的数据而在显示器612的顶部附近显示的横幅通知。
在一些实施方案中，设备600接收指示加入实时通信会话的提醒的提醒数据(例如，由参与者在对话中或者在预先确定的时间段之后发送的提醒)。如图6D所示，响应于接收到指示加入实时通信会话的提醒的数据，设备600显示全屏通知616并输出音频输出618。在一些实施方案中，音频输出618不同于与即时消息应用程序相关联的音频输出(例如，所接收消息的通知)和与电话应用程序相关联的音频输出(例如，用于来电的铃声)。在一些实施方案中，音频输出618是与消息通知相关联的音频和与来电通知相关联的音频的混合。在一些实施方案中，音频输出618比与电话应用程序相关联的音频输出(例如，用于来电的铃声)短，并且比与即时消息应用程序相关联的音频输出(例如，所接收消息的通知)长。在一些实施方案中，用于来电的铃声包括相应音频输出的多次重复，并且音频输出618是相应音频输出的单次重复。在一些实施方案中，音频输出618与电话呼叫和消息通知的音频输出两者共享音频特性(例如，共同的音调、音符、节奏)。在一些实施方案中，设备600输出触觉输出。如图6D所示，全屏通知616包括组的名称(“梦之队”)，当前在实时通信会话中处于活动状态的参与者的姓名(“PABLO”和“STEPHEN”)，以及最初发起实时通信会话或发起提醒的参与者的姓名(“PABLO”)。在一些实施方案中，全屏通知616包括已被邀请加入实时通信会话的参与者的姓名(例如，根据他们被添加到该组的次序)。全屏通知616还包括用于加入实时通信会话的回复示能表示620(例如，用于立即加入实时通信会话或显示具有用于加入实时通信会话的选项的菜单)，用于解除全屏通知616的“现在不行”示能表示622，以及用于返回到即时消息用户界面604或向“梦之队”组发送消息的消息示能表示624。全屏通知还包括图像(例如，来自相机603的设备600的用户的视频)(例如，作为用户的图像的预览，一旦加入，将被实时通信会话中的其他参与者看到)。
如图6D所示，设备600接收(例如，检测)与“现在不行”示能表示622的选择对应的用户输入650A(例如，轻击)。如图6E所示，响应于用户输入650A，设备600停止显示全屏通知616并返回到即时消息用户界面604。
如图6E所示，设备600接收(例如，检测)与选项示能表示612的选择对应的用户输入650B(例如，轻击)。响应于接收到用户输入650B，设备600扩展即时消息用户界面604的标头以包括音频示能表示626A、视频加入示能表示626B和组细节示能表示626C。
如图6F所示，设备600接收(例如，检测)与视频加入示能表示626B的选择对应的用户输入650C(例如，轻击)。在一些实施方案中，设备600响应于接收到用户输入650B而直接加入实时通信会话(例如，不需要额外的输入)。在一些实施方案中，设备600加入实时通信会话并同时传输视频和音频。在一些实施方案中，设备600加入实时通信会话并仅传输音频(例如，不传输视频)。在一些实施方案中，响应于音频示能表示626A的选择，设备600以仅音频加入实时通信会话或者对该组的参与者发起单独的电话会议呼叫。
如图6G所示，响应于接收到用户输入650C，设备600显示实时通信应用程序的实时通信界面628。实时通信界面628包括组(“梦之队”)、图像(例如，来自设备600前部的相机(例如，相机603)的设备600的用户的视频)的指示，当前在实时通信会话中处于活动状态的参与者(“PABLO”和“STEPHEN”)的指示，发起实时通信会话的参与者的指示(“来自PABLO的视频通话”)，以及呼叫控制菜单630。呼叫控制菜单630包括处理示能表示631、效果示能表示632、呼叫示能表示634和菜单示能表示636。
如图6G所示，设备600在菜单示能表示636上接收(例如，检测)用户输入650D。如图6H所示，响应于用户输入650D，设备600扩展呼叫控制菜单630以显示与实时通信会话相关的附加信息和控件。在一些实施方案中，设备600响应于在处理示能表示631附近开始的向上轻扫而扩展呼叫控制菜单630。当扩展时，呼叫控制菜单630还包括音频开/关示能表示638、音频源菜单示能表示640、视频开/关示能表示642、组名644(具有组中参与者数量的指示)、组消息示能表示646、包括对应于该组的参与者的示能表示648A至648E的列表648，以及添加参与者示能表示652。在一些实施方案中，响应于接收到对组消息示能表示646的选择，设备600启动和/或显示即时消息用户界面604(例如，图6F)，用于向该组的参与者发送消息。
如图6H所示，列表648中的参与者的示能表示包括相应参与者关于实时通信会话的通信状态的指示。表示648A指示参与者Pablo连接到实时通信会话并且正在提供视频数据(例如，包括视频和音频数据的实时媒体流)。表示648B指示参与者Stephen已连接并提供音频数据(例如，没有视频)。表示648C和648D分别指示参与者Marcel和Allison未连接到实时通信会话(例如，不提供视频和音频数据)。未连接的参与者要么从未加入实时通信会话，要么之前已加入然后离开实时通信会话。示例性参与者通信状态类型包括仅音频(例如，参与者仅使用音频进行通信)；视频(例如，参与者正使用视频和音频进行交谈)；视频暂停(例如，参与者的视频暂停)；视频未解码(例如，由于延迟问题、视频流格式的问题等，无法处理参与者视频流)；离开(例如，参与者已离开实时通信会话)；以及等待加入(例如，参与者被邀请参加实时通信会话但尚未加入实时通信会话)。
在一些实施方案中，实时视频通信的参与者包括该组的当前连接到通信会话的参与者以及该组的当前未连接到实时视频通信会话的参与者。也就是说，无论连接状态如何，该组的所有参与者都被称为实时通信会话的参与者。当实时通信会话处于活动状态时，参与者可加入(连接)或离开(断开)实时通信会话。
如图6I所示，设备600接收(例如，检测)与视频开/关示能表示642的选择对应的用户输入650E(例如，轻击)。如图6J所示，响应于接收到用户输入650E，设备600修改视频开/关示能表示642以指示视频关闭状态，并通过将图6I中的视频相机的表示改变为图6J中的电话的表示来修改呼叫示能表示634以指示仅音频状态。在仅音频状态中，设备600以仅音频加入实时通信会话(例如，设备600不提供视频数据)。
如图6J所示，设备600接收(例如，检测)与呼叫示能表示634的选择对应的用户输入650F(例如，轻击)。如图6K所示，响应于接收到用户输入650F，设备600发起连接以仅音频模式加入实时通信会话。如图6K所示，设备600停止显示扩展的呼叫控制菜单630(例如，设备600减少呼叫控制菜单630)并显示连接屏幕654。在一些实施方案中，设备600响应于视频加入示能表示626B上的用户输入650C，发起连接以加入实时通信会话并显示连接屏幕654。在一些实施方案中，通知614包括示能表示(例如，通知614上的“加入”图标或整个通知614本身是可选择的)。在一些实施方案中，设备600响应于对通知614的选择，发起连接以加入实时通信会话并显示连接屏幕654。
如图6L所示，在设备600加入实时通信会话之后，设备600显示实时通信用户界面656，该实时通信用户界面包括设备600的用户的表示658、参与者Pablo(例如，发起实时通信会话的参与者)的表示670A和参与者Stephen的表示670B。根据列表648中指示的通信状态，参与者Pablo的表示670A包括实时视频流。由于参与者Stephen仅提供音频数据，因此参与者Pablo的表示670B包括头像。在一些实施方案中，实时通信用户界面656上的表示的布局基于当前连接到实时通信会话的参与者的数量(例如，两个参与者和设备600的用户)。图6L中所示的布局被称为2对1布局，其中第一位置对应于表示670A的位置，而第二位置对应于表示670B的位置。
在一些实施方案中，当设备600加入实时通信会话时，设备600确定参与者的数量(例如，活动的或总的(活动的和受邀的))是否超过预定阈值数量。根据确定参与者数量超过阈值，设备600显示具有溢出表示(例如，缩略图)的溢出区域，如下文更详细描述的。另选地，根据确定参与者数量未超过阈值，设备600不显示具有溢出表示的溢出区域。
当设备600已加入实时通信会话时，设备600将实时媒体流传输到其他参与者(例如，已加入实时通信会话的参与者)。当与另一设备相关联的参与者已加入实时通信会话并且设备600也已加入时，设备600接收对应于该参与者的实时媒体流。
如图6L所示，当显示实时通信用户界面656时，设备600在显示器602上接收(例如，检测)用户输入650G(例如，轻击)。如图6M所示，响应于接收到用户输入650G，设备600显示呼叫控制菜单630。表示670A和670B的尺寸减小，并且表示670B和658在显示器602上向上移动，使得呼叫控制菜单630不与表示重叠。与图6L中所示的表示670A和670B垂直对齐并且不重叠的配置相反，当在图6M中显示呼叫控制菜单630时，表示670A和670B彼此偏移并且重叠。
如图6N所示，设备600在呼叫控制菜单630中的菜单示能表示636上接收(例如，检测)用户输入650H(例如，轻击)。如图6O所示，响应于接收到用户输入650H，设备600扩展呼叫控制菜单630(例如，如关于图6H所讨论的)。在一些实施方案中，设备600在呼叫控制菜单630中在未连接到实时通信会话的参与者的表示处显示提醒示能表示。如图6O所示，列表648指示参与者Marcel和Allison未连接到实时通信会话。由于参与者Marcel和Allison(例如，与参与者Marcel和Allison相关联的设备)未连接到实时通信会话，因此扩展的呼叫控制菜单630包括列表648中分别在参与者Marcel和Allison的表示648C和648D处的铃声示能表示662和664。响应于铃声示能表示662或664的选择，设备600使得在设备处提供与对应于所选铃声示能表示的参与者相关联的通知(例如，音频输出，诸如呼叫或铃声)。在一些实施方案中，通知是与发送给参与者的先前通知不同的新通知。在一些实施方案中，新通知比先前通知更具侵扰性(例如，与没有音频或触觉输出的横幅通知相比，音频铃声、触觉输出或全屏通知)。以这种方式，用户可提醒尚未加入实时通信会话的参与者实时通信会话处于活动状态并且可供参与者加入(例如，类似于设备600的用户被如图6D所示的全屏通知提醒的方式)。
如图6O所示，设备600接收(例如，检测)与视频开/关示能表示642的选择对应的用户输入650I(例如，轻击)。响应于接收到用户输入650I，设备600向实时通信会话提供实时视频流(例如，来自设备600上的相机)并修改视频开/关示能表示642以指示视频开启，如图6P所示。在图6Q中，设备600在显示器602上接收(例如，检测)用户输入650J(例如，向下轻扫)以缩小呼叫控制菜单630。如图6R所示，当呼叫控制菜单630缩小时，对应于设备600的用户的表示658包括来自设备600的相机603的视频。
如图6S所示，设备600接收(例如，检测)与呼叫示能表示634的选择对应的用户输入650K(例如，轻击)。响应于用户输入650K，设备600与实时通信会话断开连接。图6T示出了在设备600与实时通信会话断开连接之后显示的即时消息应用程序的即时消息用户界面604的实施方案。尽管设备600已从实时通信会话断开，但实时通信会话保持处于活动状态。在一些实施方案中，只要连接参与者中的至少一个，则即使发起实时视频通信会话的参与者离开会话，实时通信会话也保持处于活动状态。如图6T所示，设备600维持通知614和实时通信示能表示610的显示，指示实时通信会话处于活动状态。更新通知614以指示实时通信会话的持续时间(例如，三分钟和四十二秒，对应于自发起实时通信会话以来的时间量)。
在显示指示实时通信会话处于活动状态的通知614时，设备600接收指示实时通信会话不再处于活动状态(例如，已经结束)的数据。在一些实施方案中，当没有参与者连接到实时通信会话时，实时通信会话结束(例如，已经发起或加入实时通信会话的所有参与者不再连接)。响应于接收到指示实时通信会话不再处于活动状态的数据，设备600停止显示通知614并且/或者更新通知614以指示实时通信会话不再处于活动状态。图6U示出了在实时通信会话结束之后显示的即时消息应用程序的即时消息用户界面604的实施方案(例如，响应于接收到指示实时通信会话不再处于活动状态的数据)。如图6U所示，更新通知614以包括实时通信会话不再处于活动状态并且移除实时通信示能表示610的指示(例如，文本“呼叫结束”)。在一些实施方案中，实时通信示能表示610和/或通知614变灰以指示实时通信会话不再处于活动状态。在一些实施方案中，在实时通信会话结束之后通知614不再为可选择的。在一些实施方案中，在实时通信会话结束之后，通知614保持为可选择的并且可被选择以发起与该组的新的实时通信会话。在一些实施方案中，如果设备600尚未加入实时通信会话，则设备600更新通知614以指示用户错过了实时通信会话(例如，“未接来电”)。
如图6U所示，设备600接收(例如，检测)与返回示能表示611的选择对应的用户输入650L(例如，轻击)。如图6V所示，响应于接收到用户输入650L，设备600显示即时消息应用程序的用户界面671，其包括用于访问相应消息对话的示能表示673A至673G的列表673。示能表示673D对应于一个群三个参与者(Matthew、Danielle和设备600的用户)之间的消息对话。示能表示673D包括实时通信指示符675，其指示该组存在活动的实时通信会话。相反，由于“梦之队”的实时通信会话不处于活动状态，因此对应于“梦之队”的示能表示673A不包括实时通信指示符675。
现在转向图6W，设备600被示为显示除即时消息用户界面604之外的界面。在图6W中，设备600显示锁定屏幕668，指示设备600处于锁定状态。锁定屏幕668包括通知677A和677B。通知677A指示五分钟前收到来自用户John Appleseed的消息。通知677B表示不再可用于加入的实时通信会话(例如，错过的视频通话)。错过的视频通话通知包括受邀参与者(John、Amy和Rodrigo)、实时通信会话的状态(“错过”)以及实时通信会话发起或结束的时间(“1小时前”)的指示。在锁定状态下，设备600不显示活动应用程序。
当处于锁定状态时，设备600接收指示实时通信会话可用于加入的数据。在一些实施方案中，设备600对接收指示实时通信会话可用于加入的数据的响应取决于设备600的上下文、可用的实时通信会话或其他因素。在一些实施方案中，根据两个参与者之间可用的实时通信会话(例如，一对一通信会话)，设备600显示第一类型的通知。如图6X所示，第一类通知包括全屏通知672和音频输出674。在一些实施方案中，音频输出674不同于与电话呼叫通知相关联的音频输出和与消息通知相关联的音频输出。在一些实施方案中，音频输出674与电话呼叫和消息通知的音频输出两者共享音频特性(例如，共同的音调、音符、节奏)。另选地，根据在三个或更多个参与者之间可用的实时通信会话(例如，组实时通信会话)，设备600显示第二类型的通知。如图6Y所示，第二类型的通知包括横幅通知676(例如，不是全屏)和触觉输出678(例如，但没有音频输出)。在一些实施方案中，根据在三个或更多个参与者之间可用的实时通信会话(例如，组实时通信会话)，设备600最初显示全屏通知(例如，类似于图6E中所示的全屏通知616)，然后显示(例如，转换到)横幅通知676。在一些实施方案中，通知676包括当被选择时发起用于加入对应的实时通信会话的过程的示能表示(例如，如上文参考图6F至图6L所述)。
与对应于错过的视频通话的通知677B相反，通知676对应于活动的实时通信会话。通知676包括组(“梦之队”)、执行触发通知的展示的动作的参与者(Pablo)以及实时通信会话的发起时间(“现在”)的指示。在一些实施方案中，通知676更新以准确地反映发起实时通信会话的时间和实时通信会话的状态。在一些实施方案中，当通知676表示的实时通信会话结束时，通知676的文本从“加入该来自PABLO的视频通话”更新为“错过来自PABLO的视频通话”。
在一些实施方案中，根据确定未显示活动应用程序(如图6W所示)，设备600响应于接收到指示实时通信会话可用于加入的数据而显示全屏通知。在一些实施方案中，根据确定正在显示活动应用程序(例如，即时消息应用程序)，设备600显示非全屏通知(例如，横幅通知)。
在一些实施方案中，根据确定向设备600的用户发出警报，设备600输出警报(例如，通知或音频或触觉输出)；并且根据确定不向设备600的用户发出警报，设备600避免输出警报。在一些实施方案中，向用户发出警报的确定基于干扰标准(例如，设备处于锁定状态还是解锁状态)。在一些实施方案中，根据设备600处于锁定状态(例如，如图6Y所示)，设备输出警报(例如，触觉输出678)；并且根据设备600处于解锁状态(例如，如图6Z所示)，设备600显示通知(例如，横幅通知676)并且避免提供警报(例如，没有触觉输出)。
在一些实施方案中，干扰标准指示用户是否正看向设备600(例如，基于来自设备600前部的传感器的数据)。图6AA示出了握持设备600的用户684。用户的注视680不指向设备600。设备600确定用户684是否没有看向设备600，并且根据确定用户684没有看向设备600，设备600提供非视觉通知682(例如，触觉或音频输出)。如图6AB所示，用户的注视680指向设备600。根据确定用户684正看向设备600，设备600避免提供非视觉通知(例如，设备600在没有触觉或音频输出的情况下显示横幅通知)。在一些实施方案中，设备600使用被配置为识别用户的面部的图像传感器来确定用户是否正看向设备600。
转到图6AC至图6AF，设备600A包括显示器602A(例如，触敏显示器)、可旋转输入机构601A和机械按钮601B。在一些实施方案中，设备600A包括设备100、300、500或600的特征。在一些实施方案中，设备600A与设备600通信(例如，经由双向无线通信)。在一些实施方案中，设备600A与设备600处于配对关系。
在一些实施方案中，设备600A(例如，从设备600)接收指示三个或更多个参与者可用的实时通信会话处于活动状态的数据。如图6AC所示，响应于接收到指示实时通信会话处于活动状态的数据，设备600A显示用户界面604A，该用户界面包括通知605、实时通信加入示能表示607和解除示能表示609。在一些实施方案中，通知605包括上述通知614的特征(例如，参与者姓名、参与者数量、触发通知的参与者姓名)。在一些实施方案中，设备600A响应于接收到指示实时通信会话处于活动状态的数据而生成音频和/或触觉输出。在一些实施方案中，设备600A响应于接收到指示实时通信会话处于活动状态的数据，生成与设备600生成的音频和/或触觉输出不同的音频和/或触觉输出。在一些实施方案中，响应于接收到指示实时通信会话处于活动状态的初始数据，在设备600处(例如，不在设备600A处)提供实时通信会话处于活动状态的通知(例如，显示、音频和/或触觉输出)，并且响应于接收到指示实时通信会话处于活动状态的提醒的提醒数据，在设备600和设备600A处都提供通知。在一些实施方案中，响应于接收到指示实时通信会话处于活动状态的初始数据，在设备600和设备600A处都提供实时通信会话处于活动状态的通知(例如，显示、音频和/或触觉输出)，并且响应于接收到指示实时通信会话处于活动状态的提醒的提醒数据，在设备600处(例如，不在设备600A处)提供通知。
在一些实施方案中，设备600A接收与实时通信加入示能表示607的选择对应的用户输入(例如，在实时通信示能表示617上的轻击)。响应于接收到实时通信加入示能表示607的选择，设备600A使设备600和/或设备600A加入实时通信会话或发起加入实时通信会话的过程。在一些实施方案中，响应于接收到实时通信加入示能表示607的选择，设备600A使设备600显示实时通信用户界面628(图6G)、654(图6K)或656(图6L)。
图6AD示出了在加入实时通信会话之后在设备600A上显示的用户界面604A。在一些实施方案中，设备600A包括供用户经由设备600A向实时通信会话提供音频输入的麦克风。在图6AD中，用户界面604A包括音量控制611、参与者的指示613(“PABLO”和“2个其他人”)和实时通信会话的持续时间(“9:45”)、结束呼叫示能表示615、音频开/关示能表示617，以及菜单示能表示619。
在图6AE中，设备600A接收(例如，检测)用户输入650M(例如，在菜单示能表示619处或附近开始的向上轻扫手势)。如图6AF所示，响应于接收到用户输入650M，设备600A修改指示613(“参与人数4”)并显示键盘示能表示621、音频源示能表示623(例如，使用设备600参与实时通信会话)，以及实时通信会话的参与者的列表625(例如，加入和/或邀请的参与者)。在一些实施方案中，设备604A响应于在图6AC中的用户界面604上接收到用户输入650M(例如，在加入实时通信会话之前)而显示列表625。在一些实施方案中，列表625包括参与者的通信状态的指示。在一些实施方案中，列表625包括提醒示能表示，其可被选择为向尚未加入实时通信会话的参与者发送提醒通知。
图7A至图7F为示出根据一些实施方案的方法的流程图。在具有显示器的设备(例如，100、300、500、600)处执行方法700。方法700中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下所述，方法700尤其提供用于为多个参与者之间的实时通信会话提供交互式通知(例如，614、672、676)的直观方式。该方法减少了用户使用创新技术为多个参与者之间的实时通信会话提供通知的认知负担，从而创建更有效的人机界面。对于电池供电的计算设备，使用户能够与通知快速交互以使多个参与者之间的实时通信会话更快且更有效，因此节省电力并增加电池充电间的时间。
在框702处，设备显示即时消息应用程序的即时消息用户界面(例如，604)。即时消息用户界面(例如，604)包括消息区域(例如，606)。该消息区域包括在三个或更多个参与者之间的消息对话中的多个消息(例如，608A至608D)。
在框704处，设备接收指示三个或更多个参与者可用的实时通信会话(例如，音频通信会话或音频/视频通信会话)处于活动状态的第一数据。在一些实施方案中，实时通信会话的参与者具有“当前加入”状态(例如，向其他参与者提供实时媒体流；也称为“已连接”或“活动”)或“当前未加入”(例如，从未加入会话或之前已加入会话然后离开会话的参与者；也称为“未连接”或“已邀请”)。在一些实施方案中，实时通信会话的参与者包括当前已加入实时通信会话的参与者和当前未加入实时通信会话的参与者(例如，648A至648D)。当实时通信会话处于活动状态时，参与者加入(连接)或离开(断开)实时通信会话。当与另一设备相关联的参与者已加入实时通信会话时，设备接收对应于该参与者的实时媒体流。当设备的用户已加入实时通信会话时，设备将实时媒体流传输到其他参与者(例如，已加入实时通信会话的参与者)。在一些实施方案中，只要连接参与者中的至少一个，则实时通信会话保持处于活动状态(例如，即使发起实时通信会话的参与者离开会话)。
在框706处，响应于接收到指示三个或更多个参与者之间的实时通信会话处于活动状态的第一数据，设备显示指示实时通信会话处于活动状态的通知(例如，614)。在一些实施方案中，指示实时通信会话处于活动状态的通知包括实时通信加入示能表示(例如，614A)。在一些实施方案中，通知包括实时通信会话中的参与者的数量的指示(例如，在会话中处于活动状态的参与者的数量；被邀请参加会话的参与者的数量)。在一些实施方案中，通知包括参与者的指示(例如，姓名、姓名缩写、照片或头像)，其执行触发在显示器上展示通知的动作(例如，发起实时通信会话的参与者，或者选择“再次响铃”按钮等以提醒设备的用户加入实时通信会话的参与者)。在一些实施方案中，响应于接收到指示三个或更多个参与者之间的实时通信会话处于活动状态的第一数据，设备经由设备的一个或多个音频输出设备生成指示实时通信会话处于活动状态的音频输出(例如，618)，其中指示实时通信会话处于活动状态的音频输出不同于与电话呼叫通知相关联的音频输出和与消息通知相关联的音频输出。在一些实施方案中，指示实时通信会话处于活动状态的音频输出与电话呼叫和消息通知的音频输出两者共享音频特性(例如，共同的音调、音符、节奏)。显示指示实时通信会话处于活动状态的通知(例如，614)并且/或者生成指示实时通信会话处于活动状态的音频输出(例如，618)向用户提供关于实时通信会话的当前状态的反馈，并向用户提供视觉反馈，该视觉反馈指示如果用户激活通知(例如，当通知包括加入示能表示时)，则将执行与通知和/或实时通信会话相关联的某些操作。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框704处，设备在消息区域中的第一位置处显示指示实时通信会话处于活动状态的通知(例如，606)。在一些实施方案中，指示实时通信会话处于活动状态的通知(例如，614)包括实时通信加入示能表示(例如，614A)。
在框710处，在显示指示实时通信会话处于活动状态的通知(例如，614)的同时，设备接收指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据。
可选地，在框712处，设备将指示实时通信会话处于活动状态的通知从第一位置(例如，消息区域606的底部)移动到第二位置(例如，消息区域606的中间或顶部，或者显示器(602)的顶侧、底侧、右侧和/或左侧)。在一些实施方案中，响应于满足通知重定位标准，发生移动通知(例如，614)。在一些实施方案中，通知重定位标准包括一个或多个标准，诸如预先确定量的时间过去(例如，在显示通知之后的时间过去)、即时消息用户界面(例如，604)停止显示、即时消息应用程序被关闭、由于填充消息区域(例如，606)的新传入消息等而使整个通知(例如，614)或通知(例如，614)的一部分被隐藏在消息区域(例如，606)中。移动指示实时通信会话处于活动状态的通知向用户提供关于实时通信会话的当前状态的反馈，向用户提供视觉反馈，该视觉反馈指示将执行与通知和/或实时通信会话相关联的某些操作(如果选择的话)，并且减少执行操作所需的输入数量。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，减少执行操作所需的输入数量还增强设备的可操作性，并且使用户-设备界面更高效(例如，通过为用户提供更多可用的输入并减少输入的数量)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且改善了设备的电池寿命。
可选地，在框714和716处，设备接收对应于实时通信加入示能表示(例如，614A或626B)的选择的第一用户输入(例如，650C)。响应于接收到对应于实时通信加入示能表示的选择的第一用户输入，设备加入实时通信会话(例如，加入实时通信会话并从电子设备同时传输视频和音频并且/或者加入实时通信会话且仅从电子设备传输音频(不传输视频))。响应于接收到包括在通知中的实时通信加入示能表示的选择而加入实时通信减少了执行加入实时通信会话的操作所需的输入的数量。减少执行操作所需的输入数量还增强设备的可操作性，并且使用户-设备界面更高效(例如，通过提供更多用户可用的输入并减少加入实时通信会话所需输入的数量)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且改善了设备的电池寿命。
可选地，在框718和720，设备接收指示加入实时通信会话的提醒的提醒数据(例如，图6D)(例如，由参与者在对话中或者在预先确定的时间段之后发送的提醒)。响应于接收到指示加入实时通信的提醒的提醒数据(例如，提醒由对话中的参与者发送)，设备经由设备的一个或多个音频输出设备生成指示实时通信会话处于活动状态的音频输出(例如，618)(例如，电话铃声输出)。在一些实施方案中，结合重新显示通知(例如，616)生成音频输出(例如，618)。在一些实施方案中，在接收到提醒数据时，通知的显示正在进行。在一些实施方案中，指示实时通信会话处于活动状态的音频输出不同于与电话呼叫通知相关联的音频输出和与消息通知相关联的音频输出。在一些实施方案中，指示实时通信会话处于活动状态的音频输出与电话呼叫和消息通知的音频输出两者共享音频特性(例如，共同的音调、音符、节奏)。在一些实施方案中，指示实时通信会话处于活动状态的初始音频输出与指示实时通信会话处于活动状态的提醒音频输出(例如，基于选择“铃声”示能表示的参与者生成的音频输出)不同(例如，更短、更安静或更低强度)。在一些实施方案中，指示实时通信会话处于活动状态的初始音频输出是用于电话呼叫的重复音频输出的单次重复以及指示实时通信会话处于活动状态的提醒音频输出是用于电话呼叫的重复音频输出的多次重复，或者与用于电话呼叫的音频输出相同。在一些实施方案中，响应于接收到指示加入实时通信的提醒的提醒数据，设备显示发起提醒的实时通信会话中的参与者的指示(例如，姓名、姓名缩写、照片或头像)。当满足规定条件时生成包括音频输出的提醒允许用户在他们错过视觉通知(例如，614)时快速识别实时通信会话可用。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框722和724，在通知包括菜单访问示能表示(例如，626B)的实施方案中，设备接收对应于菜单访问示能表示的选择的第二用户输入(例如，650C)。该设备响应于接收到对应于菜单访问示能表示的选择的第二用户输入，显示包括视频加入选项(例如，634)(例如，示能表示、下拉菜单、复选框)和仅音频选项(例如，642)(例如，示能表示、下拉、复选框)的菜单(例如，630)。响应于接收到菜单访问示能表示的选择而显示包括用于加入实时通信会话的不同选项的菜单，提供附加控制选项而不由于附加显示的控件使UI杂乱。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框726和728处，设备在显示菜单(例如，630)的同时接收第三用户输入。根据对应于视频加入选项(例如，634)的选择的第三用户输入(例如，650F)，设备使用从电子设备传输的音频和视频加入实时通信会话。在一些实施方案中，设备提示用户检查他们是否想要以仅音频和/或仅视频加入(例如，“你想以视频加入吗？”)。当满足规定的条件(例如，响应于视频加入选项被选择)时，使用从电子设备传输的音频和视频加入实时通信会话允许用户使用音频和视频加入实时通信会话，而无需用户选择或修改设备的额外的输入和输出(例如，打开相机以及/或者打开麦克风)。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框730，根据与仅音频加入选项(例如，642)的选择对应的第三用户输入，设备使用从电子设备传输的音频(例如，由设备的一个或者多个麦克风记录的音频)加入实时通信会话，而不从电子设备传输视频数据。在一些实施方案中，设备显示用户使用仅音频加入实时通信的指示符(例如，图6L中的658)。这使得用户感到舒适，因为视频未被共享)。当满足规定的条件时，使用从电子设备传输的音频加入实时通信会话允许用户使用仅音频加入实时通信会话，而无需用户选择或修改设备的额外的输入和输出(例如，关闭相机以及/或者打开麦克风)。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框732，响应于接收到指示三个或更多个参与者之间的实时通信会话不再处于活动状态的第二数据，设备停止显示通知(例如，614)或更新通知以指示实时通信会话不再处于活动状态。在一些实施方案中，当实时通信会话处于活动状态时，更新通知以指示实时通信会话的当前持续时间。在一些实施方案中，当实时通信会话不再处于活动状态时，通知停止显示会话的持续时间并显示会话已结束的指示(例如，“呼叫结束”)。响应于接收到指示实时通信会话不再处于活动状态的数据而停止显示通知，向用户提供视觉反馈，指示与通知和/或实时通信会话相关联的某些操作不再可用。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，响应于接收到指示实时通信会话不再处于活动状态的数据而停止显示通知，在没有进一步用户输入的情况下满足一组条件时自动执行操作。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过减少用户界面上不需要的元素并且帮助用户提供合适的输入以及减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框736、738和740，设备接收指示第二实时通信会话在两个或更多参与者之间可用的第三数据。根据第二实时通信会话在两个参与者之间可用，设备显示指示第二实时通信处于活动状态的第一类型的通知(例如，672)(例如，全屏通知)。在一些实施方案中，第一类型的通知(例如，672)包括菜单(例如，630)，其具有用于视频(例如，634)、仅音频(例如，643)和/或拒绝(例如，622)的选项。根据第二实时通信会话在三个或更多个参与者之间可用，设备显示与第一类型通知不同的指示第二实时通信处于活动状态的第二类型通知(例如，676)。在一些实施方案中，第二类型的通知是横幅通知(例如，676)，其不是全屏的或不是持续全屏的。可选地，在框742处，设备最初以第一状态(例如，全屏状态672)显示第二类型的通知。可选地，在步骤744，设备将第二类型的通知(例如，672)转换为第二状态(例如，676)(例如，持久的非全屏状态(例如，位于显示器顶部边缘的持久性横幅))。基于何时满足规定条件显示实时通信会话处于活动状态的特定类型的通知，允许用户基于规定的条件快速识别实时通信可用同时为用户提供更多和/或更少减少的干扰(例如，当两个参与者之间存在可用的实时通信会话时显示全屏通知，并且当两个参与者之间存在可用的实时通信会话时显示横幅)。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框746、748、750和752处，设备接收指示第三实时通信会话可用的第四数据。响应于接收到指示第三实时通信会话可用的第四数据，根据确定活动应用程序(例如，应用程序(而不是，例如，设备的锁定屏幕(例如，668)或主屏幕(例如，1400))，诸如即时消息应用程序或由除操作系统的开发者之外的应用程序开发者提供的第三方应用程序)，该设备显示指示第三实时通信会话可用的第三类型(例如，非全屏状态(例如，位于显示器的顶部边缘的横幅))通知(例如，614或676)。响应于接收到指示第三实时通信会话可用的第四数据，根据确定未显示活动应用程序(例如，图6W)，设备提供指示第三实时通信会话可用的第四类型的通知(例如，678或全屏通知(例如，616))。基于何时满足规定条件显示实时通信会话的特定类型通知，允许用户基于规定的条件快速识别实时通信可用同时为用户提供更多和/或更少减少的干扰(例如，在设备显示应用程序时显示全屏通知，并在设备未显示应用程序时显示横幅)。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框754、756、758和760处，设备接收指示第四实时通信会话可用的第五数据。响应于接收到指示第四实时通信会话可用的第五数据，根据确定电子设备的当前上下文(例如，设备的当前操作模式(例如，设备是否处于免打扰(DND)模式；某些应用程序或硬件是否在操作上有效；设备是锁定还是解锁；设备的一个或多个传感器是否检测到用户正看向显示器)满足警报发出标准，设备显示第四实时通信会话可用的通知(例如，676)，同时提供第四实时通信会话可用的非视觉通知(例如，678)(例如，音频或触觉输出)。在一些实施方案中，输出或警报对应于通知(例如，614)。响应于接收到指示第四实时通信会话可用的第五数据，根据确定电子设备的当前上下文不满足警报发出标准，设备显示第四实时通信会话可用的通知(例如，614)，而不提供第四实时通信会话可用的非视觉通知(例如，678)。在一些实施方案中，当未发出第一类型的警报时，发出第二类型的警报(例如，视觉警报，诸如横幅通知(例如，676))。在一些实施方案中，设备的相关上下文是设备处于锁定状态还是解锁状态。在一些实施方案中，当设备被锁定时，发出第一类型的警报(例如，音频或触觉输出)；当设备被解锁时(例如，当用户主动操作设备/与设备交互时)，不发出(例如，抑制)警报。在一些实施方案中，设备的相关上下文是设备是否检测到(例如，经由一个或多个传感器(例如，相机、红外传感器))用户是看向显示器还是没有。在一些实施方案中，当设备被锁定时，发出第一类型的警报(例如，音频或触觉输出)。在一些实施方案中，当设备检测到用户没有看向显示器时(例如，图6AA)，生成第一类型的警报(例如，682)。在一些实施方案中，当用户主动操作设备/与设备交互时(例如，图6AB)，不生成(例如，抑制)第一类型的警报。
在一些实施方案中，警报发出标准包括设备被锁定以便满足警报发出标准的要求。在一些实施方案中，警报发出标准包括设备不检测用户对设备的注意力以便满足警报发出标准的要求。(例如，基于检测到的具有电子设备的输入设备的用户输入，基于经由注视跟踪、面部跟踪等检测到的用户注视(例如，680))。基于何时满足规定条件显示通知(例如，614)并确定是否提供非视觉通知，允许用户基于规定条件快速识别实时通信可用同时为用户提供更多和/或更少的干扰。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
需注意，上文相对于方法700所述的过程(例如，图7A至图7F)的详情也可以类似方式适用于下文所述的方法。例如，方法700任选地包括以下参考方法900、1100、1300和1500所述的各种方法的一个或多个特征。例如，方法700可使用方法1300和1500来启动实时通信会话，并且开始和运行实时通信会话可包括方法900和1100。为了简明起见，这些详情在下文中不再重复。
图8A至图8BK示出了根据一些实施方案的用于实时通信会话的示例性用户界面。这些附图中的用户界面被用于示出包括图9A至图9K中的过程的下文描述的过程。
图8A示出了显示用于组“梦之队”之间的消息对话的即时消息用户界面604的设备600。该组的参与者之间的实时通信会话不处于活动状态(例如，如缺少实时通信示能表示610所指示的)。如图8A所示，即时消息用户界面604的标头被扩展以显示视频加入示能表示626B(如上所述)。如图8A所示，设备600接收与显示参与者群“梦之队”的参与者之间的实时通信会话的用户界面的请求对应的用户输入850A(例如，在视频加入示能表示626B上的轻击)。如图8A所示，该请求包括开始新的实时视频通信会话的请求。在一些实施方案中，该请求包括加入现有实时通信会话的请求(例如，如上文关于图6F所描述的)。
响应于用户输入650A，设备600在消息区域606中显示消息800以及正在发起实时通信会话的指示802。在一些实施方案中，消息800包括上述通知614的一些特征。一旦发起实时通信会话，设备600就显示实时通信用户界面804，其同时包括实时通信会话中的参与者的多个表示。
根据确定实时通信会话中的参与者数量包括大于阈值的参与者数量(例如，多于五个参与者，包括设备600的用户)，设备600以大于相应阈值尺寸的一个或多个尺寸(例如，三个不同尺寸)同时显示除设备600的用户之外的第一多个参与者的表示，而在溢出区域中显示第二多个参与者的表示，其中第二多个参与者包括未包括在第一多个参与者中的一个或多个参与者，并且在溢出区域中显示的一个或多个其他参与者的表示以小于相应阈值尺寸的尺寸显示。
在图8A至图8BK所示的实施方案中，参与者的阈值数量是五个参与者(包括设备600的用户)。由于组“梦之队”包括十五个参与者，因此设备600确定实时通信会话中的参与者数量包括大于阈值的参与者数量。如图8C所示，根据该确定，实时通信用户界面804包括除了在画布区域811中显示的设备600的用户之外四个相应参与者的四个主要表示810A至810D(统称为810)的4对1布局、设备600的相机视图的用户表示806(对应于设备600的用户)，以及具有对应于除设备600的用户之外的实时通信会话的参与者和在画布区域811中表示的参与者的溢出表示822A至822J(统称为822)的溢出区域820、在任何时候显示的其子集(例如，822A至822D)。在一些实施方案中，布局是多个预定义布局中的一个，其中参与者的表示锚定在用户界面804中的不同位置处。图8AW示出了用户界面804的另一个实施方案。在图8AW所示的实施方案中，溢出区域820包括除了设备600的用户之外的实时通信会话的所有参与者的溢出表示，使得在画布区域811中表示的参与者也在溢出区域820中表示。
如果该组中的参与者数量小于或等于五，则根据确定实时通信会话中的参与者数量小于或等于五，设备600显示参与者的主要表示和设备600的用户的表示，而在溢出区域中不显示溢出表示。
主要表示810中的每一个以三个预先确定的表示尺寸(小、中等和大)之一显示。主要表示810A以小尺寸显示，主要表示810B以大尺寸显示，并且主要表示810C和主要表示810D以中等尺寸显示。在图8C中，主要表示810中的每一个与至少一个其他主要表示重叠。溢出表示822全部以相同尺寸显示，其小于与主要表示810相关联的小表示尺寸。在例示的实施方案中，上面提到的相应阈值尺寸大于溢出表示822的尺寸并且小于主要表示810的小表示尺寸。用户表示806与溢出表示822具有相同的尺寸，并且与溢出区域820对齐或显示在该溢出区域内。
如图8C所示，实时通信会话用户界面804一次显示三个完全溢出表示和一个部分溢出表示。剩余的溢出表示是隐藏的，并且可通过滚动溢出区域820来显示(例如，响应于用户输入或检测到的事件，诸如参与者通过谈话或移动主动参与)。在图8C中，溢出表示820D被部分地阴影化以指示存在更多溢出表示以及/或者可以滚动溢出区域820。在一些实施方案中，溢出区域820中的溢出表示822的次序取决于参与者加入实时通信会话的次序。在一些实施方案中，溢出区域820中的溢出表示822的次序随时间改变(例如，由于例如溢出表示的用户选择或者在溢出区域中表示的参与者的主动参与，当参与者加入或离开实时通信会话时或者当参与者移入或移出画布区域811时，如下文更详细地描述的)。在一些实施方案中，溢出区域820中的溢出表示的次序是固定的(例如，显示溢出表示的次序不随时间改变)。在一些实施方案中，溢出表示的次序基于与组相关联的列表的次序(例如，在创建组时将参与者添加到组的次序)。在一些实施方案中，主要表示810的显示(例如，实时视频馈送)以比溢出表示822的显示更高的速率更新。
图8C示出了在实时通信会话发起之后不久并且在任何参与者(除了与设备600相关联的参与者之外)加入实时通信会话之前的实时通信会话界面804。如图8C所示，主要表示810和溢出表示822包括未与实时通信会话连接的参与者的占位符。如图8C所示，占位符包括具有参与者姓名(例如，名字或第一个和最后一个首字母)和着色对象的指示的表示。在一些实施方案中，每个着色对象的颜色和/或图案是不同的或者选自一组预定义的颜色和/或图案。可选地，占位符包括指示参与者正在等待连接到实时通信会话的状态指示符，以及用于向对应的参与者发送实时通信会话可用的提醒的提醒示能表示(“铃声”)。在一些实施方案中，提醒示能表示最初不包括在占位符上，并且根据确定在预先确定的时间段之后对应参与者未加入实时通信会话来显示。
如图8C所示，设备600接收(例如，检测)与主要表示810C的选择对应的用户输入850A(例如，轻击)。如图8D所示，响应于接收到用户输入850A，设备600修改主要表示810C以包括附加识别信息(例如，参与者的名字，Marcel)和用于向对应的参与者发送实时通信会话可用的提醒的提醒示能表示808A。
图8D还示出了对应于主要表示810B的参与者加入实时通信会话。在一些实施方案中，设备600接收指示对应于主要表示822B的参与者已加入实时通信会话的数据。如图8D所示，响应于与主要表示822B对应的参与者加入实时通信会话，设备600用来自对应参与者的实时视频数据替换主要表示822B的占位符。在一些实施方案中(例如，图8AX)，设备600用来自参与者的实时视频数据替换对应于参与者的溢出表示822B。如本文所用，短语“来自参与者的实时视频数据”(或其等同物)包括由与参与者相关联的设备(例如，智能电话、膝上型计算机、台式计算机或平板电脑)或由与参与者关联账户(例如，电子邮件账户或云存储账户)相关联的设备传输的实时视频数据。
如图8D所示，设备600接收(例如，检测)与提醒示能表示808的选择对应的用户输入850B(例如，轻击)。响应于输入850B，设备600发送指令以引起新通知(例如，呼叫、铃声等)，其指示实时通信会话在与对应参与者相关联的设备处可用，其中新通知不同于先前发送给参与者的通知。在一些实施方案中，新通知比先前通知更具侵扰性(例如，与没有音频或触觉输出的横幅通知相比，音频铃声、触觉输出或全屏通知)。在图8D中，设备600还在主要表示810D上显示提醒示能表示808B，以指示对应于主要表示810D的参与者当前正被提醒实时通信会话可用(例如，由于当前连接到实时通信会话的另一参与者发送的提醒，诸如由主要表示810B表示的参与者或者由设备600的用户先前发送的提醒)。设备600还修改提醒示能表示808A以指示正在通知对应的参与者(例如，通过用“响铃”替换“铃声”，如图8E所示)。
如图8E所示，根据确定自实时通信会话开始起经过预先确定时间段，设备600停止显示溢出表示822并增加用户表示806的尺寸。在一些实施方案中，当移除溢出表示822时，主要表示810被调整尺寸和/或移动。在例示的实施方案中，主要表示810D被向下移动。在一些实施方案中，设备600根据确定当前加入实时通信会话的参与者的数量小于或等于参与者的阈值数量(例如，五个参与者，包括设备600的用户)来停止显示溢出表示822。
在对应于图8E的时间，有两个参与者加入了实时通信会话。在一些实施方案中，在进一步的时间量之后，设备600停止显示主要表示810中的一个并且将实时通信用户界面804的布局改变为3对1布局。在一些实施方案中，4对1布局和3对1布局在一组预先确定的布局中，其具有主要表示810的相似相对放置。在一些实施方案中，具有主要表示的相对相似放置包括当在该组内的布局之间存在过渡(例如，表示在一个布局中的位置与该表示在同一组的另一个布局中的位置重叠)时，主要表示保持在用户显示器602上的相似位置中的放置。
在一些实施方案中，设备600基于以下因素来确定要移除哪个主要表示：对应参与者是否已加入实时通信会话(例如，如果对应参与者已加入则不移除表示)、是否已提醒参与者(例如，在选择对应的提醒示能表示之后的预先确定时间量之前，将不会移除已提醒的参与者的表示)、参与者在参与者列表中的放置(例如，列表中较早的参与者的表示在列表中稍后的参与者的表示之前移除)以及该表示在实时通信用户界面804上的放置(例如，更靠近显示器602顶部的表示在显示器602上较低的表示之前移除)。如图8F所示，设备600停止显示主要表示810A并向上移动主要表示810B(例如，以减少表示810B和810C之间的重叠)，同时维持其余表示的相对垂直次序(例如，表示810B大于并高于表示810C，并且表示810C高于表示810D并与其具有相同尺寸)。图8F还示出了提醒示能表示808A被修改为“再次响铃”，其指示对应的参与者已被提醒至少一次并且当前未被提醒。提醒示能表示808B也被修改(例如，从“响铃”到“铃声”和不同颜色)以指示对应的参与者先前已被提醒，但不是被设备600的用户提醒。
在对应于图8F的时间，仍然只有两个参与者加入了实时通信会话。在一些实施方案中，在进一步的时间量之后，设备600停止显示另一个主要表示810并且将实时通信用户界面804的布局改变为2对1布局(例如，在图8E至图8F中示出的同一组预先确定布局中的4对1布局和3对1布局)。如图8G所示，设备600停止显示主要表示810D并且放大主要表示810B和810C。图8G示出了三个参与者(例如，2对1)布局，其中除了设备600的用户之外的两个参与者的主要表示是等同尺寸，并且一个在另一个之上垂直对齐。维持主要表示810B和810C的垂直次序，其中主要表示810B在主要表示810C之上。在图8F的布局中，主要表示之间没有重叠，并且用户表示806与主要表示810C重叠。
在对应于图8G的时间，仍然只有两个参与者加入了实时通信会话。在一些实施方案中，在进一步的时间量之后，设备600停止显示另一个主要表示并且将实时通信用户界面804的布局改变为1对1布局。如图8H所示，设备600停止显示主要表示810C并将主要表示810B放大到全屏尺寸。在一些实施方案中，设备600在选择提醒示能表示808A之后的预先确定时间量处从图8G的布局改变为图8H的布局。图8H示出了两个参与者(例如，1对1)布局，其中其余的主要表示810B以全屏显示并且被用户表示806重叠。如图8H所示，分别与图8E至图8G中所示的4对1布局、3对1布局、2对1布局中的主要表示810和用户表示806的正方形形状相比，其余的主要表示810B和用户表示806是垂直伸长的矩形(例如，沿轮廓取向)。
转到图8I，第三参与者Stephen加入了实时通信会话。如图8I所示，响应于参与者Stephen加入实时通信会话，设备600从图8H的1对1布局的显示转换为2对1布局，其中最近加入的参与者的主要表示810E在现有参与者(除了设备600的用户之外)的表示810B之上。在一些实施方案中，设备600显示通知812并且/或者生成指示参与者已加入实时通信会话的音频或触觉输出，如图8I所示。在一些实施方案中，由于当参与者Stephen加入实时通信会话时显示新的主要表示，因此设备600避免显示通知812或生成音频或触觉输出，这是因为主要表示810E用作参与者已加入实时通信会话的指示。
参与者Stephen以仅音频模式加入实时通信会话，并提供没有视频的实时音频数据。参与者Stephen的仅音频通信状态由主要表示810E和通知812指示。主要表示810E通过显示参与者的姓名和与参与者相关联的头像来指示仅音频通信状态。通知812以文本指示通信状态(“以音频加入此呼叫”)。如图8J所示，设备600停止显示通知812(例如，在参与者Stephen加入实时通信会话后的预先确定时间量之后)。
在一些实施方案中，响应于接收到指示通过仅音频加入的参与者正在主动参与(例如，讲话)的数据，设备600显示正在讲话的参与者的表示上的视觉指示。在图8J中，主要表示810E内的代表性图像(例如，头像)被动画化(例如，具有“语音圈”)以指示参与者Stephen正在讲话。
转到图8K，第四参与者Marcel加入了实时通信会话。如图8K所示，响应于第四参与者加入实时通信会话，设备600从2对1布局转换为3对1布局(例如，如图8F所示)，其中最近加入的参与者的主要表示810F在现有参与者(除了设备600的用户之外)的主要表示810B和810E之上。
参与者Marcel以视频模式加入实时通信会话，并提供实时视频和音频数据。参与者Marcel的视频通信状态由主要表示810F指示。主要表示810F通过显示实时视频流来指示视频通信状态。如图8K所示，设备600不立即显示指示参与者Marcel已加入实时通信会话的通知。
转到图8L，第五参与者Hoan加入了实时通信会话。如图8L所示，响应于参与者Hoan加入实时通信会话，设备600从3对1布局转换为4对1布局，其中最近加入的参与者的主要表示810G作为最小主要表示并定位在主要表示810F的上方和右侧。在一些实施方案中，根据确定参与者Marcel和Hoan都在预先确定的时间窗口内加入了实时通信会话，设备600显示指示参与者Marcel和Hoan已加入实时通信会话的组合通知816，如图8L所示。在一些实施方案中，根据确定参与者以相同的通信状态(例如，视频)加入来显示组合通知816。
如在主要表示810G中显示的实时视频流和通知816中的视频相机的表示816A所指示，参与者Hoan以视频模式加入实时通信会话，使得设备600接收与参与者Hoan相关联的实时视频和音频数据。
如图8L所示，设备600在显示器602上的主要表示810F的位置处接收(例如，检测)用户输入850C(例如，双击)。在一些实施方案中，如图8M所示，响应于接收到用户输入850C，设备600将主要表示810F放大到最大表示尺寸，并将主要表示810E缩小到中等尺寸(同时维持4对1布局)。如图8M所示，设备600停止显示通知816(例如，在参与者Hoan加入实时通信会话之后的预定时间量之后)。
在一些实施方案中，响应于接收到指示参与者正在主动参与实时通信会话的数据，动态地改变布局的配置。在图8M中，设备600接收指示与主要表示810G对应的参与者Hoan正在主动参与的数据。如图8M所示，响应于接收到指示与主要表示810G对应的参与者正在主动参与的数据，设备600将主要表示810G从小表示尺寸放大到中等表示尺寸并且将主要表示810B从中等表示尺寸缩小到小表示尺寸。通过这种方式，4对1布局维持一个小尺寸表示、两个中等尺寸表示和一个大尺寸表示。
如图8M所示，设备600在显示器602上的主要表示810G的位置处接收(例如，检测)用户输入850D(例如，双击)。在一些实施方案中，如图8N所示，响应于接收到用户输入850D，设备600放大主要表示810G并将主要表示810G带到其他显示的主要表示之前的前台。除了用户表示806之外，放大的主要表示810G之后的后台变灰。
如图8O所示，设备600在取消示能表示818上接收(例如，检测)用户输入850E(例如，轻击)。如图8P所示，响应于接收到用户输入850E，设备600减小主要表示810G的尺寸并且将显示返回到在用户输入850D之前显示的4对1布局，不同的是主要表示810G代替被缩小到中等表示尺寸的主要表示801F占据大尺寸主要表示。
转到图8Q，第六参与者加入实时通信会话。如图8Q所示，响应于第六参与者加入实时通信会话，并且根据所连接参与者的数量超过五个参与者的预先确定阈值，设备600在溢出区域820中显示第六参与者的溢出表示822A并将用户表示806移动至溢出区域820，而溢出表示822A移动至用户表示806的左侧。如图8Q所示，溢出表示822A和用户表示806在溢出区域820中居中对齐。在一些实施方案中，设备600用新加入的参与者(例如，第六参与者)的表示替换最小的主要表示(例如，810B)，并在溢出区域820中显示被替换的参与者的溢出表示(例如，表示810B的尺寸减小并且移动至溢出区域820中溢出表示822A的位置)。在一些实施方案中，响应于第六参与者加入实时通信会话，并且根据所连接参与者的数量超过五个参与者的预先确定阈值，设备600在溢出区域中显示当前加入的参与者或所有参与者(当前加入的和受邀的)的溢出表示，如例如图8AY所示。
如图8Q所示，溢出区域820和主要表示810不重叠。在一些实施方案中，为了为溢出区域腾出空间，设备600减小尺寸和/或垂直平移主要表示中的一个或多个。在一些实施方案中，设备600减小中等尺寸主要表示的尺寸并维持小主要表示和大主要表示的尺寸。在一些实施方案中，设备600减小垂直间距并且/或者增加主要表示之间的垂直重叠。
如图8R所示，第七参与者加入实时通信会话。响应于第七参与者加入实时通信会话，设备600将溢出区域820中的第七参与者的溢出表示822B添加到溢出表示822A的左侧。如图8R所示，溢出表示822A和用户表示806向右移动(与图8Q相比)，使得溢出表示822A和822B以及用户表示806在溢出区域820中居中对齐。在一些实施方案中，在溢出表示822A和用户表示806之间，将第七参与者的溢出表示822B添加到溢出表示822A的右侧。在图8AZ所示的实施方案中，响应于第七参与者加入实时通信会话，设备600用主要表示810I替换最小主要表示(例如，图8AY中的810H)，并且将对应于参与者Pablo的溢出表示822F从占位符改变为实时视频流。
如图8S所示，第八参与者加入实时通信会话。响应于第八参与者加入实时通信会话，设备600将溢出区域820中的第八参与者的溢出表示822C添加到溢出表示822B的左侧。如图8S所示，溢出表示822A和822B以及用户表示806向右移动(与图8Q相比)，使得溢出表示822A、822B和822C以及用户表示806在溢出区域820中居中对齐。
如图8T所示，第九参与者加入实时通信会话。响应于第九参与者加入实时通信会话，设备600将溢出区域820中的第九参与者的溢出表示822D添加到溢出表示822C的左侧。如图8T所示，完全显示溢出表示822D、822C和822B以及用户表示806。部分地显示溢出表示822A，其中右侧部分与用户表示806重叠。溢出表示822A被阴影化(例如，具有阴影效果)，其中溢出表示822A满足用户表示806。在例示的实施方案中，溢出表示822和用户表示806的尺寸保持与加入实时通信会话的第七、第八和第九参与者相同。图8T示出了设备600显示组合通知824，其指示参与者Mary、Mick、John和Tom已加入实时通信(分别由溢出表示822A、822B、822C和822D表示)。在一些实施方案中，当附加参与者(例如，超出第九参与者)加入实时通信会话时，新加入的参与者的溢出表示被添加到现有溢出表示的左端，而现有溢出表示在溢出区域820中向右移位为新的溢出表示腾出空间，并且用户表示806保持完全显示在溢出区域820的右侧(例如，现有的溢出表示被滚动到右侧“下方”的用户表示806)。在一些实施方案中，新加入的参与者的溢出表示被添加到现有溢出表示的右端，其中用户表示806保持完全显示在溢出区域820的右侧。在一些实施方案中，如果溢出区域被完全占据，则不立即显示添加到现有溢出表示的右端的新加入参与者的表示(例如，响应于向左侧滚动溢出表示而显示新的溢出表示)。
转到图8U，设备600接收指示与溢出表示822B对应的参与者主动参与实时通信会话的数据。在一些实施方案中，设备600响应于确定主动参与的参与者的活动水平已经增加到高于主要表示所代表的参与者的活动水平而用主动参与的参与者的表示替换主要表示。在例示的实施方案中，响应于接收到指示与溢出表示822B对应的参与者主动参与实时通信会话的数据，设备600用主动参与的参与者的表示替换最小主要表示并显示与被替换的主要表示对应的参与者的溢出表示。如图8U所示，主要表示810B(最小的主要表示)被阴影化或开始淡出；主动参与的参与者的溢出表示822B被阴影化或开始淡出并且尺寸减小；并且当与主要表示810B(被替换的主要表示)的参与者对应的新溢出表示822E从显示器602的左边缘进入溢出区域820到溢出表示822D的左侧时，溢出表示822C和822D向右移位。在一些实施方案中，主要表示810B略微放大(例如，以强调它正被替换)。如图8V至图8W所示，主要表示810B被主动参与的参与者的主要表示810H替换；溢出表示822B继续收缩直到它被移除；并且溢出表示822C和822D继续向右移位直到溢出表示822E被完全显示，并且溢出表示822C占据溢出区域820中先前由移除的溢出表示822B占据的位置。在图8U至图8W中，溢出表示822A和用户表示806保持在相同位置。
在一些实施方案中，响应于设备600的用户主动参与，设备600在视觉上区分用户表示806。在图8AZ所示的实施方案中，设备600显示用户表示806周围的加宽边框并突出显示用户表示806底部的姓名缩写条。
转到图8X，设备600从纵向(垂直)取向旋转到横向(水平)取向。如图8X所示，响应于设备600被旋转，设备600维持在设备600旋转之前占据的显示器602的相应区域中的表示(例如，用户表示以及每个主要表示和溢出表示占据在设备600旋转之前和之后显示器602上的相同区域)。旋转表示内的图像，使得参与者相对于横向取向看起来是直立的。在一些实施方案中，设备600显示主要表示或主要表示内的图像的动画旋转(例如，与设备600的旋转方向相反的90度)。在溢出表示不是正方形的一些实施方案中，参与者的视频数据被裁剪和/或平移以在设备600旋转时将用户的面部包括(例如，居中)在相应的溢出表示中。在主要表示不是正方形的一些实施方案中，参与者的视频数据被裁剪和/或平移以在设备600旋转时将用户的面部居中在相应的主要表示中。在一些实施方案中，参与者的视频数据被裁剪为包括用户的面部(例如，无论设备600是否被旋转，诸如当接收的视频数据具有与其显示所在的表示不同的纵横比或格式时)。
如图8X所示，与主要表示810H对应的参与者开始主动参与。作为响应，设备600放大主要表示810H并缩小主要表示810E的尺寸，如图8Y所示。在图8BA至图8BB所示的实施方案中，设备600在视觉上区分与活跃参与者对应的溢出表示822F(例如，强调的姓名缩写条)。
在一些实施方案中，响应于参与者加入实时通信会话，设备600用新加入的参与者的主要表示替换现有的主要表示，并将替换的参与者移动到溢出区域820。在图8Z中，参与者Pablo加入实时通信会话。作为响应，设备600用新加入的参与者Pablo的主要表示810I替换最小的主要表示810E(Stephen)，并在溢出区域820中显示溢出表示822F(Stephen)。为了为溢出表示822F腾出空间，滚动溢出表示822A、822C、822D和822E(例如，根据图8Z中所示的设备600的取向向上)。如图8Z所示，溢出表示822A不再可见，并且溢出表示822C被用户表示806部分隐藏。
如图8AA所示，设备600从横向(水平)取向旋转到纵向(垂直)取向。作为响应，设备600旋转表示中的参与者的图像，同时维持显示器上每个表示所占据的区域(例如，设备600响应于设备从纵向取向旋转到横向取向而反转所执行的旋转)。
在图8AB中，与主要表示810G对应的参与者离开(断开)实时通信会话。可选地，如图8BC所示的实施方案中所示，作为响应，设备600显示指示参与者已离开实时通信会话的通知828。由于参与者的数量保持大于五，因此设备600以溢出区域820的显示维持4对1布局。如图8AC所示，主要表示810G被具有下一个最高活动水平的参与者Stephen的主要表示810J替换，并且与参与者Stephen对应的溢出表示822F从溢出区域820移除。当移除溢出表示822F时，其余的溢出表示822A、822C、822D和822E向左滚动。在图8BD所示的实施方案中，参与者Hoan的溢出表示822D被更新以显示指示参与者Hoan未连接的占位符以及请求参与者Hoan重新加入的提醒示能表示。
在一些实施方案中，如果当参与者离开实时通信会话时实时通信中的参与者数量从六减少到五，则设备600停止显示溢出区域820，并且可选地，增加主要表示中的一个或多个的尺寸和/或垂直间隔。
在图8AC中，设备600接收(例如，检测)与参与者Allison的溢出表示822E的选择对应的用户输入850F(例如，双击)。如图8AD所示，响应于接收到用户输入850F，设备600在当前显示的主要表示810的4对1布局之前显示参与者Allison的放大表示830。放大表示830的显示类似于图8N中的放大表示810G的显示，不同的是放大表示830不是根据4对1布局中的主要表示提出的。
如图8AD所示，设备600接收(例如，检测)与关闭示能表示818的选择对应的用户输入850G(例如，轻击)。如图8AE至图8AF所示，响应于接收到用户输入850F，设备600显示参与者Allison的主要表示810K代替参与者Stephen的主要表示810J(例如，具有最低活动状态的参与者代替具有当前主要表示的参与者)。主要表示810K(至少最初)包括沿着边缘底部的带(或框格)842A，其包括参与者的姓名和用于放大表示的示能表示(例如，如图8AD所示)。图8AE至图8AF示出了用主要表示810K替换主要表示810J的示例性动画。主要表示810K最初以小表示尺寸显示(类似于图8AC中的主要表示810J)，然后被放大到中等表示尺寸，而主要表示810H从中等减小到小。对应于参与者Allison的溢出表示822E的尺寸减小和/或淡出，而被替换的参与者的溢出表示822F平移到溢出区域820中。在一些实施方案中，停止显示主要表示810J并显示主要表示810K包括从主要表示810J到主要表示810K的交叉渐变和/或用于创建“闪光”效果的色调。图8BE至图8BH示出了利用闪光效果移除主要表示810J的实施方案。
在一些实施方案中，溢出区域820是可滚动的。参考图8BH至图8BI中所示的实施方案，设备600响应于参与者的主动参与而滚动溢出区域820中的溢出表示822，而当前未显示或未完全显示针对该参与者的对应溢出表示。如图8BH所示，参与者的溢出表示822F(对应于主要表示810I)部分地隐藏在溢出区域820中。在图8BH中，对应于主要表示810I的参与者主动参与实时通信会话。如图8BI所示，响应于接收到指示对应于主要表示810I的参与者正在主动参与的数据，设备600放大主要表示810I，滚动溢出表示822，使得溢出表示822F被完全显示(例如，在溢出区域820的显示部分的中间附近)，并通过突出显示溢出表示822F底部的姓名缩写条而在视觉上指示溢出表示822F。
转到图8AG，设备600检测接触850H，该接触在溢出区域820上从右向左水平移动，同时维持与显示器602的接触。如图8AH所示，响应于接收到接触850H，设备600在显示器602上向左滚动溢出表示822，使得溢出表示822F部分地移出显示器602的左边缘，并且溢出表示822A不再与用户表示806重叠。ISE、接触850H和溢出表示822移动相同的水平量。
在滚动溢出区域820时，主要表示810保持不变。而且，用户表示806保持在溢出区域820中。
在图8BJ至图8BK所示的实施方案中，接触850H从溢出区域820的左侧开始并且水平向右移动。作为响应，设备600在显示器602上向右滚动溢出表示822。在图8BJ至图8BK中，当设备600到达用户表示806时，该设备从显示器602移除(例如，不再显示)表示。
转到图8AH，设备600在显示器602上未显示主要表示810的位置处接收(例如，检测)用户输入850I(例如，轻击)。如图8AI所示，响应于接收到用户输入850I，设备600显示呼叫控制菜单832，其包括呼叫示能表示834(例如，以离开实时通信会话)、效果示能表示836、菜单示能表示838和处理示能表示840。
如图8AI所示，呼叫控制菜单832不与溢出区域820和主要表示810重叠。为了为呼叫控制菜单832腾出空间，设备600缩小尺寸和/或垂直平移主要表示810中的一个或多个(例如，减小画布区域811的尺寸)并在显示器602上向上移动溢出区域820。在一些实施方案中，设备600减小中等尺寸主要表示的尺寸并维持小主要表示和大主要表示的尺寸。在一些实施方案中，设备600减小垂直间距并且/或者增加主要表示之间的垂直重叠。
响应于接收到用户输入850I，设备600还在每个主要表示上显示带842A至842D。带842A至842D包括对应参与者的姓名和放大表示的示能表示(例如，如图8O所示)。在一些实施方案中，带842A至842D的垂直高度与主要表示之间的垂直重叠量相同。
如图8AJ所示，设备600接收(例如，检测)与菜单示能表示838的选择对应的用户输入850J(例如，轻击)。在一些实施方案中，用户输入850J包括始于呼叫控制菜单832的向上轻扫(例如，在处理示能表示840上)。如图8AK所示，响应于用户输入850J，设备600扩展呼叫控制菜单832以显示与实时通信会话相关的附加信息和控件，类似于关于图6H中的呼叫控制菜单630所述的附加信息和控件。
如图8AL所示，设备600接收(例如，检测)与效果示能表示836的选择对应的用户输入850K(例如，轻击)。如图8AM所示，响应于接收到用户输入850K，设备600从相机603显示设备600的用户的放大图像843并修改呼叫控制菜单832。在修改的呼叫控制菜单832中，突出显示效果示能表示836，并显示效果选项示能表示844A至844E。在图8AN中，设备600接收(例如，检测)与效果选项示能表示844A的选择对应的用户输入850L(例如，轻击)。如图8AO所示，响应于接收到用户输入850L，设备600修改呼叫控制菜单832以包括头像选项示能表示846A至846C。在图8AO中，设备600接收(例如，检测)与头像示能表示846C的选择对应的用户输入850M(例如，轻击)。如图8AP所示，响应于接收到用户输入850M，设备600在图像843中在用户的脸部上显示效果843A，并滚动呼叫控制菜单832将当前所选头像的示能表示846C居中放置在呼叫控制菜单832中。在图8AP中，设备600在取消示能表示848上接收(例如，检测)用户输入850N(例如，轻击)。如图8AQ所示，响应于接收到用户输入850N，设备600将呼叫控制菜单832返回到图8AN的配置，并且在放大图像843上维持效果843A的显示。在图8AQ中，设备600在放大图像843和呼叫控制菜单832之外的显示器602上接收(例如，检测)用户输入850O(例如，轻击)。如图8AR所示，响应于接收到用户输入850O，设备600停止显示放大图像843并在用户表示806中用户的图像上显示效果843A。当效果843A被激活时，如在图8AR中，设备600的用户的实时视频流包括效果843A。
如图8AR所示，呼叫控制菜单832包括媒体示能表示844E。设备600接收(例如，检测)与媒体示能表示844E的选择对应的用户输入850P(例如，轻击)。如图8AS所示，响应于接收到用户输入850P，设备600修改呼叫控制菜单832以包括媒体选项示能表示852A至852D。在图8AS中，设备600接收(例如，检测)与媒体选项示能表示852A(素描)的选择对应的用户输入850Q(例如，轻击)。响应于接收到用户输入850Q，设备600在画布区域811中显示与媒体选项示能表示852A相关联的媒体内容的表示。
如图8AT所示，响应于接收到用户输入850Q，设备600用所选媒体项的表示810L替换主要表示810K(例如，最小主要表示)。在图8AT中，设备600接收(例如，检测)与解除呼叫控制菜单832的请求对应的用户输入850R(例如，在呼叫控制菜单832上的向下轻扫)。如图8AU所示，响应于接收到用户输入850R，设备600停止显示呼叫控制菜单832。
在一些实施方案中，选择媒体选项示能表示852A使得相关联的媒体内容与实时通信会话的其他参与者共享(例如，在另一参与者的设备的显示器上的画布区域中显示)。在一些实施方案中，实时通信会话的参与者可与共享媒体内容交互(例如，经由实时通信应用程序的用户界面中的一个或多个输入的序列)。图8AV示出了其中附加特征810L-1已被添加到表示810L的媒体内容的实施方案。在一些实施方案中，响应于参与者与表示801L所关联的媒体内容的交互，设备600放大表示801L(例如，类似于主要表示被放大然后被选择的方式或者对应于该表示的参与者主动参与的方式)。如图8AV所示，响应于参与者与相关联的媒体内容的交互，表示810L被放大(与图8AT相比)。图8AV还示出了在实时通信会话中共享的其他内容(例如，两个参与者之间的游戏)的表示810M。
图9A至图9K为示出根据一些实施方案的方法的流程图。在具有显示器的设备(例如，100、300、500、600)处执行方法900。方法900中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下所述，方法900尤其提供用于提供自适应和智能实时通信用户界面的直观方式。此外，方法900尤其为用户提供与实时通信用户界面交互的直观方式。该方法通过基于实时通信中的参与者数量提供自适应和智能实时通信界面减少了用户的认知负担，从而创建一个更有效的人机界面。针对电池驱动的计算设备，使得用户能够基于实时通信中预先确定的参与者数量更快速且更有效地查看实时通信用户界面，节省了功率并增加了电池两次充电之间的间隔。
在框901处，设备接收请求(例如，850A)以显示用于两个或更多个参与者之间的实时通信会话的用户界面。
在框902处，响应于接收到显示用于两个或更多个参与者之间的实时通信会话的用户界面的请求，设备显示实时通信用户界面(例如，804)，包括同时显示实时通信会话中的参与者的多个表示(例如，810A至810D)，其中显示实时通信会话中的参与者的多个表示包括框902和903。在一些实施方案中，实时通信会话用户界面包括与第一参与者相关联的占位符(例如，图8C的810A)(例如，图形占位符(例如，图像或虚拟头像)、文本占位符(例如，姓名或姓名缩写))，该第一参与者已被邀请加入实时通信会话但尚未加入实时通信会话(例如，除了电子设备的用户之外的参与者；尚待加入通信会话且已被发送加入通信会话的邀请的参与者)。在一些实施方案中，如果参与者正在共享包括实时视频流的实时媒体流，则该表示包括实时视频流的图像(例如，图8D的810B)。在一些实施方案中，如果参与者正在以仅音频共享实时媒体流，则该表示包括相应参与者的头像(例如，图8I的810E)。在一些实施方案中，实时通信会话中的参与者的多个表示包括选自仅音频状态(例如，参与者仅使用音频进行通信)、视频状态(例如，参与者使用视频和音频进行谈话)、视频暂停状态(例如，参与者的视频暂停)、视频未解码状态(例如，由于延迟问题、视频流格式的问题等，无法处理参与者视频流)、离开状态(例如，参与者已离开实时通信会话)，以及等待加入(例如，参与者被邀请加入实时通信会话但尚未加入实时通信)状态的用户通信状态。
在框903处，根据确定实时通信会话中的参与者数量包括大于阈值的参与者数量，设备以大于相应阈值尺寸的一个或多个尺寸同时显示除电子设备的用户之外的第一多个参与者的表示(例如，810A至810D)，而在溢出区域(例如，820)中显示第二多个参与者的表示(例如，822)，其中第二多个参与者包括未包括在第一多个参与者中的一个或多个参与者，并且在溢出区域中显示的一个或多个其他参与者的表示以小于相应阈值尺寸的尺寸显示。在一些实施方案中，当前活跃的参与者(例如，图8J的810E)(例如，最活跃的参与者，以满足活跃参与者标准组的方式讲话或移动的参与者)被显示为第一多个参与者的部分。在一些实施方案中，当前活跃的参与者显示在用户界面的主要区域(例如，811)(例如，显示第一多个参与者的区域)中。在一些实施方案中，如果当前未在主要区域中显示的参与者(例如，对应于图8U的822B的参与者)成为当前活跃的参与者，则该参与者的表示显示在主要区域中(例如，图8V的810H)。在一些实施方案中，第一多个参与者的表示(例如，810)以两个或更多个不同的尺寸显示(例如，其中更活跃的参与者或更近期的活跃参与者以比不太活跃的参与者或更久远的活跃参与者更大的尺寸显示)，并且溢出区域中的第二多个参与者的表示(例如，822)以相同的大小显示。
在一些实施方案中，溢出区域(例如，820)还包括第一多个参与者的表示(例如，810A至810D)(例如，在用户界面的主要区域中显示的参与者的表示也在溢出区域中显示)(例如，图8AX)。在一些实施方案中，溢出区域(例如，820)还包括当前未连接到实时通信会话的实时通信会话受邀者的占位符表示(例如，图8AW中的822A)(例如，头像、姓名、姓名缩写)。基于是否满足规定条件(例如，基于实时通信会话是否包括大于参与者的数量)来不同地显示参与者的表示允许用户更容易或更有效地查看实时通信会话中参与者的表示。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框904和905处，设备以第一速率更新第一多个参与者的表示(例如，810A至810D)的显示(例如，表示的布置、位置、尺寸、定位、视觉指示、视觉内容和/或视频馈送)(例如，第一多个参与者的表示是以等于或大于典型视频刷新速率的帧速率诸如24、30或60帧每秒更新的实时视频馈送)，并且以第二速率在溢出区域中更新第二多个参与者的表示(例如，822)的显示(例如，表示的布置、位置、尺寸、定位、视觉指示，表示的视觉内容和/或视频馈送)，其中第二速率低于第一速率。(例如，溢出区域中的缩略图随时间更新，但是采用小于画布区域811中的多个参与者的表示的视频刷新速率的速率诸如1、5或10帧每秒)。以不同速率更新表示组的显示允许设备向用户提供关于实时通信中的表示的当前状态的反馈，同时保留处理能力以比另一组表示更快的速率提供一组表示，从而，证明用户能够以更高的速率查看更高优先级的表示组。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框906处，设备当在溢出区域(例如，820)中显示第二多个参与者的表示(例如，822)时，显示电子设备的相机在溢出区域中的视图(例如，自我查看型相机视图)的表示(例如，806)。显示电子设备的相机的视图的表示向用户提供关于用户相机的当前视图状态的视觉反馈(例如，用户向实时通信会话中的其他参与者显示的内容)。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框907、908、909和910处，设备检测对应于溢出区域的输入(例如，850H)(例如，水平的手指拖动)。响应于检测到与溢出区域对应的输入，设备滚动溢出区域(例如，根据输入沿第一方向滚动第二多个参与者的表示)，以停止显示(例如，隐藏)第二多个参与者的表示的子集(例如，图8BJ至图8BK中的822G和822H)。在滚动溢出区域的同时，设备维持电子设备的相机的视图的表示(例如，806)在溢出区域中的显示(例如，图8BJ至图8BK)。在一些实施方案中，滚动溢出区域包括显示第二多个参与者的一个或多个表示的动画，其看起来在设备的相机的视图的表示下方滚动。在滚动溢出区域的同时维持电子设备的相机的视图表示的显示向用户提供关于电子设备的相机的当前视图状态的持续反馈(例如，用户向实时通信会话中的其他参与者显示的内容)同时还允许用户能够滚动通过溢出区域中的参与者的表示。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框911、912和913处，检测与溢出区域中第二多个参与者的多个表示中表示(例如，图8AC的822E)的选择对应的输入(例如，850F)(例如，对应于溢出区域820中的表示的轻击手势或具有超过与溢出区域820中的表示对应的强度阈值的特征强度的手势)。响应于检测到与溢出区域中第二多个参与者的多个表示中表示的选择对应的输入，设备用与溢出区域中的所选表示对应的参与者的表示(例如，图8AE的810K)替换第一多个参与者的多个表示中表示(例如，图8AC中的810J)的显示(例如，替换主显示器中的最近活跃的参与者)。在一些实施方案中，用与溢出区域中的所选表示对应的参与者的表示替换第一多个参与者的多个表示中表示的显示包括停止在溢出区域中显示第二多个参与者的表示中的所选表示。在一些实施方案中，停止在溢出区域中显示所选表示包括所选表示收缩的动画。在一些实施方案中，平移溢出区域中的其他表示以填充显示所选表示的间隙。在一些实施方案中，用与溢出区域中的所选表示对应的参与者的表示替换第一多个参与者的多个表示中表示的显示包括以第一尺寸显示与所选表示对应的参与者的表示，然后将与所选表示对应的参与者的表示放大到大于第一尺寸的第二尺寸。在一些实施方案中，所选参与者的表示替换画布区域中的最小表示(对应于画布区域中具有最低活动水平的参与者)，然后尺寸自动增大(例如，增大到中等表示尺寸)，而另一种表示(对应于画布区域中具有第二低活动水平的参与者)的尺寸减小(例如，减小到小的表示尺寸)。
替换与溢出区域中的所选表示对应的表示的显示以及/或者停止显示溢出区域中的所选表示提供了附加控制选项而没有使UI杂乱，并且为用户提供对设备的更多控制以及通过帮助用户快速用用户的所选展示替换表示来显示表示。提供对设备的附加控制而不由于附加显示的控件使UI杂乱增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框914处，设备显示第一动画效果(例如，图8AA至图8AC)(例如，表示变大，然后变小，可选地具有交叉渐变和用于创建“闪光”效果的色调)，从而影响第一多个参与者的表示中的表示。可选地，在框915处，设备显示影响第二多个参与者的表示中的所选表示的第二动画效果，所述第二动画效果与第一动画效果共享动画特征(例如，图8BF至图8BH)(例如，从主显示器淡出/收缩的速率可对应于溢出显示器中的闪烁速率)。显示对应于第一动画的第二动画提供视觉反馈以快速识别正在切换和/或替换哪些表示。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框916处，进一步地，响应于检测到对应于溢出区域的输入(例如，850H)，设备在溢出区域中显示第二多个参与者的新(例如，先前隐藏的)表示(例如，图8AG至图8AH中的822A)。响应于输入而在溢出区域中显示参与者的新表示允许用户通过增加所显示的表示的可访问性来更容易和更有效地查看表示。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框917处，响应于接收到指示新参与者已加入或已被添加到实时通信会话的数据，设备在溢出区域中的第二多个参与者的一系列表示的结尾处显示新参与者在溢出区域中的表示(例如，图8R中的822B)。
可选地，在框918、919、920和921处，设备接收与第二多个参与者中的第一参与者的活动(例如，讲话、移动)水平相关的第二数据。响应于接收到第二数据，设备根据第二多个参与者中的第一参与者的活动水平增加，强调(例如，增加或发起)表示的视觉特征(例如，尺寸、突出显示表示(例如，显示边框)、动画(例如，脉冲头像)、使图像前置)，该表示与溢出区域中第二多个参与者的多个表示中第一参与者的表示对应(例如，图8U的822B)。响应于接收到第二数据，设备根据第二多个参与者中的第一参与者的活动水平降低，不强调(例如，增加或发起)表示的视觉特征(例如，尺寸、突出显示表示(例如，显示边框)、动画(例如，脉冲头像)、使图像前置)，该表示与溢出区域中第二多个参与者的表示中的第一参与者对应。当满足规定条件时强调和/或不强调视觉指示允许用户快速识别参与者(包括最活跃和/或最不活跃的参与者)的活动水平。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，当满足规定条件时强调和/或不强调为用户提供指示每个参与者的活动水平的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框922和923处，在显示实时通信用户界面时，设备检测第二多个参与者中的第二参与者成为当前活跃的参与者(例如，最活跃的参与者，以满足活跃参与者标准组的方式讲话或移动的参与者)。响应于检测到第二多个参与者中的第二参与者成为当前活跃的参与者并且根据确定第二多个参与者中的第二参与者的表示当前未在溢出区域中显示，设备滚动溢出区域以在溢出区域中显示第二多个参与者中的第二参与者的表示(例如，图8BH至图8BI的822F)。动态滚动溢出区域以在溢出区域中显示活跃参与者允许在溢出区域中查看活跃参与者的表示而无需选择任何额外的输入。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在框924处，根据确定实时通信会话中的参与者数量包括小于或等于阈值的参与者数量，设备以大于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示，而不以小于或等于相应阈值尺寸的一个或多个尺寸显示除电子设备的用户之外的参与者的表示(例如，图8P)。在一些实施方案中，电子设备接收(例如，在显示用于实时通信会话的用户界面之前)与实时视频通信会话的多个参与者的相应参与者相关联的多个实时媒体流。在一些实施方案中，接收的实时媒体流的数量对应于当前加入实时视频通信会话中的参与者的数量，其不包括使用该设备的参与者。基于是否满足规定条件(例如，基于实时通信会话是否包括小于或等于没有溢出区域的参与者显示表示的数量)来不同地显示参与者的表示允许用户更容易或更有效地查看实时通信会话中参与者的表示。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，根据确定实时通信会话中的参与者数量包括小于第二阈值的参与者数量，远程参与者(例如，除用户之外的参与者)的多个表示中没有一个彼此重叠(例如，图8J)。在一些实施方案中，根据确定实时通信会话中的参与者数量包括大于或等于第二阈值的参与者数量，远程参与者(例如，除用户之外的参与者)的多个表示中的至少一些彼此重叠(例如，图8K)。
可选地，在框925和926处，根据确定实时通信会话中的参与者数量包括小于第二阈值的参与者数量(例如，两个参与者，包括电子设备的用户(例如，一个其他参与者))，设备以第一纵横比(例如，矩形纵横比)显示除了设备的用户之外的参与者的表示中的至少一个(例如，图8H的810B)。根据确定实时通信会话中的参与者数量包括大于第二阈值的参与者数量(例如，三个或更多个参与者)，设备以与第一纵横比不同的第二纵横比(例如，正方形纵横比)显示除了设备的用户之外的参与者的表示中的至少一个(例如，图8I的810B)。基于满足规定条件以基于实时通信会话中参与者数量的不同纵横比显示参与者的表示，允许设备通过最大化表示的尺寸和/或表示的组织来提供智能实时通信用户界面以提供基于参与者数量的更好用户体验，从而允许用户更容易和更有效地查看设备上的表示。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框927和928处，根据确定实时通信会话中的参与者数量包括小于第二阈值的参与者数量(例如，两个参与者)，设备以第三纵横比(例如，矩形纵横比)显示设备的相机的视图(例如，来自设备的相机的自我视图)的表示(例如，图8H的806)。根据确定实时通信会话中的参与者数量包括大于或等于第二阈值的参与者数量(例如，三个或更多个参与者)，设备以与第三纵横比不同的第四纵横比(例如，正方形纵横比)显示设备的相机的视图(例如，来自设备的相机的自我视图)的表示(例如，图8J的806)。基于满足规定条件以基于实时通信会话中参与者数量的不同纵横比显示设备的相机的视图，允许设备通过最大化相机的视图的表示的尺寸来向用户提供智能实时通信用户界面并允许用户更容易和更有效地查看设备上的表示。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框929和930处，根据实时通信会话中的参与者数量为第一参与者数量，设备以第一布局(例如，布置或图案)显示参与者的表示(例如，图8J)。在一些实施方案中，第一布局是多个预定义布局中的一个，其中用户的表示锚定在用户界面中的不同位置处(例如，随机选择的布局)。在一些实施方案中，基于实时通信会话中的参与者数量来确定第一多个参与者(例如，除了设备的用户之外)的表示的布局(例如，布置)。根据实时通信会话中的参与者数量为第二参与者数量，设备以不同于第一布局的第二布局显示参与者的表示(例如，图8K)(例如，布局随着参与者加入/离开实时通信会话而改变)。在一些实施方案中，第一布局和第二布局在一系列预先确定的布局中，其具有用户的表示的相似相对放置。(例如，一系列预先确定的布局包括一起配合良好的布局)。在一些实施方案中，一系列预先确定的布局包括用于多个可能的参与者数量的布局成员(例如，用于一个非设备用户参与者的第一成员(例如，1以上布局)，用于两个非设备用户参与者的第二成员(例如，2以上布局)等等。在一些实施方案中，电子设备包括多个预先确定布局系列，其中每个系列的成员共享共同特征)。基于用户的数量以不同布局显示具有用户表示的相似相对放置的表示允许用户通过增加的可见性更容易且更有效地查看表示。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框931、932、923和934处，在显示除设备的用户之外的参与者的表示的同时，设备接收指示实时通信会话中的参与者数量已增加的数据。响应于接收到指示实时通信会话中的参与者数量已增加的数据，设备减小除了设备的用户之外的参与者的一个或多个表示的尺寸(例如，图8J至图8K)。响应于接收到指示实时通信会话中的参与者数量已增加的数据，设备显示实时通信会话中新参与者(例如，最近在原始显示之前刚刚加入该组的参与者)的一个或多个表示(例如，图8J至图8K)。
减小一个或多个表示的尺寸并显示新表示向用户提供关于实时通信会话的当前状态的反馈，并向用户提供指示新参与者已加入实时通信的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框935和936处，设备接收对应于第一提醒示能表示(例如，808)的选择的输入(例如，850B)。响应于接收到与第一提醒示能表示的选择对应的输入，设备向第一参与者发送与发送给第一参与者的先前通知不同的新通知(例如，呼叫、铃声等)(例如，第二通知比第一通知更具侵扰性)。响应于接收到与不同于发送给参与者的先前通知的提醒示能表示的选择对应的输入而向第一参与者发送通知，减少了执行操作所需的输入的数量。减少执行操作所需的输入的数量(例如，用户提醒参与者所需的选项数量)增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，自动执行操作，诸如在没有进一步的用户输入的情况下发送与第一通知不同的通知，增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在第一多个参与者的占位符和表示以第一布局布置的实施方案中，可选地，在框937、938和939处，设备根据确定第一参与者未加入实时通信会话达预先确定的时间量(例如，在预先确定的时间段之后未加入实时通信)，则停止显示占位符(例如，图8E和图8F)。此外，根据确定第一参与者未加入实时通信会话达预先确定的时间量，设备将第一多个参与者的表示的布置改变为不同于第一布局的第二布局(例如，包括放大和/或移动参与者的一个或多个表示(例如，显示布局，其中第一参与者不包括在该布局中))。在一些实施方案中，设备从服务器或另一设备接收数据，以确定第一参与者尚未加入实时通信会话达预先确定的时间量。在一些实施方案中，设备可确定第一参与者尚未加入实时通信会话达预先确定的时间量，因为它没有显示用户的任何表示。当满足规定的条件时，停止显示占位符并改变表示的布置允许用户快速识别其他用户何时加入或不加入呼叫，同时最大化所显示的参与者和/或占位符的可见性。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，停止显示占位符并改变显示器的布置向用户提供关于实时通信会话的当前状态的反馈，并向用户提供视觉反馈，指示将执行与通知和/或实时通信会话相关联的某些操作。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框940处，根据确定第一参与者已加入实时通信会话，设备用第一参与者的表示(例如，图8C至图8D的810B)修改第一占位符的显示(例如，占位符可具有参与者姓名)。在一些实施方案中，设备可从服务器或另一设备接收数据以进行该确定。在一些实施方案中，设备可进行该确定，因为它没有显示用户的任何表示。在一些实施方案中，发生动画。使用参与者的表示修改第一占位符的显示允许用户快速识别哪些用户已加入呼叫，向用户提供关于实时通信会话的当前状态的反馈，并向用户提供视觉反馈，指示将执行与通知和/或实时通信会话相关联的某些操作。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框941和942处，当显示实时通信会话中的参与者的多个表示时，设备检测实时通信会话中的参与者数量的改变。响应于检测到实时通信会话中参与者数量的改变，显示指示实时通信会话中的参与者数量已经改变的通知(例如，812)。在一些实施方案中，当参与者离开实时通信会话时，通知是离开的参与者的表示被替换为随后(例如，在预先确定的时间后)消失的占位符图形(例如，包括参与者的姓名或姓名缩写的图形)的动画。在一些实施方案中，当新参与者加入实时通信会话时，通知是随后(例如，在预先确定的时间之后)被新参与者的表示(例如，基于从新参与者的设备传输的视频数据的表示)替换的新参与者的占位符(例如，包括参与者姓名或姓名缩写的图形)的显示。在一些实施方案中，根据确定加入实时通信会话中的参与者数量超过阈值的参与者数量(例如，当溢出区域包括大于预定义的最大数量的表示(例如，除了电子设备的用户之外的3或4个表示)时)，显示指示实时通信会话中的参与者数量已改变的通知。在一些实施方案中，设备放弃显示实时通信会话中的参与者数量已改变的通知(例如，当存在参与者已加入或离开实时通信会话的另一可见指示，诸如显示新加入的参与者的表示或移除已离开会话的参与者的表示的显示时，不显示通知)。在一些实施方案中，(例如，当没有参与者已加入或离开实时通信会话的可见指示时)，设备提供指示实时通信会话中的参与者数量已改变的音频输出而没有显示通知。在一些实施方案中，通知包括已加入或离开实时通信会话的参与者的指示(例如，姓名)。在一些实施方案中，如果多个参与者在阈值时间量内加入和/或离开实时通信会话，则设备生成单个通知，该通知指示在阈值时间量内加入和/或离开实时通信会话的参与者的数量。在一些实施方案中，加入实时通信会话的参与者和离开实时通信会话的参与者分别组合到单独的通知中。在一些实施方案中，当参与者离开或加入实时通信会话时，设备延迟显示通知，直到阈值时间量已过去，以便确定通知是否应包括关于加入和/或离开实时通信会话的其他参与者的信息。显示指示实时通信会话中的参与者数量已改变的通知向用户提供关于实时通信中参与者数量的当前状态的反馈，并向用户提供指示实时通信会话中的参与者数量已发生改变的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框943、944、945和946处，设备以第一尺寸显示设备的相机的视图(例如，自我视图)的表示(例如，图8AH的806)作为实时通信会话中参与者的多个表示的一部分。在显示实时通信会话中的参与者的多个表示时，设备接收与用于显示第一菜单(例如，832)的选择对应的第一输入(例如，850I)(例如，基于在背景上的单次轻击或向上轻扫而触发)。响应于接收到与用于显示第一菜单的选择对应的输入，设备在实时通信用户界面(例如，804)中显示第一菜单(例如，呼叫控制菜单832)，其中第一菜单包括用于在实时通信会话中参与者的表示上显示视觉效果(例如，创意相机)的选项(例如，836)。在一些实施方案中，菜单包括其他选项，诸如用于结束呼叫切换摄像头(例如，前置摄像头到后置摄像头)。响应于接收到与用于显示视觉效果(例如，842)的选项的选择对应的第二输入(例如，850K)，设备以第二尺寸(例如，842)显示设备的相机的视图的表示(例如，覆盖参与者的表示)，其中第二尺寸大于第一尺寸。
可选地，在框947、948和949处，设备接收与用于放大实时通信会话中的参与者的多个表示中的第一表示(例如，图8L的810F)的选择对应的第三输入(例如，850C)(例如，在主要区域中的表示上的双击或具有超过强度阈值的特征强度的输入)。响应于接收到与用于放大实时通信会话中参与者的多个表示中第一表示的选择对应的第三输入，设备放大第一表示(例如，图8M的810F)。该设备减小了实时通信用户界面中参与者的多个表示中不同于第一表示的至少一个表示的尺寸(例如，图8L至图8M的810E)。动态地减少一组显示的表示中一个或多个表示的尺寸并放大所选表示提供了改进的反馈，其允许用户聚焦并且容易地查看放大的表示同时最小化减少的表示。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框950、951、952和953处，设备接收指示电子设备的取向改变(例如，沿第一方向(例如，90度时钟的改变))的数据。响应于接收到指示电子设备的取向改变的数据，设备旋转实时通信会话中的参与者的多个表示的显示(例如，图8W至图8X)(例如，沿第二方向(例如，与第一方向相反以维持图像是直立的))。该设备在旋转显示器的同时维持实时通信会话中参与者的多个表示的先前显示的相对属性(例如，另一个显示的尺寸、用户界面对象(例如，表示)的位置、布置等)。当满足某些条件时自动旋转设备并维持先前显示的表示的相对属性(例如，指示用户正在旋转设备的数据)允许用户在相同的先前显示的位置中查看旋转的表示而不改变具有最小视觉干扰的表示的布置、尺寸或位置。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框954处，响应于接收到指示电子设备的取向改变(例如，从纵向取向到横向取向)的第一数据，设备基于第一表示中面部(例如，图8AZ至图8BA的822C)的位置改变实时通信会话中参与者的多个表示中第一表示的显示(例如，如果表示不是正方形，则调整显示器使得从纵向表示(其中参与者的面部可能偏向表示的顶部)移到横向表示时参与者的面部位于表示的中心)。
可选地，在框955和956处，在显示参与者的多个表示中的第二表示时，设备接收改变实时通信会话中的参与者的多个表示的至少一个表示的纵横比的请求。响应于接收到改变实时通信会话中参与者的多个表示中至少一个表示的纵横比的请求，设备将第二表示的纵横比从第六纵横比改变为第七纵横比(例如，正方形或圆形纵横比)，其中第二表示同时以第七纵横比包括由电子设备接收的实时媒体流的第二部分(例如，小于第一部分的部分，裁剪部分)，该第二部分被选择为包括在实时媒体流中检测到的面部(例如，图8AZ至图8BA的822C)。在一些实施方案中，电子设备基于实时视频馈送改变表示的纵横比，并通过选择包括检测到的面部的实时视频馈送的一部分来裁剪实时视频馈送的一部分，使得检测到的面部不被从表示中裁剪出去。在参与者的表示中维持面部的视图向用户提供反馈，允许用户在改变纵横比时查看其他参与者的面部。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框957、958、959、960和961处，当显示实时通信会话中的参与者的多个表示时，设备接收与用于显示菜单(例如，832)的请求对应的第四输入(例如，850I)(例如，基于在背景上的单次轻击或向上轻扫而触发)。响应于接收到第四输入，设备在用于实时通信会话的用户界面中显示菜单(例如，832)。该设备移动实时通信会话中参与者的多个表示中的至少第三表示(例如，图8AI的810H)(例如，为了容纳菜单；为了避免与菜单重叠)。该设备改变实时通信会话中参与者的多个表示中的至少第四表示(例如，与第三表示相同的表示；与第三表示不同的表示)(例如，图8AI的810F)的尺寸(例如，为了容纳菜单；为了避免与菜单重叠)。在一些实施方案中，当在屏幕的底部显示菜单时，表示被向上移动并调整尺寸。在一些实施方案中，当显示菜单时，不调整多个表示中至少一个表示的尺寸。在一些实施方案中，表示是具有三个预定义图像尺寸(例如，1“小”、2“中等”和1“大”)的表示，并且仅调整一种尺寸的表示(例如，“中等”图像)的尺寸，同时将“小”和“大”表示保持相同的尺寸。当显示菜单时，移动一个或多个表示并改变实时通信会话中的一个或多个表示的尺寸提供了附加控制选项，同时维持了实时通信用户界面中表示的可见性。提供附加控制选项而不由于附加显示的控件使实时通信用户界面杂乱增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，设备接收指示在溢出区域中表示的第二多个参与者中第一参与者的活动水平增加到高于与第一多个参与者的多个表示中第一表示对应的参与者的活动水平(例如，在溢出区域中表示的参与者开始谈话，使得他的活动水平增加到高于画布区域中表示的参与者之一的活动水平)的数据，并且作为响应：用第二多个参与者中第一参与者的表示替换第一多个参与者的多个表示中第一表示的显示(例如，用讲话的参与者的表示替换画布区域中具有最低活动水平的参与者)；并停止显示溢出区域中第一参与者的表示。在一些实施方案中，停止在溢出区域中显示第一参与者的表示包括表示收缩的动画。在一些实施方案中，平移溢出区域中的其他表示以填充显示表示的间隙。在一些实施方案中，替换第一多个参与者的多个表示中第一表示的显示包括在溢出区域中显示与替换的第一表示对应的参与者的表示。
在一些实施方案中，当显示实时通信会话中的参与者的多个表示时，设备接收与显示菜单的请求对应的输入。响应于接收到与显示菜单的请求对应的输入，设备在实时通信用户界面中显示菜单，其中菜单包括用于选择内容项(例如，游戏、视频、素描)的选项。在一些实施方案中，设备接收对应于内容项的选择的输入，并且响应于接收到对应于内容项的选择的输入，设备用尺寸大于相应阈值尺寸的内容项的表示(例如，内容项显示在画布区域中的一个位置中)替换以大于相应阈值尺寸的尺寸显示的参与者的表示(例如，画布区域中参与者的表示)。
在一些实施方案中，在溢出区域中显示第二多个参与者的表示包括：根据确定第一数量的参与者(例如，总共6个参与者)参与实时通信会话，在溢出区域中显示第一组表示(例如，两个表示，包括最不活跃的参与者的表示和设备的相机的视图的表示)；并且根据确定不同于第一数量的参与者的第二数量的参与者(例如，总共7个参与者)正在参与实时通信会话，在溢出区域中显示不同于第一组表示的第二组表示(例如，三个表示，包括两个最不活跃的参与者的表示和设备的相机的视图的表示)，其中第二组表示包括与第一组表示不同数量的表示。
需注意，上文相对于方法900所述的过程(例如，图9A至图9K)的详情也可以类似方式适用于下文/上文所述的方法。例如，方法900任选地包括以上参考方法700、1100、1300和1500所述的各种方法的一个或多个特征。
图10A至图10S示出了根据一些实施方案的用于尤其是动态调整实时通信会话的用户界面的示例性技术。这些附图中的用户界面被用于示出包括图11A至图11F中的过程的下文描述的过程。
图10A示出了显示活动的实时通信会话的用户界面1000的设备600。用户界面1000包括在画布区域1001中显示的实时通信会话中的五个参与者的表示。表示1010A包括未连接到实时通信会话的参与者的占位符。表示1010B包括仅提供音频数据的参与者的代表性图像。表示1010C和1010D包括来自两个相应参与者的实时视频馈送。表示1002包括来自设备600的相机603的视图。
每个参与者具有用于确定用户界面1000的布局的活动水平。在一些实施方案中，参与者的活动水平基于从参与者的设备接收的音频和/或视频馈送(例如，视频馈送中的动作或声音)。在一些实施方案中，参与者的活动水平基于从参与者的设备接收的音频馈送的经滤波音频(例如，滤除了背景噪声或经滤波以隔离/放大语音音频的音频)。在一些实施方案中，参与者的活动水平基于在从参与者的设备接收的视频馈送中识别的移动，该移动满足一组移动标准(例如，某种类型的移动(例如，手移动、头部/面部移动、不是背景移动的移动(例如，非参与者移动))。
在一些实施方案中，参与者的活动水平基于指示在第一参与者的设备处检测到的活动的数据(例如，指示第一参与者在参与者的设备处执行用户界面动作的数据(例如，注意力示能表示或视觉效果示能表示的选择))。在一些实施方案中，在外部电子设备(例如，服务器)处确定活动水平，然后将其传输到设备600。
如图10A所示，实时通信会话的参与者的活动水平按表示的以下次序，从最高到最低为：表示1010C、表示1010D、表示1010B和表示1010A。图10A至图10O右侧所示的表按活动水平从高到低的降序列出参与者，其中位于列表(1)顶部的参与者具有最高活动水平，而位于列表(4)底部的人具有画布区域1001中表示的参与者的最低活动水平。在图10A至图10O中，与具有最高活动水平的参与者对应的表示是画布区域1001中的最大表示，并且与具有在画布区域1001中表示的参与者的最低活动水平的参与者对应的表示是最小的。在图10A至图10O中，与具有第二高活动水平和第三高活动水平的参与者对应的表示具有在具有最高活动水平的参与者的表示的尺寸与具有在画布区域1001中表示的参与者的最低活动水平的参与者的表示的尺寸之间的尺寸。
在一些实施方案中，参与者的活动水平相对于其他参与者而改变。在显示用户界面1000时，设备600接收指示与表示1010B的参与者Stephen对应的活动水平已增加到高于与表示1010D对应的参与者Nicholas的活动水平的数据。如图10B所示，表示1010B的活动水平增加到高于表示1010D的活动水平，但是由于其具有第二到最高活动水平而没有改变尺寸。在图10B中，参与者Stephen继续讲话并成为具有最高活动水平的参与者。作为响应，表示1010B的尺寸增加，表示1010C的尺寸减小，并且表示1010A向右移位(例如，以避免由于表示1002B的尺寸增加而与表示1010B过度重叠)，如图10C所示。在一些实施方案中，设备600改变用户界面1000上的三个或更多个表示的尺寸和/或位置。
如图10C所示，表示1010A至1010D彼此重叠。在一些实施方案中，表示1010A至1010D中的一个或多个尺寸减小，以及/或者在尺寸增大时移动，以避免遮挡参与者的面部以及/或者避免产生超过预定义最大重叠的重叠。在一些实施方案中，表示1010A至1010D的前后(也称为“z次序”)在表示尺寸增加时(例如，当参与者主动参与时)不改变。在一些实施方案中，表示1010在改变尺寸时(例如，由于对应参与者的主动参与或在设备600处选择表示的用户输入(例如，响应于上文图8M中所述的用户输入850C))改变一个或多个表示的次序(例如，从后面移动到前面或从前面移动到后面)。例如，在一些实施方案中，当在图10B至图10C中增大尺寸时，表示1010B在表示1010C和/或表示1010A之前移动。
在一些实施方案中，当改变尺寸和/或位置时，参与者的表示保持在显示器602上的相同的一般区域中。如图10A至图10C所示，在表示1010A至1010D改变尺寸和/或位置之后，每个表示占据其在改变尺寸和/或位置之前所占据的区域的至少一部分。
转到图10D，表示1010B的参与者Stephen开始停止谈话，并且如图10E所示，表示1010A的实时视频馈送中的参与者开始物理移动。在实时视频馈送中检测参与者的动作。在一些实施方案中，基于在参与者的实时视频馈送中检测到的动作(例如，指示参与者的物理移动的动作)，确定参与者主动参与实时通信会话。在一些实施方案中，参与者的移动导致参与者的活动水平的增加。在一些实施方案中，根据动作满足一个或多个标准(例如，持续时间、大小、方向或预先确定的手势)，确定参与者主动参与。
如图10F所示，响应于接收到指示表示1010A的参与者正在主动参与的数据，设备600增加表示1010A的尺寸并减小表示1010D的尺寸。表示1010B保持相同的尺寸并向下移动。以这种方式，表示1010A从最小表示过渡到中等尺寸表示，并且表示1010D过渡到成为最小表示。
在一些实施方案中，响应于接收到指示表示1010A的参与者(例如，具有最低活动水平的参与者)正在主动参与的数据，设备600将表示1010A的尺寸从最小表示增加到最大表示，并且减少表示1010B的尺寸。在一些实施方案中，根据与表示1010A对应的参与者作为最近参与者主动参与，表示1010A从最小表示增加到最大表示。例如，在一些实施方案中，根据与表示1010A对应的参与者作为最近参与者主动参与，设备600从图10E所示的布局和相对表示尺寸过渡到图10G所示的布局和相对表示尺寸(下面讨论)。
在一些实施方案中，参与者通过将视觉效果应用于提供给实时通信会话的实时视频馈送来主动参与实时通信会话。在一些实施方案中，参与者通过参与者的设备的用户界面应用视觉效果。在一些实施方案中，基于参与者的实时媒体馈送中包括的视觉效果，确定参与者主动参与实时通信会话。如图10F所示，视觉效果(机器人面部)被应用于表示1010A的实时视频馈送。结果，确定表示1010A的参与者主动参与并且增加参与者的活动水平。如图10F至图10H所示，根据确定表示1010A的参与者正在主动参与，设备600将表示1010A的尺寸增加到最大表示尺寸并且将表示1010B的尺寸减小到中等表示尺寸。表示1010A和101B的相对z次序也改变，因为表示1010A由于与表示1010A相关联的参与者的活动水平增加而在表示1010B之前移动。
在图10H中，设备600在表示1010C上接收(例如，检测)用户输入1050A(例如，轻击)。如图10I至图10J所示，响应于用户输入1050A，设备600将表示1010C的尺寸增加到最大表示尺寸。此外，对应于表示1010D的参与者开始主动参与(例如，谈话)，使表示1010D增加到中等尺寸，并且使表示1010B减小到小尺寸。
在图10J中，设备600在显示器602的位置处接收(例如，检测)用户输入1050B(例如，轻击)，在该位置处不显示参与者的表示。如图10K所示，响应于用户输入1050B，设备600显示呼叫控制菜单1004，其类似于上述呼叫控制菜单630。
如图10K所示，当显示呼叫控制菜单1004时，画布区域1001的尺寸减小，使得呼叫控制菜单1004不与表示1010重叠。为了为呼叫控制菜单1004腾出空间，设备600通过减小尺寸和/或向上垂直平移一个或多个表示来修改表示1010的布局。在一些实施方案中，设备600减小中等尺寸的表示1010A和1010D的尺寸，并且分别维持小的和大的主要表示1010B和1010C的尺寸。在一些实施方案中，设备600减小表示之间(例如，表示1010A和1010C之间)的垂直间距。
响应于接收到用户输入1050B，除了设备600的用户的表示1002之外，设备600还在每个表示上显示带1012A至1012D。每个带包括对应参与者的姓名和放大表示的示能表示。
转到图10L，设备600以横向(水平)取向示出。参与者的相对活动水平与图10J中的相同。与图10J中的纵向(垂直)取向相比，表示占据显示器602的与纵向(垂直)取向相同的相应区域，并且表示内的图像被旋转，使得参与者看起来是直立的。在一些实施方案中，响应于设备600从图10J的纵向取向旋转到图10L的横向取向，设备600显示表示的动画旋转或表示内的图像(例如，与设备600的旋转方向相反的90度)。
转到图10M，从图10J中所示的布局和活动水平开始，第六参与者Pablo加入实时通信会话。如图10M所示，响应于第六参与者加入实时通信会话，并且根据确定连接到实时通信会话的参与者数量大于五个连接参与者的预定阈值，设备600用新连接的参与者的图像替换表示1010B中与具有最低活动水平的参与者对应的图像。设备600可选地提供新连接的参与者已加入实时通信会话的通知，并在溢出区域1020中显示新连接的参与者的溢出表示1022A。如图10M至图10O所示，当显示溢出区域1020时，画布区域1001的尺寸减小。表示1010A至1010D中的至少一些在尺寸上减小和/或在显示器602上移动。
如图10N所示，溢出表示1010A对应于未由主要表示(例如，图10N中的溢出区域1020上方的表示)表示的参与者。在图10N中，设备600在溢出表示1022A上接收(例如，检测)用户输入1050C(例如，轻击)。如图10O所示，响应于用户输入1050C，设备600用对应于所选择的溢出表示1022A的参与者的图像替换表示1010A中的图像，并显示对应于被替换的参与者(Hoan)的溢出表示1022B。
在一些实施方案中，响应于与溢出表示1022A对应的参与者的主动参与(例如，代替响应于用户输入1050C)，设备600用与溢出表示1022A对应的参与者的图像替换图10N的表示1010A中的图像。在一些实施方案中，响应于确定与溢出表示1022A对应的参与者的活动水平已增加到高于与图10N的表示1010A对应的参与者的活动水平，设备600用与溢出表示1022A对应的参与者的图像替换图10N的表示1010A中的图像。
转到图10P，示出了具有显示器1014的设备1008。在一些实施方案中，显示器1014具有与设备600的显示器602不同的特征(例如，尺寸和/或纵横比)。设备1008显示用户界面1016，其被分成两个部分1016A(例如，画布区域)和1016B。部分1016A具有与设备600的显示器602大致相同的纵横比。根据部分1016A的纵横比，部分1016A包括表示1030A至1030D，对应于图10O中的表示1010A至1010D的参与者。如图10P所示，表示1030A至1030D的布局(例如，相对尺寸、位置、间隔和重叠)类似于图10O中的表示1010A至1010D的布局。
如图10P所示，设备1008接收(例如，检测)用户输入1050D(例如，向右的轻扫)以将分隔器1018向右移动。作为响应，设备1008减小部分1016B的尺寸并增加部分1016A的尺寸。如图10P至图10S所示，表示1030被放大并且表示1030之间的水平间隔增大。如图10S所示，设备1008显示菜单1024，其具有效果示能表示1026、呼叫示能表示1028和菜单示能表示1034(其类似于上文所述的效果示能表示632、呼叫示能表示634和菜单示能表示636)。
图11A至图11F为示出根据一些实施方案的方法的流程图。在具有显示器的设备(例如，100、300、500、600)处执行方法1100。方法1100中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下所述，方法1100提供了用于提供自适应和智能实时通信用户界面的直观方式，该用户界面强调实时通信会话中的一个或多个活跃参与者。该方法减轻了用户在查看实时通信会话中的活跃参与者时的认知负担，从而创建了一种更有效的人机界面。针对电池驱动的计算设备，使得用户能够更快速且更有效地查看活跃参与者，节省了功率并增加了电池两次充电之间的间隔。
在框1102处，设备显示实时视频通信用户界面(例如，1000)，其包括同时显示实时视频通信会话中的第一参与者的表示(例如，1010C)、实时视频通信会话中的第二参与者的表示(例如，1010B)以及实时视频通信会话中的第三参与者的表示(例如，1010D)。在一些实施方案中，如果参与者正在共享包括实时视频流的实时媒体流，则该表示包括实时视频流的图像(例如，1010C)。在一些实施方案中，如果参与者正在以仅音频共享实时媒体流，则该表示包括相应参与者的头像(例如，1010B)。在一些实施方案中，如果参与者当前未加入实时视频通信会话，则该表示包括占位符图像(例如，头像)(例如，1010A)。在一些实施方案中，实时通信界面包括画布区域(例如，1001)(例如，画布区域(例如，主要区域)不同于溢出区域)。在一些实施方案中，画布区域紧邻溢出区域。在一些实施方案中，在画布区域中显示实时通信会话中的第一参与者的表示、实时通信会话中的第二参与者的表示以及实时通信会话中的第三参与者的表示(例如，图10A)。
在框1104处，在显示实时视频通信用户界面的同时，设备接收指示实时视频通信会话中第二参与者(例如，1010B)的活动水平已增加到高于实时视频通信会话中第一参与者(例如，1010C)的活动水平的数据。在一些实施方案中，从外部源(例如，服务器)接收指示第一参与者正在主动参与的数据。在一些实施方案中，设备基于所接收的数据(例如，来自与第一参与者相关联的实时媒体馈送的实时视频或实时音频)来确定第一参与者正在主动参与。在一些实施方案中，在接收指示实时视频通信会话中的第二参与者的活动水平已增加到高于实时视频通信会话中的第一参与者的活动水平的数据之前，第一参与者、第二参与者和第三参与者中的一个或多个表示与参与者的至少一个其他表示重叠(例如，图10A的1010B、1010C和1010D)。
在一些实施方案中，至少第一参与者的活动水平基于(例如，根据)从第一参与者的设备接收的音频和/或视频馈送(例如，视频馈送中的动作或声音)和/或指示在第一参与者的设备处检测到的活动的数据(例如，指示第一参与者在第一参与者的设备处执行用户界面动作(例如，选择注意力示能表示)的数据)。在一些实施方案中，在外部电子设备(例如，服务器)处确定活动水平，然后将其传输到电子设备。在一些实施方案中，至少第一参与者的活动水平基于从第一参与者的设备接收的音频馈送的经滤波音频(例如，滤除了背景噪声或经滤波以隔离/放大语音音频的音频)。在一些实施方案中，至少第一参与者的活动水平基于在从第一参与者的设备接收的视频馈送中识别的移动(例如，在服务器处识别；在电子设备处识别)，该移动满足一组移动标准(例如，图10E的1010A)(例如，某种类型的移动(例如，手移动、头部/面部移动、不是背景移动的移动(例如，非用户移动))。
在框1106处，响应于接收到指示实时视频通信会话中第二参与者的活动水平(例如，图10A的1010B)已增加到高于实时视频通信会话中第一参与者的活动水平(例如，图10A的1010C)的数据，设备改变实时视频通信用户界面中第一参与者的表示的尺寸和/或位置(在框1108处)，改变实时视频通信用户界面中第二参与者的表示的尺寸和/或位置(在框1110处)，并且改变实时视频通信用户界面中第三参与者的表示(例如，1010D)的尺寸和/或位置(在框1112处)。当满足规定条件时改变表示的尺寸和/或位置允许用户快速识别参与者(包括最活跃和/或最不活跃的参与者)的活动水平。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，仅在满足规定条件时改变表示的尺寸和/或位置减少了用户确定活跃参与者或关注活跃参与者所需的输入的数量。减少输入的数量还增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，响应于接收到指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据，实时通信用户界面中第一参与者的表示(例如，图10A的1010C)的尺寸改变，实时通信用户界面中第二参与者的表示(例如，图10A的1010B)的尺寸改变，并且实时通信用户界面中第三参与者的表示(例如，图10A的1010D)的尺寸改变。在一些实施方案中，如果最不活跃的参与者成为最活跃的参与者(例如，基于活动分数)，则设备增加最活跃的参与者的表示的尺寸，并且减小所有其他表示的尺寸(例如，图10E至图10F)。在一些实施方案中，如果最活跃的参与者成为最不活跃的参与者(例如，基于活动分数)，则设备减小最不活跃的参与者的表示的尺寸，并增加所有其他表示的尺寸。在一些实施方案中，响应于接收到指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据：实时通信用户界面中第一参与者的表示的位置改变；实时通信用户界面中第二参与者的表示的位置改变；并且实时通信用户界面中第三参与者的表示的位置改变。在一些实施方案中，如果最不活跃的参与者成为最活跃的参与者(例如，基于活动分数)，则交换所有位置(例如，大多数活跃参与者的表示向上移动或移开，而其他表示向下移动或移开)。在一些实施方案中，如果最活跃的参与者变为最不活跃的参与者(例如，基于活动分数)，则最不活跃的参与者的表示向下移动和/或移开，而其他表示向上移动和/或移开。
在一些实施方案中，具有(例如，当前具有)第一、第二和第三参与者的最高活动水平的参与者的表示(例如，图10A的1010C)的一部分与实时通信用户界面中第一、第二和第三参与者中另一参与者的表示的一部分重叠(例如，最活跃的表示的一部分在其他表示下方)。在一些实施方案中，显示具有最低活动水平的参与者的表示而不与任何其他参与者的表示重叠(例如，因为具有最低活动水平的参与者的表示是参与者的表示中的最小表示，并且因此保持在其他参与者的表示之上，以避免过多遮隐具有最低活动水平的参与者的表示)。在一些实施方案中，具有最低活动水平的参与者的表示(例如，图10I的1010B)被显示为与具有最高活动水平的参与者的表示(例如，图10I的1010A)的至少一部分重叠。在一些实施方案中，具有(例如，当前具有)第一、第二和第三参与者的最低活动水平的参与者的表示(例如，图10H的1010D)的一部分与实时通信用户界面中第一、第二和第三参与者中另一参与者的表示(例如，图10H的1010C)的一部分重叠(例如，最不活跃的表示的一部分在其他表示下方)。
可选地，在框1114处，设备基于从第二参与者的视频馈送(和/或第三参与者的视频馈送)获得(例如，通过分析获得)的面部识别数据来改变第一参与者的表示的尺寸和/或位置，其中改变第一参与者的表示的尺寸和/或位置不会导致遮隐第二参与者的面部(和/或遮隐第三参与者的面部)。在不遮隐另一参与者的面部的情况下改变实时通信会话中的参与者的表示的尺寸和/或位置向用户提供关于参与者的当前活动水平的反馈，而不隐藏实时通信会话中其他参与者的面部，从而允许用户在活动水平已改变的参与者的尺寸或位置改变时查看其他参与者的面部。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1116处，设备改变第一参与者的表示(例如，图10A至图10C的1010B)的尺寸和/或位置包括将表示的尺寸从第一尺寸逐渐增加(例如，在一段时间内逐渐增加)到第二尺寸。改变表示的尺寸和/或位置向用户提供关于参与者的当前活动水平的反馈，同时最小化用户界面改变。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。逐渐增加表示的尺寸向用户提供视觉反馈，指示当其活动水平改变时参与者的活动水平正在改变，同时最小化尺寸的突然改变对用户造成的干扰。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1118处，设备检测画布尺寸改变事件(例如，1050B；图10J至图10K)(例如，设备的旋转；将其他元素(例如，用于联系参与者的一个或多个呼叫示能表示；添加在画布区域外显示的参与者的表示)引入实时视频通信用户界面中；与改变画布区域尺寸的请求对应的用户输入)。可选地，在框1120处，响应于检测到画布尺寸改变事件，设备改变画布区域(例如，1001)的尺寸(可选地，在框1124处)。响应于检测到画布尺寸改变事件，设备修改第一、第二和第三参与者的表示(例如，图10K的1010B、1010C和1010D)的布局。在一些实施方案中，通过将表示的位置移位并且/或者改变表示的尺寸来修改表示的布局(例如，以便当画布区域的尺寸减小时减小表示之间的间隔)。基于画布区域的尺寸改变智能地修改布局允许用户在画布尺寸改变时以对所显示表示的最小改变来查看用户的表示，从而减少对用户的干扰，同时允许用户查看所显示的展示。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1126处，设备还响应于检测到画布尺寸改变事件，改变第一、第二和第三参与者的一个或多个表示(例如，图10K的1010B、1010C和1010D)的尺寸。在一些实施方案中，在接收到指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据之前，实时通信用户界面中第一、第二和第三参与者的表示(例如，图10K的1010B、1010C和1010D)根据z次序显示(例如，“z次序”指的是参与者的表示相对于垂直于显示器的面的虚轴(例如，从屏幕出来的轴)的次序(例如，当两个表示的位置重叠时，表示的z次序确定哪个对象显示在另一个对象之前)。在框1128处，设备维持第一、第二和第三参与者的表示(例如，图10K的1010B、1010C和1010D)的z次序。
在一些实施方案中，在改变实时通信用户界面中第一参与者的表示(例如，图10B的1010B)的尺寸和/或位置之后，第一参与者的改变的表示占据区域的至少一部分(例如，一般区域、位置、显示器上的像素等)，该区域在改变第一参与者的表示的尺寸或位置中的至少一者之前由实时通信用户界面中第一参与者的表示占据。在一些实施方案中，在改变尺寸之后，参与者显示在显示器中与参与者先前所处相同的区域中(例如，表示的至少一部分(例如，部分、像素、位置等)继续接触在改变之前其先前接触的显示器上的位置)。在一些实施方案中，表示在强调活跃参与者的同时维持表示的布置/一般位置(例如，表示随着它们的尺寸增加/减小而移位但是维持相对于其他图像的位置)。在一些实施方案中，在改变实时通信用户界面中第二参与者的表示(例如，图10B的1010C)的尺寸和/或位置之后，第二参与者的改变的表示占据区域的至少一部分(例如，一般区域、位置、显示器上的像素等)，该区域在改变第二参与者的表示的尺寸或位置中的至少一者之前由实时通信用户界面中第二参与者的表示占据。在一些实施方案中，在改变尺寸之后，参与者显示在显示器中与参与者先前所处相同的区域中(例如，表示的至少一部分(例如，部分、像素、位置等)继续接触在改变之前其先前接触的显示器上的位置)。在一些实施方案中，表示在强调活跃参与者的同时维持表示的布置/一般位置(例如，表示随着它们的尺寸增加/减小而移位但是维持相对于其他图像的位置)。在一些实施方案中，在改变实时通信用户界面中第三参与者的表示(例如，图10B的1010D)的尺寸和/或位置之后，第三参与者的改变的表示占据区域的至少一部分(例如，一般区域、位置、显示器上的像素等)，该区域在改变第三参与者的表示的尺寸或位置中的至少一者之前由实时通信用户界面中第三参与者的表示占据。在一些实施方案中，在改变尺寸之后，参与者显示在显示器中与参与者先前所处相同的区域中(例如，表示的至少一部分(例如，部分、像素、位置等)继续接触在改变之前其先前接触的显示器上的位置)。在一些实施方案中，表示在强调活跃参与者的同时维持它们的布置和/或一般位置(例如，表示随着它们的尺寸增加/减小而移位但是维持相对于其他图像的位置)。
在改变表示的尺寸和/或位置之后显示占据它们先前所占据的区域的至少一部分的表示，允许用户以对用户界面的最小改变来识别参与者的活动水平，从而增加用户关注实时通信会话中参与者的表示的能力。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1130处，设备显示实时通信用户界面中的第四参与者的表示(例如，图10E的1010D)。可选地，响应于接收到指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据，设备改变实时通信用户界面中第四参与者的表示的尺寸和/或位置(在框1132处)。在一些实施方案中，当所有其他表示改变尺寸或位置时，第四表示改变尺寸和/或位置。在一些实施方案中，第四表示改变(例如，响应于接收到指示实时通信会话中第二参与者的活动水平已增加到高于实时通信会话中第一参与者的活动水平的第一数据)。在一些实施方案中，一些表示诸如第四表示可维持其尺寸和位置，即使其他表示正在改变。
可选地，在框1134、1136、1138、1140和1142处，在改变实时视频通信用户界面中第一参与者的表示的尺寸和/或位置之后，设备接收指示实时视频通信会话中第一参与者的活动水平已增加到高于实时视频通信会话中第二参与者的活动水平的第二数据。响应于接收到指示实时视频通信会话中第一参与者的活动水平已增加到高于实时视频通信会话中第二参与者的活动水平的第二数据，设备改变实时视频通信用户界面中第一参与者的表示的尺寸和/或位置。设备改变实时视频通信用户界面中第二参与者的表示的尺寸和/或位置。设备维持实时通信会话中第三参与者的表示的尺寸和位置。在一些实施方案中，响应于参与者的活动水平的改变，维持在画布(例如，主要区域)中显示的一些表示的表示，即使其他表示改变尺寸或位置(例如，两个表示可基于确定其他表示改变其尺寸和位置而交换位置)。在一些实施方案中，所维持的表示对应于具有比对应于所改变表示的参与者的活动水平低的活动水平的参与者。当满足规定条件时，在改变其他表示的尺寸和/或表示的同时维持一些表示的尺寸和/或位置允许用户以对用户界面的最小改变快速识别参与者的活动水平，从而增加用户关注实时通信会话中参与者的表示的能力。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1144和1146处，响应于接收到指示实时通信会话中第二参与者的活动水平已增加到高于实时通信会话中第一参与者的活动水平的第一数据，设备强调(例如，增加或发起)实时通信用户界面中第二参与者(例如，当第二参与者当前更活跃时)的表示的视觉指示(例如，突出显示表示(例如，显示边框)、动画(例如，脉冲头像)、使图像前置、增加尺寸)。响应于接收到指示实时通信会话中第二参与者的活动水平已增加到高于实时通信会话中第一参与者的活动水平的第一数据，设备不强调(例如，减少或停止)实时通信用户界面中第一参与者(例如，当第一参与者当前不太活跃时)的表示的视觉指示(例如，突出显示表示(例如，显示边框)、动画(例如，脉冲头像)、使图像后置、减小尺寸)。当满足规定条件时强调和/或不强调视觉指示允许用户快速识别参与者(包括最活跃和/或最不活跃的参与者)的活动水平。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，当满足规定条件时强调和/或不强调为用户提供指示每个参与者的活动水平的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，在设备接收到指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据之前(例如，以前)：第一参与者的表示以第一尺寸(例如，一组3个或更多个预定义尺寸中的中间尺寸；该组中的最大尺寸)显示，第二参与者的表示以小于第一尺寸的第二尺寸(例如，一组3个或更多个预定义尺寸中的最小尺寸；该组中的中间尺寸)显示(例如，小表示)。可选地，在框1148处，设备将第二参与者的表示的尺寸从第二尺寸增加到第一尺寸。将表示的尺寸和/或位置从较小尺寸增加到较大尺寸向用户提供视觉反馈，指示当其活动水平改变时参与者的活动水平正在改变。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1150和1152处，在接收到指示实时视频通信会话中第二参与者的活动水平已增加到高于实时视频通信会话中第一参与者的活动水平的数据之后，设备检测与第一参与者的表示对应的输入(例如，850C)(例如，在表示上的轻击)。响应于检测到与第一参与者的表示对应的输入(例如，用户可改变在实时通信用户界面上(例如，在溢出区域、画布区域等中)显示的任何表示的尺寸，设备增加第一参与者的活动水平(例如，图8L至图8M的810F)(例如，增加活动水平的值)。
在框1154和1156处，设备接收指示实时通信会话中的第四参与者比具有第一、第二和第三参与者的最低活动水平的参与者更活跃的数据。响应于接收到指示实时通信会话中的第四参与者比具有第一、第二和第三参与者的最低活动水平的参与者更活跃的数据，用第四参与者的表示(例如，图10O的1010A)的显示替换具有第一、第二和第三参与者的最低活动水平的参与者的表示(例如，图10N的1010A)的显示。在一些实施方案中，在框1158处，设备以如下尺寸显示第四参与者的表示，该尺寸大于具有第一、第二和第三参与者的最低活动水平的参与者的表示的尺寸。当满足规定条件时，用未在第一组表示中显示的参与者替换具有最低活动水平的参与者的表示的显示，允许用户关注实时通信会话中最活跃参与者的表示，而当未显示的用户比在第一组表示中显示的用户更活跃时，减少用户对实时通信会话中最不活跃的参与者的关注。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。增加新显示的参与者的尺寸向用户提供关于与新参与者相关的其他所显示参与者(例如，在表示的第一子集中)的当前活动水平的反馈，同时最小化用户界面改变。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1160处，设备在实时通信会话用户界面中显示电子设备的相机的视图(例如，自我视图)的表示(例如，1002)。可选地，在框1162处，设备还响应于接收到指示实时通信会话中第二参与者的活动水平已增加到高于实时通信会话中第一参与者的活动水平的第一数据：可选地，在框1164处，在实时通信会话用户界面中维持电子设备的相机的视图的表示(例如，1002)的尺寸。在一些实施方案中，自我视图不会基于其他参与者的活动水平的改变而改变。维持设备的相机的视图的表示的尺寸，同时其他表示可在已满足一组条件时改变，允许用户查看它们的表示同时连续地最小化对布局的改变。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
需注意，上文相对于方法1100所述的过程(例如，图11A至图11F)的详情也可以类似方式适用于下文/上文所述的方法。例如，方法1100任选地包括以上参考方法700、900、1300或1500所述的各种方法的一个或多个特征。
图12A至图12N示出了根据一些实施方案的用于尤其从即时消息应用程序发起实时通信会话的示例性用户界面。这些附图中的用户界面被用于示出包括图13A至图13D中的过程的下文描述的过程。
图12A示出了显示即时消息应用程序的即时消息用户界面1200的设备600(如上所述)。即时消息用户界面1200包括在参与消息对话的15个参与者的群(“梦之队”)中的参与者之间的消息区域1202中的消息。即时消息用户界面1200包括用于发起与消息对话中的所有参与者(例如，“梦之队”群中的所有参与者)的实时通信会话的呼叫全部示能表示1206以及用于访问与“梦之队”群相关的附加信息的群联系人信息示能表示1208。
如图12A所示，设备600接收(例如，检测)与呼叫全部示能表示1206的选择对应的用户输入1250A(例如，轻击)。响应于接收到用户输入1250A，设备600开始与作为实时通信会话中的参与者包括的消息对话中所有参与者的实时通信会话。在一些实施方案中，响应于接收到用户输入1250A，设备600发送指令，该指令使得与该群的成员相关联的设备显示该实时通信会话处于活动状态的通知。以这种方式，呼叫全部示能表示1206立即开始与消息对话群中的所有参与者的实时通信会话。
图12B示出了在发起实时通信会话时即时消息应用程序的即时消息用户界面1200。即时消息用户界面1200包括消息区域1202中的消息1212和显示器602顶部的视觉指示符1214，其指示实时通信会话处于活动状态。
在一些实施方案中，响应于接收到用户输入1250A，设备600启动实时通信应用程序。如图12C所示，在实时通信会话开始之后，设备600显示实时通信应用程序的实时通信用户界面1216。实时通信用户界面1216对应于与“梦之队”群开始的实时通信会话。
如图12C所示，实时通信用户界面1216包括四个对应参与者的主要表示1210A至1210D(统称为1210)(例如，“梦之队”群的参与者列表中的前四个参与者)和设备600的用户的用户表示1218。实时通信用户界面1216还包括溢出区域1220，该溢出区域具有与实时通信会话的参与者(例如，“梦之队”群的每个成员)对应的溢出表示1222。主要表示1210B包括来自参与者Allison的实时视频，指示Allison已加入具有视频数据的实时通信会话。
主要表示1201A、1210C和1210D包括占位符，指示对应的参与者尚未加入(例如，未连接到)实时通信会话。占位符包括参与者姓名的文本表示(例如，名字或第一个和最后一个首字母)。可选地，占位符包括指示参与者正在等待连接到实时通信会话的状态指示符，以及用于向对应的参与者发送实时通信会话可用的提醒的提醒示能表示(例如，“铃声”808A)。在一些实施方案中，提醒示能表示最初不包括在占位符上，并且根据确定在预先确定的时间段之后对应参与者未加入实时通信会话来显示。
在一些实施方案中，设备600检测与提醒示能表示的选择对应的输入(例如，在提醒示能表示上的轻击)，并且作为响应，发送指令以引起新通知(例如，呼叫、铃声等)，其指示实时通信会话在与对应参与者相关联的设备处可用，其中新通知不同于先前发送给参与者的通知。在一些实施方案中，新通知比先前通知更具侵扰性(例如，与没有音频或触觉输出的横幅通知相比，音频铃声、触觉输出或全屏通知)。在一些实施方案中，提醒示能表示在溢出表示1222中显示(例如，根据用于在主要表示中显示提醒示能表示的相同标准)。在一些实施方案中，在溢出表示上选择提醒示能表示得到与上文关于在主要表示上显示的提醒示能表项所述的相同的响应(例如，向对应参与者发出的新的、更具侵扰性的通知)。
在一些实施方案中，根据确定由占位符表示的参与者之一已加入实时通信会话，设备600修改与用户相关联的表示(例如，用实时视频替换占位符；参见例如，图8C至图8D)。在一些实施方案中，修改表示包括动画。在一些实施方案中，设备600从服务器或其他设备接收数据以确定参与者是否已加入会话。在一些实施方案中，设备600基于接收与参与者相关联的实时媒体数据来确定参与者已加入会话。
在一些实施方案中，根据确定由占位符表示的参与者之一尚未加入实时通信会话达预先确定的时间量，设备600改变在实时通信会话用户界面1216中显示的表示的布局(例如，设备600停止显示与未加入实时通信会话达预先确定的时间量的参与者对应的表示，并显示具有较少主要表示的布局或用另一参与者的表示替换该参与者的表示；参见例如，图8E至图8F)。在一些实施方案中，设备600从服务器或其他设备接收数据以确定参与者是否尚未加入实时通信会话达预先确定的时间量。在一些实施方案中，设备600基于未接收到与参与者相关联的实时媒体数据来确定参与者是否尚未加入实时通信会话达预先确定的时间量。
图12D示出了在与“梦之队”群的实时通信会话期间的稍后时间的实时通信用户界面1216。如图12D所示，实时通信用户界面1216包括呼叫控制菜单1224，其类似于上述呼叫控制菜单630。如上所述，在一些实施方案中，呼叫控制菜单1224响应于用户输入(例如，显示器602上的轻击或向上轻扫)而被显示。如图12D所示，设备600接收(例如，检测)与扩展呼叫控制菜单1224的请求对应的用户输入1250B(例如，向上轻扫)。如图12E所示，响应于用户输入1250B，设备600扩展呼叫控制菜单1224。扩展的呼叫控制菜单1224类似于关于图6I至图6K所述的扩展的呼叫控制菜单630。如图12E所示，呼叫控制菜单1224包括与参与者Hoan相关联的提醒示能表示1226。在一些实施方案中，设备600检测与提醒示能表示1226的选择对应的输入(例如，在提醒示能表示1226上的轻击)，并且作为响应，发送指令以引起新通知(例如，呼叫、铃声等)，其指示实时通信会话在与参与者Hoan相关联的设备处可用，其中新通知不同于先前发送给参与者Hoan的通知。在一些实施方案中，新通知比先前通知更具侵扰性(例如，与没有音频或触觉输出的横幅通知相比，音频铃声、触觉输出或全屏通知)。
图12F再次示出了在与消息群“梦之队”开始实时通信会话之前的实时通信用户界面1216。如图12F所示，设备600接收(例如，检测)与群联系人示能表示1208的选择对应的用户输入1250C(例如，轻击)。如图12G所示，响应于接收到用户输入1250C，设备600显示群联系人用户界面1228，其显示与“梦之队”群相关的附加信息，包括该群中参与者的实时通信会话示能表示1230和列表1232。群联系人用户界面1228还包括添加联系人示能表示1234。在一些实施方案中，响应于检测到与添加联系人示能表示1234的选择对应的输入(例如，轻击)，设备600发起用于将新联系人添加到实时通信会话的过程(例如，通过显示具有文本输入字段以用于使用键盘输入参与者姓名的用户界面和/或用于从诸如联系人列表的菜单中选择参与者的添加参与者示能表示(例如，如下面参考图14F所述))。
如图12H所示，设备600接收(例如，检测)与实时通信会话示能表示1230的选择对应的用户输入1250D(例如，轻击)。响应于接收到用户输入1250D，设备600启动实时通信应用程序并且开始与“梦之队”群中的参与者的实时通信会话(例如，如图12C所示)。
用户还可在群联系人用户界面1228上选择群中的参与者的表示，以访问与对应的参与者相关的附加信息和选项。如图12I所示，设备600接收(例如，检测)与参与者Allison的列表项1232B的选择对应的用户输入1250E(例如，轻击)。响应于用户输入1250E，设备600显示具有与所选参与者相关联的附加信息和用于通过各种通信模式单独地与参与者通信的选项1238A至1238E的单独联系人用户界面1236。如图12J所示，单独联系人用户界面1236尤其包括示能表示1238A、1238B和1238C，用于分别发起与参与者Allison的单独消息对话、单独电话呼叫和单独实时通信会话(例如，视频通信)。
在一些实施方案中，设备600确定用户输入1250E的特征强度是否超过阈值强度。如图12K所示，根据确定用户输入1250E的特征强度超过阈值强度，设备600在群联系人用户界面1228之上显示菜单1240，其中选项1242A至1242E对应于与参与者Allison进行单独通信的各种通信模式。
图12L至图12N分别示出了示例性的4对1、3对1和2对1布局。在一些实施方案中，根据包括五个参与者(包括设备600的用户)的实时通信会话，设备600显示图12L中所示的初始布局之一。在一些实施方案中，根据包括四个参与者(包括设备600的用户)的实时通信会话，设备600显示图12M中所示的初始布局之一。在一些实施方案中，根据包括三个参与者(包括设备600的用户)的实时通信会话，设备600显示图12N中所示的初始布局之一。在一些实施方案中，设备600显示图12L至图12N所示的布局之一中的参与者的表示，作为当基于被邀请和/或连接的参与者的数量发起实时通信会话时的初始布局(例如，代替图12C中所示的布局)。例如，在一些实施方案中，根据包括总共四个参与者的实时通信会话，设备600根据图12M所示的布局之一显示参与者的表示。
图13A至图13D为示出根据一些实施方案的方法的流程图。在具有显示器的设备(例如，100、300、500、600)处执行方法1300。方法1300中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下所述，方法1300提供用于发起多个参与者之间的实时通信会话并与之交互的直观方式。该方法通过提供对多个参与者之间的实时通信会话的智能发起并与之交互减少了用户的认知负担，从而创建更有效的人机界面。针对电池驱动的计算设备，使得用户能够更快速且更有效地交互并发起实时通信会话，节省了功率并增加了电池两次充电之间的间隔。
在框1302处，设备显示即时消息应用程序的即时消息用户界面(例如，1200)。即时消息用户界面包括消息区域(例如，1202)，其包括消息对话中的参与者(包括三个或更多个参与者)之间的多个消息。即时消息用户界面包括与消息区域(例如，1202)分开的示能表示(例如，1206)，用于在实时视频通信应用程序中开始实时视频通信会话(例如，消息细节示能表示或具有实时视频通信应用程序的图形指示的示能表示)。在一些实施方案中，示能表示是呼叫全部示能表示(例如，1206)，其将立即开始与即时消息应用程序中的所有参与者的实时通信会话。在一些实施方案中，示能表示是用于显示群联系人用户界面以邀请参与者进行实时通信会话的群联系人示能表示(例如，1208)。
在框1340处，设备检测对应于示能表示(例如，1206)的选择的输入(例如，1250A)。在框1306处，响应于检测到与示能表示的选择对应的输入，设备在实时视频通信应用程序中发起用于开始实时视频通信会话的过程，该实时视频通信会话包括消息对话的参与者。在一些实施方案中，启动实时视频通信应用程序(例如，1216)，并且响应于对示能表示的选择而直接开始新的实时视频通信会话。在一些实施方案中，响应于对示能表示的选择而显示即时消息应用程序(例如，1228)的菜单，并且选择菜单选项(例如，1230)以启动实时视频通信应用程序并开始新的实时视频通信会话。当满足规定条件时(例如，通过检测输入)，自动发起用于在实时视频通信应用程序中开始实时视频通信会话的过程允许用户开始实时通信会话。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，提供附加控件(例如，示能表示)以发起用于开始实时通信的过程提供附加的控制选项(例如，示能表示)，而不由于附加显示的控件(例如，群聊UI)使UI杂乱，这增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1308处，设备从即时消息用户界面(例如，1200)转换(例如，响应于检测到用户输入而立即转换)到实时通信应用程序的用户界面(例如，1216)。可选地，在框1310处，设备开始实时通信会话。可选地，在框1312处，设备显示群联系人用户界面(例如，1228)，该群联系人用户界面(例如，在继续显示即时消息用户界面的至少一部分时显示的界面或者替换即时消息用户界面的离散用户界面)包括用于开始实时通信会话的群联系人示能表示(例如，1230)。当满足规定条件时(例如，通过检测输入)，自动从即时消息用户界面转换并在实时视频通信应用程序中开始实时视频通信会话允许用户立即开始实时通信会话。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，当满足规定条件时，从即时消息用户界面转换并在实时视频通信应用程序中开始实时视频通信会话减少了执行操作所需的输入数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，群联系人用户界面还包括：多个参与者示能表示(例如，1232)，其包括与消息对话的参与者(例如，单独参与者的列表)中的第一参与者相关联的第一参与者示能表示(例如，1232B))。在一些实施方案中，群联系人用户界面还包括新的联系人示能表示(例如，1234)。可选地，在框1314处，设备在实时通信应用程序中开始实时通信会话。显示群联系人用户界面提供附加控制选项(例如，示能表示)而当需要附加控件时不由于附加显示的控件使UI杂乱，这增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1316处，设备显示实时通信会话用户界面(例如，1216)(例如，用于实时通信占位符的界面)，其包括(例如，最初包括)占位符(例如，图12C的1210A)(例如，图形占位符(例如，图像或虚拟头像)、与实时通信会话参与者中的第一参与者(例如，除电子设备的用户之外的参与者、尚待加入通信会话且已被发送加入通信会话的邀请的参与者)相关联的文本占位符(例如，姓名或姓名缩写))。在一些实施方案中，实时通信会话用户界面还包括与第二参与者相关联的第二占位符。在一些实施方案中，第一占位符包括用于实时通信会话参与者的第一参与者的第一提醒示能表示(例如，响铃按钮)(例如，图12C)。在一些实施方案中，实时通信会话用户界面还包括与第二参与者相关联的第二占位符(例如，1210C)。在一些实施方案中，第一占位符和第二占位符根据第一布局来布置。当实时通信开始时显示实时通信会话用户界面向用户提供关于实时通信会话的当前状态的反馈，并向用户提供指示可执行与实时通信界面相关联的操作的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1318处，根据确定第一参与者已加入实时通信会话，设备用第一参与者的表示(例如，图12D的1210A)替换第一占位符的显示(例如，图12C的1210A)(例如，占位符可具有参与者姓名)。在一些实施方案中，发生动画(例如，图8T至图8W)。在一些实施方案中，设备从服务器或另一设备接收数据以进行该确定。在一些实施方案中，设备进行该确定，因为它没有显示用户的任何表示。使用参与者的表示修改第一占位符的显示允许用户快速识别哪些用户已加入呼叫，向用户提供关于实时通信会话的当前状态的反馈，并向用户提供指示将执行与通知和/或实时通信会话相关联的某些操作的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1320处，设备根据确定第一参与者尚未加入实时通信会话达预先确定的时间量(例如，在预先确定的时间段之后未加入实时通信)，设备停止(可选地，在框1322处)显示第一占位符，并且可选地在框1324处，设备将第二占位符的布置改变为不同于第一布局的第二布局(例如，显示布局，其中第一参与者不包括在该布局中)。在一些实施方案中，设备可从服务器或另一设备接收数据以进行该确定。在一些实施方案中，设备可进行该确定，因为它没有显示用户的任何表示。当满足规定的条件时，停止显示占位符并改变表示的布置允许用户快速识别其他用户何时加入或不加入呼叫，同时最大化所显示的参与者和/或占位符的可见性。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，停止显示占位符并改变显示器的布置向用户提供关于实时通信会话的当前状态的反馈，并向用户提供视觉反馈，指示将执行与通知和/或实时通信会话相关联的某些操作。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1326和1328处，设备接收对应于第一提醒示能表示(例如，808)的选择的输入(例如，850B)。响应于接收到与第一提醒示能表示的选择对应的输入，设备向第一参与者发送与发送给第一参与者的先前通知不同的新通知(例如，呼叫、铃声等)(例如，第二通知比第一通知更具侵扰性)。响应于接收到与不同于发送给参与者的先前通知的提醒示能表示的选择对应的输入而向第一参与者发送通知，减少了执行操作所需的输入的数量。减少执行操作所需的输入的数量(例如，用户呼叫参与者所需的选项数量)增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，自动执行操作，诸如在没有进一步的用户输入的情况下发送与第一通知不同的通知，增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1330和1332处，设备检测与用于开始实时通信会话的群联系人示能表示(例如，1208)的选择对应的输入(例如，1250C)。响应于检测到与用于开始实时通信会话的群联系人示能表示的选择对应的输入，设备在实时通信应用程序中开始实时通信会话。(例如，转换到实时通信应用程序的用户界面)。在一些实施方案中，群联系人用户界面包括用于实时通信会话的参与者的列表(例如，1232)。在一些实施方案中，提供参与者的列表，而不提供用于单独加入或开始与给定参与者的视频或音频会议的选项和/或示能表示。在一些实施方案中，即时消息用户界面包括用于在实时视频通信应用程序中开始实时视频通信会话的两个示能表示：当被选择时导致显示群联系人用户界面的第一示能表示，以及当被选择时导致转换到实时通信应用程序的用户界面并且开始(例如，立即开始)实时通信会话的第二示能表示。响应于选择群联系人示能表示而在实时通信应用程序中开始实时通信会话提供附加控制选项(例如，示能表示)而当需要附加控件时不由于附加显示的控件使UI杂乱，这增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，响应于群联系人示能表示的选择而在实时通信应用程序中开始实时通信会话减少了执行操作所需的输入数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1334、1336、1338和1340处，设备在开始通信之后：响应于确定第一参与者尚未加入实时通信会话达预先确定的时间段，显示与第一参与者相关联的提醒选项。在一些实施方案中，提醒选项显示在群联系人用户界面中的第一参与者示能表示上或附近。当满足规定条件时显示与参与者相关联的提醒选项允许用户快速识别尚未加入呼叫的用户并呼叫那些特定用户。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。在显示与第一参与者相关联的提醒选项时，设备接收与提醒选项的选择对应的输入。响应于接收到与提醒选项的选择对应的输入，设备发送指示实时通信会话可用于第一参与者的通知(例如，使第一参与者的设备输出(例如，听觉、视觉、触觉)通知的通知)。响应于接收到对应于与参与者相关联的提醒选项的选择的输入而向第一参与者发送通知，减少了执行操作所需的输入数量。减少执行操作所需的输入的数量(例如，用户呼叫参与者所需的选项数量)增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1342和1344处，设备检测与第一参与者示能表示(例如，1232B)的选择对应的输入(例如，1250E)，该第一参与者示能表示与消息对话的第一参与者相关联。在一些实施方案中，这些参与者是实时通信会话的参与者(例如，实况通信会话的参与者可包括与来自消息对话的用户不同的一个或多个用户，并且还可不包括来自消息对话的参与者)。响应于检测到对应于与消息对话的第一参与者相关联的第一参与者示能表示的选择的输入，设备显示包括第一参与者的特征的单独参与者用户界面(例如，1236)(例如，单独参与者用户界面具有关于单独用户的详细信息(例如，用户标识符，诸如姓名、姓名缩写等；用户联系人信息；联系用户的通信模式))。响应于检测到输入(例如，用于群联系人UI上的每个单独参与者的参与者示能表示)显示单独参与者用户界面而当需要附加控件时不由于附加显示的控件使UI(例如，群联系人UI)杂乱，这增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1346和1348处，设备检测与用于选择通信模式的选项(例如，1238A至1238C)的选择对应的输入(例如，具有超过强度阈值的特征强度的输入)。响应于检测到与通信模式选项的选择对应的输入，设备发起用于选择第一参与者的换向模式的过程。在一些实施方案中，发起该过程包括显示多个通信选项示能表示(例如，邮件示能表示、呼叫示能表示、即时消息示能表示)。
可选地，在框1350和1352处，设备检测与新联系人示能表示的选择对应的输入(例如，1234)。响应于检测到与新联系人示能表示的选择对应的输入，设备发起用于将新联系人添加到实时通信会话的过程(例如，显示用于选择要添加的新联系人的用户界面)。发起用于将新联系人添加到实时通信会话的过程允许用户快速识别将哪些用户加入呼叫，向用户提供关于实时通信会话的当前状态的反馈，并向用户提供指示将执行与通知和/或实时通信会话相关联的某些操作的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
需注意，上文相对于方法1300所述的过程(例如，图13A至图13D)的详情也可以类似方式适用于下文/上文所述的方法。例如，方法1300任选地包括参考方法700、900、1100或1500所述的各种方法的一个或多个特征。
图14A至图14I示出了根据一些实施方案的用于尤其从实时通信应用程序发起实时通信会话的示例性用户界面。这些附图中的用户界面被用于示出包括图15A至图15C中的过程的下文描述的过程。
图14A示出了显示具有用于启动应用程序的示能表示的用户界面1400(例如，home屏幕或跳板)的设备600(如上所述)。如图14A所示，设备600接收(例如，检测)与实时通信应用程序示能表示1402的选择对应的用户输入1450A(例如，轻击)。
如图14B所示，响应于接收到用户输入1450A，设备600启动实时视频通信应用程序并显示实时视频通信应用程序的实时视频通信用户界面1404。实时视频通信用户界面包括与相应参与者或参与者群对应的参与者示能表示1408A至1408K的列表1408。在一些实施方案中，基于与实时通信应用程序中的相应参与者或参与者群(例如，除了设备600的用户之外的两个或更多个参与者)的先前(例如，最近的)实时通信会话，参与者示能表示包括在列表1408中。在一些实施方案中，先前的实时通信会话包括由设备600的用户或另一参与者成功连接和尝试的通信。实时视频通信用户界面1404包括用于为新的实时通信会话选择参与者的新会话示能表示1406。
在一些实施方案中，基于与另一应用程序(例如，消息应用程序(示能表示1408A；例如，群聊参与者列表)、电话应用程序(示能表示1408C；例如，会议呼叫的参与者)、日历应用程序(示能表示1408B；例如，日历事件的出席者)或电子邮件应用程序(示能表示1408D；例如，电子邮件的接收人列表))相关联的参与者群，参与者示能表示包括在列表1408中。例如，参与者示能表示1408A对应于先前或现有群消息对话(例如，文本或即时消息)中的参与者群，并且在列表1408中显示为建议(例如，用户不必手动创建参与者群)。在一些实施方案中，参与者示能表示对应于与电话应用程序相关联的电话会议呼叫中的参与者群。参与者示能表示1408A至1408K包括参与者或参与者群的指示、状态指示符、细节示能表示以及可选的相关日期。如图14B所示，状态指示符标识参与者或群的来源(例如，“来自消息”、“来自电话”、“来自日历”、“来自邮件”)或相关联的通信的通信状态(例如，视频、音频、不可用等)。在一些实施方案中，参与者或群的来源由图形或文本指示、与特定应用相关联的颜色或与应用相关的徽标(例如，电话图标、视频相机图标或消息气泡图标)指示。
在一些实施方案中，设备600在视觉上区分与存在活动的实时通信会话的群相关联的参与者示能表示。在图14B中，参与者示能表示1408E与实时通信会话当前处于活动状态的群相关联。与在其他参与者示能表示中显示的非粗体文本和联系人细节图标(例如，1408A-1)相比，在参与者示能表示1408E中活动的实时通信会话由参与者姓名、视频相机图标1408E-1和“轻击以加入”消息的粗体文本指示。
在一些实施方案中，与先前实时通信会话相关联的参与者示能表示的出现基于设备的用户是否加入对应的实时通信会话。在图14B中，参与者示能表示1408H与设备600的用户未加入的先前实时通信会话相关联。结果，参与者示能表示1408H包括斜体文本，如与设备600的用户(例如，1408F)加入的先前实时通信会话相关联的其他参与者示能表示的非斜体文本相比。
如图14C所示，设备600接收(例如，检测)与上述包括15个参与者的参与者群“梦之队”的参与者示能表示1408A的选择对应的用户输入1450B(例如，轻击)。
响应于接收到用户输入1450B，设备600发起与对应于所选参与者示能表示1408A(“梦之队”)的参与者开始新的实时视频通信会话的过程。在一些实施方案中，响应于参与者示能表示1408A的选择，直接开始新的实时视频通信会话。例如，如图14D所示，响应于接收到用户输入1450B，设备600显示实时通信用户界面1410并且在没有进一步用户输入的情况下发起与“梦之队”群的实时通信会话。实时通信用户界面1410包括设备600的用户的表示(例如，来自设备600前面的相机的视频)和呼叫控制菜单1412，类似于所讨论的呼叫控制菜单630。
在一些实施方案中，响应于对参与者示能表示1408A的选择而显示实时视频通信应用程序的菜单，并且选择菜单选项以开始新的实时视频通信会话。例如，在一些实施方案中，设备600显示实时通信用户界面1410(如图14D所示)，而不发起实时通信会话。相反，在显示实时通信用户界面1410时，设备600接收(例如，检测)与呼叫控制菜单1412上的呼叫示能表示1414的选择对应的用户输入(例如，轻击)，并且响应于实时通信发起示能表示1414的选择发起与“梦之队”群的实时通信会话。
图14E还示出了实时通信用户界面1404。代替在列表1408中接收参与者示能表示的选择(如图14C所示)，设备600接收(例如，检测)与新会话示能表示1406的选择对应的用户输入1450C(例如，轻击)。响应于用户输入1450C，并且根据与选择新会话示能表示1406对应的用户输入1450C，设备600发起用于选择参与者并在所选参与者与设备600的用户之间开始新的实时视频通信会话的过程。如图14F所示，实时通信用户界面1404被用户界面1416替换，该用户界面包括用于使用键盘1420输入参与者姓名的文本输入字段1418、用于从菜单(例如，联系人列表)中选择参与者的添加参与者示能表示1422、仅音频示能表示1424和视频示能表示1426。
在图14F中，响应于将文本“JOE”输入文本输入字段1418，设备600显示用于联系人“JOE SMITH”的两个通信选项1417A和1417B。在一些实施方案中，设备600在视觉上区分与能够加入实时通信会话的设备相关联的通信选项。在图14F中，由通信选项1417B表示的通信模式(例如，电子邮件)与能够加入实时通信会话的设备相关联，如粗体文本所示。相反，由通信选项1417A表示的通信模式(例如，家庭电话)以正常(非粗体)文本显示，以指示通信模式不与能够加入实时通信会话的设备相关联。
如图14G所示，名为Joe、Ashley和Sam的参与者被选中。设备600接收(例如，检测)与视频示能表示1426的选择对应的用户输入1450D(例如，轻击)。
响应于接收到用户输入1450D，设备600开始与所选参与者的新实时通信会话，并提供包括视频和音频数据的实时媒体流(如图14H所示)。在一些实施方案中，响应于接收到与仅音频示能表示1424的选择对应的用户输入，设备600开始与所选参与者的新实时通信会话，并提供包括音频数据而没有视频数据的实时媒体流。
在一些实施方案中，在新的实时通信会话开始之后，设备600在除实时通信应用程序之外的应用程序中显示新的实时通信会话的表示。在开始与参与者Joe、Ashley和Sam的实时通信会话之后，设备600的用户导航到即时消息应用程序。如图14I所示，在开始实时通信会话之后，设备600显示即时消息应用程序的即时消息用户界面1428。即时消息用户界面1428显示包括实时通信会话的参与者的群消息会话，并且在消息区域1432中显示指示已开始实时通信会话的消息1430。在一些实施方案中，在开始实时通信会话之后，设备600在即时消息应用程序的消息对话列表中显示包括实时通信会话的参与者的群。在一些实施方案中，设备600响应于对消息对话列表中的群的选择，显示即时消息用户界面1428(如上所述)。
图15A至图15C为示出根据一些实施方案的方法的流程图。在具有显示器的设备(例如，100、300、500、600)处执行方法1500。方法1500中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下所述，方法1500提供用于发起多个参与者之间的实时通信会话并与之交互的直观方式。该方法通过提供对多个参与者之间的实时通信会话的智能发起并与之交互减少了用户的认知负担，从而创建更有效的人机界面。针对电池驱动的计算设备，使得用户能够更快速且更有效地交互并发起实时通信会话，节省了功率并增加了电池两次充电之间的间隔。
在框1502处，设备显示实时视频通信应用程序的实时视频通信用户界面(例如，1404)。在框1504处，实时视频通信用户界面包括与相应的一个或多个参与者对应的多个参与者示能表示(例如，1408A至1408K)，所述多个参与者示能表示包括对应于三个或更多个参与者的群的第一参与者示能表示(例如，1408A)。在框1506处，实时视频通信用户界面包括用于开始新的实时视频通信会话的新会话示能表示(例如，1406)。在一些实施方案中，参与者示能表示对应于(例如，(由参与者使用设备或由与外部设备相关联的参与者)成功连接或尝试的)先前(例如，最近的)视频通信并且包括对视频通信的参与者(例如，1408F)的指示。在一些实施方案中，参与者示能表示代表与另一通信应用程序(例如，即时消息应用程序或电话应用程序(例如，最近的会议呼叫))相关联的群。在一些实施方案中，实时通信用户界面包括最近的实时通信会话的列表(例如，最近的视频聊天的列表可以是单独聊天和/或群聊)。显示包括最近的实时通信会话列表的实时通信用户界面允许用户快速访问并实现用户或设备参与(例如，被邀请、加入、从中通信等)的最近的实时通信会话，向用户提供关于实时通信会话的当前状态的反馈，并向用户提供指示将执行与通知和/或实时通信会话相关联的某些操作的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，多个参与者示能表示包括与建议参与者群(例如，1408B)(例如，不由用户手动选择/创建的建议参与者群)对应的第二参与者示能表示，该建议参与者群基于来自与实时视频通信应用程序不同的第二应用程序(例如，电话应用程序、即时消息应用程序)的数据(例如，使用数据)确定。
在一些实施方案中，建议的参与者群对应于在第二应用程序中进行的群对话(例如，群即时消息会话、群会议呼叫)中的参与者(例如，1408A)或者在第二应用程序中进行的会议呼叫中的参与者(例如，1408C)。显示包括与建议的参与者群对应的示能表示的实时通信用户界面允许用户快速访问并开始与建议群的实时通信，并减少执行与建立包括所选群的每个成员的实时通信会话相关联的操作所需的输入数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，显示与建议群对应的示能表示提供附加控制操作，而不由于附加显示的控件使UI杂乱。提供附加控制操作而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，第二参与者示能表示包括与第二应用程序(例如，该建议的来源应用程序)的指示(例如，图形或文本指示(例如，“由消息所建议的”)、与某个应用程序相关的颜色或与该应用程序相关的徽标)。显示还包括与建议的参与者群对应的示能表示的实时通信用户界面，该建议的参与者群对应于与实时通信应用程序不同的应用程序中的群对话中的参与者，允许用户快速访问并开始与建议群的实时通信，并减少执行与建立包括所选群的每个成员的实时通信会话相关联的操作(例如，诸如导航不同的应用程序)所需的输入数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，多个参与者示能表示包括与第二建议参与者群(例如，不由用户手动选择/创建的建议参与者群)对应的第三参与者示能表示，该第二建议参与者群基于来自与实时视频通信应用程序不同并且与第二应用程序不同的第三应用程序(例如，电话应用程序、即时消息应用程序、电子邮件应用程序、日历应用程序)的数据(例如，使用数据)确定(例如，来自最近日历事件的群或来自最近邮件事件的群)。显示包括建议群来自的应用程序的指示的第二参与者示能表示向用户提供关于实时通信会话的当前状态的反馈，并向用户提供指示与第二应用程序相关联的某些操作的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，实时通信用户界面还包括参与者选择示能表示(例如，“+”)。
在框1508处，设备检测对应于以下请求的输入(例如，1450B)，即发起开始新的实时视频通信会话的过程。在框1510、1512和1514处，设备响应于检测到该输入：根据与第一参与者示能表示(例如，1408A)的选择对应的输入，发起开始新的实时视频通信会话的过程，该新的实时视频通信会话包括三个或更多个参与者的群。在一些实施方案中，响应于对第一参与者示能表示的选择而直接开始新的实时视频通信会话(例如，图14D)。在一些实施方案中，响应于对第一参与者示能表示的选择，显示实时视频通信应用程序的菜单(例如，1416)，并且选择菜单选项以开始新的实时视频通信会话。响应于检测到输入，设备根据与新的会话示能表示的选择对应的输入，发起用于选择两个或更多个参与者并且开始新的实时视频通信会话的过程，该新的实时视频通信会话包括与该设备相关联的参与者以及两个或更多个所选参与者(例如，图14F)。在一些实施方案中，用户界面被替换为另一用户界面，该另一用户界面包括用于选择参与者的第一示能表示(例如，1422)和用于开始实时视频通信会话(例如，响应于对第二示能表示的选择直接开始实时视频通信会话)的第二示能表示(例如，1424和1426)。在一些实施方案中，通过将联系人信息输入到文本字段(例如，1418)或从联系人列表中选择联系人来选择参与者。在一些实施方案中，响应于对示能表示(例如，1408A)的选择直接开始新的实时视频通信会话。当满足规定条件时发起用于开始新的实时通信的过程允许设备基于所选参与者的数量向用户提供不同的实时视频通信会话。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。此外，当满足规定条件时发起用于开始新的实时通信的不同过程减少了执行操作所需的输入数量。减少执行操作所需的输入的数量增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1516、1518、1520、1522、1524和1526处，设备接收与参与者选择示能表示的选择对应的第二输入。响应于接收到与参与者选择示能表示的选择对应的第二用户输入，设备显示群选择用户界面(例如，1416)，其包括：用于识别一个或多个参与者的文本输入字段(例如，1418)(例如，至：字段)；键盘(例如，1420)；仅音频示能表示(例如，1424)；以及视频示能表示(例如，1426)。在显示群选择用户界面时，设备接收第三用户输入选择。响应于接收到第三用户输入，设备根据与仅音频示能表示的选择对应的第三用户输入，使用从电子设备传输的音频(例如，由设备的一个或多个麦克风记录的音频)开始新的实时通信会话，而不从电子设备传输视频数据。当满足规定的条件(例如，响应于仅音频示能表示被选择)时，使用从电子设备传输的音频开始新的实时通信会话允许用户使用音频加入实时通信会话，而无需用户选择或修改设备的额外的输入和输出(例如，关闭相机以及/或者打开麦克风)。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，系统显示指示符，该指示符描述用户仅使用音频加入实时通信。在一些实施方案中，设备提示用户显示短语诸如“你是否想要与视频连接”，以便确定用户是想要仅使用音频还是视频和音频。这可使得用户感到舒适，因为视频未被共享)。响应于接收到第三用户输入，根据与视频示能表示的选择对应的第三用户输入，设备使用从电子设备传输的音频和视频来开始新的实时通信会话。当满足规定的条件(例如，响应于视频示能表示选项被选择)时，使用从电子设备传输的音频和视频开始实时通信会话允许用户使用音频和视频加入实时通信会话，而无需用户选择或修改设备的额外的输入和输出(例如，打开相机以及/或者打开麦克风)。在一组条件已经被满足而不需要进一步的用户输入时执行最优化操作增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
可选地，在框1528和1530处，设备开始新的实时通信会话。在开始新的实时通信会话之后，设备在与实时通信会话不同的第四应用程序(例如，消息或电话应用程序)中显示新的实时通信会话的表示。在一些实施方案中，实时通信参与者被显示为即时消息应用程序中的消息对话列表中的群消息中的群参与者。在一些实施方案中，消息对话列表中的群消息包括是否存在包括群参与者(例如，1408E)的活动实时通信会话的指示。在一些实施方案中，实时通信参与者被显示为电话应用程序或呼叫应用程序中的最近呼叫列表中的群呼叫中的群参与者。在一些实施方案中，实时通信参与者被显示为日历应用程序中日历事件的受邀者。在与实时通信会话不同的应用程序中显示实时通信会话的表示向用户提供关于多个应用程序中的实时通信会话的当前状态的反馈，在一些实施方案中，如果用户仅一次性激活表示(例如，稍后从与先前的实时通信会话具有相同参与者的另一应用程序开始实时通信应用程序中的另一新实时通信会话)，则向用户提供指示将执行与通知和/或实时通信会话相关联的某些操作的视觉反馈。为用户提供改进的视觉反馈增强了设备的可操作性，并且使用户-设备界面更有效(例如，通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误)，这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，多个参与者示能表示(例如，1408)包括与三个或更多个参与者的群对应的第四参与者示能表示(例如，1408A、1408E)。在一些实施方案中，根据确定第四参与者示能表示对应于活动的实时通信会话(例如，1408E)，第四参与者示能表示以第一视觉外观显示(例如，第一视觉外观为参与者示能表示的字体颜色或字体样式或为在参与者示能表示处或附近显示的图标或标志符号)；并且根据确定第四参与者示能表示对应于非活动实时通信会话(例如，1408A)，第四参与者示能表示以不同于第一视觉外观的第二视觉外观显示(例如，第二视觉外观为与第一视觉外观的字体颜色或字体样式不同的字体颜色或字体样式，或者第二视觉外观不包括在潜在参与者的表示附近显示的图标或标志符号或包括与第一视觉外观不同的图标或标志符号)。在一些实施方案中，与先前实时通信会话相关联的参与者示能表示的外观基于设备的用户是否加入对应的实时通信会话(例如，错过的实时通信会话的参与者示能表示(例如，1408H)包括与设备600的用户加入的实时通信会话的参与者示能表示(例如，1408F)不同或不包括在其中的字体颜色、字体样式、图标、标志符号等；如果设备的用户加入会话，则参与者示能表示包括一种颜色的文本，如果设备的用户在其结束之前没有加入会话，则包括不同颜色的文本)。在一些实施方案中，当会话不再处于活动状态时(例如，从粗体文本和视频相机图标到没有视频相机图标的非粗体文本)，与活动实时通信会话相关联的参与者示能表示的外观改变。
在一些实施方案中，发起用于选择两个或更多个参与者的过程包括显示潜在参与者(例如，联系人列表中的联系人)的表示(例如，1417A、1417B)。在一些实施方案中，根据确定潜在参与者与能够加入实时通信会话的设备相关联，潜在参与者的表示以第一视觉外观显示(例如，第一视觉外观为潜在参与者的表示的字体颜色或字体样式或在潜在参与者的表示附近显示的图标或标志符号)；并且根据确定参与者不与能够加入实时通信会话的设备相关联，以不同于第一视觉外观的第二视觉外观显示潜在参与者的表示(例如，第二视觉外观为与第一视觉外观的字体颜色或字体样式不同的字体颜色或字体样式，或者第二视觉外观不包括在潜在参与者的表示附近显示的图标或标志符号或包括与第一视觉外观不同的图标或标志符号)。
需注意，上面参考方法1500(例如，图15A至图15C)所述的过程的详情也以类似方式适用于上文所述的方法。例如，方法1500任选地包括以上参考方法700、900、1100或1300所述的各种方法的一个或多个特征。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择并描述这些实施方案是为了最好地解释这些技术的原理及其实际应用。本领域的其他技术人员由此能够最好地利用这些技术以及具有适合于所预期的特定用途的各种修改的各种实施方案。
虽然参照附图对本公开以及示例进行了全面的描述，但应当注意，各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解，此类变化和修改被认为被包括在由权利要求书所限定的本公开和示例的范围内。
如上所述，本技术的一个方面在于收集和使用得自各种来源的数据，以改善多媒体通信。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、Twitter账号、家庭地址、与用户健康或健康水平相关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于促进用户之间的多媒体通信。因此，使用此类个人信息数据使得用户能够改善此类通信。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集，分析，公开，传输，存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。用户可以方便地访问此类策略，并应随着数据的采集和/或使用变化而更新。用户的个人信息应采集为实体的合法和合理使用，而不应在这些合法使用之外共享或出售。此外，在收到用户知情同意后，应进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，某些健康数据的收集或访问可能受联邦和/或州法律诸如健康保险便利和责任法案(HIPAA)的约束；而其他国家的健康数据可能受其他法规和政策的约束，因此应予以相应处理。因此，在每个国家应保持不同的个人数据类型的不同的隐私实践。
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就多媒体通信而言，本发明的技术可被配置为在注册服务期间或者其后的任何时间，允许用户选择“加入”或“退出”参与对个人信息数据的收集。又如，用户可选择不提供位置数据和/或可用性。在又一示例中，用户可选择限制维持通信会话的记录的时间长度或者完全禁止保留这样的数据。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，用户可在下载应用程序时通知用户，其个人信息数据将被访问，然后在个人信息数据被应用程序访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用中，数据去标识可用于保护用户的隐私。在适当的情况下，可以通过移除特定标识符(例如，出生日期等)、控制存储的数据的量或特征(例如，在城市级而非地址级收集位置数据)、控制数据的存储方式(例如，在用户之间聚合数据)和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可基于非个人信息数据或绝对最低限度的个人信息(例如，与用户相关联的设备所请求的内容、对通信服务提供者可用的其他非个人信息或公开可用信息)来建立通信会话。

Claims (52)

1.一种电子设备，包括：
显示器；
一个或多个处理器；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
显示实时视频通信用户界面，包括同时显示实时视频通信会话中的第一参与者的表示、所述实时视频通信会话中的第二参与者的表示、以及所述实时视频通信会话中的第三参与者的表示，
其中第一参与者的表示与第二参与者的表示重叠，并且第二参与者的表示与第三参与者的表示重叠；
在显示所述实时视频通信用户界面的同时，接收指示所述实时视频通信会话中所述第二参与者的活动水平已增加到高于所述实时视频通信会话中所述第一参与者的活动水平的数据，其中至少所述第一参与者的所述活动水平基于以下中的至少一者：来自从所述第一参与者的设备接收的音频馈送的音频或者从所述第一参与者的所述设备接收的视频馈送中识别的满足一组移动标准的移动；以及
响应于接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据：
改变所述第一参与者在所述实时视频通信用户界面中的所述表示的尺寸和/或位置；
改变所述第二参与者在所述实时视频通信用户界面中的所述表示的尺寸和/或位置；以及
改变所述第三参与者在所述实时视频通信用户界面中的所述表示的尺寸和/或位置，其中：
在改变所述第一参与者在所述实时通信用户界面中的所述表示的所述尺寸和/或位置之后，所述第一参与者的改变的表示占据在改变所述第一参与者的所述表示的所述尺寸和所述位置之前由所述第一参与者在所述实时通信用户界面中的所述表示占据的区域的至少一部分；
在改变所述第二参与者在所述实时通信用户界面中的所述表示的所述尺寸和/或位置之后，所述第二参与者的改变的表示占据在改变所述第二参与者的所述表示的所述尺寸和所述位置之前由所述第二参与者在所述实时通信用户界面中的所述表示占据的区域的至少一部分；
在改变所述第三参与者在所述实时通信用户界面中的所述表示的所述尺寸和/或位置之后，所述第三参与者的改变的表示占据在改变所述第三参与者的所述表示的所述尺寸和所述位置之前由所述第三参与者在所述实时通信用户界面中的所述表示占据的区域的至少一部分；以及
在改变所述第一参与者的表示、所述第二参与者的表示和所述第三参与者的表示的尺寸和/或位置之后，第一参与者的表示与第二参与者的表示重叠，并且第二参与者的表示与第三参与者的表示重叠。
2.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
在改变所述第一参与者在所述实时视频通信用户界面中的所述表示的所述尺寸和/或位置之后，接收指示所述实时视频通信会话中所述第一参与者的活动水平已增加到高于所述实时视频通信会话中所述第二参与者的活动水平的第二数据；以及
响应于接收到指示所述实时视频通信会话中所述第一参与者的活动水平已增加到高于所述实时视频通信会话中所述第二参与者的活动水平的所述第二数据：
改变所述第一参与者在所述实时视频通信用户界面中的所述表示的所述尺寸和/或位置；
改变所述第二参与者在所述实时视频通信用户界面中的所述表示的所述尺寸和/或位置；以及
维持所述实时通信会话中所述第三参与者的所述表示的所述尺寸和位置。
3.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
进一步响应于接收到指示所述实时通信会话中所述第二参与者的所述活动水平已增加到高于所述实时通信会话中所述第一参与者的所述活动水平的第一数据：
强调所述第二参与者在所述实时通信用户界面中的所述表示的视觉指示；以及
不强调所述第一参与者在所述实时通信用户界面中的所述表示的视觉指示。
4.根据权利要求1所述的电子设备，其中：
在接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据之前：
所述第一参与者的所述表示以第一尺寸显示，并且
所述第二参与者的所述表示以小于所述第一尺寸的第二尺寸显示；并且
改变所述第二参与者的所述表示的所述尺寸和/或位置包括将所述第二参与者的所述表示的所述尺寸从所述第二尺寸增加到所述第一尺寸。
5.根据权利要求1所述的电子设备，其中改变所述第一参与者的所述表示的所述尺寸和/或位置包括：
基于从所述第二参与者的视频馈送获得的面部识别数据来改变所述第一参与者的所述表示的所述尺寸和/或位置，其中改变所述第一参与者的所述表示的所述尺寸和/或位置不会导致所述第二参与者的面部模糊。
6.根据权利要求1所述的电子设备，其中在接收到指示所述实时视频通信会话中的所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中的所述第一参与者的所述活动水平的所述数据之前，所述第一参与者、所述第二参与者和所述第三参与者的表示中的一个或多个表示与参与者的至少一个其他表示重叠。
7.根据权利要求6所述的电子设备，其中：
在接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据之前，所述第一参与者、所述第二参与者和所述第三参与者在所述实时通信用户界面中的表示根据z次序显示；并且
改变所述第一参与者、所述第二参与者和所述第三参与者在所述实时通信用户界面中的表示的所述尺寸和/或位置包括维持所述第一参与者、所述第二参与者和所述第三参与者的所述表示的所述z次序。
8.根据权利要求1所述的电子设备，其中具有所述第一参与者、所述第二参与者和所述第三参与者的最高活动水平的参与者的表示的一部分与所述第一参与者、所述第二参与者和所述第三参与者中的另一个参与者在所述实时通信用户界面中的表示的一部分重叠。
9.根据权利要求1所述的电子设备，其中具有所述第一参与者、所述第二参与者和所述第三参与者的最低活动水平的参与者的表示的一部分与所述第一参与者、所述第二参与者和所述第三参与者中的另一个参与者在所述实时通信用户界面中的表示的一部分重叠。
10.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
在接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据之后，检测与所述第一参与者的所述表示对应的输入；以及
响应于检测到与所述第一参与者的所述表示对应的所述输入，增加所述第一参与者的所述活动水平。
11.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
接收指示所述实时通信会话中的第四参与者比具有所述第一参与者、所述第二参与者和所述第三参与者的最低活动水平的参与者更活跃的数据；以及
响应于接收到指示所述实时通信会话中的所述第四参与者比具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的参与者更活跃的所述数据，用所述第四参与者的表示的显示替换具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的所述参与者的所述表示的所述显示。
12.根据权利要求11所述的电子设备，其中用所述第四参与者的表示的显示来替换具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的所述参与者的所述表示的所述显示包括：
以大于具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的所述参与者的所述表示的所述尺寸的尺寸来显示所述第四参与者的所述表示。
13.根据权利要求1所述的电子设备，其中改变所述第一参与者的所述表示的所述尺寸和/或位置包括将所述表示的所述尺寸从第一尺寸逐渐地增大到第二尺寸。
14.根据权利要求1所述的电子设备，其中所述实时通信界面包括画布区域，并且其中在所述实时通信会话中所述第一参与者的所述表示、在所述实时通信会话中所述第二参与者的所述表示和在所述实时通信会话中所述第三参与者的所述表示显示在所述画布区域中。
15.根据权利要求14所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
检测画布尺寸改变事件；以及
响应于检测到所述画布尺寸改变事件：
改变所述画布区域的尺寸；以及
修改所述第一参与者、所述第二参与者和所述第三参与者的表示的布局。
16.根据权利要求15所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
进一步响应于检测到所述画布尺寸改变事件，改变所述第一参与者、所述第二参与者和所述第三参与者的表示中的一个或多个表示的尺寸。
17.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
在所述实时通信会话用户界面中显示所述电子设备的相机的视图的表示；以及
进一步响应于接收到指示所述实时通信会话中所述第二参与者的所述活动水平已增加到高于所述实时通信会话中所述第一参与者的所述活动水平的第一数据：
维持所述电子设备的所述相机的视图在所述实时通信会话用户界面中的所述表示的尺寸。
18.一种暂态计算机可读存储介质，所述暂态计算机可读存储介质存储被配置为由具有显示器的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
显示实时视频通信用户界面，包括同时显示实时视频通信会话中的第一参与者的表示、所述实时视频通信会话中的第二参与者的表示、以及所述实时视频通信会话中的第三参与者的表示；
在显示所述实时视频通信用户界面的同时，接收指示所述实时视频通信会话中所述第二参与者的活动水平已增加到高于所述实时视频通信会话中所述第一参与者的活动水平的数据，其中至少所述第一参与者的所述活动水平基于以下中的至少一者：来自从所述第一参与者的设备接收的音频馈送的音频或者从所述第一参与者的所述设备接收的视频馈送中识别的满足一组移动标准的移动；以及
响应于接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据：
改变所述第一参与者在所述实时视频通信用户界面中的所述表示的尺寸和/或位置；
改变所述第二参与者在所述实时视频通信用户界面中的所述表示的尺寸和/或位置；以及
改变所述第三参与者在所述实时视频通信用户界面中的所述表示的尺寸和/或位置，其中：
在改变所述第一参与者在所述实时通信用户界面中的所述表示的所述尺寸和/或位置之后，所述第一参与者的改变的表示占据在改变所述第一参与者的所述表示的所述尺寸和所述位置之前由所述第一参与者在所述实时通信用户界面中的所述表示占据的区域的至少一部分；
在改变所述第二参与者在所述实时通信用户界面中的所述表示的所述尺寸和/或位置之后，所述第二参与者的改变的表示占据在改变所述第二参与者的所述表示的所述尺寸和所述位置之前由所述第二参与者在所述实时通信用户界面中的所述表示占据的区域的至少一部分；
在改变所述第三参与者在所述实时通信用户界面中的所述表示的所述尺寸和/或位置之后，所述第三参与者的改变的表示占据在改变所述第三参与者的所述表示的所述尺寸和所述位置之前由所述第三参与者在所述实时通信用户界面中的所述表示占据的区域的至少一部分；以及
在改变所述第一参与者的表示、所述第二参与者的表示和所述第三参与者的表示的尺寸和/或位置之后，第一参与者的表示与第二参与者的表示重叠，并且第二参与者的表示与第三参与者的表示重叠。
19.根据权利要求18所述的暂态计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
在改变所述第一参与者在所述实时视频通信用户界面中的所述表示的所述尺寸和/或位置之后，接收指示所述实时视频通信会话中所述第一参与者的活动水平已增加到高于所述实时视频通信会话中所述第二参与者的活动水平的第二数据；以及
响应于接收到指示所述实时视频通信会话中所述第一参与者的活动水平已增加到高于所述实时视频通信会话中所述第二参与者的活动水平的所述第二数据：
改变所述第一参与者在所述实时视频通信用户界面中的所述表示的所述尺寸和/或位置；
改变所述第二参与者在所述实时视频通信用户界面中的所述表示的所述尺寸和/或位置；以及
维持所述实时通信会话中所述第三参与者的所述表示的所述尺寸和位置。
20.根据权利要求18所述的暂态计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
进一步响应于接收到指示所述实时通信会话中所述第二参与者的所述活动水平已增加到高于所述实时通信会话中所述第一参与者的所述活动水平的第一数据：
强调所述第二参与者在所述实时通信用户界面中的所述表示的视觉指示；以及
不强调所述第一参与者在所述实时通信用户界面中的所述表示的视觉指示。
21.根据权利要求18所述的暂态计算机可读存储介质，其中：
在接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据之前：
所述第一参与者的所述表示以第一尺寸显示，并且
所述第二参与者的所述表示以小于所述第一尺寸的第二尺寸显示；并且
改变所述第二参与者的所述表示的所述尺寸和/或位置包括将所述第二参与者的所述表示的所述尺寸从所述第二尺寸增加到所述第一尺寸。
22.根据权利要求18所述的暂态计算机可读存储介质，其中改变所述第一参与者的所述表示的所述尺寸和/或位置包括：
基于从所述第二参与者的视频馈送获得的面部识别数据来改变所述第一参与者的所述表示的所述尺寸和/或位置，其中改变所述第一参与者的所述表示的所述尺寸和/或位置不会导致所述第二参与者的面部模糊。
23.根据权利要求18所述的暂态计算机可读存储介质，其中在接收到指示所述实时视频通信会话中的所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中的所述第一参与者的所述活动水平的所述数据之前，所述第一参与者、所述第二参与者和所述第三参与者的表示中的一个或多个表示与参与者的至少一个其他表示重叠。
24.根据权利要求23所述的暂态计算机可读存储介质，其中：
在接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据之前，所述第一参与者、所述第二参与者和所述第三参与者在所述实时通信用户界面中的表示根据z次序显示；并且
改变所述第一参与者、所述第二参与者和所述第三参与者在所述实时通信用户界面中的表示的所述尺寸和/或位置包括维持所述第一参与者、所述第二参与者和所述第三参与者的所述表示的所述z次序。
25.根据权利要求18所述的暂态计算机可读存储介质，其中具有所述第一参与者、所述第二参与者和所述第三参与者的最高活动水平的参与者的表示的一部分与所述第一参与者、所述第二参与者和所述第三参与者中的另一个参与者在所述实时通信用户界面中的表示的一部分重叠。
26.根据权利要求18所述的暂态计算机可读存储介质，其中具有所述第一参与者、所述第二参与者和所述第三参与者的最低活动水平的参与者的表示的一部分与所述第一参与者、所述第二参与者和所述第三参与者中的另一个参与者在所述实时通信用户界面中的表示的一部分重叠。
27.根据权利要求18所述的暂态计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
在接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据之后，检测与所述第一参与者的所述表示对应的输入；以及
响应于检测到与所述第一参与者的所述表示对应的所述输入，增加所述第一参与者的所述活动水平。
28.根据权利要求18所述的暂态计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
接收指示所述实时通信会话中的第四参与者比具有所述第一参与者、所述第二参与者和所述第三参与者的最低活动水平的参与者更活跃的数据；以及
响应于接收到指示所述实时通信会话中的所述第四参与者比具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的参与者更活跃的所述数据，用所述第四参与者的表示的显示替换具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的所述参与者的所述表示的所述显示。
29.根据权利要求28所述的暂态计算机可读存储介质，其中用所述第四参与者的表示的显示来替换具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的所述参与者的所述表示的所述显示包括：
以大于具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的所述参与者的所述表示的所述尺寸的尺寸来显示所述第四参与者的所述表示。
30.根据权利要求18所述的暂态计算机可读存储介质，其中改变所述第一参与者的所述表示的所述尺寸和/或位置包括将所述表示的所述尺寸从第一尺寸逐渐地增大到第二尺寸。
31.根据权利要求18所述的暂态计算机可读存储介质，其中所述实时通信界面包括画布区域，并且其中在所述实时通信会话中所述第一参与者的所述表示、在所述实时通信会话中所述第二参与者的所述表示和在所述实时通信会话中所述第三参与者的所述表示显示在所述画布区域中。
32.根据权利要求31所述的暂态计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
检测画布尺寸改变事件；以及
响应于检测到所述画布尺寸改变事件：
改变所述画布区域的尺寸；以及
修改所述第一参与者、所述第二参与者和所述第三参与者的表示的布局。
33.根据权利要求32所述的暂态计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
进一步响应于检测到所述画布尺寸改变事件，改变所述第一参与者、所述第二参与者和所述第三参与者的表示中的一个或多个表示的尺寸。
34.根据权利要求18所述的暂态计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
在所述实时通信会话用户界面中显示所述电子设备的相机的视图的表示；以及
进一步响应于接收到指示所述实时通信会话中所述第二参与者的所述活动水平已增加到高于所述实时通信会话中所述第一参与者的所述活动水平的第一数据：
维持所述电子设备的所述相机的视图在所述实时通信会话用户界面中的所述表示的尺寸。
35.一种用于实时通信的方法，包括：
在具有显示器的电子设备处：
显示实时视频通信用户界面，包括同时显示实时视频通信会话中的第一参与者的表示、所述实时视频通信会话中的第二参与者的表示、以及所述实时视频通信会话中的第三参与者的表示；
在显示所述实时视频通信用户界面的同时，接收指示所述实时视频通信会话中所述第二参与者的活动水平已增加到高于所述实时视频通信会话中所述第一参与者的活动水平的数据，其中至少所述第一参与者的所述活动水平基于以下中的至少一者：来自从所述第一参与者的设备接收的音频馈送的音频或者从所述第一参与者的所述设备接收的视频馈送中识别的满足一组移动标准的移动；以及
响应于接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据：
改变所述第一参与者在所述实时视频通信用户界面中的所述表示的尺寸和/或位置；
改变所述第二参与者在所述实时视频通信用户界面中的所述表示的尺寸和/或位置；以及
改变所述第三参与者在所述实时视频通信用户界面中的所述表示的尺寸和/或位置，其中：
在改变所述第一参与者在所述实时通信用户界面中的所述表示的所述尺寸和/或位置之后，所述第一参与者的改变的表示占据在改变所述第一参与者的所述表示的所述尺寸和所述位置之前由所述第一参与者在所述实时通信用户界面中的所述表示占据的区域的至少一部分；
在改变所述第二参与者在所述实时通信用户界面中的所述表示的所述尺寸和/或位置之后，所述第二参与者的改变的表示占据在改变所述第二参与者的所述表示的所述尺寸和所述位置之前由所述第二参与者在所述实时通信用户界面中的所述表示占据的区域的至少一部分；
在改变所述第三参与者在所述实时通信用户界面中的所述表示的所述尺寸和/或位置之后，所述第三参与者的改变的表示占据在改变所述第三参与者的所述表示的所述尺寸和所述位置之前由所述第三参与者在所述实时通信用户界面中的所述表示占据的区域的至少一部分；以及
在改变所述第一参与者的表示、所述第二参与者的表示和所述第三参与者的表示的尺寸和/或位置之后，第一参与者的表示与第二参与者的表示重叠，并且第二参与者的表示与第三参与者的表示重叠。
36.根据权利要求35所述的方法，还包括：
在改变所述第一参与者在所述实时视频通信用户界面中的所述表示的所述尺寸和/或位置之后，接收指示所述实时视频通信会话中所述第一参与者的活动水平已增加到高于所述实时视频通信会话中所述第二参与者的活动水平的第二数据；以及
响应于接收到指示所述实时视频通信会话中所述第一参与者的活动水平已增加到高于所述实时视频通信会话中所述第二参与者的活动水平的所述第二数据：
改变所述第一参与者在所述实时视频通信用户界面中的所述表示的所述尺寸和/或位置；
改变所述第二参与者在所述实时视频通信用户界面中的所述表示的所述尺寸和/或位置；以及
维持所述实时通信会话中所述第三参与者的所述表示的所述尺寸和位置。
37.根据权利要求35所述的方法，还包括：
进一步响应于接收到指示所述实时通信会话中所述第二参与者的所述活动水平已增加到高于所述实时通信会话中所述第一参与者的所述活动水平的第一数据：
强调所述第二参与者在所述实时通信用户界面中的所述表示的视觉指示；以及
不强调所述第一参与者在所述实时通信用户界面中的所述表示的视觉指示。
38.根据权利要求35所述的方法，其中：
在接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据之前：
所述第一参与者的所述表示以第一尺寸显示，并且
所述第二参与者的所述表示以小于所述第一尺寸的第二尺寸显示；并且
改变所述第二参与者的所述表示的所述尺寸和/或位置包括将所述第二参与者的所述表示的所述尺寸从所述第二尺寸增加到所述第一尺寸。
39.根据权利要求35所述的方法，其中改变所述第一参与者的所述表示的所述尺寸和/或位置包括：
基于从所述第二参与者的视频馈送获得的面部识别数据来改变所述第一参与者的所述表示的所述尺寸和/或位置，其中改变所述第一参与者的所述表示的所述尺寸和/或位置不会导致所述第二参与者的面部模糊。
40.根据权利要求35所述的方法，其中在接收到指示所述实时视频通信会话中的所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中的所述第一参与者的所述活动水平的所述数据之前，所述第一参与者、所述第二参与者和所述第三参与者的表示中的一个或多个表示与参与者的至少一个其他表示重叠。
41.根据权利要求40所述的方法，其中：
在接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据之前，所述第一参与者、所述第二参与者和所述第三参与者在所述实时通信用户界面中的表示根据z次序显示；并且
改变所述第一参与者、所述第二参与者和所述第三参与者在所述实时通信用户界面中的表示的所述尺寸和/或位置包括维持所述第一参与者、所述第二参与者和所述第三参与者的所述表示的所述z次序。
42.根据权利要求35所述的方法，其中具有所述第一参与者、所述第二参与者和所述第三参与者的最高活动水平的参与者的表示的一部分与所述第一参与者、所述第二参与者和所述第三参与者中的另一个参与者在所述实时通信用户界面中的表示的一部分重叠。
43.根据权利要求35所述的方法，其中具有所述第一参与者、所述第二参与者和所述第三参与者的最低活动水平的参与者的表示的一部分与所述第一参与者、所述第二参与者和所述第三参与者中的另一个参与者在所述实时通信用户界面中的表示的一部分重叠。
44.根据权利要求35所述的方法，还包括：
在接收到指示所述实时视频通信会话中所述第二参与者的所述活动水平已增加到高于所述实时视频通信会话中所述第一参与者的所述活动水平的所述数据之后，检测与所述第一参与者的所述表示对应的输入；以及
响应于检测到与所述第一参与者的所述表示对应的所述输入，增加所述第一参与者的所述活动水平。
45.根据权利要求35所述的方法，还包括：
接收指示所述实时通信会话中的第四参与者比具有所述第一参与者、所述第二参与者和所述第三参与者的最低活动水平的参与者更活跃的数据；以及
响应于接收到指示所述实时通信会话中的所述第四参与者比具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的参与者更活跃的所述数据，用所述第四参与者的表示的显示替换具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的所述参与者的所述表示的所述显示。
46.根据权利要求45所述的方法，其中用所述第四参与者的表示的显示来替换具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的所述参与者的所述表示的所述显示包括：
以大于具有所述第一参与者、所述第二参与者和所述第三参与者的所述最低活动水平的所述参与者的所述表示的所述尺寸的尺寸来显示所述第四参与者的所述表示。
47.根据权利要求35所述的方法，其中改变所述第一参与者的所述表示的所述尺寸和/或位置包括将所述表示的所述尺寸从第一尺寸逐渐地增大到第二尺寸。
48.根据权利要求35所述的方法，其中所述实时通信界面包括画布区域，并且其中在所述实时通信会话中所述第一参与者的所述表示、在所述实时通信会话中所述第二参与者的所述表示和在所述实时通信会话中所述第三参与者的所述表示显示在所述画布区域中。
49.根据权利要求48所述的方法，还包括：
检测画布尺寸改变事件；以及
响应于检测到所述画布尺寸改变事件：
改变所述画布区域的尺寸；以及
修改所述第一参与者、所述第二参与者和所述第三参与者的表示的布局。
50.根据权利要求49所述的方法，还包括：
进一步响应于检测到所述画布尺寸改变事件，改变所述第一参与者、所述第二参与者和所述第三参与者的表示中的一个或多个表示的尺寸。
51.根据权利要求35所述的方法，还包括：
在所述实时通信会话用户界面中显示所述电子设备的相机的视图的表示；以及
进一步响应于接收到指示所述实时通信会话中所述第二参与者的所述活动水平已增加到高于所述实时通信会话中所述第一参与者的所述活动水平的第一数据：
维持所述电子设备的所述相机的视图在所述实时通信会话用户界面中的所述表示的尺寸。
52.一种电子设备，包括：
显示器；以及
用于执行根据权利要求35-51中任一项所述的方法的装置。
CN201910400179.2A 2018-05-07 2018-09-28 多参与者实时通信用户界面 Active CN110457095B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201862668229P 2018-05-07 2018-05-07
US62/668,229 2018-05-07
US201862679925P 2018-06-03 2018-06-03
US62/679,925 2018-06-03
DKPA201870364A DK201870364A1 (en) 2018-05-07 2018-06-12 MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
DKPA201870364 2018-06-12
DKPA201870363 2018-06-12
DKPA201870363 2018-06-12
DKPA201870362 2018-06-12
DKPA201870362A DK180130B1 (da) 2018-05-07 2018-06-12 Multi-participant live communication user interface
CN201811136766.7A CN110457091A (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811136766.7A Division CN110457091A (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面

Publications (2)

Publication Number Publication Date
CN110457095A CN110457095A (zh) 2019-11-15
CN110457095B true CN110457095B (zh) 2022-12-27

Family

ID=68466048

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201910400180.5A Active CN110457096B (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面
CN201811136766.7A Pending CN110457091A (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面
CN202010126661.4A Pending CN111367603A (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面
CN202011243876.0A Active CN112214275B (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面
CN201910704856.XA Pending CN110457104A (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面
CN201910400179.2A Active CN110457095B (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN201910400180.5A Active CN110457096B (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面
CN201811136766.7A Pending CN110457091A (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面
CN202010126661.4A Pending CN111367603A (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面
CN202011243876.0A Active CN112214275B (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面
CN201910704856.XA Pending CN110457104A (zh) 2018-05-07 2018-09-28 多参与者实时通信用户界面

Country Status (3)

Country Link
JP (4) JP6609361B2 (zh)
CN (6) CN110457096B (zh)
WO (1) WO2019217477A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102373510B1 (ko) * 2017-08-11 2022-03-11 삼성전자주식회사 디스플레이를 회전함에 따라 컨텐츠를 시각화 하는 디스플레이 장치 및 이의 제어 방법
JP6946499B2 (ja) * 2020-03-06 2021-10-06 株式会社日立製作所 発話支援装置、発話支援方法、および発話支援プログラム
US11580984B2 (en) * 2020-03-20 2023-02-14 At&T Intellectual Property I, L.P. Virtual assistant-initiated conversations
GB2611962A (en) * 2020-08-12 2023-04-19 Dten Inc Mode control and content sharing
JP7043110B1 (ja) * 2020-10-29 2022-03-29 株式会社パルケ オンライン会議支援装置、オンライン会議支援プログラム、およびオンライン会議支援システム
JP6886750B1 (ja) * 2020-10-29 2021-06-16 株式会社パルケ オンライン会議支援装置、オンライン会議支援プログラム、およびオンライン会議支援システム
CN112288996B (zh) * 2020-11-13 2022-08-09 中铁广州工程局集团深圳工程有限公司 高压线下预警防护方法、系统、计算机设备及其存储介质
US20240028123A1 (en) * 2020-12-04 2024-01-25 Sony Group Corporation Information processing device, information processing method, program, and information processing system
US11909921B1 (en) * 2020-12-21 2024-02-20 Meta Platforms, Inc. Persistent digital video streaming
US11943072B2 (en) * 2021-03-30 2024-03-26 Snap Inc. Providing a room preview within a virtual conferencing system
EP4341812A1 (en) * 2021-05-17 2024-03-27 Apple Inc. Devices, methods, and graphical user interfaces for automatically providing shared content to applications
CN113873192A (zh) * 2021-09-14 2021-12-31 北京达佳互联信息技术有限公司 会话显示方法、装置、计算机设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104869046A (zh) * 2014-02-20 2015-08-26 陈时军 一种信息交流方法及装置
CN107491257A (zh) * 2016-06-12 2017-12-19 苹果公司 用于访问常用设备功能的设备和方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
US7185054B1 (en) * 1993-10-01 2007-02-27 Collaboration Properties, Inc. Participant display and selection in video conference calls
EP1717681B1 (en) 1998-01-26 2015-04-29 Apple Inc. Method for integrating manual input
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP4352381B2 (ja) * 2003-09-19 2009-10-28 日本ビクター株式会社 テレビ電話装置
US20050099492A1 (en) * 2003-10-30 2005-05-12 Ati Technologies Inc. Activity controlled multimedia conferencing
JP4994646B2 (ja) * 2005-11-29 2012-08-08 京セラ株式会社 通信端末および通信システム、並びに通信端末の表示方法
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8818175B2 (en) * 2010-03-08 2014-08-26 Vumanity Media, Inc. Generation of composited video programming
US8725880B2 (en) 2010-04-07 2014-05-13 Apple, Inc. Establishing online communication sessions between client computing devices
CA2835218A1 (en) * 2011-05-26 2012-11-29 Google Inc. Providing contextual information and enabling group communication for participants in a conversation
CN103384235B (zh) * 2012-05-04 2017-09-29 腾讯科技（深圳）有限公司 多人会话时数据呈现的方法、服务器及系统
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN103458215B (zh) * 2012-05-29 2016-11-23 国基电子（上海）有限公司 切换视频通话的系统、手机、电子装置及切换方法
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US8848026B2 (en) * 2013-02-01 2014-09-30 Maitland M. DeLand Video conference call conversation topic sharing system
JP6111898B2 (ja) * 2013-06-28 2017-04-12 富士電機株式会社 画像表示装置、監視システム、及び画像表示プログラム
CN104010158A (zh) * 2014-03-11 2014-08-27 宇龙计算机通信科技(深圳)有限公司 移动终端及多方视频通话的实现方法
US20160014059A1 (en) * 2015-09-30 2016-01-14 Yogesh Chunilal Rathod Presenting one or more types of interface(s) or media to calling and/or called user while acceptance of call
US9207835B1 (en) * 2014-05-31 2015-12-08 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9971500B2 (en) * 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US9615058B2 (en) 2014-06-05 2017-04-04 Reel, Inc. Apparatus and method for sharing content items among a plurality of mobile devices
JP2016001446A (ja) * 2014-06-12 2016-01-07 モイ株式会社 変換画像提供装置、変換画像提供方法及びプログラム
CN104331246A (zh) 2014-11-19 2015-02-04 广州三星通信技术研究有限公司 在终端中进行分屏显示的设备和方法
US9380264B1 (en) * 2015-02-16 2016-06-28 Siva Prasad Vakalapudi System and method for video communication
JP6172610B2 (ja) * 2015-03-17 2017-08-02 パナソニックＩｐマネジメント株式会社 テレビ会議用システム
US10061467B2 (en) * 2015-04-16 2018-08-28 Microsoft Technology Licensing, Llc Presenting a message in a communication session
US20160308920A1 (en) * 2015-04-16 2016-10-20 Microsoft Technology Licensing, Llc Visual Configuration for Communication Session Participants
CN105094957A (zh) * 2015-06-10 2015-11-25 小米科技有限责任公司 视频会话窗口控制方法及装置
CN104980578B (zh) * 2015-06-11 2018-01-23 广东欧珀移动通信有限公司 一种事件提醒方法及移动终端
CN105204846B (zh) * 2015-08-26 2019-07-09 小米科技有限责任公司 多人视频中视频画面的显示方法、装置及终端设备
CN105554429A (zh) * 2015-11-19 2016-05-04 掌赢信息科技（上海）有限公司 一种视频通话显示方法及视频通话设备
US10609093B2 (en) * 2016-05-06 2020-03-31 Facebook, Inc. Instantaneous call sessions over a communications application
JP6634965B2 (ja) * 2016-06-20 2020-01-22 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
JP6179834B1 (ja) * 2016-09-27 2017-08-16 パナソニックＩｐマネジメント株式会社 テレビ会議装置
US20180123986A1 (en) * 2016-11-01 2018-05-03 Microsoft Technology Licensing, Llc Notification of a Communication Session in a Different User Experience
CN107728876B (zh) * 2017-09-20 2019-08-09 深圳市金立通信设备有限公司 一种分屏显示的方法、终端及计算机可读存储介质
CN107704177B (zh) * 2017-11-07 2020-04-21 Oppo广东移动通信有限公司 界面显示方法、装置及终端
CN107992248B (zh) * 2017-11-27 2020-09-29 北京小米移动软件有限公司 消息显示方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104869046A (zh) * 2014-02-20 2015-08-26 陈时军 一种信息交流方法及装置
CN107491257A (zh) * 2016-06-12 2017-12-19 苹果公司 用于访问常用设备功能的设备和方法

Also Published As

Publication number Publication date
CN110457104A (zh) 2019-11-15
JP2022043185A (ja) 2022-03-15
JP2020039139A (ja) 2020-03-12
CN110457091A (zh) 2019-11-15
JP6609361B2 (ja) 2019-11-20
WO2019217477A1 (en) 2019-11-14
CN112214275B (zh) 2021-10-29
CN112214275A (zh) 2021-01-12
JP7297044B2 (ja) 2023-06-23
JP2023120280A (ja) 2023-08-29
JP6998353B2 (ja) 2022-01-18
JP2019197520A (ja) 2019-11-14
CN110457096B (zh) 2021-01-01
CN110457095A (zh) 2019-11-15
CN110457096A (zh) 2019-11-15
CN111367603A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
DK180130B1 (da) Multi-participant live communication user interface
CN110457095B (zh) 多参与者实时通信用户界面
AU2023248185B2 (en) Multi-participant live communication user interface
AU2021203903B2 (en) Multi-participant live communication user interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: M. van Oz

Inventor after: N.V.Jin

Inventor after: S.O. Lemme

Inventor after: J. Lausch

Inventor after: H. Enamel

Inventor after: L.S. Broughton

Inventor after: P. D. Callaway

Inventor after: P F Carol

Inventor after: J.W.Chang

Inventor after: A. Dreyer

Inventor after: A.C.Dai

Inventor after: C. M. Frederick

Inventor after: R. Garcia III

Inventor before: M. van Oz

Inventor before: N.V.Jin

Inventor before: S.O. Lemme

Inventor before: J. Lausch

Inventor before: H. Enamel

Inventor before: L. Broughton

Inventor before: P. Callaway

Inventor before: P F Carol

Inventor before: J.W.Chang

Inventor before: A. Dreyer

Inventor before: A.Dai

Inventor before: C. federeggi

Inventor before: R. Garcia

GR01 Patent grant
GR01 Patent grant