CN110460799A - 创意相机 - Google Patents

创意相机 Download PDF

Info

Publication number
CN110460799A
CN110460799A CN201910692978.1A CN201910692978A CN110460799A CN 110460799 A CN110460799 A CN 110460799A CN 201910692978 A CN201910692978 A CN 201910692978A CN 110460799 A CN110460799 A CN 110460799A
Authority
CN
China
Prior art keywords
effect
video communication
expression
live video
indicate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910692978.1A
Other languages
English (en)
Other versions
CN110460799B (zh
Inventor
M·万欧斯
J·阿布卡萨姆
D·R·布莱克
R·钦
G·L·杜代
K·K·恩斯特
G·保罗
J·瑞克瓦德
W·A·索伦蒂诺三世
B·E·沃尔什
J-F·M·奥步兹
L·S·布劳顿
J·W·常
A·C·戴伊
A·古兹曼
N·V·金
C·J·毛里奥斯
J·M·纽曼
N·V·斯卡普尔
J-A·P·韦伊
C·威尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/110,514 external-priority patent/US10375313B1/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110460799A publication Critical patent/CN110460799A/zh
Application granted granted Critical
Publication of CN110460799B publication Critical patent/CN110460799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H04N1/00103—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
    • H04N1/00106—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites using land mobile radio networks, e.g. mobile telephone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3263—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of a graphical motif or symbol, e.g. Christmas symbol, logo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3273—Display

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Astronomy & Astrophysics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本发明题为“创意相机”。本公开整体涉及在图像数据中显示视觉效果。在一些示例中，视觉效果包括在用户的面部上显示的头像。在一些示例中，视觉效果包括施加至图像数据的贴纸。在一些示例中，视觉效果包括屏幕效果。在一些示例中，基于图像数据中的深度数据来修改视觉效果。

Description

创意相机
本申请是申请日为2018年9月28日、申请号为201811157549.6、题为“创意相机”的发明专利申请的分案申请。
相关申请的交叉引用
本专利申请涉及2018年5月7日提交并且名称为“Creative Camera”的美国临时专利申请62/668,227。本专利申请的内容据此全文以引用方式并入本文。
技术领域
本公开整体涉及计算机用户界面，并且更具体地涉及用于显示视觉效果的技术。
背景技术
视觉效果用于在使用电子设备捕获和查看媒体时増强用户的体验。视觉效果可改变图像数据的外观，或可表示在图像中捕获到的环境的理想化或完全虚构表示。
发明内容
然而，用于使用电子设备来显示视觉效果的一些技术通常很麻烦且效率低下。例如，一些现有技术使用复杂且耗时的用户界面，该用户界面可包括多次按键或击键。现有技术需要比所需更多的时间，这导致浪费用户的时间和设备能量。这后一考虑在电池驱动的设备中是特别重要的。
因此，本技术为电子设备提供了更快、更有效的方法和界面，以用于显示视觉效果。此类方法和界面任选地补充或替换用于显示视觉效果的其他方法。此类方法和界面减少对用户所造成的认知负担，并且产生更有效的人机界面。对于电池驱动的计算设备，此类方法和界面节省功率，并且增大电池充电之间的时间间隔。
描述了一种方法。所述方法在具有相机、显示装置和一个或多个输入设备的电子设备处执行。所述方法包括：经由所述显示装置显示消息会话的即时消息用户界面，所述消息会话包括至少第一参与者，所述即时消息用户界面包括相机示能表示；经由所述一个或多个输入设备检测指向所述相机示能表示的第一输入；响应于检测到所述第一输入，显示相机用户界面，所述相机用户界面包括捕获示能表示；经由所述一个或多个输入设备检测指向所述捕获示能表示的第二输入；响应于检测到所述第二输入：使用所述相机捕获图像数据；停止显示所述捕获示能表示；以及在所述相机用户界面中先前被所述捕获示能表示占据的位置处显示发送示能表示；经由所述一个或多个输入设备检测指向所述发送示能表示的第三输入；以及响应于检测到所述第三输入，发起用于将所捕获的图像数据发送给所述第一参与者的过程。
描述了一种非暂态计算机可读存储介质。所述非暂态计算机可读存储介质存储被配置为由具有相机、显示装置和一个或多个输入设备的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示包括至少第一参与者的消息会话的即时消息用户界面，所述即时消息用户界面包括相机示能表示；经由所述一个或多个输入设备检测指向所述相机示能表示的第一输入；响应于检测到所述第一输入，显示相机用户界面，所述相机用户界面包括捕获示能表示；经由所述一个或多个输入设备检测指向所述捕获示能表示的第二输入；响应于检测到所述第二输入：使用所述相机捕获图像数据；停止显示所述捕获示能表示；以及在所述相机用户界面中先前被所述捕获示能表示占据的位置处显示发送示能表示；经由所述一个或多个输入设备检测指向所述发送示能表示的第三输入；以及响应于检测到所述第三输入，发起用于将所捕获的图像数据发送给所述第一参与者的过程。
描述了一种暂态计算机可读存储介质。所述暂态计算机可读存储介质存储被配置为由具有相机、显示装置和一个或多个输入设备的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示包括至少第一参与者的消息会话的即时消息用户界面，所述即时消息用户界面包括相机示能表示；经由所述一个或多个输入设备检测指向所述相机示能表示的第一输入；响应于检测到所述第一输入，显示相机用户界面，所述相机用户界面包括捕获示能表示；经由所述一个或多个输入设备检测指向所述捕获示能表示的第二输入；响应于检测到所述第二输入：使用所述相机捕获图像数据；停止显示所述捕获示能表示；以及在所述相机用户界面中先前被所述捕获示能表示占据的位置处显示发送示能表示；经由所述一个或多个输入设备检测指向所述发送示能表示的第三输入；以及响应于检测到所述第三输入，发起用于将所捕获的图像数据发送给所述第一参与者的过程。
本发明描述了一种电子设备。所述电子设备包括：相机；显示装置；一个或多个输入设备；一个或多个处理器；以及存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示包括至少第一参与者的消息会话的即时消息用户界面，所述即时消息用户界面包括相机示能表示；经由所述一个或多个输入设备检测指向所述相机示能表示的第一输入；响应于检测到所述第一输入，显示相机用户界面，所述相机用户界面包括捕获示能表示；经由所述一个或多个输入设备检测指向所述捕获示能表示的第二输入；响应于检测到所述第二输入：使用所述相机捕获图像数据；停止显示所述捕获示能表示；以及在所述相机用户界面中先前被所述捕获示能表示占据的位置处显示发送示能表示；经由所述一个或多个输入设备检测指向所述发送示能表示的第三输入；以及响应于检测到所述第三输入，发起用于将所捕获的图像数据发送给所述第一参与者的过程。
本发明描述了一种电子设备。所述电子设备包括：相机；显示装置；一个或多个输入设备；用于经由所述显示装置显示消息会话的即时消息用户界面的装置，所述消息会话包括至少第一参与者，所述即时消息用户界面包括相机示能表示；用于经由所述一个或多个输入设备检测指向所述相机示能表示的第一输入的装置；响应于检测到所述第一输入，用于显示相机用户界面的装置，所述相机用户界面包括捕获示能表示；用于经由所述一个或多个输入设备检测指向所述捕获示能表示的第二输入的装置；响应于检测到所述第二输入，用于执行以下操作的装置：使用所述相机捕获图像数据；停止显示所述捕获示能表示；以及在所述相机用户界面中先前被所述捕获示能表示占据的位置处显示发送示能表示；用于经由所述一个或多个输入设备检测指向所述发送示能表示的第三输入的装置；以及响应于检测到所述第三输入，用于发起用于将所捕获的图像数据发送给所述第一参与者的过程的装置。
描述了一种方法。所述方法在具有相机和显示装置的电子设备处执行。所述方法包括：经由所述显示装置显示相机用户界面，所述相机用户界面包括：相机显示区域，所述相机显示区域包括经由所述相机捕获的图像数据的表示；以及与第一相机显示模式相关联的第一示能表示；当对象被定位在所述相机的视野内并且所述对象的表示和背景被显示在所述相机显示区域中时，检测指向所述第一示能表示的手势；响应于检测到指向所述第一示能表示的所述手势，激活所述第一相机显示模式，其中激活所述第一相机显示模式包括：显示包括多个头像选项中选定的一个头像选项的头像选择区域；以及在所述相机显示区域中所述对象的所述表示上显示所选择的头像选项的表示；当所述第一相机显示模式处于活动状态时，检测所述对象的姿势变化；并且响应于检测到所述对象的所述姿势变化，基于所检测到的所述对象的所述姿势变化来改变所选择的头像选项的所显示表示的外观，同时保持对所述背景的显示。
描述了一种非暂态计算机可读存储介质。所述非暂态计算机可读存储介质存储被配置为由具有相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示相机用户界面，所述相机用户界面包括：相机显示区域，所述相机显示区域包括经由所述相机捕获的图像数据的表示；以及与第一相机显示模式相关联的第一示能表示；当对象被定位在所述相机的视野内并且所述对象的表示和背景被显示在所述相机显示区域中时，检测指向所述第一示能表示的手势；响应于检测到指向所述第一示能表示的所述手势，激活所述第一相机显示模式，其中激活所述第一相机显示模式包括：显示包括多个头像选项中选定的一个头像选项的头像选择区域；以及在所述相机显示区域中所述对象的所述表示上显示所选择的头像选项的表示；当所述第一相机显示模式处于活动状态时，检测所述对象的姿势变化；并且响应于检测到所述对象的所述姿势变化，基于所检测到的所述对象的所述姿势变化来改变所选择的头像选项的所显示表示的外观，同时保持对所述背景的显示。
描述了一种暂态计算机可读存储介质。所述暂态计算机可读存储介质存储被配置为由具有相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示相机用户界面，所述相机用户界面包括：相机显示区域，所述相机显示区域包括经由所述相机捕获的图像数据的表示；以及与第一相机显示模式相关联的第一示能表示；当对象被定位在所述相机的视野内并且所述对象的表示和背景被显示在所述相机显示区域中时，检测指向所述第一示能表示的手势；响应于检测到指向所述第一示能表示的所述手势，激活所述第一相机显示模式，其中激活所述第一相机显示模式包括：显示包括多个头像选项中选定的一个头像选项的头像选择区域；以及在所述相机显示区域中所述对象的所述表示上显示所选择的头像选项的表示；当所述第一相机显示模式处于活动状态时，检测所述对象的姿势变化；并且响应于检测到所述对象的所述姿势变化，基于所检测到的所述对象的所述姿势变化来改变所选择的头像选项的所显示表示的外观，同时保持对所述背景的显示。
本发明描述了一种电子设备。所述电子设备包括：相机；显示装置；一个或多个处理器；以及存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示相机用户界面，所述相机用户界面包括：相机显示区域，所述相机显示区域包括经由所述相机捕获的图像数据的表示；以及与第一相机显示模式相关联的第一示能表示；当对象被定位在所述相机的视野内并且所述对象的表示和背景被显示在所述相机显示区域中时，检测指向所述第一示能表示的手势；响应于检测到指向所述第一示能表示的所述手势，激活所述第一相机显示模式，其中激活所述第一相机显示模式包括：显示包括多个头像选项中选定的一个头像选项的头像选择区域；以及在所述相机显示区域中所述对象的所述表示上显示所选择的头像选项的表示；当所述第一相机显示模式处于活动状态时，检测所述对象的姿势变化；并且响应于检测到所述对象的所述姿势变化，基于所检测到的所述对象的所述姿势变化来改变所选择的头像选项的所显示表示的外观，同时保持对所述背景的显示。
本发明描述了一种电子设备。所述电子设备包括：相机；显示装置；一个或多个输入设备；用于经由所述显示装置显示相机用户界面的装置，所述相机用户界面包括：相机显示区域，所述相机显示区域包括经由所述相机捕获的图像数据的表示；以及与第一相机显示模式相关联的第一示能表示；当对象被定位在所述相机的视野内并且所述对象的表示和背景被显示在所述相机显示区域中时，用于检测指向所述第一示能表示的手势的装置；响应于检测到指向所述第一示能表示的所述手势，用于激活所述第一相机显示模式的装置，其中激活所述第一相机显示模式包括：显示包括多个头像选项中选定的一个头像选项的头像选择区域；以及在所述相机显示区域中所述对象的所述表示上显示所选择的头像选项的表示；当所述第一相机显示模式处于活动状态时，用于检测所述对象的姿势变化的装置；以及响应于检测到所述对象的所述姿势变化，用于基于所检测到的所述对象的所述姿势变化来改变所选择的头像选项的所显示表示的外观，同时保持对所述背景的显示的装置。
描述了一种方法。所述方法在具有显示装置的电子设备处执行。所述方法包括：经由所述显示装置显示媒体用户界面，所述媒体用户界面包括：媒体显示区域，所述媒体显示区域包括媒体项目的表示；和效果示能表示；检测指向所述效果示能表示的手势；响应于检测到指向所述效果示能表示的所述手势，显示多个效果选项，所述多个效果选项用于将效果和所述媒体项目的表示同时施加至所述媒体项目，包括：根据确定所述媒体项目与对应的深度数据相关联，所述多个效果选项包括用于基于所述深度数据来施加效果的相应效果选项；并且根据确定所述图像数据不包括所述深度数据，所述相应的效果选项不可用于所述多个效果选项的激活。
描述了一种非暂态计算机可读存储介质。所述非暂态计算机可读存储介质存储被配置为由具有显示装置的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示媒体用户界面，所述媒体用户界面包括：媒体显示区域，所述媒体显示区域包括媒体项目的表示；和效果示能表示；检测指向所述效果示能表示的手势；响应于检测到指向所述效果示能表示的所述手势，显示多个效果选项，所述多个效果选项用于将效果和所述媒体项目的表示同时施加至所述媒体项目，包括：根据确定所述媒体项目与对应的深度数据相关联，所述多个效果选项包括用于基于所述深度数据来施加效果的相应效果选项；并且根据确定所述图像数据不包括所述深度数据，所述相应的效果选项不可用于所述多个效果选项的激活。
描述了一种暂态计算机可读存储介质。所述暂态计算机可读存储介质存储被配置为由具有显示装置的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示媒体用户界面，所述媒体用户界面包括：媒体显示区域，所述媒体显示区域包括媒体项目的表示；和效果示能表示；检测指向所述效果示能表示的手势；响应于检测到指向所述效果示能表示的所述手势，显示多个效果选项，所述多个效果选项用于将效果和所述媒体项目的表示同时施加至所述媒体项目，包括：根据确定所述媒体项目与对应的深度数据相关联，所述多个效果选项包括用于基于所述深度数据来施加效果的相应效果选项；并且根据确定所述图像数据不包括所述深度数据，所述相应的效果选项不可用于所述多个效果选项的激活。
本发明描述了一种电子设备。所述电子设备包括：显示装置；一个或多个处理器；以及存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示媒体用户界面，所述媒体用户界面包括：媒体显示区域，所述媒体显示区域包括媒体项目的表示；和效果示能表示；检测指向所述效果示能表示的手势；响应于检测到指向所述效果示能表示的所述手势，显示多个效果选项，所述多个效果选项用于将效果和所述媒体项目的表示同时施加至所述媒体项目，包括：根据确定所述媒体项目与对应的深度数据相关联，所述多个效果选项包括用于基于所述深度数据来施加效果的相应效果选项；并且根据确定所述图像数据不包括所述深度数据，所述相应的效果选项不可用于所述多个效果选项的激活。
本发明描述了一种电子设备。所述电子设备包括：显示装置；一个或多个输入设备；用于经由所述显示装置显示媒体用户界面的装置，所述媒体用户界面包括：媒体显示区域，所述媒体显示区域包括媒体项目的表示；和效果示能表示；用于检测指向所述效果示能表示的手势的装置；响应于检测到指向所述效果示能表示的所述手势，用于显示多个效果选项的装置，所述多个效果选项用于将效果和所述媒体项目的表示同时施加至所述媒体项目，包括：根据确定所述媒体项目与对应的深度数据相关联，所述多个效果选项包括用于基于所述深度数据来施加效果的相应效果选项；并且根据确定所述图像数据不包括所述深度数据，所述相应的效果选项不可用于所述多个效果选项的激活。
描述了一种方法。所述方法在具有显示装置的电子设备处执行。所述方法包括：经由所述显示装置显示实时视频通信应用程序的实时视频通信用户界面，所述实时视频通信用户界面包括：参与实时视频通信会话的对象的表示，和第一示能表示；检测指向所述第一示能表示的手势；并且响应于检测到指向所述第一示能表示的所述手势：激活相机效果模式；并且增大参与所述实时视频通信会话的所述对象的所述表示的尺寸。
描述了一种非暂态计算机可读存储介质。所述非暂态计算机可读存储介质存储被配置为由具有显示装置的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示实时视频通信应用程序的实时视频通信用户界面，所述实时视频通信用户界面包括：参与实时视频通信会话的对象的表示，和第一示能表示；检测指向所述第一示能表示的手势；并且响应于检测到指向所述第一示能表示的所述手势：激活相机效果模式；并且增大参与所述实时视频通信会话的所述对象的所述表示的尺寸。
描述了一种暂态计算机可读存储介质。所述暂态计算机可读存储介质存储被配置为由具有显示装置的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示实时视频通信应用程序的实时视频通信用户界面，所述实时视频通信用户界面包括：参与实时视频通信会话的对象的表示，和第一示能表示；检测指向所述第一示能表示的手势；并且响应于检测到指向所述第一示能表示的所述手势：激活相机效果模式；并且增大参与所述实时视频通信会话的所述对象的所述表示的尺寸。
本发明描述了一种电子设备。所述电子设备包括：显示装置；一个或多个处理器；以及存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示实时视频通信应用程序的实时视频通信用户界面，所述实时视频通信用户界面包括：参与实时视频通信会话的对象的表示，和第一示能表示；检测指向所述第一示能表示的手势；并且响应于检测到指向所述第一示能表示的所述手势：激活相机效果模式；并且增大参与所述实时视频通信会话的所述对象的所述表示的尺寸。
本发明描述了一种电子设备。所述电子设备包括：显示装置；一个或多个输入设备；用于经由所述显示装置显示实时视频通信应用程序的实时视频通信用户界面的装置，所述实时视频通信用户界面包括：参与实时视频通信会话的对象的表示，和第一示能表示；用于检测指向所述第一示能表示的手势的装置；以及响应于检测到指向所述第一示能表示的所述手势，用于执行以下操作的装置：激活相机效果模式；并且增大参与所述实时视频通信会话的所述对象的所述表示的尺寸。
描述了一种方法。所述方法在具有相机和显示装置的电子设备处执行。所述方法包括：经由所述显示装置显示经由所述一个或多个相机捕获的图像数据的表示，其中所述表示包括对象的表示，并且所述图像数据对应于深度数据，所述深度数据包括所述对象的深度数据；经由所述显示装置显示虚拟头像的表示，所述虚拟头像代替所述对象的所述表示的至少一部分而显示，其中所述虚拟头像被放置在相对于所述对象的所述表示的模拟深度处，所述模拟深度是基于所述对象的所述深度数据确定的，显示所述虚拟头像的所述表示包括：根据基于所述深度数据确定所述虚拟头像的第一部分满足一组基于深度的显示标准，其中所述基于深度的显示标准包括要求所述对象的所述深度数据指示所述虚拟头像的所述第一部分具有在所述对象的对应第一部分前面的模拟深度，为了使所述基于深度的显示标准被满足，将代替所述对象的所述第一部分而显示的所述虚拟头像的所述第一部分的表示包括作为所述虚拟头像的所述表示的一部分；并且根据基于所述深度数据确定所述虚拟头像的所述第一部分不满足所述对象的所述第一部分的所述组基于深度的显示标准，从所述虚拟头像的所述表示中排除所述虚拟头像的所述第一部分的所述表示并且在应已由所述虚拟头像的所述第一部分占据的所述区域中显示所述对象的所述第一部分。
描述了一种非暂态计算机可读存储介质。所述非暂态计算机可读存储介质存储被配置为由具有相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示经由所述一个或多个相机捕获的图像数据的表示，其中所述表示包括对象的表示，并且所述图像数据对应于深度数据，所述深度数据包括所述对象的深度数据；经由所述显示装置显示虚拟头像的表示，所述虚拟头像代替所述对象的所述表示的至少一部分而显示，其中所述虚拟头像被放置在相对于所述对象的所述表示的模拟深度处，所述模拟深度是基于所述对象的所述深度数据确定的，显示所述虚拟头像的所述表示包括：根据基于所述深度数据确定所述虚拟头像的第一部分满足一组基于深度的显示标准，其中所述基于深度的显示标准包括要求所述对象的所述深度数据指示所述虚拟头像的所述第一部分具有在所述对象的对应第一部分前面的模拟深度，为了使所述基于深度的显示标准被满足，将代替所述对象的所述第一部分而显示的所述虚拟头像的所述第一部分的表示包括作为所述虚拟头像的所述表示的一部分；并且根据基于所述深度数据确定所述虚拟头像的所述第一部分不满足所述对象的所述第一部分的所述组基于深度的显示标准，从所述虚拟头像的所述表示中排除所述虚拟头像的所述第一部分的所述表示并且在应已由所述虚拟头像的所述第一部分占据的所述区域中显示所述对象的所述第一部分。
描述了一种暂态计算机可读存储介质。所述暂态计算机可读存储介质存储被配置为由具有相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示经由所述一个或多个相机捕获的图像数据的表示，其中所述表示包括对象的表示，并且所述图像数据对应于深度数据，所述深度数据包括所述对象的深度数据；经由所述显示装置显示虚拟头像的表示，所述虚拟头像代替所述对象的所述表示的至少一部分而显示，其中所述虚拟头像被放置在相对于所述对象的所述表示的模拟深度处，所述模拟深度是基于所述对象的所述深度数据确定的，显示所述虚拟头像的所述表示包括：根据基于所述深度数据确定所述虚拟头像的第一部分满足一组基于深度的显示标准，其中所述基于深度的显示标准包括要求所述对象的所述深度数据指示所述虚拟头像的所述第一部分具有在所述对象的对应第一部分前面的模拟深度，为了使所述基于深度的显示标准被满足，将代替所述对象的所述第一部分而显示的所述虚拟头像的所述第一部分的表示包括作为所述虚拟头像的所述表示的一部分；并且根据基于所述深度数据确定所述虚拟头像的所述第一部分不满足所述对象的所述第一部分的所述组基于深度的显示标准，从所述虚拟头像的所述表示中排除所述虚拟头像的所述第一部分的所述表示并且在应已由所述虚拟头像的所述第一部分占据的所述区域中显示所述对象的所述第一部分。
本发明描述了一种电子设备。所述电子设备包括：相机；显示装置；一个或多个处理器；以及存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：经由所述显示装置显示经由所述一个或多个相机捕获的图像数据的表示，其中所述表示包括对象的表示，并且所述图像数据对应于深度数据，所述深度数据包括所述对象的深度数据；经由所述显示装置显示虚拟头像的表示，所述虚拟头像代替所述对象的所述表示的至少一部分而显示，其中所述虚拟头像被放置在相对于所述对象的所述表示的模拟深度处，所述模拟深度是基于所述对象的所述深度数据确定的，显示所述虚拟头像的所述表示包括：根据基于所述深度数据确定所述虚拟头像的第一部分满足一组基于深度的显示标准，其中所述基于深度的显示标准包括要求所述对象的所述深度数据指示所述虚拟头像的所述第一部分具有在所述对象的对应第一部分前面的模拟深度，为了使所述基于深度的显示标准被满足，将代替所述对象的所述第一部分而显示的所述虚拟头像的所述第一部分的表示包括作为所述虚拟头像的所述表示的一部分；并且根据基于所述深度数据确定所述虚拟头像的所述第一部分不满足所述对象的所述第一部分的所述组基于深度的显示标准，从所述虚拟头像的所述表示中排除所述虚拟头像的所述第一部分的所述表示并且在应已由所述虚拟头像的所述第一部分占据的所述区域中显示所述对象的所述第一部分。
本发明描述了一种电子设备。所述电子设备包括：相机；以及显示装置；用于经由所述显示装置显示经由所述一个或多个相机捕获的图像数据的表示的装置，其中所述表示包括对象的表示，并且所述图像数据对应于深度数据，所述深度数据包括所述对象的深度数据；用于经由所述显示装置显示虚拟头像的表示的装置，所述虚拟头像代替所述对象的所述表示的至少一部分而显示，其中所述虚拟头像被放置在相对于所述对象的所述表示的模拟深度处，所述模拟深度是基于所述对象的所述深度数据确定的，显示所述虚拟头像的所述表示包括：根据基于所述深度数据确定所述虚拟头像的第一部分满足一组基于深度的显示标准，其中所述基于深度的显示标准包括要求所述对象的所述深度数据指示所述虚拟头像的所述第一部分具有在所述对象的对应第一部分前面的模拟深度，为了使所述基于深度的显示标准被满足，将代替所述对象的所述第一部分而显示的所述虚拟头像的所述第一部分的表示包括作为所述虚拟头像的所述表示的一部分；以及根据基于所述深度数据确定所述虚拟头像的所述第一部分不满足所述对象的所述第一部分的所述组基于深度的显示标准，用于从所述虚拟头像的所述表示中排除所述虚拟头像的所述第一部分的所述表示并且在应已由所述虚拟头像的所述第一部分占据的所述区域中显示所述对象的所述第一部分的装置。
用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。
因此，为设备提供更快更有效的方法和界面以用于显示视觉效果，由此提高此类设备的有效性、效率和用户满意度。此类方法和界面可以补充或替换用于显示视觉效果的其他方法。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出了根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4A示出了根据一些实施方案的针对便携式多功能设备上应用程序的菜单的示例性用户界面。
图4B示出了根据一些实施方案的针对具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图5A示出了根据一些实施方案的个人电子设备。
图5B是示出了根据一些实施方案的个人电子设备的框图。
图6A至图6BQ示出了用于在即时消息应用程序中显示视觉效果的示例性用户界面。
图7A和图7B是示出用于在即时消息应用程序中显示视觉效果的方法的流程图。
图8A至图8BQ示出了用于在相机应用程序中显示视觉效果的示例性用户界面。
图9A和图9B是示出用于在相机应用程序中显示视觉效果的方法的流程图。
图10A至图10AL示出了用于在媒体项目查看模式中显示视觉效果的示例性用户界面。
图11A和图11B是示出用于在媒体项目查看模式中显示视觉效果的方法的流程图。
图12A至图12AP示出了用于在实时视频通信会话中显示视觉效果的示例性用户界面。
图13A和图13B是示出用于在实时视频通信会话中显示视觉效果的方法的流程图。
图14A至图14M示出了用于在相机应用程序中显示视觉效果的示例性用户界面。
图15A和图15B是示出用于在相机应用程序中显示视觉效果的方法的流程图。
具体实施方式
以下描述阐述了示例性方法、参数等。然而，应当认识到，此类描述并非意在限制本公开的范围，而是作为对示例性实施方案的描述来提供。
电子设备需要提供更有效的方法和界面以用于显示视觉效果。例如，虽然已经存在用于显示视觉效果的程序，但与下面允许用户在各种应用程序中显示视觉效果的技术相比，这些程序效率低下且难以使用。此类技术可减轻在应用程序中显示视觉效果的用户的认知负担，由此提高生产率。此外，此类技术可减少以其他方式浪费在冗余用户输入上的处理器功率和电池功率。
下面图1A至图1B、图2、图3、图4A至图4B和图5A至图5B提供了对用于执行管理事件通知的技术的示例性设备的描述。
图6A至图6BQ示出了用于在即时消息应用程序中显示视觉效果的示例性用户界面。图7A和图7B是示出根据一些实施方案用于在即时消息应用程序中显示视觉效果的方法的流程图。图6A至图6BQ中的用户界面用于示出包括图7A和图7B中的过程的下文描述的过程。
图8A至图8BQ示出了用于在相机应用程序中显示视觉效果的示例性用户界面。图9A和图9B是示出根据一些实施方案用于在相机应用程序中显示视觉效果的方法的流程图。图8A至图8BQ中的用户界面用于示出包括图9A和图9B中的过程的下文描述的过程。
图10A至图10AL示出了用于在相机应用程序中显示视觉效果的示例性用户界面。图11A和图11B是示出根据一些实施方案用于在媒体项目查看模式中显示视觉效果的方法的流程图。图10A至图10AL中的用户界面用于示出包括图11A和图11B中的过程的下文描述的过程。
图12A至图12AP示出了用于在实时视频通信会话中显示视觉效果的示例性用户界面。图13A和图13B是示出根据一些实施方案用于在实时视频通信会话中显示视觉效果的方法的流程图。图12A至图12AP中的用户界面用于示出包括图13A和图13B中的过程的下文描述的过程。
图14A至图14M示出了用于在相机应用程序中显示视觉效果的示例性用户界面。图15A和图15B是示出根据一些实施方案用于在相机应用程序中显示视觉效果的方法的流程图。图14A至图14M中的用户界面用于示出包括图15A和图15B中的过程的下文描述的过程。
尽管以下描述使用术语“第一”、“第二”等来描述各种元件，但这些元件不应受术语的限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一触摸可被命名为第二触摸并且类似地第二触摸可被命名为第一触摸，而不脱离各种所述实施方案的范围。第一触摸和第二触摸两者均为触摸，但是它们不是同一触摸。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样，单数形式“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
根据上下文，术语“如果”任选地被解释为意指“当......时”、“在......时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中，该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino,California)的设备、iPod设备、和设备。任选地使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触摸板)的膝上型电脑或平板电脑。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而，应当理解，该电子设备任选地包括一个或多个其他物理用户界面设备，诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用程序，诸如以下中的一者或多者：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频摄像机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备，诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化，和/或在相应应用程序内被调整和/或变化。这样，设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器112有时为了方便被叫做“触摸屏”，并且有时被称为或被叫做“触敏显示器系统”。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入控制设备116和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如，触敏表面，诸如设备100的触敏显示器系统112)上的接触的强度的一个或多个接触强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器167(例如，在触敏表面诸如设备100的触敏显示器系统112或设备300的触摸板355上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如在本说明书和权利要求书中所使用的，术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如，手指接触)的力或压力(每单位面积的力)，或是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围，该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如，至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如，在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中，来自多个力传感器的力测量值被组合(例如，加权平均)以确定所估计的接触力。类似地，触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地，在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中，接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如，强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中，接触力或压力的替代物测量被转换成估计的力或压力，并且估计的力或压力用于确定是否已超过强度阈值(例如，强度阈值是以压力的单位进行测量的压力阈值)。使用接触的强度作为用户输入的属性，从而允许用户访问用户在实地面积有限的尺寸更小的设备上本来不可访问的附加设备功能，该尺寸更小的设备用于(例如，在触敏显示器上)显示示能表示和/或接收用户输入(例如，经由触敏显示器、触敏表面或物理控件/机械控件，诸如旋钮或按钮)。
如本说明书和权利要求书中所使用的，术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如，触敏表面)相对于设备的另一个部件(例如，外壳)的物理位移、或部件相对于设备的质心的位移。例如，在设备或设备的部件与用户对触摸敏感的表面(例如，手指、手掌或用户手部的其他部分)接触的情况下，通过物理位移生成的触觉输出将由用户解释为触感，该触感对应于设备或设备的部件的物理特征的所感知的变化。例如，触敏表面(例如，触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下，用户将感觉到触感，诸如“按下点击”或“松开点击”，即使在通过用户的移动而物理地被按压(例如，被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如，即使在触敏表面的光滑度无变化时，触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制，但是对触摸的许多感官知觉是大多数用户共有的。因此，当触觉输出被描述为对应于用户的特定感官知觉(例如，“按下点击”、“松开点击”、“粗糙度”)时，除非另外陈述，否则所生成的触觉输出对应于设备或其部件的物理位移，该物理位移将会生成典型(或普通)用户的所述感官知觉。
应当理解，设备100仅仅是便携式多功能设备的一个示例，并且设备100任选地具有比所示出的部件更多或更少的部件，任选地组合两个或更多个部件，或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件以硬件、软件、或硬件与软件两者的组合来实现，包括一个或多个信号处理和/或专用集成电路。
存储器102任选地包括高速随机存取存储器，并且还任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。存储器控制器122任选地控制设备100的其他部件访问存储器102。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接到CPU 120和存储器102。所述一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。在一些实施方案中，外围设备接口118、CPU 120和存储器控制器122任选地被实现在单个芯片诸如芯片104上。在一些其他实施方案中，它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与通信网络和其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信，这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如，蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。RF电路108任选地包括用于检测近场通信(NFC)场的熟知的电路，诸如通过近程通信无线电部件来进行检测。无线通信任选地使用多种通信标准、协议和技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、蓝牙低功耗(BTLE)、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、IEEE802.11n和/或IEEE 802.11ac)、互联网协议语音(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)，或者包括在本文档提交日期时还未开发出的通信协议的任何其他适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中，音频电路110还包括耳麦插孔(例如，图2中的212)。耳麦插孔提供音频电路110和可去除的音频输入/输出外围设备之间的接口，该可去除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触摸屏112和其他输入控制设备116耦接到外围设备接口118。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、和用于其他输入或控制设备的一个或多个输入控制器160。该一个或多个输入控制器160从其他输入控制设备116接收电信号/将电信号发送到所述其他输入控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击式转盘等。在一些另选实施方案中，输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者)：键盘、红外线端口、USB端口以及指针设备诸如鼠标。一个或多个按钮(例如，图2中的208)任选地包括用于扬声器111和/或麦克风113音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮(例如，图2中的206)。
快速按下下压按钮任选地会脱离触摸屏112的锁定或者任选地开始使用触摸屏上的手势来对设备进行解锁的过程，如在2005年12月23日提交的名称为“Unlocking aDevice by Performing Gestures on an Unlock Image”(通过在解锁图像上执行手势解锁设备)的美国专利No.7,657,849的美国专利申请11/322,549中所述的，该美国专利申请据此全文以引用方式并入本文。长按下压按钮(例如206)任选地使设备100开机或关机。一个或多个按钮的功能任选地为用户可定制的。触摸屏112用于实现虚拟按钮或软按钮以及一个或多个软键盘。
触敏显示器112提供设备和用户之间的输入接口和输出接口。显示控制器156从触摸屏112接收电信号和/或将电信号发送至所述触摸屏。触摸屏112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出任选地与用户界面对象对应。
触摸屏112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器或传感器组。触摸屏112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触摸屏112上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与被显示在触摸屏112上的用户界面对象(例如，一个或多个软键、图标、网页或图像)的交互。在一个示例性实施方案中，触摸屏112与用户之间的接触点对应于用户的手指。
触摸屏112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，但是在其他实施方案中使用其他显示技术。触摸屏112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触摸屏112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在一个示例性实施方案中，使用投射式互电容感测技术，诸如在来自Apple Inc.(Cupertino,California)的和iPod中使用的技术。
触摸屏112的一些实施方案中的触敏显示器任选地类似于以下美国专利中描述的多点触敏触控板：6,323,846(Westerman等人)、6,570,557(Westerman等人)和/或6,677,932(Westerman等人)和/或美国专利公开2002/0015024A1，该每个专利据此全文以引用方式并入。然而，触摸屏112显示来自设备100的视觉输出，而触敏触摸板不提供视觉输出。
在一些实施方案中，触摸屏112的触敏显示器如以下专利申请所述：(1)提交于2006年5月2日的名称为“Multipoint Touch Surface Controller(多点触摸表面控制器)”的美国专利申请11/381,313；(2)2004年5月6日提交的名称为“Multipoint Touchscreen”(多点触摸屏)的美国专利申请No.10/840,862；(3)2004年7月30日提交的名称为“GesturesFor Touch Sensitive Input Devices”(用于触敏输入设备的手势)的美国专利申请No.10/903,964；(4)2005年1月31日提交的名称为“Gestures For Touch Sensitive InputDevices”(用于触敏输入设备的手势)的美国专利申请No.11/048,264；(5)2005年1月18日提交的名称为“Mode-Based Graphical User Interfaces For Touch Sensitive InputDevices”(用于触敏输入设备的基于模式的图形用户界面)的美国专利申请No.11/038,590；(6)2005年9月16日提交的名称为“Virtual Input Device Placement On A TouchScreen User Interface”(放置在触摸屏用户界面上的虚拟输入设备)的美国专利申请No.11/228,758；(7)2005年9月16日提交的名称为“Operation Of A Computer With ATouch Screen Interface”(具有触摸屏界面的计算机的操作)的美国专利申请No.11/228,700；(8)2005年9月16日提交的名称为“Activating Virtual Keys Of A Touch-ScreenVirtual Keyboard”(激活触摸屏虚拟键盘的虚拟键)的美国专利申请No.11/228,737；以及(9)2006年3月3日提交的名称为“Multi-Functional Hand-Held Device”(多功能手持设备)的美国专利申请No.11/367,749。所有这些申请全文以引用方式并入本文。
触摸屏112任选地具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏具有约160dpi的视频分辨率。用户任选地使用任何合适的物体或附加物诸如触笔、手指等等来与触摸屏112接触。在一些实施方案中，将用户界面设计为主要通过基于手指的接触和手势来工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中，除了触摸屏之外，设备100任选地包括用于激活或去激活特定功能的触控板。在一些实施方案中，触控板是设备的触敏区域，与触摸屏不同，该触敏区域不显示视觉输出。触摸板任选地是与触摸屏112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如，发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出了耦接到I/O子系统106中的光学传感器控制器158的光学传感器。光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块143(也叫做相机模块)，光学传感器164任选地捕获静态图像或视频。在一些实施方案中，光学传感器位于设备100的后部上，与设备前部上的触摸屏显示器112相背对，使得触摸屏显示器能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，光学传感器位于设备的前部上，使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取该用户的图像，以用于视频会议。在一些实施方案中，光学传感器164的位置可由用户改变(例如，通过旋转设备外壳中的透镜和传感器)，使得单个光学传感器164与触摸屏显示器一起使用以用于视频会议和静态图像和/或视频图像采集两者。
设备100任选地还包括一个或多个深度相机传感器175。图1A示出了耦接到I/O子系统106中的深度相机控制器169的深度相机传感器。深度相机传感器175从环境接收数据以从视点(例如，深度相机传感器)创建场景内的对象(例如，面部)的三维模型。在一些实施方案中，结合成像模块143(也称为相机模块)，深度相机传感器175任选地用于确定由成像模块143捕获的图像的不同部分的深度图。在一些实施方案中，深度相机传感器位于设备100的前部上，使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取该用户的具有深度信息的图像以用于视频会议，并且用于用深度图数据捕捉自拍。在一些实施方案中，深度相机传感器175位于设备的后部上，或位于设备100的后部和前部上。在一些实施方案中，深度相机传感器175的位置可由用户改变(例如，通过旋转设备外壳中的透镜和传感器)，使得深度相机传感器175与触摸屏显示器一起使用以用于视频会议和静态图像和/或视频图像采集两者。
在一些实施方案中，深度图(例如，深度图图像)包含与场景中的对象距视点(例如，相机、光学传感器、深度相机传感器)的距离有关的信息(例如，值)。在深度图的一个实施方案中，每个深度像素限定视点的Z轴中所述深度像素对应的二维像素所位于的位置。在一些实施方案中，深度图由像素构成，其中每个像素由值(例如，0-255)限定。例如，“0”值表示位于“三维”场景中最远处的像素，并且“255”值表示在“三维”场景中最靠近视点(例如，相机、光学传感器、深度相机传感器)定位的像素。在其他实施方案中，深度图表示场景中的对象与视点平面之间的距离。在一些实施方案中，深度图包括关于深度相机视野中所关注对象的各种特征的相对深度(例如，用户面部的眼睛、鼻部、口部、耳朵的相对深度)的信息。在一些实施方案中，深度图包括使得设备能够在z方向上确定所关注对象的轮廓的信息。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了耦接到I/O子系统106中的强度传感器控制器159的接触强度传感器。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些实施方案中，至少一个接触强度传感器与触敏表面(例如，触敏显示器系统112)并置排列或邻近。在一些实施方案中，至少一个接触强度传感器位于设备100的与位于设备100的前部上的触摸屏显示器112相背对的后部上。
设备100任选地还包括一个或多个接近传感器166。图1A示出了耦接到外围设备接口118的接近传感器166。另选地，接近传感器166任选地耦接到I/O子系统106中的输入控制器160。接近传感器166任选地如以下美国专利申请中所述的那样执行：11/241,839，名称为“Proximity Detector In Handheld Device”；No.11/240,788，名称为“ProximityDetector In Handheld Device”(手持设备中的接近检测器)；No.11/620,702，名称为“Using Ambient Light Sensor To Augment Proximity Sensor Output”(使用环境光线传感器增强接近传感器输出)；No.11/586,862，名称为“Automated Response To AndSensing Of User Activity In Portable Devices”(自动响应和感测便携式设备中的用户活动)；以及No.11/638,251，名称为“Methods And Systems For AutomaticConfiguration Of Peripherals”(用于外围设备的自动配置的方法和系统)，这些美国专利申请据此全文以引用方式并入本文。在一些实施方案中，当多功能设备被置于用户的耳朵附近时(例如，当用户正在进行电话呼叫时)，接近传感器关闭并且禁用触摸屏112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出了耦接到I/O子系统106中的触觉反馈控制器161的触觉输出发生器。触觉输出发生器167任选地包括一个或多个电声设备，诸如扬声器或其他音频部件；和/或将能量转换成线性运动的机电设备，诸如马达、螺线管、电活性聚合器、压电致动器、静电致动器或其他触觉输出生成部件(例如，将电信号转换成设备上的触觉输出的部件)。接触强度传感器165从触觉反馈模块133接收触觉反馈生成指令，并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中，至少一个触觉输出发生器与触敏表面(例如，触敏显示器系统112)并置排列或邻近，并且任选地通过竖直地(例如，向设备100的表面内/外)或侧向地(例如，在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中，至少一个触觉输出发生器传感器位于设备100的后部上，与位于设备100的前部上的触摸屏显示器112相对。
设备100任选地还包括一个或多个加速度计168。图1A示出了耦接到外围设备接口118的加速度计168。另选地，加速度计168任选地耦接到I/O子系统106中的输入控制器160。加速度计168任选地如以下美国专利公开中所述的那样执行：美国专利公开20050190059，名称为“Acceleration-based Theft Detection System for Portable ElectronicDevices”和美国专利公开20060017692，名称为“Methods And Apparatuses ForOperating A Portable Device Based On An Accelerometer”，这两个美国专利公开均全文以引用方式并入本文。在一些实施方案中，基于对从一个或多个加速度计接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图显示信息。设备100任选地除了加速度计168之外还包括磁力仪和GPS(或GLONASS或其他全球导航系统)接收器，以用于获取关于设备100的位置和取向(例如，纵向或横向)的信息。
在一些实施方案中，存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135以及应用程序(或指令集)136。此外，在一些实施方案中，存储器102(图1A)或370(图3)存储设备/全局内部状态157，如图1A和图3中所示。设备/全局内部状态157包括以下中的一者或多者：活动应用程序状态，其指示哪些应用程序(如果有的话)当前是活动的；显示状态，其指示什么应用程序、视图或其他信息占据触摸屏显示器112的各个区域；传感器状态，包括从设备的各个传感器和输入控制设备116获取的信息；以及关于设备的位置和/或姿态的位置信息。
操作系统126(例如，Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动程序，并且促进各种硬件部件和软件部件之间的通信。
通信模块128有利于通过一个或多个外部端口124来与其他设备进行通信，并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件组件。外部端口124(例如，通用串行总线(USB)、火线等)适于直接耦接到其他设备或间接地经由网络(例如，互联网、无线LAN等)耦接。在一些实施方案中，外部端口是与(Apple Inc.的商标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如，30针)连接器。
接触/运动模块130任选地检测与触摸屏112(结合显示控制器156)和其他触敏设备(例如，触控板或物理点击式转盘)的接触。接触/运动模块130包括各种软件部件以用于执行与接触检测相关的各种操作，诸如确定是否已经发生了接触(例如，检测手指按下事件)、确定接触强度(例如，接触的力或压力，或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如，检测一个或多个手指拖动事件)，以及确定接触是否已经停止(例如，检测手指抬起事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)，所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如，单指接触)或者多点同时接触(例如，“多点触摸”/多个手指接触)。在一些实施方案中，接触/运动模块130和显示控制器156检测触控板上的接触。
在一些实施方案中，接触/运动模块130使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如，确定用户是否已“点击”图标)。在一些实施方案中，根据软件参数来确定强度阈值的至少一个子集(例如，强度阈值不是由特定物理致动器的激活阈值来确定的，并且可在不改变设备100的物理硬件的情况下被调节)。例如，在不改变触控板或触摸屏显示器硬件的情况下，触控板或触摸屏的鼠标“点击”阈值可被设定成预定义的阈值的大范围中的任一个阈值。另外，在一些具体实施中，向设备的用户提供用于调节一组强度阈值中的一个或多个强度阈值(例如，通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触模式(例如，所检测到的接触的不同运动、计时和/或强度)。因此，任选地通过检测特定接触模式来检测手势。例如，检测手指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标的位置处)检测手指抬起(抬离)事件。作为另一个示例，在触敏表面上检测手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。
图形模块132包括用于在触摸屏112或其他显示器上呈现和显示图形的各种已知的软件部件，包括用于改变所显示的图形的视觉冲击(例如，亮度、透明度、饱和度、对比度或其他视觉特征)的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，其非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，并且然后生成屏幕图像数据，以输出至显示控制器156。
触觉反馈模块133包括用于生成指令的各种软件部件，该指令由触觉输出发生器167使用，以便响应于用户与设备100的交互而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如，联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置，并提供该信息以供在各种应用中使用(例如提供给电话138以供在基于位置的拨号中使用；提供给相机143作为图片/视频元数据；以及提供给提供基于位置的服务的应用，诸如天气桌面小程序、本地黄页桌面小程序和地图/导航桌面小程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集：
·联系人模块137(有时称为地址簿或联系人列表)；
·电话模块138；
·视频会议模块139；
·电子邮件客户端模块140；
·即时消息(IM)模块141；
·健身支持模块142；
·用于静态图像和/或视频图像的相机模块143；
·图像管理模块144；
·视频播放器模块；
·音乐播放器模块；
·浏览器模块147；
·日历模块148；
·桌面小程序模块149，其任选地包括以下各项中的一者或多者：天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获取的其他桌面小程序、以及用户创建的桌面小程序149-6；
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150；
·搜索模块151；
·视频和音乐播放器模块152，其合并视频播放器模块和音乐播放器模块；
·记事本模块153；
·地图模块154；和/或
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、和文本输入模块134，联系人模块137任选地用于管理通讯录或联系人列表(例如，存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中)，包括：向通讯录添加一个或多个姓名；从地址簿删除姓名；将电话号码、电子邮件地址、物理地址或其他信息与姓名关联；将图像与姓名关联；对姓名进行归类和分类；提供电话号码或电子邮件地址来发起和/或促进通过电话138、视频会议模块139、电子邮件140或IM 141的通信；等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，电话模块138任选地用于输入与电话号码对应的字符序列、访问联系人模块137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话，以及当会话完成时断开或挂断。如上所述，无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132、文本输入模块134、联系人模块137和电话模块138，视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与者之间的视频会议的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，电子邮件客户端模块140包括响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144，电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，即时消息模块141包括用于以下操作的可执行指令：输入与即时消息对应的字符序列、修改先前输入的字符、传输相应即时消息(例如，使用短消息服务(SMS)或多媒体消息服务(MMS)协议以用于基于电话的即时消息或者使用XMPP、SIMPLE、或IMPS以用于基于互联网的即时消息)、接收即时消息以及查看所接收的即时消息。在一些实施方案中，所传输和/或接收的即时消息任选地包括图形、照片、音频文件、视频文件和/或MMS和/或增强消息服务(EMS)中所支持的其他附件。如本文所用，“即时消息”是指基于电话的消息(例如，使用SMS或MMS发送的消息)和基于互联网的消息(例如，使用XMPP、SIMPLE或IMPS发送的消息)两者。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块，健身支持模块142包括创建健身(例如，具有时间、距离和/或卡路里燃烧目标)的可执行指令；与健身传感器(运动设备)进行通信；接收健身传感器数据；校准用于监视健身的传感器；为健身选择和播放音乐；以及显示、存储和传输健身数据。
结合触摸屏112、显示控制器156、一个或多个光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132和图像管理模块144，相机模块143包括用于以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征，或从存储器102删除静态图像或视频。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、和相机模块143，图像管理模块144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，浏览器模块147包括根据用户指令来浏览互联网(包括搜索、链接至、接收和显示网页或其部分，以及链接至网页的附件和其他文件)的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147，日历模块148包括根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如，日历条目、待办事项等)的可执行指令。
结合RF电路108、触摸屏112、显示系统控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序模块149是任选地由用户下载和使用的微型应用(例如，天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)或由用户创建的微型应用(例如，用户创建的桌面小程序149-6)。在一些实施方案中，桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中，桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147，桌面小程序创建器模块150任选地被用户用于创建桌面小程序(例如，将网页的用户指定部分转到桌面小程序中)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，搜索模块151包括用于根据用户指令来搜索存储器102中的匹配一个或多个搜索条件(例如，一个或多个用户指定的搜索词)的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、和浏览器模块147，视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触摸屏112上或在经由外部端口124连接的外部显示器上)的可执行指令。在一些实施方案中，设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134，记事本模块153包括根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147，地图模块154任选地用于根据用户指令接收、显示、修改和存储地图以及与地图相关联的数据(例如，驾驶方向、与特定位置处或附近的商店及其他兴趣点有关的数据，以及其他基于位置的数据)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147，在线视频模块155包括用于进行以下操作的指令：允许用户访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如在触摸屏上或在经由外部端口124所连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件，以及以其他方式管理一种或多种文件格式诸如H.264的在线视频。在一些实施方案中，使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。在线视频应用程序的其他描述可在于2007年6月20日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国临时专利申请60/936,562和于2007年12月31日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国专利申请11/968,067中找到，这两个专利申请的内容据此全文以引用方式并入本文。
上述每个模块和应用程序对应于用于执行上述一种或多种功能以及在本专利申请中所述的方法(例如，本文所述的计算机实现的方法和其他信息处理方法)的可执行指令集。这些模块(例如，指令集)不必以独立的软件程序、过程或模块实现，并因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。例如，视频播放器模块任选地与音乐播放器模块组合成单个模块(例如，图1A中的视频和音乐播放器模块152)。在一些实施方案中，存储器102任选地存储上述模块和数据结构的子组。此外，存储器102任选地存储上面未描述的另外的模块和数据结构。
在一些实施方案中，设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备，任选地减少设备100上的物理输入控制设备(例如，下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中，当用户触摸触摸板时，将设备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中，使用触摸板来实现“菜单按钮”。在一些其他实施方案中，菜单按钮是物理下压按钮或者其他物理输入控制设备，而不是触摸板。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中，存储器102(图1A)或存储器370(图3)包括事件分类器170(例如，在操作系统126中)以及相应的应用程序136-1(例如，前述应用程序137至151、155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中，应用程序136-1包括应用程序内部状态192，该应用程序内部状态指示当应用程序是活动的或正在执行时被显示在触敏显示器112上的一个或多个当前应用程序视图。在一些实施方案中，设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的，并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中，应用程序内部状态192包括附加信息，诸如以下各项中的一者或多者：当应用程序136-1恢复执行时将被使用的恢复信息、指示正被应用程序136-1显示的信息或准备好用于被所述应用程序显示的信息的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列，以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如，触敏显示器112上的用户触摸，作为多点触摸手势的一部分)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、加速度计168和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106接收的信息包括来自触敏显示器112或触敏表面的信息。
在一些实施方案中，事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应，外围设备接口118传输事件信息。在其他实施方案中，外围设备接口118仅当存在显著事件(例如，接收到高于预先确定的噪声阈值的输入和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中，事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器112显示多于一个视图时，命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图，本文中有时也称为应用程序视图或用户界面窗口，在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如，在其中检测到触摸的最低水平视图任选地被称为命中视图，并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定，所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时，命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下，命中视图是发起子事件(例如，形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块172识别，命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中，活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中，活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图，并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中，即使触摸子事件完全被局限到与一个特定视图相关联的区域，分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如，事件识别器180)。在包括活动事件识别器确定模块173的实施方案中，事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中，事件分配器模块174在事件队列中存储事件信息，该事件信息由相应事件接收器182进行检索。
在一些实施方案中，操作系统126包括事件分类器170。另选地，应用程序136-1包括事件分类器170。在另一个实施方案中，事件分类器170是独立的模块，或者是存储在存储器102中的另一个模块(诸如接触/运动模块130)的一部分。
在一些实施方案中，应用136-1包括多个事件处理程序190和一个或多个应用视图191，其中每个应用视图包括用于处理发生在应用的用户界面的相应视图内的触摸事件的指令。应用136-1的每个应用视图191包括一个或多个事件识别器180。通常，相应应用视图191包括多个事件识别器180。在其他实施方案中，事件识别器180中的一个或多个事件识别器是独立模块的一部分，该独立模块诸如用户界面工具包或应用程序136-1从中继承方法和其他属性的更高水平的对象。在一些实施方案中，相应事件处理程序190包括以下各项中的一者或多者：数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用内部状态192。另选地，应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外，在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178中的一者或多者包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如，事件数据179)，并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中，事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件，事件信息还包括附加信息，诸如子事件的位置。当子事件涉及触摸的运动时，事件信息任选地还包括子事件的速率和方向。在一些实施方案中，事件包括设备从一个取向旋转到另一取向(例如，从纵向取向旋转到横向取向，或反之亦然)，并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较，并且基于该比较来确定事件或子事件，或者确定或更新事件或子事件的状态。在一些实施方案中，事件比较器184包括事件定义186。事件定义186包含事件的定义(例如，预定义的子事件序列)，例如事件1(187-1)、事件2(187-2)以及其他事件。在一些实施方案中，事件(187)中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中，事件1(187-1)的定义是被显示对象上的双击。例如，双击包括被显示对象上的预先确定时长的第一次触摸(触摸开始)、预先确定时长的第一次抬离(触摸结束)、被显示对象上的预先确定时长的第二次触摸(触摸开始)以及预先确定时长的第二次抬离(触摸结束)。在另一个示例中，事件2(187-2)的定义是被显示对象上的拖动。例如，拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中，事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中，事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中，事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如，在应用程序视图(其中在触摸显示器112上显示三个用户界面对象)中，当在触敏显示器112上检测到触摸时，事件比较器184执行命中测试，以确定这三个用户界面对象中哪一个与触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联，则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如，事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中，相应事件(187)的定义还包括延迟动作，该延迟动作延迟事件信息的递送，直到已确定子事件序列是否确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时，该相应事件识别器180进入事件不可能、事件失败或事件结束状态，在此之后忽略基于触摸的手势的后续子事件。在这种情况下，对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中，相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中，元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中，元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中，当识别事件的一个或多个特定子事件时，相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中，相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中，事件识别器180抛出与所识别的事件相关联的标记，并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中，事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反，子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中，数据更新器176创建并更新在应用136-1中使用的数据。例如，数据更新器176对联系人模块137中所使用的电话号码进行更新，或者对视频播放器模块中所使用的视频文件进行存储。在一些实施方案中，对象更新器177创建和更新在应用程序136-1中使用的对象。例如，对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如，GUI更新器178准备显示信息，并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中，事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178或者具有对它们的访问权限。在一些实施方案中，数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中，它们被包括在两个或更多个软件模块中。
应当理解，关于触敏显示器上的用户触摸的事件处理的上述讨论还适用于利用输入设备来操作多功能设备100的其他形式的用户输入，并不是所有用户输入都是在触摸屏上发起的。例如，任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下；触控板上的接触移动，诸如轻击、拖动、滚动等；触笔输入；设备的移动；口头指令；检测到的眼睛移动；生物特征输入；和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图2示出了根据一些实施方案的具有触摸屏112的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在本实施方案以及下文所述的其他实施方案中，用户能够通过例如利用一根或多根手指202(在图中未按比例绘制)或一支或多支触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中，当用户中断与一个或多个图形的接触时，将发生对一个或多个图形的选择。在一些实施方案中，手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下，不经意地与图形接触不会选择图形。例如，当与选择对应的手势是轻击时，在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮，诸如“home”或菜单按钮204。如前所述，菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用中的任何应用136。另选地，在一些实施方案中，菜单按钮被实现为被显示在触摸屏112上的GUI中的软键。
在一些实施方案中，设备100包括触摸屏112、菜单按钮204、用于使设备开机/关机和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机；通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备；和/或对设备进行解锁或发起解锁过程。在另选的实施方案中，设备100还通过麦克风113来接受用于激活或去激活某些功能的语音输入。设备100还任选地包括用于检测触摸屏112上的接触的强度的一个或多个接触强度传感器165，和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中，设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如，家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于使这些部件互连的一个或多个通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路系统(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330，该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触摸板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如，类似于以上参考图1A所述的触觉输出发生器167)、传感器359(例如，光学传感器、加速度传感器、接近传感器、触敏传感器和/或接触强度传感器(类似于以上参考图1A所述的接触强度传感器165))。存储器370包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且任选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU 310定位的一个或多个存储设备。在一些实施方案中，存储器370存储与便携式多功能设备100(图1A)的存储器102中存储的程序、模块和数据结构类似的程序、模块和数据结构或其子集。此外，存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如，设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390，而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中的上述元素中的每个元素任选地存储于先前提到的存储器设备的一个或多个存储器设备中。上述模块中的每个模块对应于用于执行上述功能的指令集。上述模块或程序(例如，指令集)不必被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子集任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中，存储器370任选地存储上述模块和数据结构的子组。此外，存储器370任选地存储上面未描述的另外的模块和数据结构。
现在将注意力转到任选地在例如便携式多功能设备100上实现的用户界面的实施方案。
图4A示出了根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中，用户界面400包括以下元件或者其子集或超集：
·一个或多个无线通信(诸如蜂窝信号和Wi-Fi信号)的一个或多个信号强度指示符402；
·时间404；
·蓝牙指示器405；
·电池状态指示器406；
·具有常用应用程序的图标的托盘408，常用应用程序图标诸如：
ο电话模块138的被标记为“电话”的图标416，该图标任选地包括未接来电或语音留言的数量的指示符414；
ο电子邮件客户端模块140的被标记为“邮件”的图标418，该图标任选地包括未读电子邮件的数量的指示符410；
ο浏览器模块147的被标记为“浏览器”的图标420；以及
ο视频和音乐播放器模块152(也称为iPod(Apple Inc.的商标)模块152)的被标记为“iPod”的图标422；以及
·其他应用的图标，诸如：
ο IM模块141的被标记为“消息”的图标424；
ο日历模块148的被标记为“日历”的图标426；
ο图像管理模块144的被标记为“照片”的图标428；
ο相机模块143的被标记为“相机”的图标430；
ο在线视频模块155的被标记为“在线视频”的图标432；
ο股市桌面小程序149-2的被标记为“股市”的图标434；
ο地图模块154的被标记为“地图”的图标436；
ο天气桌面小程序149-1的被标记为“天气”的图标438；
ο闹钟桌面小程序149-4的被标记为“时钟”的图标440；
ο健身支持模块142的被标记为“健身支持”的图标442；
ο记事本模块153的被标记为“记事本”的图标444；以及
ο用于设置应用程序或模块的被标记为“设置”的图标446，该图标提供对设备100及其各种应用程序136的设置的访问。
应当指示的是，图4A中示出的图标标签仅是示例性的。例如，视频和音乐播放器模块152的图标422被标记“音乐”或“音乐播放器”。对于各种应用程序图标任选地使用其他标签。在一些实施方案中，相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中，特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450(例如，触摸屏显示器112)分开的触敏表面451(例如，图3的平板电脑或触摸板355)的设备(例如，图3的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面451上的接触的强度的一个或多个接触强度传感器(例如，传感器359中的一个或多个传感器)，和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器357。
尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出以下示例中的一些示例，但是在一些实施方案中，设备检测与显示器分开的触敏表面上的输入，如图4B中所示。在一些实施方案中，触敏表面(例如，图4B中的451)具有与显示器(例如，450)上的主轴(例如，图4B中的453)对应的主轴(例如，图4B中的452)。根据这些实施方案，设备检测在与显示器上的相应位置对应的位置(例如，在图4B中，460对应于468并且462对应于470)处与触敏表面451的接触(例如，图4B中的460和462)。这样，在触敏表面(例如，图4B中的451)与多功能设备的显示器(图4B中的450)分开时，由设备在触敏表面上检测到的用户输入(例如，接触460和462以及它们的移动)被该设备用于操控显示器上的用户界面。应当理解，类似的方法任选地用于本文所述的其他用户界面。
另外，虽然主要是参考手指输入(例如，手指接触、单指轻击手势、手指轻扫手势)来给出下面的示例，但是应当理解的是，在一些实施方案中，这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如，基于鼠标的输入或触笔输入)替代。例如，轻扫手势任选地由鼠标点击(例如，而不是接触)，之后是光标沿着轻扫的路径的移动(例如，而不是接触的移动)替代。又如，轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如，代替对接触的检测，之后是停止检测接触)替代。类似地，当同时检测到多个用户输入时，应当理解的是，多个计算机鼠标任选地被同时使用，或鼠标和手指接触任选地被同时使用。
图5A示出了示例性个人电子设备500。设备500包括主体502。在一些实施方案中，设备500可包括相对于设备100和300(例如，图1A至图4B)所述的特征中的一些或全部特征。在一些实施方案中，设备500具有在下文中称为触摸屏504的触敏显示屏504。作为触摸屏504的替代或补充，设备500具有显示器和触敏表面。与设备100和300的情况一样，在一些实施方案中，触摸屏504(或触敏表面)任选地包括用于检测所施加的接触(例如，触摸)强度的一个或多个强度传感器。触摸屏504(或触敏表面)的一个或多个强度传感器可提供表示触摸的强度的输出数据。设备500的用户界面可基于其强度来对触摸作出响应，这意味着不同强度的触摸可调用设备500上的不同用户界面操作。
用于检测和处理触摸强度的示例性技术见于例如以下相关专利申请中：2013年5月8日提交的名称为“Device,Method,and Graphical User Interface for DisplayingUser Interface Objects Corresponding to an Application”的国际专利申请序列号PCT/US2013/040061，发布为WIPO专利公开号WO/2013/169849；以及2013年11月11日提交的名称为“Device,Method,and Graphical User Interface for Transitioning BetweenTouch Input to Display Output Relationships”的国际专利申请序列号PCT/US2013/069483，发布为WIPO专利公开号WO/2014/105276，该每个专利申请据此全文以引用方式并入。
在一些实施方案中，设备500具有一个或多个输入机构506和508。输入机构506和508(如果包括的话)可以是物理形式的。物理输入机构的示例包括下压按钮和可旋转机构。在一些实施方案中，设备500具有一个或多个附接机构。此类附接机构(如果包括的话)可允许将设备500与例如帽子、眼镜、耳环、项链、衬衣、夹克、手镯、表带、手链、裤子、皮带、鞋子、钱包、背包等附接。这些附接机构允许用户穿戴设备500。
图5B示出了示例性个人电子设备500。在一些实施方案中，设备500可包括参考图1A、图1B和图3所述的部件中的一些或全部部件。设备500具有总线512，该总线将I/O部分514与一个或多个计算机处理器516和存储器518操作性地耦接。I/O部分514可连接到显示器504，该显示器可具有触敏部件522并且任选地具有强度传感器524(例如，接触强度传感器)。此外，I/O部分514可与通信单元530连接，用于使用Wi-Fi、蓝牙、近场通信(NFC)、蜂窝和/或其他无线通信技术来接收应用和操作系统数据。设备500可包括输入机构506和/或508。例如，输入机构506任选地是可旋转输入设备或者可按压输入设备以及可旋转输入设备。在一些示例中，输入机构508任选地是按钮。
在一些示例中，输入机构508任选地是麦克风。个人电子设备500任选地包括各种传感器，诸如GPS传感器532、加速度计534、定向传感器540(例如，罗盘)、陀螺仪536、运动传感器538和/或其组合，所有这些设备均可操作性连接到I/O部分514。
个人电子设备500的存储器518可包括用于存储计算机可执行指令的一个或多个非暂态计算机可读存储介质，所述可执行指令当由一个或多个计算机处理器516执行时例如可使得计算机处理器执行下述技术，包括过程700、900、1100、1300和1500(图7A至图7B、图9A至图9B、图11A至图11B、图13A至图13B，以及图15A至图15B)。计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质。在一些示例中，存储介质是暂态计算机可读存储介质。在一些示例中，存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘、以及持久性固态存储器诸如闪存、固态驱动器等。个人电子设备500不限于图5B的部件和配置，而是可包括多种配置中的其他部件或附加部件。
如本文所用，术语“示能表示”是指任选地在设备100、300和/或500(图1A、图3和图5A至图5B)的显示屏上显示的用户交互式图形用户界面对象。例如，图像(例如，图标)、按钮和文本(例如，超链接)任选地各自构成示能表示。
如本文所用，术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中，光标充当“焦点选择器”，使得当光标在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如，图3中的触摸板355或图4B中的触敏表面451)上检测到输入(例如，按压输入)的情况下，该特定用户界面元素根据所检测到的输入而被调节。在包括能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如，图1A中的触敏显示器系统112或图4A中的触摸屏112)的一些具体实施中，触摸屏上的所检测到的接触充当“焦点选择器”，使得当在触摸屏显示器上在特定用户界面元素(例如，按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如，由接触进行的按压输入)时，该特定用户界面元素根据所检测到的输入而被调节。在一些具体实施中，焦点从用户界面的一个区域移动到用户界面的另一个区域，而无需光标的对应移动或触摸屏显示器上的接触的移动(例如，通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮)；在这些具体实施中，焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式，焦点选择器通常是由用户控制的以便递送与用户界面的用户预期的交互(例如，通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如，在触敏表面(例如，触摸板或触摸屏)上检测到按压输入时，焦点选择器(例如，光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。
如说明书和权利要求中所使用的，接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中，特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如，在检测到接触之后，在检测到接触抬离之前，在检测到接触开始移动之前或之后，在检测到接触结束之前，在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者：接触的强度的最大值、接触的强度的均值、接触的强度的平均值、接触的强度的前10％处的值、接触的强度的半最大值、接触的强度的90％最大值等。在一些实施方案中，在确定特征强度时使用接触的持续时间(例如，在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中，将特征强度与一组一个或多个强度阈值进行比较，以确定用户是否已执行操作。例如，该组一个或多个强度阈值任选地包括第一强度阈值和第二强度阈值。在该示例中，特征强度未超过第一阈值的接触导致第一操作，特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作，而特征强度超过第二阈值的接触导致第三操作。在一些实施方案中，使用特征强度与一个或多个阈值之间的比较来确定是否要执行一个或多个操作(例如，是执行相应操作还是放弃执行相应操作)而不是用于确定执行第一操作还是第二操作。
在一些实施方案中，识别手势的一部分以用于确定特征强度。例如，触敏表面任选地接收连续的轻扫接触，该连续的轻扫接触从起始位置过渡并到达结束位置，在该结束位置处，接触强度增加。在该示例中，接触在结束位置处的特征强度任选地仅基于连续轻扫接触的一部分，而不是整个轻扫接触(例如，仅结束位置处的轻扫接触的部分)。在一些实施方案中，在确定接触的特征强度之前任选地向轻扫接触的强度应用平滑化算法。例如，平滑化算法任选地包括以下各项中的一种或多种：不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下，这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷，以实现确定特征强度的目的。
任选地相对于一个或多个强度阈值诸如接触检测强度阈值、轻按压强度阈值、深按压强度阈值和/或一个或多个其他强度阈值来表征触敏表面上的接触强度。在一些实施方案中，轻按压强度阈值对应于这样的强度：在该强度下设备将执行通常与点击物理鼠标或触摸板的按钮相关联的操作。在一些实施方案中，深按压强度阈值对应于这样的强度：在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中，当检测到特征强度低于轻按压强度阈值(例如，并且高于标称接触检测强度阈值，比标称接触检测强度阈值低的接触不再被检测到)的接触时，设备将根据接触在触敏表面上的移动来移动焦点选择器，而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲，除非另有陈述，否则这些强度阈值在不同组的用户界面附图之间是一致的。
接触特征强度从低于轻按压强度阈值的强度增大到介于轻按压强度阈值与深按压强度阈值之间的强度有时被称为“轻按压”输入。接触特征强度从低于深按压强度阈值的强度增大到高于深按压强度阈值的强度有时被称为“深按压”输入。接触特征强度从低于接触检测强度阈值的强度增大到介于接触检测强度阈值与轻按压强度阈值之间的强度有时被称为检测到触摸表面上的接触。接触特征强度从高于接触检测强度阈值的强度减小到低于接触检测强度阈值的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中，接触检测强度阈值为零。在一些实施方案中，接触检测强度阈值大于零。
在本文中所述的一些实施方案中，响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)执行的相应按压输入来执行一个或多个操作，其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到相应按压输入。在一些实施方案中，响应于检测到相应接触的强度增大到高于按压输入强度阈值(例如，相应按压输入的“向下冲程”)来执行相应操作。在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值，并且响应于检测到相应接触的强度随后减小到低于按压输入阈值(例如，相应按压输入的“向上冲程”)来执行相应操作。
在一些实施方案中，设备采用强度滞后以避免有时被称为“抖动”的意外输入，其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如，滞后强度阈值比按压输入强度阈值低X个强度单位，或滞后强度阈值是按压输入强度阈值的75％、90％或某个合理比例)。因此，在一些实施方案中，按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值，并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值(例如，相应按压输入的“向上冲程”)来执行相应操作。类似地，在一些实施方案中，仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入，并且响应于检测到按压输入(例如，根据环境，接触强度增大或接触强度减小)来执行相应操作。
为了容易解释，任选地，响应于检测到以下各种情况中的任一种情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述：接触强度增大到高于按压输入强度阈值、接触强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触强度减小到低于按压输入强度阈值、和/或接触强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外，在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中，任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。
现在将注意力转到在电子设备(诸如便携式多功能设备100、设备300或设备500)上实现的用户界面(“UI”)以及相关联的过程的实施方案。
图6A至图6BQ示出了根据一些实施方案的用于在即时消息应用程序中显示视觉效果的示例性用户界面。这些附图中的用户界面被用于示出包括图7A至图7B中的过程的下文描述的过程。
图6A示出了具有显示器601的设备600，在一些情况下，该显示器是触敏显示器。在一些实施方案中，设备600还包括相机602，所述相机至少包括能够捕获表示光谱(例如，可见光、红外光或紫外光)的一部分的数据的图像传感器。在一些实施方案中，相机602包括多个图像传感器和/或其他类型的传感器。除了捕获表示所感测的光的数据之外，在一些实施方案中，相机602还能够捕获其他类型的数据，诸如深度数据。例如，在一些实施方案中，相机602还使用基于散斑、渡越时间、视差或焦点的技术来捕获深度数据。设备600使用相机602捕获的图像数据包括对应于相机视野内场景的光谱的一部分的数据。另外，在一些实施方案中，所捕获的图像数据还包括用于光数据的深度数据。在一些其他实施方案中，所捕获的图像数据包含足以确定或生成用于所述光谱的所述部分的所述数据的深度数据的数据。在一些实施方案中，设备600包括设备100、300或500的一个或多个特征。
在一些示例中，电子设备600包括深度相机，诸如红外相机、热成像相机或它们的组合。在一些示例中，该设备还包括发光设备(例如，投光器)，诸如IR泛光灯、结构化投光器或它们的组合。所述发光设备任选地用于在由可见光相机和深度相机(例如，IR照相机)捕获所述图像期间照明所述对象，并且使用来自所述深度相机和所述可见光相机的所述信息来确定由所述可见光相机捕获的对象的不同部分的深度图。在一些实施方案中，深度图(例如，深度图图像)包含与场景中的对象距视点(例如，相机)的距离有关的信息(例如，值)。在深度图的一个实施方案中，每个深度像素限定视点的Z轴中所述深度像素对应的二维像素所位于的位置。在一些示例中，深度图由像素构成，其中每个像素由值(例如，0-255)限定。例如，“0”值表示位于“三维”场景中最远处的像素，并且“255”值表示在“三维”场景中最靠近视点(例如，相机)定位的像素。在其他示例中，深度图表示场景中的对象与视点平面之间的距离。在一些实施方案中，深度图包括关于深度相机视野中所关注对象的各种特征的相对深度(例如，用户面部的眼睛、鼻部、口部、耳朵的相对深度)的信息。在一些实施方案中，深度图包括使得设备能够在z方向上确定所关注对象的轮廓的信息。在一些实施方案中，对于后置图像使用来自两个相机(例如，两个可见光相机)的视差信息来显示本文所述的照明效果，并且对于前置图像(例如，自拍图像)使用来自深度相机的深度信息与来自可见光相机的图像数据的组合来显示本文所述的照明效果。在一些实施方案中，当使用两个可见光相机来确定深度信息时并且当使用深度相机来确定深度信息时使用相同的用户界面，从而即使当使用显著不同的技术来确定在生成照明效果时使用的信息时，也向用户提供一致的体验。在一些实施方案中，当显示所述相机用户界面具有所施加的所述照明效果之一时，设备检测对相机切换示能表示的选择并从前向相机(例如，深度相机和可见光相机)切换至后向相机(例如，彼此间隔开的两个可见光相机)(反之亦然)，同时保持对用于施加照明效果和将前向相机的视野替换为后向相机的视野显示的用户界面控件的显示。
在图6A中，设备600显示即时消息应用程序的即时消息用户界面603。即时消息用户界面603包括消息显示区域604，所述消息显示区域包括在消息会话中向参与者(由接收人标识符606表示)发送的消息605。即时消息用户界面603还包括用于显示在消息会话中向参与者发送的输入(例如，文本输入、多媒体输入等)的消息编写字段608。即时消息用户界面603还包括相机应用程序示能表示609、应用程序坞示能表示610、键盘显示区域612和文本建议区域614。
在图6B中，设备600检测对应于相机应用程序示能表示609的位置处的输入616(例如，显示器601上的触摸输入)。
在图6C中，响应于检测到输入616，设备600启动与相机应用程序示能表示609相关联的相机应用程序，并且显示相机应用程序用户界面615。相机应用程序用户界面615包括图像显示区域620，所述图像显示区域显示图像数据的表示，所述图像数据为诸如表示位于相机(例如，后向相机或相机602)的视野内的对象的流式图像数据(例如，实时相机预览、实时相机录制或实时视频通信会话)；或显示媒体项目，诸如照片或视频记录。在图6C所示的实施方案中，图像显示区域620显示来自设备600的后向相机的实时相机预览620-1′。
相机应用程序用户界面615还包括图像显示区域620上方的区域，所述区域包括相机专用示能表示617和用于退出相机应用程序用户界面615的完成示能表示618。相机专用示能表示包括与相机闪光灯功能相关联的示能表示617-1、与相机模式功能相关联的示能表示617-2、与定时器功能相关联的示能表示617-3，以及与滤镜功能相关联的示能表示617-4。
相机应用程序用户界面615还包括定位在图像显示区域620下方的相机选项区域625。相机选项区域625包括用于在各相机(例如，后向相机和相机602)之间切换的相机选择器示能表示627，以及与相机可记录图像数据的不同捕获模式相关联的相机选项示能表示619。例如，视频示能表示619-1与用于激活相机的视频记录捕获模式的功能相关联，并且照片示能表示619-2与用于激活相机的静态图像捕获模式的功能相关联。在下文关于图6C至图6AX讨论的实施方案中，设备600处于与照片示能表示619-2相关联的静态图像捕获模式中。然而，除非另外指明，否则这些实施方案也适用于与视频示能表示619-1相关联的视频记录模式。
相机选项区域625还包括用于启用和禁用设备600的某一模式的效果示能表示622，在所述模式中设备600被启用或禁用于在图像显示区域620中显示视觉效果。在本文中，设备600的这种模式通常被称为效果模式。
相机选项区域625还包括捕获示能表示621，所述捕获示能表示可被选择以捕获在图像显示区域620中所表示的图像数据。在一些实施方案中，设备600以基于当前启用的捕获模式(例如，视频记录捕获模式或图像捕获模式)的方式捕获图像数据。在一些实施方案中，设备600根据在捕获示能表示621上检测到的手势的类型来捕获图像数据。例如，如果设备600检测到捕获示能表示621上的点选手势，则设备600在所述点选手势开始时捕获在图像显示区域620中表示的图像数据的静态图像。如果设备600检测到捕获示能表示621上的点选和持选手势，则设备600在所述点选和持选手势持续的时间段内捕获在图像显示区域620中表示的图像数据的视频记录。在一些实施方案中，当手指抬离所述示能表示时，视频记录停止。在一些实施方案中，视频记录持续到在对应于所述示能表示的位置处检测到后续输入(例如，点选输入)。在一些实施方案中，然后将捕获的图像(例如，静态图像或视频记录)插入消息编写字段608中，然后将其发送给消息会话中的参与者。在一些实施方案中，将捕获的图像直接发送给消息会话中的参与者，而不将捕获的图像插入消息编写字段608中。
在图6D中，设备600检测效果示能表示622上的输入623(例如，显示器601上的点选手势)。
在图6E中，响应于检测到输入623，设备600激活相机602(例如，从后向相机切换)并更新图像显示区域620，以显示来自相机602的实时相机预览620-1，从而示出被定位在相机602的视野中的对象632的表示和显示在对象632后面的背景636。如本文所述，在一些实施方案中使用相机602捕获的图像数据包括可用于确定相机602的视野中的对象深度的深度数据。在一些实施方案中，设备600基于检测到的对象(例如，在图像数据中)的深度来解析那些对象，并且使用此确定来施加本文所讨论的视觉效果。例如，设备600可将对象632分类为处于实时相机预览620-1的前景中，并且将定位在用户后面的对象分类处于实时相机预览620-1的背景中。这些背景对象在本文中通常称为背景636。
设备600还加亮效果示能表示622以指示视觉效果被启用显示，并且通过用视觉效果选项示能表示624替换相机选项示能表示619来更新相机选项区域625。视觉效果选项示能表示包括头像效果示能表示624-1和贴纸效果示能表示624-2。视觉效果选项示能表示624对应于可施加至在图像显示区域620中所显示的图像的不同视觉效果。通过选择视觉效果选项示能表示中的一者(例如，624-1或624-2)，菜单显示为具有对应于所选视觉效果选项示能表示的视觉效果选项。
用户可通过选择效果示能表示622来激活或停用设备600的效果模式。当效果示能表示622被加亮时，设备600的效果模式被启用以在图像显示区域620中显示视觉效果。如果用户点选被加亮的示能表示622，则效果示能表示622不再被加亮，并且效果模式被禁用，使得视觉效果不被启用为在图像显示区域620中显示。在一些实施方案中，当效果模式被启用时，设备600更新图像显示区域620中所示的图像以显示已经施加至所述图像的一个或多个视觉效果(包括施加至实时图像流的视觉效果)，并且当效果模式被禁用时，设备600从图像显示区域620中所示的所述图像移除或隐藏所述视觉效果。
在图6F中，设备600检测头像效果示能表示624-1上的输入626(例如，显示器601上的点选手势)。
在图6G中，响应于检测到输入626，设备600显示头像选项菜单628，所述头像选项菜单具有头像选项630的可滚动列表。头像选项菜单628还包括用于指示头像选项630中被选定的头像选项的选择区域629。如图6G所示，机器人头像选项630-3定位在选择区域629中，此指示机器人头像选项630-1被选定。图6G所示的其他头像选项630包括定制的女性头像选项630-1、空头像选项630-2，兔子头像选项630-4和外星人头像选项630-5。如下文所详述，空头像选项630-2对应于在图像显示区域620中的对象上不显示头像的头像选项。在一些实施方案中，当显示头像选项菜单628时，空头像选项630-2是默认选定的头像选项。
头像选项630对应于施加至图像显示区域620中对象的表示的虚拟头像视觉效果。具体地，每个头像选项630对应于这样的虚拟头像，所述虚拟头像当被选定时被转换到图像显示区域中的对象的面部上，而图像显示区域中的所述图像的其他部分(诸如用户的背景或其他部分，诸如用户的身体)保持显示。定位在相机602的视野中的用户(例如，对象632)可通过改变其面部的姿势(例如，旋转或取向)来控制虚拟头像的视觉方面，包括移动各种面部特征(例如，眨眼、吐舌头、微笑等)。用于控制虚拟头像的显示和移动的细节在美国专利申请序列号15/870,195中提供，该专利申请据此出于所有目的以引用方式并入本文。
在一些实施方案中，虚拟头像是可被图形描绘的用户的表示(例如，用户的图形表示)。在一些实施方案中，虚拟头像是非真实感的(例如，为卡通化的)。在一些实施方案中，虚拟头像包括具有一个或多个头像特征(例如，头像面部特征)的头像面部。在一些实施方案中，头像特征对应于(例如，映射至)用户面部的一个或多个物理特征，使得检测到的用户的物理特征的移动(例如，如基于诸如深度感测相机之类的相机所确定的)影响头像特征(例如，影响特征的图形表示)。
在一些示例中，用户能够使用相机传感器(例如，相机模块143、光学传感器164)和任选地深度传感器(例如，深度相机传感器175)来操纵虚拟头像的特性或特征。当用户的物理特征(诸如面部特征)和位置(诸如头部位置、头部旋转或头部倾斜)改变时，电子设备检测到所述改变并修改虚拟头像的显示图像以反映用户的物理特征和位置的改变。在一些实施方案中，对用户的物理特征和位置的改变指示多种表情、情绪、场景、色调或其他非言语交际。在一些实施方案中，电子设备修改虚拟头像的显示图像以表示这些表情、情绪、场景、色调或其他非言语交际。
在一些实施方案中，虚拟头像是可定制的头像(例如，可定制的头像835)。可定制的头像是可以由用户选择和定制的虚拟头像，例如用以实现期望外观(例如，看起来像用户)。可定制的头像通常具有人特性的外观，而不是非人类特性，诸如动物或其他非人对象的拟人化构造。另外，如果需要的话，可使用头像编辑用户界面(例如，诸如下文关于图8AA至图8AB讨论的头像编辑用户界面)创建或改变所述头像的特征。在一些实施方案中，可创建并配置可定制的头像以实现定制的物理外观、物理构造或模式化行为。
在一些实施方案中，虚拟头像是不可定制的头像。不可定制的头像是这样的虚拟头像，所述虚拟头像可以由用户选择，但通常不是从根本上可配置的，尽管它们的外观可以通过面部跟踪改变，如下文更详细地描述。相反，不可定制的头像是预先配置的，并且通常不具有可由用户修改的特征部件。在一些实施方案中，不可定制的头像具有非人特性的外观，诸如动物或其他非人对象的拟人化构造(例如，参见机器人头像633、兔子头像634)。不可定制的头像不能由用户创建或修改以实现不可定制的头像的物理外观、物理构造或模式化行为的显著变化。
因为机器人头像630-3在图6G中被选定，所以设备600显示定位在于图像显示区域620中显示的对象632(例如，用户)的面部上的机器人头像633。设备600显示头像，使得当对象在相机602的视野内移动时所述头像保持在所述对象的面部上。设备600还根据任何检测到的用户面部变化不断修改头像，同时将所显示的对象的身体和背景636保持在图像显示区域620中所示的图像中，所述用户面部变化包括面部的姿势或面部表情的变化。
如图6H所示，如果设备600检测到用户的头部移动超出相机602的视野，则设备600显示例如包含所选定的头像(例如，机器人头像)的表示640的提示638和指示用户将其头部重新定位在相机602的视野中的消息642。在一些实施方案中，提示638显示为具有模糊背景644(包括模糊用户632和背景636)。在一些实施方案中，显示提示638包括显示所选定的头像返回至图像显示区域620的中心位置的动画，并且将头像及其特征的缓慢移动示出为它们似乎基于头像特征的物理模型而安顿在某一停止处。
一旦设备600检测到用户的头部返回至相机602的视野，设备就继续基于在用户面部中所检测到的变化来更新所选定的头像(例如，机器人头像633)，如图6I所示。在一些实施方案中，当设备600检测到用户面部返回至相机602的视野时，设备600显示头像633从图像显示区域620的中心位置移动至用户面部的所述位置，并且基于检测到的对用户面部的变化来恢复对头像的修改。
在图6I至图6K中，设备600检测头像选项630的显示列表上的输入644(例如，显示器601上的滚动手势)。当输入644在横跨显示器601的向左方向上移动时，设备600显示头像选项630滚动至左侧以显示附加的头像选项(例如，便便头像选项和狐狸头像选项)。在一些实施方案中，当所示头像选项之一进入选择区域629时，设备产生触觉反馈(例如，具有或不具有音频输出的触觉输出)，以向用户指示在该时间终止输入644将导致选定当前定位在选择区域629内的头像选项。例如，在图6K中，当外星人头像选项630-5定位在选择区域629内时，设备600产生触觉反馈646。
在图6J中，设备600检测到输入644的终止并确定外星人头像选项630-5定位在选择区域629内。因此，设备600将机器人头像633替换为与所选定的外星人头像选项630-5对应的外星人头像635，同时保持对象身体和背景636的显示。在一些实施方案中，用当前所选定的头像(例如，外星人头像635)替换先前所选定的头像(例如，机器人头像633)包括显示先前所选定的头像移动离开屏幕(例如，脱离图像显示区域620)的动画和当前选定的头像从头像选项菜单628移动至图像显示区域620中的用户面部的动画。在一些实施方案中，当头像从头像选项菜单628移动至用户面部时，对当前所选定的头像的面部跟踪开始。在一些实施方案中，当头像切换操作发生时，将背景模糊化。
在图6M至图6N中，设备600检测到头像选项菜单628上的垂直手势646(例如，显示器601上的垂直轻扫或触摸并拖动)，并且作为响应，将头像选项菜单628放大成放大视图628-1，如图6N所示。在图6N中，头像选项630被布置成矩阵，并且可如图6O所示被选定(例如，手势648选择机器人头像选项630-3)以在图像显示区域620中显示不同的头像。
在图6P中，响应于手势648，设备600示出(例如，通过使菜单缩小)头像选项菜单628具有所选定的机器人头像选项630-3(定位在选择区域629中)并且机器人头像633在图像显示区域620中的用户头部上显示。
在图6Q中，设备600检测到关闭图标650上的输入649(例如，显示器601上的点选手势)以关闭应用程序选项菜单628并返回至图6R所示的相机用户界面615，所述相机用户界面示出相机选项区域625，同时保持机器人头像633在图像显示区域620上的图像流(例如，实时相机预览)中的用户面部上显示。相机选项区域625示出捕获示能表示621、视觉效果选项示能表示624，以及加亮效果示能表示622。用户可选择头像菜单示能表示624-1以再次显示头像选项菜单628，如下面在图6S和图6T中所示。
例如，在图6S中，设备600检测头像效果示能表示624-1上的输入652(例如，显示器601上的点选手势)。在图6T中，响应于检测到输入652，设备600显示头像选项菜单628具有头像选项630，所述头像选项替代包括捕获示能表示621、效果示能表示622和视觉效果选项示能表示624的相机选项区域625。头像选项菜单628可通过如先前所讨论地选择关闭示能表示650再次关闭，再次返回至如图6U所示的相机应用程序用户界面615。
在图6U中，设备600检测贴纸效果示能表示624-2上的输入654(例如，显示器601上的点选手势)。在图6V中，响应于检测到输入654，设备600显示贴纸选项菜单656，所述贴纸选项菜单具有贴纸658的可滚动列表。贴纸是静态图形对象，其可由用户选择并且施加至图像显示区域620中的图像。在一些实施方案中，贴纸可通过触摸和拖动手势来选择，所述触摸和拖动手势在选定的贴纸上开始，将贴纸拖动至所需位置，然后通过终止拖动(例如，抬升手指)将贴纸放置在所需位置处。在一些实施方案中，贴纸可通过点选手势来选择，然后在图像显示区域620上的某一位置处显示对应的贴纸。此类实施方案的一个示例在图6W至图6X中示出，所述附图示出了头盔贴纸658-1上的点选手势660，所述头盔贴纸随后被显示在图像显示区域620的中心。
图6Y至图6Z示出放置的贴纸(例如，贴纸658-1)可通过将贴纸拖动至新位置(请参见将贴纸658-1移动至图6Z中的新位置的拖动手势662)而在图像显示区域620上重新定位。
图6AA示出所放置的贴纸(例如，贴纸658-1)可使用两指手势664旋转。
图6AB示出所放置的贴纸(例如，贴纸658-1)可使用捏合手势或扩展手势来调整大小。在图6AB中，头盔贴纸658-1响应于扩展手势666而放大。在图6AC中经调整大小、旋转和重新定位的头盔贴纸658-1被示出为放置在机器人头像的头部上。
在图6AD中，设备600检测到关闭图标670上的输入668(例如，显示器601上的点选手势)以关闭贴纸选项菜单656并返回至如图6AE所示的相机应用程序用户界面615，所述相机应用程序用户界面包括相机选项区域625，所述相机选项区域显示捕获示能表示621、视觉效果选项示能表示624，以及加亮效果示能表示622，所述加亮效果示能表示指示视觉效果被启用显示。在图6AE中，设备600示出了图像显示区域620上的图像中的用户的表示，但所述表示用包括机器人头像633(例如，选自头像选项菜单628)和头盔贴纸658-1(例如，选自贴纸选项菜单656)的视觉效果进行了修改。视觉效果的显示是动态的。例如，设备600响应于检测到用户面部的变化而连续地修改机器人头像633。在一些实施方案中，贴纸658-1的定位也是动态的并且基于所检测到的用户移动来变化，如下文更详细地讨论。
当视觉效果被启用于设备600(例如，效果示能表示622示出为被加亮)时，可通过取消对加亮的效果示能表示622的选择来从图像显示区域620去除或隐藏所施加的视觉效果(例如，头像和贴纸)(例如，当效果示能表示622被加亮时选择所述效果示能表示来禁用视觉效果)。例如，在图6AF中，设备检测加亮的效果示能表示622上的输入672(例如，显示器601上的点选手势)。作为响应，如图6AG所示，设备600从图像显示区域620去除所显示的视觉效果(例如，图6AF中的头盔贴纸658-1和机器人头像633)，同时保持包括相机602的视野中的对象632和背景636的图像流(例如，实时相机预览620-1)的显示。
在一些实施方案中，在视觉效果模式被禁用(例如，通过取消对加亮的效果示能表示622的选择)之后，可例如通过在预先确定的时间量内重新选择效果示能表示622来恢复所去除的视觉效果。例如，在图6AH中，设备检测未加亮的效果示能表示622上的输入674(例如，显示器601上的点选手势)。响应于检测到输入674，设备600加亮效果示能表示622并再次显示头盔贴纸658-1和机器人头像633，同时继续显示包括对象632的身体和背景636的图像流(例如，实时相机预览620-1)，如图6AI所示。
在图6AJ中，设备600检测捕获示能表示621上的输入676(例如，显示器601上的点选手势)。响应于检测到输入676，设备600捕获图6AJ中的实时相机预览620-1的图像，并在图6AK中显示媒体项目620-2(例如，在设备600检测到捕获示能表示621上的输入676时实时相机预览620-1的状态的静态图像)。
在一些实施方案中，当捕获到图像(例如，存储为媒体项目)时，设备600将深度数据编码至媒体项目中。将深度数据存储在媒体中允许稍后施加基于深度的效果(例如，基于对象(例如，用户面部)在z方向上的位置的效果)。在一些实施方案中，当图像在效果施加时被捕获时，将所述效果直接编码在视觉(例如，RGB)信息中以改善与其他设备的兼容性。
在图6AK中，设备600显示相机应用程序用户界面615，所述相机应用程序用户界面示出在图像显示区域620中捕获的图像(例如，媒体项目620-2)(例如，媒体项目620-2替代在图像显示区域620中所示出的实时相机预览620-1)。媒体项目620-2是在捕获示能表示621被选定时实时相机预览620-1的表示。因此，媒体项目620-2包括在对象632的面部上显示的头盔贴纸658-1和机器人头像633，以及背景636。
如果用户随后发送如下所述的媒体项目，则设备600还用重拍示能表示679和接收人标识符606替换相机专用示能表示(例如，图6AJ中所示的示能表示617)，所述接收人标识符指示媒体项目620-2的当前选定的接收人。
设备600显示相机选项区域625，所述相机选项区域包括视觉效果选项示能表示624。可选择视觉效果选项示能表示624来显示它们相应的选项菜单，所述选项菜单可用于修改捕获的媒体项目620-2(以及下面所述的记录的视频媒体项目620-4)。
设备600还更新相机选项区域625以用标记示能表示677、编辑示能表示678和发送示能表示680替换捕获示能表示621和相机选择器示能表示627。标记示能表示677允许用户标记媒体项目620-2。编辑示能表示678允许用户编辑媒体项目620-2，诸如通过裁剪图像或调节媒体项目620-2的其他特性。如图6AK所示，发送示能表示680显示在显示捕获示能表示621的同一位置/区域内，使得发送示能表示680替代显示器上的捕获示能表示621。
发送示能表示680允许用户立即将媒体项目620-2发送给接收人标识符606所指示的接收人。例如，在图6AL中，设备600检测发送示能表示680上的输入682(例如，显示器601上的点选手势)，并且立即将媒体项目620-2发送给对应于接收人标识符606的联系人John，如图6AM的即时消息用户界面603所示。在一些实施方案中，设备600发送媒体项目620-2而不显示即时消息用户界面603。在一些实施方案中，诸如在图6AM中所示的实施方案中，设备发送媒体项620-2并显示即时消息用户界面603以指示媒体目620-2被发送给消息会话中的参与者(例如，John)，所述即时消息用户界面具有消息显示区域604中的媒体项目620-2并且显示定位在键盘显示区域612上方的应用程序坞690。应用程序坞690包括应用程序示能表示692，所述应用程序示能表示可被选择以访问不同应用程序。
在一些实施方案中，媒体项目620-2不立即发送给即时消息会话中的参与者。例如，在图6AN中，代替选择发送示能表示680，用户选择完成示能表示618。响应于检测到完成示能表示618上的输入684(例如，显示器601上的点选手势)，设备600显示即时消息用户界面603的消息编写字段608中的媒体项目685的表示，如图6AO所示。在此实施方案(在图6AO至图6AR中示出)中，代替显示应用程序坞690，设备600显示文本建议区域614以及键盘显示区域612，以允许用户在发送消息之前编写文本(例如，687)或任选地添加其他消息内容(例如，多媒体内容)。响应于检测到发送图标688上的输入686(例如，显示器601上的点选手势)，设备600将媒体项目685的表示发送给消息会话中的参与者，如图6AQ至图6AR所示。
在一些实施方案中，发送媒体项目685包括将媒体项目与媒体项目中的经编码的深度数据一起发送出去。将媒体项目与所述媒体中的深度数据一起发送允许允许稍后施加(例如，稍后由接收人施加)基于深度的效果(例如，基于对象(例如，用户面部)在z方向上的位置的效果)。在一些实施方案中，当媒体项目被发送时，效果直接编码在视觉(例如RGB)信息中以改善与其他设备的兼容性。
在一些实施方案中，在发送媒体项目685的表示之后，设备600显示如图6AR所示的即时消息用户界面603，所述即时消息用户界面具有显示在键盘显示区域612上方的文本建议区域614。响应于接收到应用程序坞示能表示610上的输入694(例如，显示器601上的点选手势)，设备600用应用程序坞690替换文本建议区域614，如图6AT所示。
在一些实施方案中，应用程序坞690保持在即时消息用户界面603中显示，直到用户选择消息编写字段608或键盘区域612(与编写消息文本相关联的动作)。例如，如图6AU所示，设备600检测到键盘显示区域612上的输入696(例如，设备601上的点选手势)。作为响应，如图6AV所示，设备600去除应用程序坞690并在键盘显示区域612上方显示文本建议区域614。在一些实施方案中，如果输入696是消息编写字段(而非键盘显示区域612)上的输入，则设备600也去除应用程序坞690并显示文本建议区域614，如图6AV所示。
图6AW示出在应用程序坞示能表示610被选定(例如，响应于图6AS中的输入694)之后的即时消息用户界面603。应用程序坞690显示在键盘选择区域612上方(例如，替换文本建议区域614)。响应于检测到应用程序示能表示692-1上的输入698(例如，显示器601上的点选手势)，设备600在先前由文本建议区域614和键盘显示区域612占据的位置处显示应用程序显示区域699。应用程序显示区域699任选地包括应用程序坞690，所述应用程序坞包括所选定的应用程序示能表示(例如，应用程序示能表示692-1)的指示6100，如图6AX所示。
在一些实施方案中，应用程序显示区域699包括图形对象6102，所述图形对象可被选择用于即时消息用户界面603中。在一些实施方案中，显示在应用程序显示区域699中的图形对象的类型取决于选择用于调用应用程序显示区域的显示的应用程序示能表示。在图6AX所示的实施方案中，所选定的应用程序示能表示692-1对应于头像应用程序。因此，显示在应用程序显示区域699中的图形对象6102-1和6102-2对应于可被选择用于即时消息用户界面中的头像。如果从应用程序坞610中选择的应用程序示能表示对应于贴纸应用程序，则图形对象6102对应于可被选择用于即时消息用户界面中的贴纸。
如前所述，关于图6C至图6AX所描述的前述实施方案是关于在与照片示能表示619-2相关联的静态图像捕获操作模式下操作的设备600讨论的。然而，除非另外指明，否则这些实施方案也适用于当设备在与视频示能表示619-1相关联的视频记录模式下操作时设备600的操作。因此，对图6AY至图6BQ的以下描述在适当的时候被简化以避免冗余，所述附图示出了当在与视频示能表示619-1相关联的视频记录模式下操作时应用于设备600的许多前述实施方案。
图6AY至图6AZ示出响应于检测到在相机应用程序用户界面615中的视频示能表示619-1上的输入6104，设备600切换至视频记录模式。当切换至视频记录模式时，设备600去除相机专用示能表示617-2、617-3和617-4并显示定时器6122。
图6AZ至图6BB示出设备600响应于效果示能表示622上的输入6106而启用效果模式，并且随后在视频记录模式被启用时在相机选项区域625中显示视觉效果选项示能表示624。
图6BC至图6BE示出设备600响应于检测到头像效果示能表示624-1上的输入6108而显示头像选项菜单628。头像选项菜单628包括头像选项630，所述头像选项可被选择以在视频模式下在对象面部上显示对应头像。机器人头像选项630-3被选择，并且设备600在对象面部上显示机器人头像633，同时保持对象身体和背景636的显示。使用输入6110选择关闭图标650以关闭头像选项菜单628并返回至具有加亮的效果示能表示622和显示的视觉效果选项示能表示624的相机选项区域625。
图6BF至图6BH示出设备600生成在图像显示区域620中表示的图像数据的记录视频。设备600检测到捕获示能表示621上的输入6112，所述输入发起捕获在图像显示区域620中所表示的图像数据。在一些实施方案中，设备600基于确定设备600的视频记录模式被启用而生成图像数据的视频记录。在一些实施方案中，设备600基于在捕获示能表示621上检测到的输入6112而生成视频记录或任选的静态图像捕获。例如，如果输入6112被检测为点选手势，则设备600捕获在图像显示区域620中表示的图像数据的静态图像。如果输入6112被检测为点选和持选手势，则设备600捕获图像数据的视频记录，如上文更详细地讨论。
在图6BG中，响应于检测到捕获示能表示621上的输入6112，设备600发起用于记录在图像显示区域620中表示的图像数据的过程，所述图像数据包括对象、背景和视觉效果。设备600还通过以下方式来修改相机应用程序用户界面615：去除相机效果区域625，扩展图像显示区域620，并且显示停止示能表示6114以及任选地用于捕获实时相机记录的静态图像的图像捕获示能表示6116。在图6BG和图6BH中，图像显示区域620表示相机602的视野内的对象的实时相机记录620-3，其中视觉效果(例如，机器人头像633)的添加是根据如上文所述进行的各种选择而启用的。这些视觉效果还可包括贴纸和全屏效果，显示在图像显示区域620中作为实时图像数据的一部分，并且经记录以形成所得媒体项目的一部分。如本文所述，在媒体项目被记录之后，这些视觉效果可任选地显示或隐藏在所述媒体项目中。
在图6BH中，设备600检测用户面部的变化，并且基于所检测到的用户面部的变化来修改机器人头像633，同时记录实时图像流。响应于检测到停止示能表示6114上的输入6118，设备600停止记录在图像显示区域620中表示的图像数据，并显示图6BI中所示的回放界面。
在图6BI中，如果用户随后发送如在此所述的媒体项目，则设备600在图像显示区域620中显示记录的视频媒体项目620-4，并且显示重拍示能表示679和接收人标识符606，所述接收人标识符指示视频媒体项目620-4的当前选定的接收人。
设备600还去除停止示能表示6114和图像捕获示能表示6116，并且显示相机选项区域625，所述相机选项区域具有用于记录的视频媒体项目620-4的视频定位器6120、效果示能表示622、编辑示能表示678、标记示能表示677和发送示能表示680。相机选项区域625还包括视觉效果选项示能表示624。可选择视觉效果选项示能表示624来显示它们相应的选项菜单，所述选项菜单可用于修改捕获的媒体项目620-4。图6BJ至图6BN示出改变捕获的视频媒体项目620-4中的视觉效果的一个示例。如图6BI所示，发送示能表示680显示在显示捕获示能表示6116的同一位置/区域内，使得发送示能表示680替代显示器上的捕获示能表示6116。
图6BJ至图6BN示出设备600响应于检测到头像效果示能表示624-1上的输入6124而显示头像选项菜单628。如图6BK所示，头像选项菜单628示出了头像选项630，所述头像选项包括选定的机器人头像选项630-3。如图6BL所示，设备600检测到选择兔头像选项630-4的输入6126，并更新视频媒体项目620-4以示出定位在对象头部上的兔子头像634，同时仍显示对象的身体和背景636，如图6BM所示。如图6BN所示，响应于检测到关闭图标650上的输入6128，设备600关闭头像选项菜单628并显示图6BO的相机选项区域625。相机选项区域625包括视频定位器6120，从显示图6BJ中的机器人头像633更新为示出兔子头像634。在一些实施方案中，响应于指向视频定位器6120的输入(例如，轻扫或拖动输入，包括在视频定位器6120的位置处开始的接触的移动)，设备快速预览(scrubs through)记录的视频(例如，改变视频预览的外观和移动定位器，或根据输入移动定位器中的播放头)。在一些实施方案中，快速预览记录的视频示出了施加至视频的效果如何随时间变化(例如，当在一个或多个相机的视野中用户的头部/面部移动和/或改变表情时，贴纸和/或头像如何移动和/或改变表情)。在一些实施方案中，视频定位器6120包括用于裁剪视频(例如，通过拖动视频定位器末端的编辑示能表示来改变视频定位器的开始或结束时间)的可选示能表示。例如，响应于图8AW中指向视频定位器8120的用户输入，设备将快速预览如图8AW至图8AZ所示具有头像和贴纸的视频，但是所述快速预览是以基于输入变化(例如，触敏显示器上接触移动的量值和方向)而确定的速率。与上文所述的视频定位器6120(以及下文所述的视频定位器8120)的交互任选地以类似的方式适用于与本文所述的其他定位器的交互。
如上文关于图6AK至图6AO所讨论的，视频媒体项目620-4可响应于检测到发送示能表示680上的输入(例如，输入6130)而被立即发送给消息会话中的参与者，如图6BP和图6BQ所示。响应于完成示能表示618上的输入，视频媒体项目620-4的表示可被显示在消息编写字段608中。
图7A和图7B是示出根据一些实施方案用于使用电子设备在即时消息应用程序中显示视觉效果的方法的流程图。方法700在具有相机、显示装置和一个或多个输入设备的设备(例如，100、300、500、600)处执行。方法700中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下文所述，方法700提供了在即时消息应用程序中显示视觉效果的直观方式。该方法减小了用户将视觉效果施加至用于在即时消息应用程序中发送的图像的认知负担，从而创建更有效的人机界面。对于电池驱动的计算设备，使得用户能够更快更有效地在图像中显示视觉效果节省了功率并且增加了电池两次充电之间的时间间隔。
电子设备(例如，600)经由显示装置(例如，601)显示(702)包括至少第一参与者的消息会话的即时消息用户界面(例如，603)，所述即时消息用户界面包括相机示能表示(例如，609，与激活相机应用程序的功能相关联的可选图标)。
电子设备(例如，600)经由一个或多个输入设备检测(704)指向相机示能表示的第一输入(例如，616，触摸屏显示器上对应于相机示能表示的位置处的触摸手势)。
响应于检测到所述第一输入(例如，616)，电子设备(例如，600)显示(706)相机用户界面(例如，615)。相机用户界面包括(708)捕获示能表示(例如，621，与用于使用电子设备的相机捕获图像数据的功能相关联的可选图标)。
在一些实施方案中，相机用户界面(例如，615)包括(710)与视觉效果被启用以在所捕获的图像数据中显示的模式相关联的效果模式示能表示(例如，622，与用于激活各种视觉效果可用于修改图像数据的模式的功能相关联的可选图标)。在相机用户界面中包括效果模式示能表示使得用户能够认识到某些效果(例如，视觉效果)可以经由相机用户界面施加至图像。提供对设备的附加控制增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，视觉效果可被添加至相机视野内的图像数据的表示。在一些实施方案中，视觉效果可被添加至捕获的图像数据。在一些实施方案中，视觉效果基于深度数据。在一些实施方案中，电子设备经由一个或多个输入设备检测对效果模式示能表示的选择(例如，623)。在一些实施方案中，响应于检测到对所述效果模式示能表示的所述选择，电子设备将所述电子设备从第一相机模式(例如，标准相机模式)转换至不同于所述第一相机模式的第二相机模式(例如，效果相机模式；多种视觉效果可用于修改图像数据的模式)。在一些实施方案中，当设备处于第二相机模式下时，显示第二相机模式运行的视觉指示(例如，效果模式示能表示被加亮)。
在一些实施方案中，进一步响应于检测到对效果模式示能表示(例如，622)的选择(例如，623)，电子设备(例如，600)停止显示一个或多个相机模式示能表示。在一些实施方案中，进一步响应于检测到对效果模式示能表示的选择，电子设备显示多个效果选项示能表示(例如，与用于创建视觉效果的功能相关联的可选图标624)。在一些实施方案中，效果选项示能表示包括在相机用户界面(例如，615)中先前由一个或多个相机模式示能表示占据的位置处的贴纸示能表示(例如，624-2)和/或头像示能表示(例如，624-1)。在一些实施方案中，显示效果选项示能表示的位置是先前显示相机模式示能表示的特定区域(例如，相机效果区域625)中的任何位置。在一些实施方案中，显示相应效果选项示能表示的位置是所述区域中显示相应相机模式示能表示的相同位置。在一些实施方案中，显示效果选项示能表示包括用效果选项示能表示替换相机模式示能表示)。
在一些实施方案中，电子设备(例如，600)经由所述一个或多个输入设备检测对效果选项示能表示中的第一效果选项示能表示(例如，贴纸示能表示624-2)的选择(例如，654)。在一些实施方案中，响应于检测到对效果选项示能表示中的第一效果选项示能表示的选择，电子设备停止显示多个效果选项示能表示(例如，624)并显示多个可选择的图形图标(例如，658，贴纸)。响应于检测到对效果选项示能表示中的第一效果选项示能表示的选择而停止显示多个效果选项示能表示并显示多个可选择的图形图标使得用户能够快速且容易地认识到效果选项示能表示中的第一效果选项示能表示与图形图标(例如，贴纸)选项相关，从而增强设备的可操作性并使用户-设备界面更有效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，显示贴纸包括在效果选项示能表示上方显示区域(例如，贴纸菜单656)，其中所述区域包括可被选择以在相机用户界面中表示的图像上显示的多个贴纸选项。在一些实施方案中，用户通过在贴纸(例如，658-1)上点选来选择(例如，660)所述贴纸，并且所述贴纸在所述图像上自动显示(例如，在默认位置，诸如图像的中心)。在一些实施方案中，用户通过触摸贴纸并将所述贴纸从贴纸菜单拖动至图像上来选择贴纸。在一些实施方案中，在显示捕获示能表示时并且进一步响应于检测到对效果选项示能表示中的第一效果选项示能表示的选择，电子设备停止显示所述捕获示能表示。
在一些实施方案中，电子设备(例如，600)经由所述一个或多个输入设备检测对效果选项示能表示中的第二效果选项示能表示(例如，头像示能表示624-1)的选择(例如，626)。在一些实施方案中，响应于检测到对效果选项示能表示中的第二效果选项示能表示的选择，电子设备停止显示多个效果选项示能表示(例如，624)并显示具有多个头像示能表示(例如，630，以线性布置显示)(例如，表示头像的示能表示)的头像选择区域(例如，头像菜单628)。响应于检测到对效果选项示能表示中的第二效果选项示能表示的选择而停止显示多个效果选项示能表示并显示头像选择区域使得用户能够快速且容易地认识到效果选项示能表示中的第二效果选项示能表示与头像选择相关，从而增强设备的可操作性并使用户-设备界面更有效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，所述头像示能表示对应于可定制的头像、不可定制的头像或它们的组合。在一些实施方案中，显示头像选择区域包括在效果选项示能表示上方显示所述区域(例如，头像菜单628)，所述区域包括可被选择以在相机用户界面中表示的图像上显示对应头像的多个头像示能表示。
在一些实施方案中，电子设备(例如，600)经由所述一个或多个输入设备检测在所述头像选择区域(例如，628)上的轻扫输入(例如，646，垂直轻扫手势)。在一些实施方案中，响应于检测到头像选择区域上的轻扫输入，电子设备増加头像选择区域(例如，628-1)的尺寸并显示多个头像示能表示(例如，630，布置成矩阵)。响应于检测到头像选择区域上的轻扫输入而増加所述头像选择区域的尺寸并显示布置成矩阵的多个头像示能表示使得所述用户能够(同时)查看在所述头像选择区域中不是(同时)可见的一个或多个附加的可选头像。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，増加所述头像显示区域的尺寸包括在垂直方向上延伸所述头像显示区域以呈现所述头像显示区域的全屏显示，其中所述头像示能表示显示在所述头像显示区域中的矩阵中。
在一些实施方案中，相机用户界面(例如，615)还包括图像数据的第一表示(例如，实时相机预览620-1)。提供图像数据的第一表示(例如，实时相机预览)提供了关于由用户在保存/确认修改之前(对图像)进行的一个或多个修改的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，进一步响应于检测到对效果模式示能表示(例如，624-1、624-2)的选择，电子设备(例如，600)根据确定图像数据的第一表示对应于从第二相机(例如，后向相机)获得的图像数据而停止显示所述图像数据的第一表示，并显示图像数据的第二表示(例如，实时相机预览)，所述图像数据的第二表示对应于从相机(例如，正向相机)获得的图像数据。在一些实施方案中，对应于前向相机的图像数据的表示包括定位在所述前向相机的视野中的用户的表示。
在一些实施方案中，当电子设备(例如，600)处于第二相机模式(例如，效果相机模式；各种视觉效果可用于修改图像数据的模式)中时，电子设备接收向第一相机模式(例如，正常模式、非效果模式)转变(例如，对活动的视觉效果示能表示的选择)的请求。在一些实施方案中，响应于接收到向第一相机模式转变的请求，电子设备将电子设备从第二相机模式转变至第一相机模式。在一些实施方案中，根据第一视觉效果是活动的(例如，主动地施加至所捕获的图像数据或用于捕获的图像数据的预览)，电子设备停用第一视觉效果(例如，禁用，停止显示所显示的第一视觉效果)。
在一些实施方案中，在停用第一视觉效果之后，电子设备(例如，600)经由所述一个或多个输入设备来检测对效果模式示能表示(例如，624-1、624-2)的后续选择。在一些实施方案中，响应于检测到对所述效果模式示能表示的后续选择，电子设备根据确定对所述效果模式示能表示的后续选择发生在停用所述第一视觉效果之后的预先确定的时间量内而重新激活所述第一视觉效果。根据确定对所述效果模式示能表示的后续选择发生在停用所述第一视觉效果之后的预先确定的时间量内而重新激活所述第一视觉效果使得用户能够快速且容易地恢复回至先前的视觉效果(例如，无需重新选择/重新创建所述效果)。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，在选择效果模式示能表示以从图像中去除视觉效果之后，如果所述效果模式示能表示在预先确定的时间周期内再次被选择，则将去除的视觉效果恢复至所述图像。
电子设备(例如，600)经由一个或多个输入设备检测(712)指向捕获示能表示(例如，621)的第二输入(例如，676，触摸屏显示器上对应于捕获示能表示的位置处的触摸手势)。
响应于检测到所述第二输入(714)，电子设备(例如，600)使用相机(例如，602)来捕获(716)图像数据。在一些实施方案中，捕获图像数据包括根据第二输入的特性(例如，接触持续时间)的值满足第一捕获模式标准(例如，小于阈值持续时间)而以第一图像捕获模式(例如，照片捕获模式、静态图像捕获模式)捕获图像数据。在一些实施方案中，捕获图像数据包括根据第二输入的特性的值满足第二捕获模式标准(例如，大于第二阈值持续时间)而以第二图像捕获模式(例如，视频捕获模式、连续捕获模式)捕获图像数据。在一些实施方案中，捕获示能表示(例如，621)是多功能捕获示能表示。在一些实施方案中，当检测到捕获示能表示上的点选时，电子设备捕获照片(例如，静态图像)。在一些实施方案中，当检测到捕获示能表示上的点击并按住手势时，电子设备捕获视频(例如，连续图像)。
响应于检测到第二输入(例如，676)(714)，电子设备(例如，600)停止(718)以显示捕获示能表示(例如，621)。
在一些实施方案中，在使用相机(例如，602)捕获到图像数据之后，电子设备(例如，600)显示标记示能表示(例如，677)、编辑示能表示(例如，678)、以及重拍示能表示(例如，679)。在一些实施方案中，在显示标记示能表示、编辑示能表示和重拍示能表示时，电子设备经由一个或多个输入设备接收第四用户输入。在一些实施方案中，响应于检测到第四用户输入，根据第四用户输入对应于编辑示能表示，电子设备发起编辑所捕获的图像数据的过程。在一些实施方案中，所述编辑过程包括显示用于编辑所捕获的图像数据的一个或多个示能表示。在一些实施方案中，响应于检测到第四用户输入，根据第四用户输入对应于标记示能表示，电子设备发起标记所捕获的图像数据的过程。在一些实施方案中，所述标记过程包括显示用于标记所捕获的图像数据的一个或多个示能表示。在一些实施方案中，响应于检测到第四用户输入，根据第四用户输入对应于重拍示能表示，电子设备发起重拍所捕获的图像数据的过程。在一些实施方案中，发起重拍所捕获的图像数据的过程包括捕获新的图像数据并用新的图像数据替换所捕获的图像数据。
响应于检测到第二输入(例如，676)(714)，电子设备(例如，600)在相机用户界面(例如，615)中先前被捕获示能表示(例如，621)占据的位置处显示(720)发送示能表示(例如，680，与用于将所捕获的图像数据发送给会话中的参与者或用于在后续发送之前在编写区域中呈现所捕获的图像数据的功能相关联的可选图标)。在相机用户界面中先前被捕获示能表示占据的位置处显示发送示能表示提供了所捕获的图像准备好被发送给预期接收人的视觉反馈。为用户提供视觉反馈而不使UI错乱增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，显示发送示能表示(例如，680)的位置是先前显示捕获示能表示的特定区域(例如，相机效果区域625)中的任何位置。在一些实施方案中，显示发送示能表示的位置与所述区域中显示捕获示能表示的位置相同。在一些实施方案中，显示发送示能表示包括用发送示能表示替换捕获示能表示。
在一些实施方案中，在显示发送示能表示(例如，680)时，电子设备(例如，600)显示(722)第一参与者的表示(例如，图标、图片、头像，或与第一参与者相关联的其他标识符)。在显示发送示能表示时显示第一参与者的表示使得用户能够快速且容易地识别预期接收人，从而增强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，第一参与者的表示作为向用户指示捕获的照片将被发送给第一参与者的指示)。在一些实施方案中，在使用相机(例如，602)捕获图像数据之前，不显示(724)第一参与者的表示。在一些实施方案中，相机用户界面(例如，615)包括在捕获图像数据之前显示的相机专用示能表示(例如，619，对应于滤镜、照明选项、定时器选项等)。在一些实施方案中，显示第一参与者的表示将所显示的相机专用示能表示替换为第一参与者的表示。
电子设备(例如，600)经由一个或多个输入设备检测(726)指向发送示能表示的第三输入(例如，触摸屏显示器上对应于发送示能表示680的位置处的触摸手势)。
响应于检测到第三输入，电子设备(例如，600)发起(728)将所捕获的图像数据发送给第一参与者的过程(例如，立即发送所捕获的图像数据或在后续发送之前将所捕获的图像数据呈现在编写区域中)。
在一些实施方案中，在检测到指向发送示能表示(例如，680)的第三输入之前，电子设备(例如，600)显示完成示能表示(例如，与用于关闭相机用户界面以显示即时消息用户界面的功能相关联的可选图标)。在一些实施方案中，电子设备经由一个或多个输入设备检测对完成示能表示的选择。在一些实施方案中，响应于检测到对完成示能表示的选择，电子设备显示即时消息用户界面(例如，603)，所述即时消息用户界面具有消息编写区域(例如，608)。在一些实施方案中，响应于检测到对完成示能表示的选择，电子设备在消息编写区域中显示所捕获的图像数据的表示。在一些实施方案中，选择完成示能表示使相机用户界面关闭，并且在即时消息用户界面的消息编写字段中显示所捕获的图像数据，而不发送所述所捕获的图像数据。
在一些实施方案中，在检测到第三用户输入之前，电子设备(例如，600)处于第一图像捕获模式(例如，照片捕获模式、视频捕获模式)下。在一些实施方案中，进一步响应于检测到第三用户输入，电子设备保持第一图像捕获模式。在一些实施方案中，电子设备可被配置(例如，由用户配置)以根据多种模式(例如，照片捕获模式、视频捕获模式)来捕获图像数据。在一些实施方案中，即使在电子设备从第一相机模式(例如，标准相机模式、非效果相机模式)转变至第二相机模式(例如，效果相机模式)时，对图像捕获模式的选择也是持久的。
在一些实施方案中，发起将所捕获的图像数据发送给第一参与者的过程包括将所捕获的图像数据发送给所述第一参与者(例如，不显示即时消息用户界面615)。在一些实施方案中，从相机用户界面选择发送示能表示(例如，680)立即将所捕获的图像数据发送给消息会话中的另一参与者，而不显示任何中间用户界面或不需要来自用户的进一步输入。
在一些实施方案中，发起将所捕获的图像数据发送给第一参与者的过程包括重新显示即时消息用户界面(例如，615)，其中所述即时消息用户界面还包括键盘区域(例如，612)和应用程序菜单示能表示(例如，610，与用于显示应用程序菜单用户界面的功能相关联的可选图标)。将所述即时消息用户界面重新显示为发起将所捕获的图像数据发送给第一参与者的过程的一部分提供了所捕获的图像数据正经由消息会话被发送的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，应用程序菜单示能表示在即时消息用户界面中的消息编写字段附近显示。在一些实施方案中，电子设备(例如，600)经由一个或多个输入设备检测对应用程序菜单示能表示的选择。在一些实施方案中，响应于检测到对应用程序菜单示能表示的选择，电子设备在键盘区域附近(例如，上方)显示应用程序菜单区域，其中所述应用程序菜单区域具有多个应用程序示能表示(例如，各自与用于发起与相应的应用程序示能表示相关联的应用程序的功能相关联的可选图标)。在一些实施方案中，应用程序示能表示包括贴纸示能表示和头像示能表示。
在一些实施方案中，电子设备(例如，600)检测即时消息用户界面(例如，615)上的第四输入。在一些实施方案中，根据确定所述第四输入对应于即时消息用户界面中的键盘区域(例如，612)的位置或消息编写区域(例如，608)的位置，电子设备停止显示应用程序菜单区域，并且在即时消息用户界面中先前被应用程序菜单区域占据的位置处显示文本建议区域(例如，具有供用户进行方便选择的建议词列表的区域)。
在一些实施方案中，电子设备(例如，600)检测对应用程序菜单区域中的多个应用程序示能表示(例如，贴纸示能表示或头像示能表示)中的一者的选择。在一些实施方案中，响应于检测到对应用程序示能表示(例如，610)的选择，电子设备停止显示键盘区域(例如，612)，并且在即时消息用户界面(例如，615)中先前被键盘区域占据的位置处显示应用程序显示区域，其中所述应用程序显示区域包括对应于所选择的应用程序示能表示的多个图形对象(例如，头像或贴纸)。在一些实施方案中，所选择的应用程序示能表示是贴纸示能表示，并且在应用程序显示区域中显示的图形对象是贴纸。在一些实施方案中，所选择的应用程序示能表示是贴纸示能表示，并且在应用程序显示区域中显示的图形对象是头像(例如，可定制的头像和/或不可定制的头像)。
需注意，上面相对于方法700(例如，图7A至图7B)所述过程的详情也以类似方式适用于下文所述的方法。例如，方法900、1100、1300、和1500任选地包括上面参考方法700所述的各种方法的一个或多个特征。例如，将诸如贴纸和虚拟头像的视觉效果显示在相机应用程序用户界面、媒体用户界面以及用于实时视频通信会话的用户界面中的图像数据中。为了简明起见，这些详情在下文中不再重复。
图8A至图8BQ示出了根据一些实施方案的用于在相机应用程序中显示视觉效果的示例性用户界面。这些附图中的用户界面用于示出包括图9A和图9B中的过程的下文描述的过程。
在图8A中，设备600显示主屏幕800并检测相机应用程序示能表示802上的输入801。
在图8B中，响应于检测到输入801，设备600启动与相机应用程序示能表示802相关联的相机应用程序，并且显示相机应用程序用户界面815。相机应用程序用户界面815类似于上文关于图6A至图6BQ所示的实施方案讨论的相机应用程序用户界面615。
相机应用程序用户界面815包括图像显示区域820，所述图像显示区域显示图像数据的表示，所述图像数据为诸如表示位于相机(例如，后向相机或相机602)的视野内的对象的流式图像数据(例如，实时相机预览、实时相机录制或实时视频通信会话)；或显示媒体项目，诸如照片或视频记录。在图8B所示的实施方案中，图像显示区域820显示来自设备600的后向相机的实时相机预览820-1′。
相机应用程序用户界面815还包括在图像显示区域820上方的包括相机专用示能表示817的区域。相机专用示能表示包括与相机闪光灯功能相关联的示能表示817-1、与相机模式功能相关联的示能表示817-2、与定时器功能相关联的示能表示817-3，以及与滤镜功能相关联的示能表示817-4。
相机应用程序用户界面815还包括定位在图像显示区域820(类似于图像显示区域620)下方的相机选项区域825(类似于相机选项区域625)。相机选项区域825包括用于在各相机(例如，后向相机和相机602)之间切换的相机选择器示能表示827，以及与相机可记录图像数据的不同捕获模式相关联的相机选项示能表示819。例如，视频示能表示819-1与用于激活相机的视频记录捕获模式的功能相关联，并且照片示能表示819-2与用于激活相机的静态图像捕获模式的功能相关联。在下文关于图8B至图8AQ讨论的实施方案中，设备600处于与照片示能表示819-2相关联的静态图像捕获模式中。然而，除非另外指明，否则这些实施方案也适用于与视频示能表示819-1相关联的视频记录模式。
相机选项区域825还包括用于启用和禁用设备600的某一模式(视觉效果模式、效果模式)的效果示能表示822，在所述模式中设备600被启用或禁用于在图像显示区域820中显示视觉效果。效果示能表示822类似于效果示能表示622，并且因此具有与效果示能表示622相同的功能，除非另外指明。因此，效果示能表示822可被选择以启用视觉效果的显示，并且可被取消选择以禁用视觉效果的显示。
相机选项区域825还包括捕获示能表示821，其以类似于上述捕获示能表示621的方式发挥功能。捕获示能表示821可被选择以捕获在图像显示区域820中所表示的图像数据。在一些实施方案中，设备600以基于当前启用的捕获选项(例如，视频记录捕获模式或图像捕获模式)的方式捕获图像数据。在一些实施方案中，设备600根据在捕获示能表示821上检测到的手势的类型来捕获图像数据。例如，如果设备600检测到捕获示能表示821上的点选手势，则设备600在所述点选手势开始时捕获在图像显示区域820中表示的图像数据的静态图像。如果设备600检测到捕获示能表示821上的点选和持选手势，则设备600在所述点选和持选手势持续的时间段内捕获在图像显示区域820中表示的图像数据的视频记录。在一些实施方案中，当手指抬离所述示能表示时，视频记录停止。在一些实施方案中，视频记录持续到在对应于所述示能表示的位置处检测到后续输入(例如，点选输入)。在一些实施方案中，可以与其他设备共享所捕获的图像(例如，静态图像或视频记录)，例如使用即时消息应用程序。
在图8C中，设备600检测效果示能表示822上的输入823。
在图8D中，响应于检测到输入823，设备600激活相机602(例如，从后向相机切换)并更新图像显示区域820，以显示来自相机602的实时相机预览820-1，从而示出被定位在相机602的视野中的对象832的表示和显示在对象832后面的背景836。如本文所述，在一些实施方案中使用相机602捕获的图像数据包括可用于确定相机602的视野中的对象深度的深度数据。在一些实施方案中，设备600基于检测到的对象(例如，在图像数据中)的深度来解析那些对象，并且使用此确定来施加本文所讨论的视觉效果。例如，设备600可将对象832分类为处于实时相机预览820-1的前景中，并且将定位在用户后面的对象分类处于实时相机预览820-1的背景中。这些背景对象在本文中通常称为背景836。
设备600还加亮效果示能表示822以指示视觉效果被启用显示，并且通过用视觉效果选项示能表示824替换相机选项示能表示819来更新相机选项区域825。视觉效果选项示能表示包括头像效果示能表示824-1和贴纸效果示能表示824-2。视觉效果选项示能表示824类似于上述视觉效果选项示能表示624。视觉效果选项示能表示824对应于可施加至在图像显示区域820中所显示的图像的不同视觉效果。通过选择视觉效果选项示能表示中的一者(例如，824-1或824-2)，菜单显示为具有对应于所选视觉效果选项示能表示的视觉效果选项。
在图8E至图8F中，设备600检测到头像效果示能表示824-1上的输入826，并显示头像选项菜单828。头像选项菜单828类似于头像选项菜单628。头像选项菜单828包括头像选项830和选择区域829的可滚动列表，所述选择区域用于指示头像选项830中所选定的一个头像选项。所显示的头像选项包括可定制的女性头像830-1、空头像选项830-2、机器人头像选项830-3、兔子头像选项830-4、以及第二可定制的女性头像830-5。如图8F所示，空头像选项830-2被选为默认的头像选项830。因此，显示在图像显示区域820中的对象832的表示被示出为在对象面部上没有显示的头像。头像选项830可预配置，如头像选项830-3或830-4，或者它们可以是可定制的头像，诸如头像选项830-1和830-5。
头像选项830具有与头像选项630相似的功能。因此，头像选项830对应于施加至图像显示区域820中对象的表示的虚拟头像视觉效果。具体地，每个头像选项830对应于这样的虚拟头像，所述虚拟头像当被选定时被转换到图像显示区域中的对象的面部上，而图像显示区域中的所述图像的其他部分(诸如用户的背景或其他部分，诸如用户的身体)保持显示。定位在相机602的视野中的用户(例如，对象832)可通过如上所述改变其面部的姿势(例如，旋转或取向)来控制虚拟头像的视觉方面。
头像选项830可通过头像选项菜单828上的手势滚动。例如，水平手势844a在图8G中示出为用以选择机器人头像选项830-3，所述机器人头像选项随后被显示为图像显示区域820中对象面部上的机器人头像833，如图8H所示。通过水平手势844b继续滚动，将附加的头像选项830滚动至所显示的头像选项菜单828上。在一些实施方案中，当用户滚动头像选项830时，图像显示区域820示出头像(例如，图8J中的机器人头像833)具有施加至头像后面所表示的图像数据的模糊效果803。
在图8K中，设备600显示定位在选择区域829内、刚好在被选择之前(例如，手势844b尚未终止)的可定制的女性头像选项830-5，以及在可定制的女性头像选项830-5下方显示的编辑示能表示804。设备600继续显示具有模糊效果803的机器人头像833。在一些实施方案中，当可定制的头像选项定位在选择区域829中时，设备600在选择区域829中显示编辑示能表示804。编辑示能表示804可经选择以显示头像编辑用户界面，诸如下文关于图8AA所讨论的。
在图8L中，在选定头像选项830-5(例如，手势844b被终止)之后。设备600将机器人头像833从图像显示区域820去除(同时继续模糊效果803)，并且显示可定制的女性头像835根据选择区域829内的头像选项830-5显现并移动至图像显示区域820(例如，在图像显示区域820的中心位置处，或者在对应于对象面部的位置处)，其中头像835基于检测到的对象面部的变化而进行修改。在一些实施方案中，动画包括作为静态外观(例如，类似于匹配所显示的头像选项的贴纸)出发并且随后转变成动态状态(在图8L中示出)的头像(例如，835)，其中所述头像(例如，835)基于设备600检测到用户面部的变化而进行修改。在一些实施方案中，头像从静态到动态的转变发生在头像从选择区域移动之前。在一些实施方案中，当头像从选择区域829移动至图像显示区域820时，头像从静态至动态的转变发生。
在图8M和图8N所示，当头像835施加至对象面部时，设备600基于检测到的对象面部的变化来修改头像835，所述对象面部的变化包括相机602的视野内的面部位置的变化。
在一些实施方案中，当设备600不再检测到相机602的视野内的对象面部时，设备600再次施加模糊效果803(类似于模糊效果644)至背景，并且显示指示用户将其面部返回至相机602的视野的提示838。在图8P所示的实施方案中，设备600显示提示838，所述提示包括所选定的头像(例如，可定制的女性头像)的表示840和指示用户将其头部重新定位在相机602的视野中的消息842。在一些实施方案中，显示提示838包括显示所选定的头像(例如，835)返回至图像显示区域820的中心位置的动画，并且将头像及其特征的缓慢移动示出为它们似乎基于头像特征的物理模型而安顿在某一停止处。
在一些实施方案中，当设备600检测到用户面部返回至相机602的视野时，设备600显示头像835从图像显示区域820的中心位置移动至用户面部的所述位置，并且基于检测到的对用户面部的变化来恢复对头像的修改。
在一些实施方案中，头像选项菜单828可用竖直手势(例如，805)扩展以显示如图8Q至图8T所示的头像选项菜单的放大版本。头像选项菜单的放大版本显示更多的头像选项830，包括不同类型的头像(例如，可定制和不可定制的头像)。可在放大的头像显示菜单中选择新的头像选项(例如，机器人头像选项830-3)。设备600随后当头像选项菜单的放大版本返回至其原始(例如，压缩)状态时在用户面部上显示对应的头像(例如，机器人头像833)，如图8U所示。
在一些实施方案中，响应于检测到图像显示区域820上的轻扫手势，设备600在用户头部上显示不同的头像。例如，在图8V中，设备600检测横跨图像显示区域820在向右方向上移动的轻扫手势806。响应于检测到轻扫手势806，设备600在头像选项菜单828中滚动头像选项830。在一些实施方案中，滚动量值由轻扫手势的量值来确定。因此，用户可基于轻扫手势的量值来滚动过多个头像。此外，滚动方向和头像在图像显示区域820上的对应移动基于轻扫手势806的方向来确定。因此，如果轻扫在向左方向上则头像选项的滚动和转变头像的相应移动可以在向左方向上，或者如果轻扫在向右方向上则头像选项的滚动和转变头像的相应移动可以在向右方向上(如图8V和图8W所示)。
当头像选项830开始滚动时，当前所选择的头像选项(例如，图8V中的机器人头像选项830-3)离开选择区域829，并且随着滚动继续，新的头像选项(例如，图8W中的头像选项830-1)进入选择区域829。当头像选项滚动时，设备600还在图像显示区域820中显示当前选择的头像(例如，机器人头像833)移动离开用户面部并离开图像显示区域820的右侧，同时下一个头像(例如，可定制的头像831)从左侧进入图像显示区域820并移动至用户面部的动画。在一些实施方案中，设备600在头像滚动过图像显示区域820时将模糊效果803施加至图像显示区域820。
在图8V和图8W中示出的实施方案中，空头像选项830-2不被选择以更好地示出从当前选择的头像至在图像显示区域820上显现的新头像的转变。然而，应当理解，可用图像显示区域820上的轻扫手势来选择空头像选项830-2。在此类情况下，当前选择的头像在背景模糊时移动离开屏幕，然后去除模糊效果以显示不具有头像的用户面部。
图8X和图8Y示出了对不同的可定制头像选项(例如，可定制头像选项830-5)的选择和对应显示的可定制头像835。当可定制头像选项830-5在选择区域829中显示时，显示编辑示能表示804。编辑示能表示804可经选择(例如，通过输入807)来显示图8AA中所示的头像编辑用户界面808。头像编辑用户界面808提供用于编辑与可定制头像选项(例如，830-5)对应的头像(例如，可定制头像835)的界面，所述可定制头像选项与所选择的编辑示能表示804相关联。
在一些实施方案中，施加的视觉效果可包括照明效果，诸如在所施加的定制头像835下方的对象颈部上示出的阴影851或眼镜上的光反射。当设备600修改头像835以镜像用户的实时移动时，设备600还修改头像835上的照明效果以及投影到对象上的那些照明效果，包括基于模型化的光源和头像835的相对位置来移动反射阴影的显示位置。
如图8AA所示，头像编辑用户界面808包括可定制头像835和各种头像特征选项810(例如，面部颜色选项810-1和面部形状选项810-2)的表示，所述表示表示当前选择的头像特征选项和可选择来修改头像835的可用特征选项。所述头像特征选项对应于特定头像特征的各方面的值，特别是当前选择的头像特征，诸如由加亮的头像头部示能表示809-1指示的头像头部特征。头像编辑用户界面808指示在头像835中表示的所选面部颜色选项810-1a和所选面部形状选项810-2a。所显示的头像特征选项可以通过选择不同的头像特征来改变。例如，在图8AB中，设备600在头像头发示能表示809-2被选择时更新头像编辑用户界面808以显示不同的头像头发特征选项(例如，发质选项811-1和头发颜色选项811-2)。
设备600在不同的头像特征选项被选择时修改头像835。例如，在图8AB中，设备600检测到对直发发质选项811-2a的选择，并将头像835更新为具有所选择的直发发质选项。在一些实施方案中，设备600响应于检测到用户面部的变化来修改头像编辑用户界面808中所示的头像835的表示。
响应于检测到对完成示能表示812的选择，设备600退出头像编辑用户界面808并返回至相机应用程序用户界面815，所述相机应用程序用户界面示出了所选择的头像选项830-5和基于在头像编辑用户界面中选择的发质选项更新的相应头像835。
图8AD至图8AF示出可创建新的定制头像并将其添加至头像选项菜单828的实施方案。响应于检测到对新头像示能表示813的选择，设备600显示头像编辑用户界面808，所述头像编辑用户界面具有没有选定的头像特征选项的默认头像的表示，如图8AE所示。设备600可基于用户对头像特征选项的选择来修改默认头像，并将所述头像作为可从头像选项菜单828中选择的新头像保存。在图8AF中，设备600检测到对取消示能表示的选择，因此放弃将修改的头像保存在头像选项菜单828中，如图8AG所示。
响应于检测到图8AG中对取消图标850的选择，设备600关闭头像选项菜单828并显示如图8AH所示的相机选项区域825。
响应于检测到对标签效果示能表示824-2的选择，在图8AI中设备600显示具有贴纸858的可滚动列表的贴纸选项菜单856。贴纸选项菜单856和贴纸858类似于上面讨论的贴纸选项菜单656和贴纸658。贴纸是静态图形对象，其可由用户选择并且施加至图像显示区域820中的图像。在一些实施方案中，贴纸可通过点选手势来选择，然后在图像显示区域820上的某一位置处显示对应的贴纸。在一些实施方案中，贴纸可通过触摸和拖动手势来选择，所述触摸和拖动手势在选定的贴纸上开始，将贴纸拖动至所需位置，然后通过终止拖动(例如，抬升手指)将贴纸放置在所需位置处。此类实施方案的一个示例在图8AI至图8AK中示出，其中头盔贴纸858-1被选择(例如，输入853)、拖动至定制头像835上方(例如，远离所述定制头像)的位置。在图8AK中，设备600检测到对象832从图8AJ中所示的位置横向移动。作为响应，设备600显示头盔贴纸858-1和头像835，所述头盔贴纸和头像两者均基于对象的表示的横向移动(例如，方向和量值)而横向移动。
在图8AK中，设备600检测关闭示能表示855上的输入854。作为响应，在图8AL中设备600关闭贴纸选项菜单856以显示相机选项区域825。在图8AL中，设备600示出对象832被移位返回至屏幕的中心，所述对象的头部倾斜。响应于检测到对象832的这种移动，设备600显示头盔贴纸858-1在图8AL中的可定制头像835上方并基于对象头部至屏幕中心的移动而横向移位(从图8AK中所示的位置)。设备600显示头盔贴纸858-1，所述头盔贴纸保持相对于头像835的相对间距。然而，头盔贴纸858-1不会响应于对象头部的旋转(例如，倾斜)而旋转(例如，倾斜)，而头像835被旋转(例如，倾斜)，如图8AL所示。
在图8AL中，设备600检测到对捕获示能表示821的选择，这使得设备600捕获在图像显示区域820中显示的实时相机预览820-1的图像，所述图像包括视觉效果(例如，定制头像835和头盔贴纸858-1)以及包括对象832和背景836的其他图像数据。
在图8AM中，设备600显示相机应用程序用户界面815，所述相机应用程序用户界面示出在图像显示区域820中捕获的图像(例如，媒体项目820-2)(例如，媒体项目820-2替代在图像显示区域820中所示出的实时相机预览820-1)。媒体项目820-2是在捕获示能表示821被选定时实时相机预览820-1的表示。因此，媒体项目820-2包括在对象832的面部上显示的头盔贴纸858-1和头像835，以及背景836。
设备600还用重拍示能表示879替换相机专用示能表示(例如，图8AL中所示的示能表示817)，并保存用以保存所捕获的媒体项目820-2的示能表示818。
设备600还更新相机选项区域825以用标记示能表示877、编辑示能表示878和共享示能表示880替换捕获示能表示821和相机选择器示能表示827。标记示能表示877允许用户标记媒体项目820-2。编辑示能表示878允许用户编辑媒体项目820-2，诸如通过裁剪图像或调节媒体项目820-2的其他特性。共享示能表示880允许用户将媒体项目820-2发送至另一设备，例如在即时消息应用程序或邮件应用程序中。
设备600显示相机选项区域825，所述相机选项区域包括视觉效果选项示能表示824。可选择视觉效果选项示能表示824来显示它们相应的选项菜单，所述选项菜单可用于修改捕获的媒体项目820-2(以及下面所述的记录的视频媒体项目820-4)。例如，图8AN至图8AP示出设备600将贴纸添加至媒体项目820-2。贴纸效果示能表示824-2在图8AN中被选择，这使得设备600在图8AO中显示贴纸选项菜单856，图8AO还示出了对兔子贴纸858-2的选择，所述兔子贴纸定位在媒体项目820-2中的对象832上，如图8AP所示。贴纸选项菜单856在图8AP中被关闭，从而在图8AQ中显示相机选项区域825。
在图8AQ中，设备600还显示具有定位在对象832上的兔子贴纸858-2以及其他视觉效果(例如，头像835和头盔贴纸858-1)的媒体项目820-2。
可以以与上面针对媒体项目820-2(静态图像)所描述的方式类似的方式将贴纸添加至以视频格式记录的媒体项目。例如，图8AR示出了视频媒体项目820-4是记录视频的实施方案。媒体项目820-4可以类似于上文针对媒体项目620-4所述的方式创建。
在图8AR中，设备600在图像显示区域820中显示记录的视频媒体项目820-4。设备600还显示相机选项区域825，所述相机选项区域具有用于记录的视频媒体项目820-4的视频定位器8120、效果示能表示822、编辑示能表示878、标记示能表示877和共享示能表示880。相机选项区域825还包括视觉效果选项示能表示824。可选择视觉效果选项示能表示824来显示它们相应的选项菜单，所述选项菜单可用于修改捕获的媒体项目820-4。例如，图8AR至图8AV示出设备600将贴纸858-2和858-3添加至媒体项目820-4。
在一些实施方案中，所显示的贴纸可在视频媒体项目(或实时视频流)中具有不同的模式化行为。例如，一些贴纸具有被施加至显示器(例如，601)的外观，并且当图像数据中的对象移动时保持静态。此类贴纸的一个示例由图8AX至图8BC中的心形贴纸858-3来展示。在一些实施方案中，当设备600在媒体项目、实时相机预览或相机602的视野中没有检测到对象表示的全部或一部分(例如，头部或面部)的存在时，标签在所述标签被放置在媒体项目(例如，820-4)或实时相机预览(例如，820-1)中时具有这种静态行为。例如，如果对象的面部完全离开屏幕(例如，在相机602的视野中未检测到)，并且贴纸被放置在图像显示区域820上，则一旦所述面部在相机602的视野中被检测到并且与先前放置的贴纸一起在图像显示区域820上显示，贴纸就是静态的并且不跟踪对象面部的任何移动。
其他贴纸具有被施加至显示器并跟随图像中的对象(例如，相机视野中的项目，包括例如头像或对象的表示)移动的外观。在一些实施方案中，贴纸被放置在远离贴纸所跟随的对象的位置处。此类贴纸的一个示例由图8AK和图8AX至图8BC中的头盔贴纸858-1来展示。头盔贴纸858-1遵循对象832的横向移动，但不遵循所述对象的旋转移动。此类贴纸的另一个示例由图8BE至图8BQ中的海星贴纸858-5来展示。当远离对象面部定位时，海星贴纸858-5遵循对象面部的移动，同时保持相对于所述面部的相对位置(例如，海星贴纸858-5遵循对象面部的向前、向后和左右摇摆移动，但不遵循对象面部的旋转移动)。
还有其他贴纸具有被施至相机602的视野中的物体并且移动以跟随所述视野中的所述物体的外观(例如，当贴纸随着图像中的物体而调整时具有深度的外观)。此类贴纸的一个示例由图8AX至图8BC中的兔子贴纸858-2来展示。兔子贴纸858-2随对象(具体地，对象的肩部)的横向和旋转移动而移动。此类贴纸的另一个示例由图8BG至图8BM中的眼镜贴纸858-4来展示。当在图8BG至图8BM中定位在对象面部上时，眼镜贴纸858-4遵循对象面部的横向移动(例如，左右摇摆、向上/向下)、对象面部的向前和向后移动、以及对象面部的旋转移动。眼镜贴纸858-4具有物理上施加(例如粘贴)至对象面部上的外观。
在一些实施方案中，贴纸的行为基于其相对于媒体项目(或实时相机预览或相机视野)中的对象的位置而改变。在一些实施方案中，贴纸的行为响应于检测到贴纸相对于对象的位置变化而变化。此类贴纸的示例在下面更详细描述的图8BE至图8BQ中示出。
图8AW至图8BC示出媒体项目820-4的视频回放和编辑，所述媒体项目包括头像835、头盔贴纸858-1、兔子贴纸858-2和心形贴纸858-3。当媒体项目820-4在回放期间推进时，心形贴纸858-3保持静态，具有被施加至显示器601并且不移动的外观。头盔贴纸858-1具有被施加至显示器但响应于头像835的位置变化而移动(例如，平移)的外观。兔子贴纸858-2具有被施加在媒体项目820-4中的对象832的肩部上的外观。当肩部移动时，兔子贴纸858-2改变位置，包括取向和显示尺寸，以在媒体项目820-4的回放过程中给出遵循对象肩部的外观。
在一些实施方案中，被施加至一个或多个相机的视野中包括在三个维度中被跟踪(例如，经由来自深度传感器的深度信息)的相应对象(例如，设备用户的面部、手、或其他身体部分)的表示的位置的贴纸或其他虚拟对象被附着至所述相应的对象，使得所述虚拟对象的尺寸和/或取向除了随着所述相应对象在所述一个或多个相机的视野中横向(例如，左右摇摆和/或上下)移动而横向(例如，左右摇摆和/或上下)移动之外，还随着所述相应对象距所述一个或多个相机的距离和/或所述相应对象相对于所述一个或多个相机的取向的变化而变化。例如，如图8AS至图8AT所示，兔子贴纸858-2被放置在对象肩部的表示上。当肩部在图8AX至图8AY中向上和朝向相机移动时，兔子贴纸858-2随着肩部横向(向上)移动，并且随着肩部朝向相机移动而放大。在一些实施方案中，被施加至一个或多个相机的视野中离开(例如，远离)在三个维度中被跟踪(例如，经由来自深度传感器的深度信息)的相应对象(例如，设备用户的面部、手或其他身体部分)的表示的位置的贴纸或其他虚拟对象随着所述相应对象在所述一个或多个相机的视野中横向(例如，左右摇摆和/或上下)移动而横向(例如，左右摇摆和/或上下)移动，但不附着至所述相应的对象，使得所述虚拟对象的尺寸和/或取向不会随着所述相应对象距所述一个或多个相机的距离和/或所述相应对象相对于所述一个或多个相机的取向的变化而变化。例如，如图8AX和图8AY所示，头盔贴纸858-1放置在远离对象表示的位置处。随着对象的表示在图8AX和图8AY中侧向移动并更靠近相机，头盔贴纸858-1基于用户的表示的移动而横向移动，但是在取向或尺寸上不改变。
在图8AY中，设备600检测定位器8120上的输入882(例如，轻扫或拖动手势)，并基于所述输入快速预览媒体项目820-4。如图8AZ所示，响应于输入882，设备600反向查看(reverses through)媒体项目820-4以显示媒体项目820-4的先前在图8AX中显示的部分。设备600在编辑示能表示878上检测输入884。
在图8BA中，设备600进入编辑模式(用于编辑媒体项目820-4)，并且显示可选示能表示885，所述可选示能表示用于通过拖动视频定位器8120末端的示能表示885(经由输入883)以改变视频定位器的结束时间来裁剪视频。
如图8BB所示，视频定位器8120响应于输入883而被修剪。设备600检测到完成示能表示887上的输入886并退出编辑模式。
在图8BC中，所述视频定位器8120示出为被修剪(例如，具有比进入图8AZ中的编辑模式之前更短的长度)。设备600检测到效果示能表示822上的输入888，其退出效果模式。
如图8BD所示，在媒体项目820-4中显示的视觉效果响应于检测到输入888取消对效果示能表示822选择而隐藏。
在一些实施方案中，贴纸可具有基于贴纸放置的条件(例如，贴纸相对于其他对象的位置、当贴纸被放置时对象的存在(或不存在)，等等)而确定的行为。例如，在一些实施方案中，贴纸在定位成远离对象或区域时可具有第一类型的行为，并且当定位在所述对象或区域上时具有第二类型的行为。在一些实施方案中，如果当贴纸被放置时不存在对象，则贴纸可具有第三类型的行为。在一些实施方案中，贴纸的行为可基于贴纸的位置变化(例如，相对于物体的位置变化)而变化。
例如，图8BE至图8BQ示出了一个示例性实施方案，所述示例性实施方案示出在实时相机预览820-1中显示的各种贴纸的行为，以及贴纸基于贴纸相对于对象面部的位置变化的行为变化。在图8BE至图8BQ所示的实施方案中，贴纸的行为基于贴纸相对于对象面部的位置来确定。
在图8BE中，设备600显示相机应用程序用户界面815，所述相机应用程序用户界面具有类似于图8D中所示的相机应用程序用户界面的外观，但具有在图像显示区域820中显示的贴纸858。图像显示区域820示出来自相机602的实时相机预览820-1，示出了定位在相机602的视野中的对象832的表示和在对象832后面显示的背景836。眼镜贴纸858-4、海星贴纸858-5和棒球贴纸858-6各自显示为远离对象832的面部(例如，不在所述面部上)。图8BE至图8BQ中所示的贴纸可根据本文所讨论的各种实施方案而在图像显示区域中放置和移动。
当贴纸858定位成远离对象面部(例如，不在对象面部上)时，它们具有第一类型的行为。例如，贴纸遵循对象面部的横向(例如，左右摇摆和向上/向下)、向前(例如，朝向相机602)和向后(例如，远离相机602)移动，但不遵循对象面部的旋转移动(例如，不遵循对象面部的倾斜和偏转)。
在图8BF中，设备600检测眼镜贴纸858-4上的输入889(例如，显示器601上的触摸并拖动手势)。响应于检测到输入889，设备600显示眼镜贴纸858-4随着输入移动(例如，在输入889的移动方向和量值中)，如图8BG和图8BH所示。
在一些实施方案中，当贴纸移动至与贴纸所跟随的对象对应的位置时，设备600提供指示。例如，在图8BG中，设备600示出眼镜贴纸858-4从远离对象面部的位置移动至在所述对象面部上的位置。设备600在对象面部周围显示括号890，并且在眼镜贴纸858-4移动至对象面部上时任选地产生触觉反馈892(例如，具有或不具有音频输出的触觉输出)。在一些实施方案中，括号890提供了对眼镜贴纸858-4可放置为使得它们将被显示在对象面部上的区域的视觉指示(导致眼镜贴纸858-4的行为被修改)。因此，括号890(和触觉反馈892)可在用户将贴纸拖动至将贴纸定位在对象面部上的放置区域(例如，在括号内)时向用户进行指示。在一些实施方案中，触觉反馈892指示眼镜贴纸858-4已从对象面部外部的区域(例如，贴纸具有第一类型行为的区域)移动至对象面部上的区域(例如，贴纸具有第二类型的行为的区域)。
在一些实施方案中，当设备600检测到贴纸(或其他视觉效果)的位置移动至对应于贴纸所跟随的对象的位置时，设备600基于对象的位置修改贴纸的外观并且修改贴纸的行为(在一些实施方案中，在检测到输入889的终止之后修改贴纸的行为)。设备600还在贴纸从与贴纸所跟随的对象相对应的位置移动至远离对象的位置时，以相反的方式修改贴纸的外观和行为。
在图8BH中，当设备600检测到眼镜贴纸858-4的位置在对象面部上(例如定位在括号890内)时，设备600基于对象面部的位置(例如，尺寸和取向)来修改贴纸。例如，眼镜贴纸858-4的尺寸增大(例如，以成比例地匹配对象面部的尺寸)，并且从其在图BG中的静态位置旋转以匹配图8BH中的对象面部的位置。在一些实施方案中，贴纸定位在对应于对象鼻部的平面上，并且随着面部移动而变换其位置的坐标。在一些实施方案中，使用面部网格(例如，深度遮罩)来确定鼻部的位点。在一些实施方案中，贴纸定位在所述平面上，但不符合对象面部的形状。
设备600还将贴纸的行为改变为第二类型的行为(例如，与第一类型的行为不同的行为)。如图8BH所示，第二类型的行为可包括这样的行为，在所述行为中贴纸保持其在面部上的3D位置，遵循对象面部的旋转移动(例如，遵循所述面部的倾斜和偏转)，以及横向移动和向前/向后移动。其他贴纸的行为未改变。因此，棒球贴纸858-6和海星贴纸858-5因为它们未被放置在对象面部上而继续具有第一类型的行为。相反，海星贴纸858-5和棒球贴纸858-6继续保持与面部的相对间距。
在一些实施方案中，当输入889定位在对象面部上(例如，在括号内)时，括号890跟随输入889存留。因此，当设备600检测到输入889的终止时，设备600停止显示括号890，如图8BI所示。
图8BI和图8BJ示出装置600使眼镜贴纸858-4随着对象面部旋转，而海星贴纸858-5和棒球贴纸858-6保持静态(与眼镜贴纸858-4不同，它们不遵循对象面部的旋转移动)。
在图8BK中，所述对象移动得更靠近相机602。眼镜贴纸858-4随着对象面部的向前移动而移动，并且随着对象面部保持其旋转位置。类似地，棒球贴纸858-6和海星贴纸858-5随着对象面部的向前移动而移动，同时保持相对于对象面部的相对间距。棒球贴纸858-6和海星贴纸858-5不随着对象面部旋转。
在图8BK中，设备600检测到捕获示能表示821上的输入893，并且作为响应而捕获实时相机预览820-1的图像。
在图8BL中，设备600显示相机应用程序用户界面815，所述相机应用程序用户界面示出在图像显示区域820中捕获的图像(例如，媒体项目820-5)(例如，媒体项目820-5替代在图像显示区域820中所示出的实时相机预览820-1)。媒体项目820-5是在捕获示能表示821被选定时实时相机预览820-1的表示。在图8BL中所示的实施方案与在图8AM中所示的实施方案类似，但是具有媒体项目820-5(而不是媒体项目820-2)，所述媒体项目包括相对于对象832的面部和背景836所显示的眼镜贴纸858-4、海星贴纸858-5和棒球贴纸858-6。
如本文所述，视觉效果的显示在不同实施方案中类似。例如，除非另外指明，否则视觉效果可在相机应用程序、即时消息应用程序、头像编辑应用程序、实时视频即时消息应用程序或本文所讨论的任何其他应用程序中以类似方式显示和操纵。另外，视觉效果可跨不同类型的图像数据以类似方式显示和操纵。例如，除非另外指明，否则视觉效果可在实时相机预览、媒体项目、流式图像数据或本文所讨论的任何其他图像数据中以类似方式显示和操纵。例如，图8BL至图8BQ示出以类似于上面针对实时相机预览820-1所讨论的方式在媒体项目820-5中显示贴纸。具体地，图8BL至图8BQ展示媒体项目(例如，820-5)中的贴纸可被重新定位，并且它们的相应行为以类似于上面关于实时图像预览820-1所讨论的方式相应地变化。
在图8BM中，设备600检测到眼镜贴纸858-4上的输入894并显示括号890。在图8BN中，输入894将眼镜贴纸858-4移动离开对象面部。当眼镜贴纸移动离开所述面部时，装置600产生触觉反馈892，停止显示括号890，并且将眼镜贴纸858-4修改回其初始形状(例如，相对于在图8BE中眼镜贴纸定位为远离对象面部时略微倾斜的形状)。设备600还将眼镜贴纸858-4的行为修改回第一类型的行为(与放置成远离所跟踪的对象的贴纸相关联的行为)，并且基于所改变的行为来修改贴纸的外观。因此，眼镜贴纸858-4在图8BN至图8BQ中显示为具有更大的尺寸(与图8BE至图8BG中的眼镜贴纸858-4的尺寸相比)以保持媒体项目820-5中眼镜贴纸858-4相对于对象面部的位置的相对间距，类似于图8BJ至图8BK中海星贴纸858-5和棒球贴纸858-6基于对象面部的向前移动的尺寸变化。
图8BO至图8BQ展示在媒体项目820-5中将不同的贴纸放置至对象面部上，并且不同的贴纸响应于被移动至对象面部上、基于贴纸的不同行为来修改。例如，在图8BO中，设备600检测棒球贴纸858-6上的输入895。当在图8BP中棒球贴纸858-6被拖动至对象面部上时，设备600显示括号890，生成触觉反馈892(例如，触觉输出)，并且基于对象面部的角度重新定位棒球贴纸858-6。换句话讲，棒球贴纸858-6的行为改变为使得其遵循对象面部的旋转移动，类似于眼镜贴纸858-4在被放置在对象面部上时遵循对象面部的旋转移动的方式。
在图8BQ中，输入895终止并且设备600停止显示括号890。
图9A和图9B是示出根据一些实施方案用于使用电子设备在相机应用程序中显示视觉效果的方法的流程图。在具有相机和显示装置的设备(例如，100、300、500、600)处执行方法900。方法900中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下文所述，方法900提供了在相机应用程序中显示视觉效果的直观方式。该方法减小了用户将视觉效果施加至在相机应用程序中查看的图像的认知负担，从而创建更有效的人机界面。对于电池驱动的计算设备，使得用户能够更快更有效地在图像中显示视觉效果节省了功率并且增加了电池两次充电之间的时间间隔。
电子设备(例如，600)经由显示装置(例如，601)显示(902)相机用户界面(例如，815)。相机用户界面包括(904)相机显示区域(例如，820)，所示相机显示区域包括经由相机(例如，602)捕获的图像数据的表示(例如，835)。
在一些实施方案中，图像数据包括(906)所捕获的图像或视频的深度数据(例如，包括深度方面的图像数据(例如，独立于RGB数据的深度数据))。在一些实施方案中，图像数据包括至少两个分量：编码所捕获图像的视觉特性的RGB分量，以及编码关于所捕获图像内的各元素的相对间隔关系的信息的深度数据(例如，深度数据编码用户在前景中，并且背景元素如位于用户后面的树在背景中)。在一些实施方案中，深度数据为深度图。在一些实施方案中，深度图(例如，深度图图像)包含与场景中的对象距视点(例如，相机)的距离有关的信息(例如，值)。在深度图的一个实施方案中，每个深度像素限定视点的z轴中所述深度像素对应的二维像素所位于的位置。在一些示例中，深度图由像素构成，其中每个像素由值(例如，0-255)限定。例如，“0”值表示位于“三维”场景中最远处的像素，并且“255”值表示在“三维”场景中最靠近视点(例如，相机)定位的像素。在其他示例中，深度图表示场景中的对象与视点平面之间的距离。在一些实施方案中，深度图包括关于深度相机视野中所关注对象的各种特征的相对深度(例如，用户面部的眼睛、鼻部、口部、耳朵的相对深度)的信息。在一些实施方案中，深度图包括使得设备能够在z方向上确定所关注对象的轮廓的信息。
在一些实施方案中，深度数据具有第一深度分量(例如，编码对象在相机显示区域中的空间位置的深度数据的第一部分；形成深度图的离散部分的多个深度像素，诸如前景或特定对象)，所述第一深度分量包括相机显示区域(例如，820)中的对象的表示。在一些实施方案中，深度数据具有第二深度分量(例如，编码背景在相机显示区域中的空间位置的深度数据的第二部分；形成深度图的离散部分的多个深度像素，诸如背景)，所述第二深度分量与所述第一深度分量分开，所述第二深度方面包括相机显示区域中的背景的表示。在一些实施方案中，第一深度方面和第二深度方面用于确定相机显示区域中的对象与所述相机显示区域中的背景之间的空间关系。此空间关系可用于将对象与背景区分开来。这种区分可被利用以例如施加不同的视觉效果(例如，具有深度分量的视觉效果)至对象和背景)。在一些实施方案中，将图像数据的不对应于第一深度分量的所有区域(例如，图像数据的超出深度相机范围的区域)从深度图中分割出去(例如，排除)。
在一些实施方案中，经由相机(例如，602)捕获的图像数据的表示(例如，835)是实时相机预览(例如，表示所述相机的视野中的内容的图像数据流)。
在一些实施方案中，当第一相机显示模式处于活动状态时，电子设备(例如，600)检测相机显示区域(例如，820)上的轻扫手势。在一些实施方案中，响应于检测到相机显示区域上的轻扫手势(例如，电子设备(例如，600)将相机显示区域中的所选择的头像选项的显示表示的外观从第一外观(例如，基于当前所选择的头像选项的外观)改变为第二外观(例如，基于不同头像选项(例如，空头像选项或对应于不同头像的头像选项，包括不同类型的头像(例如，可定制的头像、不可定制的头像))的外观)，其中第二外观对应于多个头像选项中的不同的一者(例如，头像选择区域中包括的某一不同头像选项)。响应于检测到所述相机显示区域上的轻扫手势而改变所选择的头像选项的显示表示的外观为用户提供了快速且容易的方法来改变所选择的头像的表示。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当所述多个头像选项中的不同的一者为空头像选项时，设备(例如，600)停止以在所述对象的表示上显示所述头像的表示(例如，设备放弃用虚拟头像替换用户头部的图像数据)。在一些实施方案中，当所述多个头像选项中的不同的一者是某一不同头像角色(包括可定制或不可定制的头像角色)的头像选项时，设备用所述不同的头像角色替换所选择的头像角色(例如，所述设备用不同头像的表示替换所述头像的表示)。在一些实施方案中，用不同的头像角色替换所选定的头像角色包括显示不同头像角色移动至屏幕中心的动画。在一些实施方案中，用不同的头像角色替换所选定的头像角色包括显示不同头像角色移动至用户头部的动画。在一些实施方案中，用不同的头像角色替换所选择的头像角色包括在所选择的头像被替换时模糊背景。一旦/当所选择的头像角色被替换为所述不同的头像角色时显示动画(例如，所述不同的头像角色移动至屏幕中心，所述不同的头像角色移动至用户头部，模糊背景)提供了头像角色正在改变的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，当前所选择的头像选项对应于第一类型的头像(例如，可定制的头像)，而所述不同的头像选项对应于第二类型的头像(例如，不可定制的头像)。
在一些实施方案中，将相机显示区域(例如，820)中所选择的头像选项的显示表示的外观从第一外观改变为第二外观包括将所选择的头像选项的表示的第一版本移出显示器，所述第一版本具有所述第一外观。在一些实施方案中，将所述相机显示区域中所选择的头像选项的显示表示的外观从第一外观改变为第二外观包括将所选择的头像选项的表示的第二版本移动至显示器的大致中心，所述第二版本具有所述第二外观。将所选择的头像选项的所述表示的所述第一版本移出显示器并将所选择的头像选项的所述表示的所述第二版本移动至显示器的大致中心提供了所述第一版本正被第二版本替换的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，将所选择的头像选项的显示表示的外观从第一外观改变为第二外观包括将所选择的头像的表示的第一版本移出显示器，所述第一版本具有所述第一外观。在一些实施方案中，将所选择的头像选项的显示表示的外观从第一外观改变为第二外观包括将所选择的头像选项的表示的第二版本移动至大致相机显示区域(例如，820)中显示的对象表示的位置，所述第二版本具有所述第二外观。将所选择的头像选项的所述表示的所述第一版本移出显示器并将所选择的头像选项的所述表示的所述第二版本移动至大致相机显示区域中显示的对象表示的位置提供了所述第一版本正被第二版本替换的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，将所选择的头像选项的显示表示的外观从第一外观改变为第二外观包括修改在相机显示区域(例如，820)中显示的背景的视觉外观(例如，模糊背景、使背景不饱和)。
相机用户界面还包括(908)与第一相机显示模式(例如，用户头部的图像数据被替换为虚拟头像的模式)相关联的第一示能表示(例如，对应于所述虚拟头像的示能表示)。
在一些实施方案中，相机用户界面(例如，815)还包括与贴纸显示模式(例如，贴纸被启用以施加至图像数据的模式)相关联的贴纸示能表示(例如，824-2，对应于启用贴纸显示的功能的示能表示)。在一些实施方案中，当在相机显示区域(例如，820)中显示图像数据(以及任选地所选择的头像选项的表示)时，电子设备(例如，600)检测指向贴纸示能表示的手势(例如，图8AH)。在一些实施方案中，响应于检测到指向贴纸示能表示的手势，电子设备激活贴纸显示模式，其中激活贴纸显示模式包括显示包括多个贴纸选项(例如，858，贴纸)的贴纸选择区域(例如，856)，检测对所述贴纸选择区域中的所述多个贴纸选项中的一者(例如，858-2，贴纸)的选择，以及响应于检测到所述选择，在相机显示区域中的图像数据上显示所选择的贴纸选项的表示(例如，858-2)。在一些实施方案中，在图像数据上显示的所选择的贴纸选项具有被放置在显示屏(例如，601)上的外观(例如，类似于用户将物理贴纸放置至设备屏幕上的外观)，并且不随着在图像数据中表示的对象移动或者不与所述对象交互。在一些实施方案中，在图像数据上显示的所选择的贴纸选项具有被放置在显示屏上的外观(例如，类似于用户将物理贴纸放置至设备屏幕上的外观)，但是基于在所述图像数据中显示的对象的移动而移动。例如，贴纸显现为被放置在显示器上，并且与在图像数据中所表示的对象(例如，人)交互，然而贴纸的移动被限制为沿x轴和y轴移动。换句话讲，贴纸显现为被施加至设备的屏幕上，但是可以由在图像数据中表示的对象在屏幕上移动(例如，图像数据中的人显现为触摸所述贴纸或将所述贴纸在屏幕上拖动)。在一些实施方案中，在图像数据上显示的所选择的贴纸选项具有作为形成所述图像数据的一部分的交互对象而被插入所述图像数据中的外观。提供作为形成所述图像数据的一部分的交互对象而被插入所述图像数据中的外观提供了所选择的贴纸可充当图像内的交互对象的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在此类实施方案中，贴纸显现为基于与图像数据中所表示的对象的交互作用而移动。例如，贴纸可显示为坐在人肩部上的对象。当人移动时，贴纸随着人的肩部移动以保持坐在人肩部上的外观。此包括沿x轴和y轴移动以及沿z轴移动。
在一些实施方案中，当在相机显示区域(例如，820)中的图像数据上显示所选择的贴纸选项(例如，858-1、858-2、858-3、858-4、858-5、858-6)的表示时，设备(例如，600)检测对象(例如，832)在一个或多个相机(例如，602)的视野中的横向移动。响应于检测到对象在一个或多个相机的视野中的横向移动，设备根据所述对象在所述一个或多个相机的所述视野中的移动而横向移动所选择的贴纸选项的表示(例如，与贴纸与对象的关系无关)(例如，参见图8AV至图8AY中的头盔贴纸858-1)。根据对象在一个或多个相机的视野中的横向移动而横向移动所选择的贴纸选项的表示提供了所选择的贴纸可充当图像内的交互对象的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在相机显示区域(例如，820)中的图像数据上显示所选择的贴纸选项(例如，858-1、858-2、858-3、858-4、858-5、858-6)的表示时，设备(例如，600)检测对象(例如，832)在一个或多个相机(例如，602)的视野中的旋转(例如，相对于垂直于显示器的轴的旋转；例如，对象转动其头部)。响应于检测到所述对象在所述一个或多个相机的所述视野中的所述旋转，设备执行以下步骤中的一个或多个步骤。根据确定所选择的贴纸选项的表示具有(例如，放置为具有)与对象的第一关系(例如，贴纸最初(或当前)放置在显示器上对应于所述对象的位置处；例如，贴纸放置在对象面部的表示或其他指定区域(例如，用括号(例如，890)示出)上)，设备根据对象的旋转量值和方向来旋转所选择的贴纸选项的表示(例如，贴纸旋转并转动以遵循对象面部的倾斜和偏转)(例如，参见图8BH至图8BM中的眼镜贴纸858-4)。根据确定所选择的贴纸选项的表示不具有(例如，不被放置为具有)与对象的第一关系(例如，贴纸最初(或当前)放置在显示器上远离所述对象的位置处；例如，贴纸放置在对象面部的表示或其他指定区域之外)，设备放弃根据对象的旋转量值和方向来旋转所选择的贴纸选项的表示(例如，参见图8BE至图8BN中的海星贴纸858-5和棒球贴纸858-6)。基于所选择的贴纸选项的表示是否具有与对象的第一关系而选择性地旋转所选择的贴纸选项的表示提供了关于所选择的贴纸选项的行为的视觉反馈，并且指示所选择的贴纸选项可充当图像内的交互对象。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，当在相机显示区域(例如，820)中的图像数据上显示所选择的贴纸选项(例如，858-1、858-2、858-3、858-4、858-5、858-6)的表示时，设备(例如，600)检测对象(例如，832)朝向(或远离)一个或多个相机(例如，602)的移动。响应于检测到所述对象朝向(或远离)所述一个或多个相机移动，设备执行以下步骤中的一个或多个步骤。根据确定所选择的贴纸选项的表示具有(例如，放置为具有)与对象的第一关系(例如，贴纸最初(或当前)放置在显示器上对应于所述对象的位置处；例如，在对象面部的表示在相机的视野内存在(例如，被检测到)时贴纸被放置)，设备根据对象朝向(或远离)一个或多个相机移动的量值来放大(或收缩)所选择的贴纸选项的表示。例如，如图8AX和图8AY所示，兔子贴纸858-2响应于对象肩部的表示朝向相机移动而放大。在另一个示例中，海星贴纸858-5和棒球贴纸858-6随着对象在图8BJ至图8BK中朝向相机移动而放大。根据确定所选择的贴纸选项的表示不具有(例如，不被放置为具有)与对象的第一关系(例如，贴纸最初(或当前)放置在显示器上远离所述对象的位置处；例如，在对象面部的表示在相机的视野内不存在(例如，未被检测到)时贴纸被放置)，设备放弃根据对象朝向(或远离)一个或多个相机移动的量值来放大所选择的贴纸选项的表示(例如，参见图8AV至图8AY中的头盔贴纸858-1和心形贴纸858-3)。基于所选择的贴纸选项的表示是否具有与对象的第一关系而选择性地放大(或收缩)所选择的贴纸选项的表示提供了关于所选择的贴纸选项的行为的视觉反馈，并且指示所选择的贴纸选项可充当图像内的交互对象。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
当对象定位在相机(例如，602)的视野内并且对象的表示和背景(例如，在所述相机的视野中除了所述对象以外的物体)在相机显示区域(例如，820)中显示时，电子设备(例如，600)检测(910)指向第一示能表示的手势。在一些实施方案中，电子设备检测到(例如，识别出)对象定位在视野中。
在一些实施方案中，相机用户界面(例如，815)在显示捕获示能表示的同时还包括相机显示区域(例如，820)，所述相机显示区域包括相机视野的实时预览的表示(例如，表示相机视野中的内容的图像数据流)。在一些实施方案中，当对象定位在相机的视野内(例如，电子设备检测到/认识到对象位于所述视野中)并且对象的表示和背景(例如，所述相机的视野中除了所述对象之外的物体)显示在相机显示区域中时，电子设备(例如，600)在相机显示区域中的对象的表示上显示所选择的头像的表示(例如，所显示的用户的头部或面部被对应于所选择的头像的虚拟头像的头部替换(或覆盖(例如，不透明地、透明地、半透明地)))。在一些实施方案中，当在相机显示区域中的对象的表示上显示所选择的头像的表示时，电子设备接收显示头像选择区域的请求。在一些实施方案中，响应于接收到显示头像选择区域的请求，电子设备停止显示捕获示能表示并显示(例如，在相机用户界面中先前被捕获示能表示占据的位置处)具有多个头像示能表示的头像选择区域(例如，头像菜单828)。在一些实施方案中，响应于(或结合)头像选择区域不再显示，而显示(例如，再次显示)捕获示能表示。
在一些实施方案中，相机用户界面(例如，815)在显示捕获示能表示(例如，821)的同时还包括相机显示区域(例如，820)，所述相机显示区域包括相机视野的实时预览的表示(例如，表示相机视野中的内容的图像数据流)。在一些实施方案中，当对象定位在相机的视野内并且对象的表示和背景(例如，所述相机的视野中除了所述对象之外的物体)显示在相机显示区域中时，电子设备(例如，600)在相机显示区域中的对象的表示上显示所选择的头像的表示(例如，所显示的用户的头部或面部被对应于所选择的头像的虚拟头像的头部替换(或覆盖(例如，不透明地、透明地、半透明地)))。在一些实施方案中，电子设备检测到(例如，识别出)对象定位在视野中。在一些实施方案中，当在相机显示区域中的对象的表示上显示所选择的头像的表示时，电子设备检测对象的姿势(例如，位置和/或取向)的变化。在一些实施方案中，姿势变化在用户移动其头部或任何面部特征时被检测到。在一些实施方案中，响应于检测到所述对象的所述姿势变化，电子设备基于所检测到的所述对象的所述姿势变化来改变所选择的头像选项的所显示表示的外观，同时保持对所述背景的显示(例如，如关于方法900和图9A至图9B所述)。基于所检测到的所述对象的所述姿势变化来改变所选择的头像选项的所显示表示的外观，同时保持对所述背景的显示使得用户能够快速且容易地认识到所述头像的移动对应于和/或基于所检测到的用户移动。提供附加控制选项增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
响应于检测到指向第一示能表示的手势，电子设备(例如，600)激活第一相机显示模式。激活所述第一相机显示模式包括显示(914)头像选择区域(例如，829)(例如，包括多个头像选项(例如，表示可被选择以显现在相机用户界面(例如，815)的相机显示区域(例如，820)中的用户头部上方的不同虚拟头像的示能表示)中所选择的一者)。
在一些实施方案中，头像选择区域(例如，829)还包括这样的选项，所述选项用于停止以在相机显示器中的对象的表示上显示所选择的头像选项的表示。在一些实施方案中，电子设备(例如，600)接收这样的用户输入，所述用户输入对应于对用于停止以在相机显示区域(例如，820)中的对象的表示上显示所选择的头像选项的表示的选项的选择。在一些实施方案中，响应于接收到对应于对用于停止以在相机显示区域中的对象的表示上显示所选择的头像选项的表示的选项的选择的用户输入，电子设备停止以在相机显示区域中的对象的表示上显示所选择的头像选项的表示。
在一些实施方案中，头像选择区域(例如，829)包括空头像选项(例如，830-2)。当空头像选项被选择时，在相机显示区域(例如，820)中的对象的表示上无头像显示(例如，设备放弃用虚拟头像替换用户头部的图像数据)。在一些实施方案中，头像选择区域包括“取消”示能表示(例如，位于头像选择区域的拐角中的“x”图标)。当取消示能表示被选择时，设备停止显示头像选择区域，并且任选地停止以在对象的表示上显示任何所选择的头像(例如，设备放弃用虚拟头像替换用户头部的图像数据)。
在一些实施方案中，激活第一相机显示模式(例如，将用户头部的图像数据替换为虚拟头像的头像显示模式)还包括在相机显示区域(例如，820)中的对象的表示上显示所选择的头像选项的表示之前，在相机显示区域中显示(916)对象的表示，而不在对象的表示上显示所选择的头像选项的表示。在一些实施方案中，在进入头像显示模式之后，设备最初显示不具有头像的对象的表示(例如，设备放弃用虚拟头像替换用户头部的图像数据)。在一些实施方案中，在进入头像显示模式时最初选择的头像选项对应于空头像选项。当空头像选项被选择时，设备放弃用虚拟头像替换对象头部的图像数据。
激活第一相机显示模式包括在相机显示区域(例如，820)中对象的表示上显示(918)所选择的头像选项的表示(例如，所显示的用户的头部或面部被对应于所选择的头像的虚拟头像的头部替换(或覆盖(例如，不透明地、透明地、半透明地)))。在相机显示区域中的对象的表示上显示所选择的头像选项的表示使得用户能够快速且容易地认识到所选择的头像选项与对象的表示相关。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，在对象的表示上显示所选择的头像选项的表示包括使用用电子设备(例如，600)的一个或多个深度相机获得的深度信息。
在一些实施方案中，激活第一相机显示模式还包括在头像选择区域(例如，829)中将所选择的头像选项显示为具有静态外观(例如，头像外观不基于检测到的用户面部变化而变化)。在一些实施方案中，激活第一相机显示模式还包括将所选择的头像选项更新为具有动态外观，所述动态外观基于所检测到的对象的姿势变化而变化(例如，头像变化以镜像所检测到的用户面部的变化)。在一些实施方案中，激活第一相机显示模式还包括显示具有动态外观的所选择的头像从头像选择区域移动至相机显示区域(例如，820)中的对象的表示(例如，用户面部的表示)的动画。在一些实施方案中，在从头像选择区域至相机显示区域中的用户面部的动画化移动过程中，头像继续跟踪用户面部的变化。
在一些实施方案中，将所选择的头像选项更新为具有基于所检测到的对象姿势变化而变化的动态外观包括在基于检测到的对象姿势变化而改变头像选项的外观之前，首先显示具有动态外观的头像选项，所述头像选项具有的初始姿势对应于(例如，匹配)具有静态外观的头像选项的姿势。
当第一相机显示模式处于活动状态时，电子设备(例如，600)检测(920)姿势变化(例如，对象的位置和/或取向)。在一些实施方案中，姿势变化在用户移动其头部或任何面部特征时被检测到。
响应于检测对象的姿势变化，电子设备(例如，600)基于所检测到的对象姿势变化来改变(922)所选择的头像选项的显示表示的外观，同时保持背景(例如，836)的显示(例如，在用户上显示的虚拟头像响应于检测到的用户头部和面部的变化，使得用户头部或面部的变化影响所显示的虚拟头像的变化，同时仍然显示背景)。基于所检测到的所述对象的所述姿势变化来改变所选择的头像选项的所显示表示的外观，同时保持对所述背景的显示使得用户能够快速且容易地认识到所述头像的移动对应于和/或基于所检测到的用户移动。提供附加控制选项增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，相机用户界面包括关于图6A至图6BQ和图9A至图9B所示的实施方案描述的相机用户界面的一个或多个特征/功能。例如，相机用户界面(例如，815)可包括效果模式示能表示(例如，622)。
在一些实施方案中，电子设备(例如，600)检测到在头像选择区域(例如829)上的水平轻扫手势。在一些实施方案中，响应于检测到所述水平轻扫手势，电子设备显示与用于将新的头像选项添加至多个头像选项的功能相关联的头像创建示能表示。响应于检测水平轻扫手势而显示与用于将新的头像选项添加至多个头像选项的功能相关联的所述头像创建示能表示，使得用户能够快速且容易地从头像选择区域访问头像创建示能表示。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，头像选择区域上的水平轻扫手势滚动所显示的头像选项以显示出头像创建示能表示。在一些实施方案中，可选择头像创建示能表示以创建新的头像。在创建新的头像时，将表示所创建的头像的新的头像选项添加至头像选择区域中的多个头像选项(例如，830)。
在一些实施方案中，当第一相机显示模式处于活动状态时，电子设备(例如，600)检测头像选择区域(例如，829)上的轻扫手势。在一些实施方案中，响应于检测到头像选择区域上的轻扫手势，电子设备将相机显示区域(例如，820)中的所选择的头像选项的显示表示的外观从第一外观(例如，基于当前所选择的头像选项的外观)改变为第二外观(例如，基于不同头像选项(例如，空头像选项或对应于不同头像的头像选项，包括不同类型的头像(例如，可定制的头像、不可定制的头像))的外观)，其中第二外观对应于多个头像选项中的不同的一者(例如，头像选择区域中包括的某一不同头像选项)。响应于检测到头像选择区域上的轻扫手势而改变所选择的头像选项的显示表示的外观使得用户能够快速且容易地改变所选择的头像选项的外观。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，当所述多个头像选项中的不同的一者为空头像选项(例如，830-2)时，设备停止以在所述对象的表示上显示所述头像的表示(例如，设备放弃用虚拟头像替换用户头部的图像数据)。在一些实施方案中，当所述多个头像选项中的不同的一者是某一不同头像角色(包括可定制或不可定制的头像角色)的头像选项时，设备用所述不同的头像角色替换所选择的头像角色(例如，所述设备用不同头像的表示替换所述头像的表示)。在一些实施方案中，用不同的头像角色替换所选定的头像角色包括显示不同头像角色移动至屏幕中心的动画。在一些实施方案中，用不同的头像角色替换所选定的头像角色包括显示不同头像角色移动至用户头部的动画。在一些实施方案中，用不同的头像角色替换所选择的头像角色包括在所选择的头像被替换时模糊背景(例如，836)。在一些实施方案中，当前所选择的头像选项对应于第一类型的头像(例如，可定制的头像)，而所述不同的头像选项对应于第二类型的头像(例如，不可定制的头像)。
在一些实施方案中，当第一相机显示模式处于活动状态时，响应于确定对象不再定位在相机的视野中(例如，面部跟踪丢失)，电子设备(例如，600)显示所选择的头像选项的表示移动至相机显示区域(例如，820)中的中心位置的动画。响应于确定所述对象不再定位在相机的视野中而显示所选择的头像选项的表示移动至相机显示区域中的中心位置的动画向用户提供了用户不再被相机检测到的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，当在相机的视野中不再检测到用户时，头像移动至相机显示区域的中心。在一些实施方案中，当在相机的视野中不再检测到用户时，使背景模糊。
在一些实施方案中，当第一相机显示模式处于活动状态时，响应于确定对象不再定位在相机的视野中(例如，面部跟踪丢失)，电子设备(例如，600)修改在相机显示区域(例如，820)中显示的背景(例如，836)的视觉外观(例如，模糊背景、使背景去饱和)。
在一些实施方案中，当第一相机显示模式处于活动状态并且所选择的头像选项的表示(例如，从头像选择区域选择的可定制头像选项的表示)显示在相机显示区域(例如，820)中的对象的表示上(例如，用户头部的图像数据被替换为可定制头像)时，电子设备(例如，600)检测头像选择区域(例如，829)中所选择的头像选项上的触摸手势(例如，点选手势)。在一些实施方案中，响应于检测到所述触摸手势，电子设备显示头像编辑用户界面(例如，用于编辑所选择的头像选项(例如，所选择的可定制头像)的一个或多个特征的用户界面，所述用户界面具有用于编辑所选择的头像选项的多个选项(例如，可选择以修改所述可定制头像的各种特征的编辑示能表示))。响应于在头像选择区域中检测到所选择的头像选项上的触摸手势而显示头像编辑用户界面，使得用户能够快速且容易地访问头像编辑用户界面以编辑头像。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，相机用户界面(例如，815)还包括与第二相机显示模式(例如，视觉效果(例如，贴纸)被施加至图像数据的模式)相关联的第二示能表示(例如，824-2，对应于用于显示贴纸的功能的示能表示)。在一些实施方案中，当所述对象被定位在所述相机(例如，602)的所述视野内并且所述对象的所述表示和所述背景(例如，836)被显示在所述相机显示区域(例如，820)中时，电子设备(例如，600)检测指向所述第二示能表示的手势。在一些实施方案中，响应于检测到指向所述第二示能表示的手势，电子设备激活第二相机显示模式，其中激活第二相机显示模式包括显示包括多个图形对象(例如，贴纸)的视觉效果选择区域。
在一些实施方案中，当第二相机显示模式处于活动状态时，电子设备(例如，600)检测对视觉效果选择区域(例如，824)中的多个图形对象中的一者(例如，贴纸)的选择。在一些实施方案中，响应于检测到所述选择，电子设备在相机显示区域(例如，820)中显示所选择的图形对象的表示。在一些实施方案中，所选择的贴纸在实时相机预览(例如，820-1)期间显示在相机显示区域中。在一些实施方案中，在实时相机预览中显示贴纸包括在相机显示区域的默认位置(例如，屏幕中心)处立即显示所述贴纸。在一些实施方案中，在实时相机预览中显示贴纸包括显示贴纸从视觉效果选择区域移动至相机显示区域上的某一位置的动画。在一些实施方案中，此动画基于用户选择贴纸的拖动手势(例如，用户触摸贴纸并将其拖动至相机显示区域上的某一位置的手势)来确定。
在一些实施方案中，经由相机(例如，602)捕获的图像数据的表示是媒体项目(例如，820-2，静态图像或记录视频)。在一些实施方案中，相机用户界面(例如，815)还包括与第三相机显示模式(例如，视觉效果(例如，贴纸)被施加至照片或记录视频的模式)相关联的第三示能表示(例如，对应于用于显示贴纸的功能的示能表示)。在一些实施方案中，电子设备(例如，600)检测指向第三示能表示的手势。在一些实施方案中，响应于检测到指向所述第三示能表示的手势，电子设备激活第三相机显示模式，其中激活第三相机显示模式包括显示包括多个图形对象(例如，贴纸)的视觉效果选择区域。
在一些实施方案中，当第三相机显示模式处于活动状态时，电子设备(例如，600)检测对视觉效果选择区域中的多个图形对象中的一者(例如，贴纸)的选择。在一些实施方案中，响应于检测到所述选择，电子设备在相机显示区域(例如，820)中的媒体项目(例如，820-2)上显示所选择的图形对象的表示。在一些实施方案中，所选择的贴纸在查看照片或记录视频时显示在相机显示区域中。在一些实施方案中，在照片或记录视频上显示贴纸包括在相机显示区域的默认位置(例如，屏幕中心)处立即显示所述贴纸。在一些实施方案中，在照片或记录视频中显示贴纸包括显示贴纸从视觉效果选择区域移动至相机显示区域上的某一位置的动画。在一些实施方案中，此动画基于用户选择贴纸的拖动手势(例如，用户触摸贴纸并将其拖动至相机显示区域上的某一位置的手势)来确定。
应注意，上面参考方法900(例如，图9A和图9B)所述的过程的详情也以类似方式适用于上文和下文所述的方法。例如，方法700任选地包括以上参考方法900所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在即时消息应用程序用户界面中的图像数据中显示。对于另一示例，方法1100任选地包括以上参考方法900所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在媒体用户界面中的图像数据中显示。对于另一示例，方法1300任选地包括以上参考方法900所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在用于实时视频通信会话的用户界面中的图像数据中显示。对于另一示例，方法1500任选地包括以上参考方法900所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在用于相机用户界面的图像数据中显示。为了简明起见，这些详情在下文中不再重复。
图10A至图10AL示出了根据一些实施方案的用于在媒体项目查看模式中显示视觉效果的示例性用户界面。这些附图中的用户界面被用于示出包括图11A至图11B中的过程的下文描述的过程。
在图10A中，设备600显示主屏幕1000并检测媒体查看应用程序示能表示1002上的输入1001。
在图10B中，响应于检测到输入1001，设备600启动与媒体查看应用程序示能表示1002相关联的媒体查看应用程序，并且显示媒体用户界面1005。媒体用户界面1005包括一系列存储的媒体项目1006和媒体显示区域1008，所述媒体显示区域用于显示对应于所述存储的媒体项目1006中所选择的一者的媒体项目。在图10B中，媒体显示区域1008显示对应于所选择的存储媒体项目1006-1的媒体项目1010。
媒体项目1010是不包括经编码的深度数据的图像(例如，所述图像由不将深度数据编码至所捕获的媒体项目中的相机(例如，除相机602之外的相机)捕获)。因此，媒体项目1010不包括深度数据，所述深度数据如本文所述用于在图像中启用某些视觉效果。
在图10C中，设备600检测编辑示能表示1012上的输入1011。作为响应，设备600在图10D中显示编辑选项显示区域1014。编辑选项显示区域包括效果示能表示1016(类似于效果示能表示622、822)、媒体编辑示能表示1018和标记示能表示1020。
在图10E中，设备600检测效果示能表示1016上的输入1021，以启用显示与所显示的媒体项目(例如，媒体项目1010)相关联的任何视觉效果的视觉效果模式。在图10E所示的实施方案中，媒体项目1010不包括视觉效果；具体地讲，图像1010不包括基于深度的视觉效果，因为媒体项目1010不包括深度数据。
在图10F中，响应于检测到输入1021激活效果示能表示1016，设备600加亮效果示能表示1016并扩展编辑选项显示区域1014以显示效果选项示能表示1024。在图10F所示的实施方案中，因为媒体项目1010不包括用于启用视觉效果的深度数据，所以头像效果示能表示1024-1和贴纸效果示能表示1024-2被示出为不可选择的，而剩余的视觉效果选项示能表示1024-3、1024-4和1024-5是可选择的。在一些实施方案中，当媒体项目不包括用于启用视觉效果的深度数据时，不显示头像效果示能表示1024-1和贴纸效果示能表示1024-2。
由于媒体项目1010不包括用于启用基于深度的视觉效果的深度数据，因此当效果示能表示1016被选择时，在媒体项目1010中不显示基于深度的视觉效果。因此，在图10F中媒体项目1010保持不变。
在图10G中，设备600检测到取消示能表示1026上的输入1025，并返回至图10H中所示的用户界面。
在图10H中，设备600检测到存储的媒体项目1006-2上的输入1027以选择存储的媒体项目1006-2。
在图10I中，设备600在媒体显示区域1008中显示媒体项目1028。媒体项目1028对应于所选择的存储的媒体项目1006-2，示出了对象1032和背景1036。媒体项目1028是由将深度数据编码至所捕获的媒体项目中的相机(例如，相机602)捕获的图像。如本文所述，将深度数据编码至媒体项目中使得能够显示视觉效果，尤其是具有深度分量的视觉效果。
在图10I中，视频项目1028中未显示视觉效果，因为媒体项目1028未启用效果模式。然而，设备600显示效果图标1029，以指示媒体项目1028包含深度数据，并且能够显示视觉效果。
在图10J中，设备检测编辑示能表示1012上的输入1030并且在图10K中显示编辑选项显示区域1014，所述编辑选项显示区域示出处于未加亮状态下的效果示能表示1016以指示视觉效果未启用于在媒体项目1028中显示。
在图10L中，设备600检测效果示能表示1016上的输入1033以启用视觉效果模式。当视觉效果模式被启用时，如图10M所示，设备600加亮效果示能表示1016并扩展编辑选项显示区域1014以显示效果选项示能表示1024。在图10M所示的实施方案中，因为媒体项目1028包括用于启用基于深度的视觉效果的深度数据，所以头像效果示能表示1024-1和贴纸效果示能表示1024-2被示出为可选择的，并且视觉效果显示在媒体像项目1028中。在图10M所示的实施方案中，所显示的视觉效果包括可定制的头像1037、在对象颈部上的头像1037下方显示的阴影1038、头盔贴纸1039和兔子贴纸1040。
在一些实施方案中，设备600基于检测到定位在相机602的视野中的用户面部的变化来修改头像1037，所述修改被编码在媒体项目1028的深度数据中。因此，虽然媒体项目1028在该实施方案中被描述为静态图像，但应当理解，媒体项目1028不限于静态图像并且可包括其他媒体项目，诸如记录视频，包括具有深度数据的记录视频。类似地，设备600可基于检测到媒体项目1028中对象位置的变化来修改施加至所述媒体项目的贴纸的位置，所述修改被编码在深度数据中。
可根据本文所讨论的实施方案将视觉效果，包括基于深度的视觉效果，施加至媒体项目1028并进行编辑。例如，根据本文所公开的各种实施方案，可选择头像效果示能表示1024-1以去除、修改和/或切换所选择的头像(例如，头像1037)。另外，根据本文所公开的各种实施方案，可选择贴纸效果示能表示1024-2以去除、修改和/或添加贴纸至媒体项目1028。
图10N至图10P示出设备600将心形贴纸1042添加至媒体项目1028。上面关于图6U至图6AD、图8AH至图8AK和图8AR至图8AY更详细地讨论了这些过程。为了简明起见，此处不再重复这些过程的细节。
在图10Q中，设备600检测标记示能表示1020上的输入1043。在图10R中，设备600用标记选项菜单1044替换所显示的编辑选项显示区域1014，所述标记选项菜单包括用于添加标记效果至媒体项目1028的各种可选择的标记选项1045。图10S至图10T示出了用于通过选择文本示能表示1045-1来将文本1046添加至媒体项目1028的过程。
在图10U中，设备600检测编辑示能表示1012上的输入1047。在图10V中，设备600用图像编辑菜单1048替换所显示的编辑选项显示区域1014，所述图像编辑菜单包括各种图像编辑示能表示1050。图10V至图10Y示出了用于编辑媒体项目1028以通过选择滤镜示能表示1050-1，然后选择鲜艳色彩滤镜选项1052来施加鲜艳色彩滤镜的过程。鲜艳色彩滤镜向媒体项目1028中的背景1036和所施加的视觉效果(例如，头像1037上的头发)两者施加变化。在一些实施方案中，滤镜以类似的方式改变头像的外观和一个或多个相机的视野的表示，以增加所述头像和所述一个或多个相机的视野的表示之间的相似性(例如，施加连环画滤镜、素描滤镜、黑白滤镜、灰度滤镜等)。在一些实施方案中，头像具有与一个或多个相机的视野中的真实世界不匹配的卡通样外观，通过施加改变头像的外观和一个或多个相机的视野的表示的滤镜，头像的外观与一个或多个相机的视野的表示的其余部分统一。在一些实施方案中，滤镜是是降低一个或多个相机的视野的表示的真实性的滤镜(例如，素描滤镜或连环画滤镜)。在一些实施方案中，所述滤镜是这样的滤镜，所述滤镜降低头像外观和一个或多个相机的视野的表示的外观两者的3D效果(例如，扁平化)。
图10Z示出媒体项目1028被编辑为显示新的心形贴纸1042、文本1046并且具有所施加的鲜艳色彩滤镜。
图10AA至图10AD示出设备600从头像1037切换至头像1054。上面关于图6G至图6Q、图6BD至图6BE、图6BK至图6BN和图8F至图8AG更详细地讨论了这些过程。为了简明起见，此处不再重复这些过程的细节。
在图10AE中，设备600显示媒体项目1028具有贴纸(例如，1039、1040、1042)、头像1054、文本1046、以及所施加的鲜艳色彩滤镜。当在媒体项目1028中显示新头像1054时，媒体项目1028中的色彩滤镜影响新头像1054的头发。
在图10AE中，设备600检测到效果选项示能表示1024上的轻扫手势1055，并且作为响应，滚动效果选项示能表示1024以显示图10AF中的屏幕效果示能表示1024-3。
在图10AG中，设备600检测到屏幕效果示能表示1024-3上的输入1057，并且作为响应，显示屏幕效果菜单1060。屏幕效果菜单1060包括各种屏幕效果选项1062，所述屏幕效果选项可经选择以施加全屏视觉效果至媒体项目1028。在图10AH中，空效果选项1062-1被选择(例如，1063)，因此设备600在媒体项目1028中不显示屏幕效果。
在图10AI中，设备600检测气球效果选项1062-2上的输入1064。在图10AJ至图10AL中，设备600在媒体项目1028中显示气球动画效果1065。在一些实施方案中，以强调媒体项目1028中所编码的深度数据的方式施加动画效果。例如，在图10AJ至图10AL中，所述气球中的一些显示为显现在对象1062和视觉效果(例如，兔子贴纸1040、头像1054、文本1046)的前面。所述气球中的一些显示为显现在对象1062和视觉效果(例如，兔子贴纸1040、头像1054、心形贴纸1042)后面的某深度处。
在一些实施方案中，基于媒体项目1028中的对象和视觉效果的深度，屏幕效果可与媒体目1028中的视觉效果和对象进行交互。例如，五彩纸屑屏幕效果可示出五彩纸屑在媒体项目1028中的对象(例如，对象1062)和视觉效果(贴纸和头像)的前面和后面落下，并且还落在这些对象和视觉效果的顶部上。例如，五彩纸屑可显示为落在头像上，并基于落下的五彩纸屑的物理模型而从头像的侧面降落。
图11A和图11B是示出根据一些实施方案用于使用电子设备在媒体项目查看模式中显示视觉效果的方法的流程图。在具有显示装置的设备(例如，100、300、500、600)处执行方法1100。方法1100中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下文所述，方法1100提供了在媒体项目查看模式中显示视觉效果的直观方式。该方法减少了用户在图像或视频中显示视觉效果的认知负担，从而创建更有效的人机界面。对于电池驱动的计算设备，使得用户能够更快更有效地显示视觉效果节省了功率并且增加了电池两次充电之间的时间间隔。
电子设备(例如，600)经由显示装置(例如，601)显示(1102)媒体用户界面(例如，1005)。媒体用户界面包括(1104)媒体显示区域(例如，1008)，所述媒体显示区域包括媒体项目(例如，静态图像或视频)的表示(例如，1010)。在一些实施方案中，对应于媒体项目的深度数据是在检测到对效果示能表示的在先选择之后由电子设备的相机获得的。
在一些实施方案中，媒体项目是记录的图像或视频，并且效果是在媒体项目被记录之后基于深度数据来施加的。在一些实施方案中，在图像数据被捕获(例如，记录)之后，诸如贴纸、虚拟头像和全屏效果之类的视觉效果可被添加至图像数据中，或改变为不同的视觉效果(例如，用虚拟头像替换贴纸)。
媒体用户界面(例如，1005)包括(1106)效果示能表示(例如，1016，与用于激活图像显示模式(例如，当图像数据包含深度数据时显示深度数据的模式)的功能相关联的示能表示)。
电子设备(例如，600)检测(1108)指向效果示能表示(例如，1016)的手势(例如，1021)。在一些实施方案中，相应的效果选项(例如，1024-1)对应于(1110)用于显示头像在媒体项目中(例如，覆盖在所述媒体项目上)的效果。在一些实施方案中，当在媒体项目中显示头像时，用虚拟头像替换人的头部的图像数据。在媒体项目中显示头像，其中用虚拟头像替换人的头部的图像数据，提供了所述头像涉及和/或与被替换的人相关联的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，所述头像是可定制的。在一些实施方案中，所述头像是不可定制的。
在一些实施方案中，相应的效果选项(例如，1024-3)对应于(1112)用于显示多个虚拟对象(例如，1062，五彩纸屑、气球等)在媒体项目中移动(例如，栩栩如生地覆盖在所述媒体项目上)的效果。在一些实施方案中，在媒体项目中移动的多个对象的轨迹基于所述对象中的至少一者在媒体项目(例如，在原始媒体项目中编码的对象，而不是将效果施加至所述媒体项目而产生的对象，诸如原始图像或视频中的人，而不是虚拟头像)中的存在(例如，在所述媒体项目中表示；在所述媒体项目中标识)或施加至所述媒体项目的视觉效果(例如，头像)来修改。在一些实施方案中，诸如五彩纸屑或气球之类的对象显示在图像中的用户前面、后面和/或所述用户上。在一些实施方案中，图像包括诸如头像之类的另一效果，以及诸如显示为在头像前面、后面和/或着陆在所述头像上的五彩纸屑或气球之类的对象。
在一些实施方案中，相应的效果选项(例如，1024-2)对应于(1114)用于显示一个或多个可选的图形图标(例如，1042，贴纸)在媒体项目中(例如，覆盖在所述媒体项目上)的效果。
响应于检测到指向所述效果示能表示的所述手势，电子设备(例如，600)显示(1116)多个效果选项(例如，贴纸示能表示、头像示能表示)，所述多个效果选项用于将效果和所述媒体项目的表示同时施加至所述媒体项目，包括：根据确定(1118)所述媒体项目与对应的深度数据相关联(例如，如在段落[179]和[338]所描述)，所述多个效果选项包括用于基于所述深度数据来施加效果(例如，贴纸、虚拟头像、全屏效果等)的相应效果选项(例如，1024)；在一些实施方案中，响应于检测到所述手势，电子设备激活图像显示模式(例如，基于深度数据的图像显示模式)。
在一些实施方案中，贴纸示能表示(例如，1024-2)可经选择以基于深度数据来显示可在媒体项目(例如，静态图像或视频)上显示的多个贴纸选项(例如，1042)。例如，贴纸可以放置在媒体项目上，并基于与所述媒体项目相关联的深度数据进行修改。在一些实施方案中，贴纸与视频中对象的相对位置相关联。对象在视频中的移动具有用于基于所述对象的移动来修改所述贴纸的显示方面(例如，尺寸、取向、位置等)的深度分量。例如，贴纸被显示在对象上，并且当对象(例如，向后)移动远离相机(例如，602)时，贴纸变得更小，以给出贴纸正随着对象移动远离相机的外观。在一些实施方案中，头像示能表示(例如，1024-1)可经选择以基于深度数据来显示可在媒体项目上显示的多个头像选项(例如，图10AB)。例如，头像可显示在图像或视频中的面部上，并且基于与所述图像或视频中的所述面部相关联的深度数据进行修改。例如，当面部向前、向后、左右摇摆或以影响图像数据的深度分量的任何其他方式移动时，头像基于所述深度数据来显示和进行修改。因此，当面部移动时，头像显示为以相同的方式移动。
响应于检测到指向所述效果示能表示的所述手势，电子设备(例如，600)显示(1116)多个效果选项(例如，1024，贴纸示能表示、头像示能表示)，所述多个效果选项用于将效果和所述媒体项目的表示同时施加至所述媒体项目，包括：根据确定(1120)图像数据不包括深度数据，相应的效果选项不可用于所述多个效果选项的激活(例如，所述相应的效果选项被从所显示的多个效果选项中排除或者被禁用于所显示的多个效果选项中)。根据确定所述图像数据不包括所述深度数据，相应的效果选项不可用于所述多个效果选项的激活，提供了所述图像数据不包括所需的深度数据的反馈。在一组条件已经被满足时执行操作而不需要进一步的用户输入增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，在图像数据不包括深度数据时，对应于深度数据的示能表示(例如，效果示能表示)不显示或不可选择。
在一些实施方案中，多个效果选项(例如，1024)包括用于将标签添加至媒体项目(例如，覆盖在所述媒体项目上)的选项(例如，1020)。在一些实施方案中，可将文本标签添加至图像或视频。在一些实施方案中，所述多个效果选项包括用于将一个或多个图像滤镜施加至所述媒体项目(例如，覆盖在所述媒体项目上)的选项。
应注意，上面参考方法1100(例如，图11A至图11B)所述的过程的详情也以类似方式适用于上文和下文所述的方法。例如，方法700任选地包括以上参考方法1100所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在即时消息应用程序用户界面中的图像数据中显示。对于另一示例，方法900任选地包括以上参考方法1100所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在用于相机应用程序用户界面的用户界面中的图像数据中显示。对于另一示例，方法1300任选地包括以上参考方法1100所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在用于实时视频通信会话的用户界面中的图像数据中显示。对于另一示例，方法1500任选地包括以上参考方法1100所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在用于相机用户界面的图像数据中显示。为了简明起见，这些详情在下文中不再重复。
图12A至图12AP示出了根据一些实施方案的用于在实时视频通信会话中显示视觉效果的示例性用户界面。这些附图中的用户界面被用于示出包括图13A至图13B中的过程的下文描述的过程。
在图12A中，设备600示出了用于两个或更多个参与者之间的实时视频通信会话(例如，流式视频通信)的用户界面1200。在用户界面1200中，设备显示表示实时视频通信会话中的参与者的参与者图像数据1204。在窗口1202中，设备600显示设备图像数据1201，所述设备图像数据包括这样的数据，所述数据由设备600的相机(例如，相机602)获得并且表示正在传输给实时视频通信会话中的其他参与者的视频数据。在图12A中，设备图像数据1201表示也是视频通信会话中的参与者(例如，使用外部电子设备(例如，类似于设备600的设备))的用户。在图12A中，使用设备600的相机602捕获设备图像数据1201。然而，在一些实施方案中，设备图像数据1201可使用设备600的后向相机捕获。
在图12B中，设备600检测到用户界面1200上的输入1205，并且作为响应，在图12C中显示选项显示区域1206，所述选项显示区域具有效果示能表示1208、相机选择器示能表示1210和结束示能表示1212。结束示能表示1212与用于终止实时视频通信会话的功能相关联，并且相机选择器示能表示1210与用于在各相机(例如，后向相机和相机602)之间切换的功能相关联。效果示能表示1208类似于效果示能表示622、822和1016，并且可经选择以用于启用和禁用设备600的某一模式(视觉效果模式、效果模式)，在所述模式中设备600被启用或禁用于在用户界面1200中显示视觉效果。
在图12D中，设备600检测效果示能表示1208上的输入1213。
在图12E中，响应于检测到输入1213，设备600启用视觉效果模式。设备600通过在窗口1202中显示参与者图像数据1204来切换设备图像数据1201和参与者图像数据1204的显示位置，所述窗口任选地移动至用户界面1200中的另一位置。设备600还加亮效果示能表示1208并扩展选项显示区域1206以包括视觉效果选项示能表示1214。视觉效果选项示能表示1214类似于上文所讨论的视觉效果选项示能表示624、824和1024，并且当效果示能表示1208被启用时显示。
在图12F中，设备600检测头像效果示能表示1214-1上的输入1215。在图12G中，作为响应，设备600显示头像选项菜单1216，所述头像选项菜单包括可选头像选项1218的可滚动列表。头像选项菜单1216类似于头像选项菜单628和828，并且头像选项1218类似于头像选项630和830。
头像选项1218可经选择以用类似于上文关于图6G至图6Q、图6BD至图6BE、图6BK至图6BN和图8F至图8AG所描述的方式，来将相应的头像施加至设备图像数据1201中的对象面部。在一些实施方案中，头像选项1218可经选择以用类似的方式施加对应的头像给参与者图像数据1204中所显示的参与者。
在图12G中，因为空头像选项1218-1被选择(例如，定位在选择区域1219内)，所以在设备图像数据1201中的用户面部上不显示头像。
图12H至图12P示出了用于选择和切换各种头像选项以在设备图像数据1201中的用户面部上显示相应头像的过程。例如，设备600接收到对机器人头像选项1218-2的选择并在设备图像数据1201中的用户面部上显示机器人头像1222，同时保持设备图像数据1201中的其他对象(例如，用户的身体和背景1226)的显示。设备600基于使用相机602在用户面部上检测到的变化来修改机器人头像1222的外观。设备600随后接收到对外星人头像选项1218-3的选择，并将所显示的头像转变为外星人头像1223。设备接收到对机器人头像选项1218-2的后续选择，并且再次将所显示的头像转变为机器人头像1222。在一些实施方案中，用户可选择通过选择空头像选项1218-0来去除(或放弃显示)设备图像数据1201中的头像。上面关于图6G至图6Q、图6BD至图6BE、图6BK至图6BN和图8F至图8AG更详细地讨论了这些过程。为了简明起见，此处不再重复这些过程的细节。
在图12P中检测到对关闭图标1220的选择(经由输入1221)之后，设备600关闭头像选项菜单1216，并且再次在图12Q中显示选项显示区域1206。设备600在设备图像数据1201中的用户头部上显示机器人头像1222，并且基于使用相机602检测到的用户面部的变化来修改头像。
在图12R中，设备600检测到对贴纸效果示能表示1214-2的选择1227，并且在图12S中显示具有贴纸1230的贴纸选项菜单1228。贴纸选项菜单1228类似于贴纸选项菜单656和856，并且贴纸1230类似于贴纸658和858。
贴纸1230可经选择以用类似于上文关于图6U至图6AD、图8AH至图8AK和图8AR至图8AY所描述的方式，来将相应的贴纸施加至设备图像数据1201。在一些实施方案中，贴纸1230可施加至参与者图像数据1204。
图12T至图12AA示出了用于在设备图像数据1201中施加和修改贴纸的过程。设备600检测到对眼镜贴纸1230-1的选择，并且在设备图像数据1201中显示眼镜标签1230-1。设备600还检测用以在机器人头像1222上移动、调整大小和定位眼镜贴纸1230-1的后续手势。上面关于图6U至图6AD、图8AH至图8AK和图8AR至图8AY更详细地讨论了这些过程。为了简明起见，此处不再重复这些过程的细节。
在一些实施方案中，所选择的贴纸1230在实时通信会话中对于其他参与者来说是不可见的，直到用户将贴纸放置在设备图像数据1201中。在一些实施方案中，对所放置的贴纸1230的修改在修改完成之前对于其他参与者而言是不可见的。在一些实施方案中，一旦所选择的贴纸显现在用户界面1200中的设备图像数据1201上方，即使用户尚未放置所述贴纸1230，所述贴纸对于视频通信会话中的参与者来说也是可见的。类似地，对所放置的贴纸的修改是可见的，使得即使用户仍在修改贴纸的位置，对所述贴纸的持续调整也是对于实时视频通信会话中的其他参与者来说是可见的。
在图12AB中，将机器人头像1222和眼镜贴纸1230-1施加至设备图像数据1201，并且显示选项显示区域1206。设备600检测到用户界面1200上的手势1232，并且作为响应，在图12AC中切换设备图像数据1201和参与者图像数据1204的显示位置，使得设备图像数据1201显示在窗口1202中，所述窗口被任选地移动至用户界面1200中的另一位置。视觉效果(例如，机器人头像1222和眼镜贴纸1230-1)显示在定位于窗口1202中的设备图像数据1201中。
响应于接收到窗口1202上的手势1233，设备图像数据1201可再次被放大(通过再次与参与者图像数据1204切换位置)，如图12AD所示。设备600示出设备图像数据1201和参与者图像数据1204在图12AE中切换，具有显示的视觉效果和选项显示区域1206。由于效果模式被启用，当显示选项显示区域1206时，也显示视觉效果选项示能表示1214。
关于在实时视频通信会话中显示视觉效果的前述描述也适用于具有三个或更多个参与者的实时视频通信会话。图12AF至图12AP示出用于在此类实施方案中施加视觉效果的各种方法。
在图12AF中，设备600在用户窗口1251中显示具有设备图像数据1201的用户界面1200，并且在相应的参与者窗口1255-1至1255-4中显示相应的参与者图像数据1204-1至1204-4。
在图12AG中，设备600接收到用户界面1200上的输入1256，并且作为响应，在图12AH中显示选项显示区域1206，所述选项显示区域具有效果示能表示1208、相机选择器示能表示1210和结束示能表示1212。由于在设备600接收到输入1256时未启用效果模式，所以选项显示区域1206显示为不具有视觉效果选项示能表示1214。
在图12AI中，设备600检测到效果示能表示1208上的输入1257，这启用了视觉效果模式。设备600随后显示用户窗口1251扩展成放大视图，如图12AJ所示，同时还在窗口1251后面施加模糊效果1258并扩展选项显示区域1206以显示视觉效果选项示能表示1214。经扩展的窗口1251包括返回图标1260，所述返回图标可经选择以返回图12AI中所示的视图。
如上所述，可使用视觉效果选项示能表示1214将视觉效果施加至设备图像数据1201。例如，设备600可以用与上文关于图12R至图12AB所描述的方式一致的方式施加贴纸。图12AK至图12AN示出用户将可定制头像1262添加至设备图像数据1251中的用户面部。例如，在图12AK中头像效果示能表示1214-1被选择(1264)，这使得设备600显示具有头像选项1218的头像选项菜单1216，所述头像选项包括空头像选项1218-1(可选择以放弃显示头像或去除显示的头像)、不可定制的机器人头像选项1218-2、可定制头像选项1218-3和新头像示能表示1266(可经选择以用类似于新头像示能表示813的方式来创建新头像)。可定制头像选项1218-3可以类似于上述可定制头像选项830-5的方式进行定制。
在图12AM至图12AN中，可定制的头像选项1218-3被选择，并且设备600在窗口1251中显示的设备图像数据1201中的用户面部上显示可定制的头像1273。设备600基于所检测到的定位在相机602的视野中的用户面部的变化来修改可定制的头像1273。设备指示何时在相机602的视野内未检测到用户面部，如关于本文所讨论的先前实施方案所说明的。
在图12AN中，设备600检测到返回图标1260上的输入1274，并且作为响应，如图12AO所示在窗口1251中显示设备图像数据1201，所述设备图像数据包括所施加的视觉效果(例如，可定制的头像1273)。在图12AO所示的实施方案中，设备图像数据1201和所施加的视觉效果对于实时视频通信会话中的其他参与者来说是可见的。因为启用了视觉效果，所以选项显示区域1206显示为具有被加亮的视觉效果选项示能表示1214和效果示能表示1208。
在图12AO中，设备检测到用户界面1200上的输入1275，作为响应而隐藏选项显示区域1206并对多个参与者窗口1255的位置进行移位和尺寸调整，如图12AP所示。在一些实施方案中，当参与者在说话时，设备600放大相应的参与者窗口。例如，在图12AP中，设备600检测到来自参与者图像数据1204-2中的女性的音频1276(例如，笑声)，作为响应而放大所述女性的参与者窗口1255-2。
图13A至图13B是示出根据一些实施方案用于使用电子设备在实时视频通信会话中显示视觉效果的方法的流程图。在具有显示装置的设备(例如，100、300、500、600)处执行方法1300。方法1300中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下文所述，方法1300提供了在实时视频通信会话中显示视觉效果的直观方式。该方法减少了用户显示视觉效果的认知负担，从而创建更有效的人机界面。对于电池驱动的计算设备，使得用户能够更快更有效地显示视觉效果节省了功率并且增加了电池两次充电之间的时间间隔。
电子设备(例如，600)经由显示装置(例如，601)显示(1302)实时视频通信会话的实时视频通信用户界面(例如，1200)。实时视频通信用户界面包括(1304)参与实时视频通信会话的对象的表示(例如，1201)。包括参与实时视频通信会话的对象的表示使得用户能够快速而容易地识别实时视频通信会话的其他一个或多个参与者。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，参与实时视频通信会话的对象的表示包括(1306)由与电子设备相关联的相机(例如，602)捕获的图像数据。在一些实施方案中，所述对象为电子设备的用户。在一些实施方案中，参与实时视频通信会话的对象的表示包括从第二电子设备传输至所述电子设备的图像数据。在一些实施方案中，第二电子设备是另一用户的设备，并且对象是所述另一用户。
在一些实施方案中，实时视频通信用户界面(例如，1200)还包括所述实时视频通信会话中的第二参与者的表示(例如，1204)和所述实时视频通信会话中的第三参与者的表示。在一些实施方案中，调整所述实时视频通信会话中的第二参与者和第三参与者的表示的显示尺寸，使得参与者的所有表示均可适配在屏幕上。调节第二参与者和第三参与者的表示的尺寸以适配在屏幕上允许用户同时查看他们对施加至用户的表示的视觉效果的反应，从而增强设备的可操作性并且使用户-设备界面更高效(例如，通过允许用户在无需手动输入的情况下容易地查看其他参与者的反应)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
实时视频通信用户界面(例如，1200)包括(1308)第一示能表示(例如，1208，效果示能表示)(例如，与用于激活相机效果模式(例如，可以将各种相机效果施加至实时视频通信会话中的用户的表示的模式)的功能相关联的示能表示)。
在一些实施方案中，在显示第一示能表示(例如，1208)之前，电子设备(例如，600)检测实时视频通信用户界面(例如，1200)上的第一输入(例如，1205)(例如，实时视频通信用户界面上用以显示视频呼叫选项的点选手势)，所述第一输入对应于显示与所述实时视频通信会话相关联的一个或多个选项(例如，结束呼叫的选项、切换相机视图的选项，等等)的请求。在一些实施方案中，响应于检测到第一输入，电子设备显示与实时视频通信会话相关联的一个或多个选项(例如，1208、1210、1212)。在一些实施方案中，电子设备显示第一示能表示(例如，1208)。
电子设备(例如，600)检测(1310)指向第一示能表示(例如，1208)的手势(例如，1213)。响应于检测到(1312)指向第一示能表示的手势，电子设备激活(1314)相机效果模式。
在一些实施方案中，响应于检测到指向第一示能表示(例如，1208)的手势，电子设备(例如，600)显示与第一类型的视觉效果相关联的第一视觉效果示能表示和与不同于所述第一类型的视觉效果的第二类型的视觉效果相关联的第二视觉效果示能表示，以及任选地与不同于所述第一类型的视觉效果和所述第二类型的视觉效果的第三类型的视觉效果相关联的第三视觉效果示能表示(例如，贴纸示能表示1214-2、头像示能表示1214-1、与全屏效果相关联的示能表示)。在一些实施方案中，贴纸示能表示与这样的视觉效果相关联，在所述视觉效果中贴纸显示在参与实时视频通信会话的对象的表示中。在一些实施方案中，头像示能表示与这样的视觉效果相关联，在所述视觉效果中虚拟头像显示在参与实时视频通信会话的对象的表示上。在一些实施方案中，全屏效果包括这样的视觉效果，在所述视觉效果中，诸如五彩纸屑或气球之类的图形对象在实时视频通信会话的参与者的前面、后面和/或所述参与者上显示。
在一些实施方案中，电子设备(例如，600)检测对所述示能表示(例如，贴纸示能表示1214-2、头像示能表示1214-1、与全屏效果相关联的示能表示)中与一种类型的视觉效果相关联的一种示能表示的选择(例如，1215)。在一些实施方案中，响应于检测到对与所述视觉效果相关联的所述示能表示的选择，电子设备显示对应于所述视觉效果的多个视觉效果选项(例如，1218)。响应于检测到对与所述视觉效果相关联的所述示能表示的选择而显示对应于所述视觉效果的多个视觉效果选项，允许用户快速且容易地访问对应的视觉效果选项。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，贴纸示能表示与这样的视觉效果相关联，所述视觉效果包括在图像数据(例如，参与实时视频通信会话的对象的表示)中显示静态图形对象(例如，帽子、星星、眼镜等)的表示。在一些实施方案中，头像示能表示与这样的视觉效果相关联，所述视觉效果包括显示虚拟头像(例如，可定制的虚拟头像或不可定制的虚拟头像)的表示，使得人头部的图像数据被替换为虚拟头像的图形表示。在一些实施方案中，全屏效果包括这样的视觉效果，在所述视觉效果中，诸如五彩纸屑或气球之类的图形对象在实时视频通信会话的参与者的前面、后面和/或所述参与者上显示。
响应于检测到(1312)指向第一示能表示的手势，电子设备(例如，600)增大(1316)参与实时视频通信会话的对象的表示(例如，1201)的尺寸。响应于检测到(1312)指向第一示能表示的手势而增大参与实时视频通信会话的对象的表示的尺寸使得用户能够快速且容易地调节对象的表示的尺寸。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，增大对象的表示的尺寸包括将所显示的对象表示的位置与所显示的实时视频通信会话参与者的位置进行切换。
在一些实施方案中，当相机效果模式被激活(1318)时，电子设备(例如，600)检测(1320)对效果选项示能表示(例如，与用于在参与实时视频通信会话的对象的表示中显示视觉效果的功能相关联的可选图标)的选择。在一些实施方案中，效果选项示能表示是贴纸示能表示、头像示能表示，或与全屏效果如五彩纸屑或气球相关联的示能表示。
在一些实施方案中，响应于检测到对效果选项示能表示的选择，电子设备基于与所选择的效果选项示能表示相关联的视觉效果(例如，显示贴纸、头像或全屏效果)来修改(1322)参与实时视频通信会话的对象的表示的外观。基于与所选择的效果选项示能表示相关联的视觉效果来修改参与实时视频通信会话的对象的表示的外观，提供了所选择的视觉效果的施加是成功的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，响应于检测到对贴纸示能表示的选择，修改参与实时视频通信会话的用户的表示以显示所选择的贴纸。在一些实施方案中，响应于检测到对头像示能表示的选择，修改参与实时视频通信会话的用户的表示以显示定位于用户面部上的头像。在一些实施方案中，响应于检测到对与全屏效果相关联的示能表示的选择，在参与实时视频通信会话的用户的表示中显示全屏效果(例如，显示五彩纸屑落在用户表示的前面、后面以及所述用户表示上)。
在一些实施方案中，电子设备(例如，600)检测实时视频通信用户界面(例如，1200)上的第二输入，所述第二输入对应于缩小参与实时视频通信会话的对象的表示的尺寸的请求。在一些实施方案中，响应于检测到所述第二输入，电子设备同时显示参与实时视频通信会话的对象的表示和所述实时视频通信会话中的相应参与者的一个或多个表示，参与所述实时视频通信会话的所述对象的所述表示具有基于与所选择的效果选项示能表示相关联的视觉效果而修改的外观。响应于检测到所述第二输入而同时显示参与所述实时视频通信会话的对象的表示和所述实时视频通信会话中的相应参与者的一个或多个表示使得用户能够快速且容易地(同时)查看实时视频通信的其他参与者。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，实时视频通信会话中的用户的表示被缩小，使得其与实时视频通信会话中的其他参与者的表示一起在屏幕上显示。
在一些实施方案中，当相机效果模式被激活(1318)时，电子设备(例如，600)修改(1324)参与实时视频通信会话的对象的表示(例如，1201)的外观，以显示一个或多个视觉效果。在一些实施方案中，当视觉效果为贴纸效果时，参与实时视频通信会话的对象的表示的外观被修改为包括静态图形对象(例如，贴纸)的显示。在一些实施方案中，静态图形对象(例如，贴纸)与参与实时视频通信会话的对象的表示进行交互。在一些实施方案中，当视觉效果是头像效果时，参与实时视频通信会话的对象的表示的外观被修改以显示虚拟头像(例如，可定制的虚拟头像或不可定制的虚拟头像)的表示替换对象的头部。在一些实施方案中，当视觉效果是全屏效果时，参与实时视频通信会话的对象的表示的外观被修改以显示图形对象(例如，五彩纸屑图形或气球图形)显示在实时视频通信会话中的参与者前面、后面和/或在所述参与者上)。
在一些实施方案中，将经修改的外观发送/传输给实时视频通信会话中的其他参与者。在一些实施方案中，传输数据包括将来自相机视野的图像数据(例如，图像数据的实时流)与表示基于所选择的视觉效果进行的修改的数据(例如，单独数据)一起传输。在一些实施方案中，传输数据包括传输复合的视频数据，所述复合的视频数据包括来自相机视野的图像数据与表示基于所选择的视觉效果进行的修改的数据的组合。
在一些实施方案中，当相机效果模式被激活时，电子设备(例如，600)修改参与实时视频通信会话的对象的表示(例如，1200)的外观，以显示虚拟头像。在一些实施方案中，电子设备检测在电子设备的一个或多个相机(例如602)的视野中的面部变化。在一些实施方案中，电子设备基于所检测到的面部变化来改变虚拟头像的外观。基于所检测到的面部变化来改变虚拟头像的外观提供了虚拟头像基于/与面部相关联的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，虚拟头像经修改以镜像参与实时视频通信会话的对象的移动。在一些实施方案中，如本文所述，使用一个或多个深度相机和/或深度图检测面部的变化。
在一些实施方案中，当相机效果模式被激活时，电子设备(例如，600)在参与实时视频通信会话的对象的表示中显示第一视觉效果(例如，贴纸)。在一些实施方案中，电子设备检测对应于第一视觉效果的输入(例如，触摸输入)。在一些实施方案中，响应于检测到对应于第一视觉效果的输入，根据确定所述输入为第一类型(例如，触摸和拖动手势)，电子设备基于所述输入的量值(例如，手势移动的距离)和方向来修改参与实时视频通信会话的对象的表示中第一视觉效果的位置。在一些实施方案中，响应于检测到对应于第一视觉效果的输入，根据确定所述输入为第二类型(例如，捏合或扩展手势)，电子设备基于所述输入的量值(例如，所述捏合/扩展手势的接触点之间的经调整距离)来修改所述第一视觉效果的尺寸。基于所述输入的类型而基于所述输入的量值来修改参与实时视频通信会话的对象的表示中第一视觉效果的位置或基于所述输入的量值(例如，所述捏合/扩展手势的接触点之间的经调整距离)来修改所述第一视觉效果的尺寸使得用户能够快速且容易地调整视觉效果的位置或尺寸(通过简单地改变输入的类型)。减少执行操作所需的输入数量增强了设备的可操作性，并且使用户设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，修改第一视觉效果的位置包括以下步骤中的一个或多个：在检测到输入的终止(例如，889)之前，基于输入的量值和方向来显示第一视觉效果(例如，858-4)的移动；并且根据确定第一视觉效果(例如，贴纸(858-4))跨越预定位置(例如，对应于对象的表示的一部分(例如，对象的面部)的位置)的边界区域移动，而生成第一视觉效果已经跨越(例如，或者正在跨越)边界区域的指示(例如，显示括号(例如，890)或生成触觉响应(例如，892))(例如，如图8BG所示显示围绕对象面部的表示的括号)。在一些实施方案中，当越界进入预定位置的边界区域时(或之后)，设备在所述预定位置周围显示括号和/或生成触觉反馈(例如，触觉输出)以指示贴纸定位在对象面部上，并且将在手势终止时放置在对象面部上(例如，贴纸将具有与对象面部的表示的关系；例如，贴纸将具有基于贴纸与用户面部的关系的行为)。在一些实施方案中，当跨出预定位置的边界区域时(或之后)，设备在所述预定位置周围显示括号和/或生成触觉反馈以指示贴纸不再定位在对象面部上，并且将不会在手势终止时放置在对象面部上(例如，贴纸将具有与对象面部的表示的某一不同关系；例如，贴纸将具有基于贴纸与用户面部的关系的某一不同行为；例如，贴纸将定位为远离对象的面部)。在一些实施方案中，指示为触觉反馈(例如，触觉输出和/或音频输出)或视觉反馈(例如，边界区域的视觉表示；围绕预定位置显示的括号)中的至少一者。
生成所述第一视觉效果已经越过(或正在越过)边界区域的指示向用户提供了以下视觉和/或触觉反馈：标签的行为和位置已改变，而不需要用户用模式化的行为终止手势和实验。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，修改第一视觉效果的位置包括显示第一视觉效果从第一位置至第二位置的移动。在一些实施方案中，修改第一视觉效果的尺寸包括显示第一视觉效果从第一显示尺寸至第二显示尺寸的转变。在一些实施方案中，当贴纸正在显示器上移动或被调整尺寸时，将贴纸移动和/或尺寸调整显示为使得用户和实时视频通信会话中的其他参与者可看到所述变化，包括当贴纸被修改时的中间移动/尺寸调整。
在一些实施方案中，修改第一视觉效果的位置包括将第一视觉效果从显现在第一位置处转变为显现在第二位置处，而不显示显现在中间位置处的第一视觉效果。在一些实施方案中，修改第一视觉效果的尺寸包括将第一视觉效果从第一显示尺寸转变至第二显示尺寸，而不显示具有中间尺寸的第一视觉效果。在一些实施方案中，当贴纸正在显示器上移动或被调整尺寸时，将贴纸移动和/或尺寸调整显示为使得仅用户能够看到所述变化，包括当贴纸正在进行修改时的中间移动/尺寸调整，而实时视频通信会话中的其他参与者不能看到所述贴纸的中间移动/尺寸调整。因此，其他参与者仅在贴纸已经修改后看到所述贴纸(或更新至所述贴纸)。
在一些实施方案中，多个参与者正在参与实时视频通信会话，所述多个参与者包括对象(例如，电子设备的用户)和第一远程参与者(例如，远离第一电子设备的第二电子设备的用户)。在一些实施方案中，实时视频通信用户界面(例如，1200)还包括第一远程参与者的表示。在一些实施方案中，第一远程参与者的表示包括从远程设备/远程相机接收到的图像或视频数据。在一些实施方案中，响应于检测到指向第一示能表示的手势，电子设备缩小第一远程参与者的表示的尺寸。
在一些实施方案中，多个参与者正在参与实时视频通信会话，所述多个参与者包括对象(例如，电子设备的用户)和第一远程参与者(例如，远离第一电子设备的第二电子设备的用户)，并且其中对象的表示是电子设备(例如，600)的相机(例如，602)的视野的实时预览(例如，表示相机视野中的内容的图像数据流)。在一些实施方案中，在基于与所选择的效果选项示能表示相关联的视觉效果修改参与实时视频通信会话的对象的表示(例如，1201)的外观之后，电子设备将与参与实时视频通信会话的对象的表示的经修改外观相对应的数据传输给所述多个参与者中的至少远程参与者。在一些实施方案中，传输数据包括将来自相机视野的图像数据(例如，图像数据的实时流)与表示基于所选择的视觉效果进行的修改的数据(例如，单独数据)一起传输。在一些实施方案中，传输数据包括传输复合的视频数据，所述复合的视频数据包括来自相机视野的图像数据与表示基于所选择的视觉效果进行的修改的数据的组合。
在一些实施方案中，电子设备(例如，600)显示没有第一示能表示的实时视频通信用户界面(例如，1200)。在一些实施方案中，电子设备检测实时视频通信用户界面(例如，1206)上的触摸输入(例如，实时视频通信用户界面上用以显示视频呼叫选项的点选手势)。在一些实施方案中，响应于检测到所述触摸输入，根据确定相机效果模式被激活，电子设备显示实时视频通信选项用户界面，所述实时视频通信选项用户界面包括第一示能表示和多个视觉效果示能表示(例如，贴纸示能表示、头像示能表示、与全屏效果相关联的示能表示)。在一些实施方案中，响应于检测到所述触摸输入，根据确定相机效果模式未被激活，电子设备显示所述实时视频通信选项用户界面，所述实时视频通信选项用户界面包括所述第一示能表示并排除所述多个视觉效果示能表示。基于确定所述相机效果模式被激活或未被激活来显示包括所述第一示能表示并且包括所述多个视觉效果示能表示的实时视频通信选项用户界面或者包括所述第一示能表示并且排除所述多个视觉效果示能表示的实时视频通信选项用户界面指示了相机效果模式当前是否被激活。在一组条件已经被满足时执行操作而不需要进一步的用户输入增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
应注意，上面参考方法1300(例如，图13A至13B)所述的过程的详情也以类似方式适用于上文和下文所述的方法。例如，方法700任选地包括以上参考方法1300所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在即时消息应用程序用户界面中的图像数据中显示。对于另一示例，方法900任选地包括以上参考方法1300所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在相机用户界面中的图像数据中显示。对于另一示例，方法1100任选地包括以上参考方法1300所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在媒体用户界面中的图像数据中显示。对于另一示例，方法1500任选地包括以上参考方法1300所述的各种方法的一个或多个特征。例如，诸如贴纸和虚拟头像的视觉效果在用于相机用户界面的图像数据中显示。为了简明起见，这些详情在下文中不再重复。
图14A至图14M示出了根据一些实施方案的用于在相机应用程序中显示视觉效果的示例性用户界面。这些附图中的用户界面被用于示出包括图15A至图15B中的过程的下文描述的过程。
图14A示出了相机应用程序用户界面1405的一个实施方案，所述实施方案类似于上面关于图8A至图8BQ所讨论的相机应用程序用户界面815。相机应用程序用户界面1405包括图像显示区域1420(类似于图像显示区域820)，所述图像显示区域显示图像数据的表示，所述图像数据为诸如表示位于相机(例如，后向相机或相机602)的视野内的对象的流式图像数据(例如，实时相机预览、实时相机录制或实时视频通信会话)；或显示媒体项目，诸如照片或视频记录。在图14A所示的实施方案中，图像显示区域1420显示来自相机602的实时相机预览1420-1。
图14A中示出的实施方案类似于图8F中示出的实施方案。图像显示区域1420示出了定位在相机602的视野中的对象1422的表示和在对象1422的表示后面显示的背景1426。如本文所述，在一些实施方案中使用相机602捕获的图像数据包括可用于确定相机602的视野中的对象深度的深度数据。在一些实施方案中，设备600基于检测到的对象(例如，在图像数据中)的深度来解析那些对象，并且使用此确定来施加本文所讨论的视觉效果。例如，设备600可将对象1422的表示分类为处于实时相机预览1420-1的前景中，并且将定位在用户后面的对象分类为处于实时相机预览1420-1的背景中。这些背景对象在本文中通常称为背景1426。
在图14A和图14B中，对象1422的表示被示出为戴着帽子1423，具有在对象1422前面突出的帽沿，并且没有头像显示在对象1422的表示上。设备600显示头像选项菜单1408(类似于头像选项菜单828)，所述头像选项菜单具有可经选择以在图像显示区域1420中显示虚拟头像的头像选项1410。
在图14B中，设备600检测头像选项1410-1上的输入1411。作为响应，设备600在图14C中在选择区域1429中显示头像选项1410-1，并生成触觉反馈1412(例如，具有或没有音频输出的触觉输出)来指示头像选项1410-1被选择。
如图14C所示，设备600还更新实时相机预览1420-1以显示对应于所选择的头像选项1410-1的虚拟头像1421。头像1421被显示为覆盖对象1422的表示的多个部分(包括对象的帽子1423)，同时保持对象1422的表示的其他部分和背景1426的显示。在图14A至图14K中，设备600动态地修改头像1421，以取决于(例如，基于检测到的对象移动)所确定的对象1422的表示与头像1421的空间关系而隐藏或显示头像1421的某些部分。这给出了头像1421被物理地放置至对象1422的表示的头部上的外观。
在一些实施方案中，头像1421的动态修改是通过以下方式实现的：使用一个或多个深度传感器(例如，深度相机传感器175)来捕获相机602的视野中的对象的初始深度图(包括对象(对应于对象1422的表示)和背景(对应于背景1426))。然后对所述初始深度图进行修改(例如，使用初始深度图的模糊、褪色或平滑过渡中的一者或多者)，以减少头像的显示部分和隐藏部分之间突兀过渡的情况。这提供了头像1421的更流畅、动态的外观，尤其是当头像的多个部分响应于对象的移动而隐藏或显示时。
在图14C中，头像1421包括定位在头像头部下方并且显示在对象颈部的表示上的阴影1430，以表示由头像1421的存在投射在对象1422的表示上的阴影。在一些实施方案中，阴影1430的位置基于头像的形状以及对象1422的表示、头像1421和光源(例如，在相机602的视野中检测到的光源或模拟光源)的相对位置来确定。
设备600显示头像1421具有长发，所述长发披散在对象肩部的表示的前面和后面。所述头发的某些部分相对于对象肩部的表示的位置基于深度数据来确定，所述深度数据指示头像1421(包括头像的头发)相对于对象1422的表示(以及对象1422的表示的特定部分(例如，对象的颈部和/或肩部的表示))的深度位置的空间定位。在一些实施方案中，动态显示的头像各部分(例如，可以取决于与对象1422的表示的空间关系而显示或隐藏的头像各部分)示出为在与对象1422的表示相邻的位置处具有共混效果1432。这种共混效果使在头像的所述部分与对象1422的表示之间所显示的过渡平滑化。
设备600响应于检测到对象头部和面部的变化而修改头像1421。例如，如图14D至图14F所示，设备600检测到对象的头部在眨眼和微笑的同时转向侧面，作为响应而修改头像1421以反映这些相同的移动(例如，头像1421被示出为头像的头部在眨眼和微笑的同时转向侧面)，同时还基于头像的移动调整阴影1430的位置。头像头部的移动影响头像的头发相对于对象1422的表示的空间位置。因此，设备600基于改变的空间关系而动态地修改头像的一些部分。例如，当头部转动时，设备600显示头像的一些头发在对象肩部的表示上和/或对象颈部的表示后面向后移动(例如，设备600隐藏头像头发的一些部分)，如参考标号1424-1所示。相反，当头像头部转动时，设备600还显示(例如，显示出)在转动头像头部之前先前被隐藏的头像头发的各部分(例如，它们先前隐藏在对象颈部或肩部的表示后面)，如参考标号1424-2所示。因此，设备600基于用户的位置变化来隐藏或显示头像的动态部分(诸如头像头发的各部分)，所述用户的位置变化相应地影响头像的移动。
在一些实施方案中，头像1421的各部分持久地显示，而无论与深度图中对象1422的表示或任何其他对象的任何空间关系。例如，虽然对象1422的表示戴着帽子1423，所述帽子包括在对象1422的表示前面突出的帽沿，但是头像头部1421-3和头像面部1421-4持久显示在对象头部的表示和帽子1423的前面。这可防止相机602的视野中的对象，尤其是对象1422的表示(或所述对象的表示的各部分)上的物体，穿过头像1421的各部分显现(例如，具体地，头像1421的各部分应始终显示为使得头像1421的外观为定位在对象1422的表示上)。在一些实施方案中，头像1421的持久显示部分可包括头像的面部(1421-4)、头部(1421-3)、以及头像头发(1421-1)的各部分。
作为另一示例，图14D示出对象的手1425的表示在对象1422的表示前面朝向相机602伸出。虽然手1425的表示定位在对象1422的表示的前面远处，但是头像头发的部分1421-1显示为在手1425的表示的一部分上，尽管手1425的表示的空间位置明显比头像头发的部分1421-1更靠近相机602。更清楚一些地说，如果头像头发的部分1421-1是动态的(例如，不持久地显示)，则其将类似于下面所讨论的头像头发的动态部分(例如，1421-2)而在图14D中隐藏于手1425的表示后面。
图14E示出手1425的表示朝向对象1422向后移动，靠近对象肩部的表示。随着手1425的表示移动得更靠近对象1422的表示，设备600确定手1425的表示的空间位置移动至头像头发的所述动态部分中。因此，装置600显示定位在手1425的表示前面的另外的头像头发1421-2。类似地，图14F示出手1425的表示定位为甚至更靠近对象1422的表示，并且更大量的头发显示在手1425的表示前面。在图14D至图14F中，定位在对象右肩1422-1的表示前面的头发的量不改变，因为头像头发与对象右肩1422-1的表示的空间关系在头部转动之后不改变。
在图14G中，对象返回至无面部表情的面向前位置，设备600相应地修改头像1421。
在图14H中，对象向上看，设备600相应地修改头像1421。设备600示出头像1421具有向上倾斜的头部以露出头像头部的下面，所述下面包括在对象颈部的表示与头像1421相交的位置处的共混效果1434。在一些实施方案中，共混效果1434类似于共混效果1432。在图14H中，阴影1430还基于头像头部的倾斜位置来调整(例如，在头像的下巴下方移动)。当头像1421正在向上看时，定位在对象颈部的表示后面的头像头发保持隐藏在对象颈部的表示后面，并且不穿过对象颈部的表示突出。
图14I至图14J示出了根据本公开的实施方案选择不同的头像。
在图14K至图14M中，设备600示出对象1422的表示具有定位在对象的头部和颈部的表示上的独角兽头像1435。独角兽头像1435包括头部部分1435-1和包括鬃毛1435-3的颈部部分1435-2。颈部部分1435-2围绕对象颈部的表示来显示，以使得不显示对象颈部的表示。共混效果1438显示于独角兽的颈部部分1435-2与对象颈部的表示的基部相遇处。共混效果1438类似于本文所述的其他共混效果。
独角兽头像1435还包括在独角兽头像1435的一部分上和在对象1432的表示上显示的阴影1436(例如，由头像投射至对象的表示上的阴影的表示)。在一些实施方案中，所显示的阴影具有基于头像的形状以及头像和对象1432的表示相对于光源(例如，在相机602的视野中检测到的光源或模拟光源)的相对位置确定的形状和位置。如图14K至图14M所示，阴影1436响应于独角兽头像1435的移动而移动。在图14K中，阴影1436具有细长形状(由于独角兽头像的面部的细长形状)并且定位在对象1422的表示的颈部部分1435-2和胸部上。在图14L中，头部部分1435-1转向侧面以露出另外的颈部部分1435-2和鬃毛1435-3。鬃毛1435-3的一部分1435-4在图14K中定位在独角兽头像1435的背面上，所述部分现在示出为定位在对象的肩部1422-1和头像的颈部部分1435-2前面。阴影1436移动至侧面，以定位在头部部分1435-1下方(例如，在颈部部分1435-2上)，并且部分地在对象1422的表示的肩部上。在图14M中，头部部分1435-1面向前并且向上倾斜，并且阴影1436定位在头部部分1435-1下方(在颈部部分1435-2上)并且由于头部部分1435-1的向上倾斜而具有缩小的尺寸。另外，当所述头部向上倾斜时，鬃毛1435-3保持定位在颈部部分1435-2的背面上，并且不穿过所述颈部部分显示。
图15A至图15B是示出根据一些实施方案用于使用电子设备在相机应用程序中显示视觉效果的方法的流程图。在具有一个或多个相机和显示装置的设备(例如，100、300、500、600)处执行方法1500。方法1500中的一些操作任选地被组合，一些操作的次序任选地被改变，并且一些操作任选地被省略。
如下文所述，方法1500提供了在相机应用程序中显示视觉效果的直观方式。该方法减小了用户将视觉效果施加至在相机应用程序中查看的图像的认知负担，从而创建更有效的人机界面。对于电池驱动的计算设备，使得用户能够更快更有效地在图像中显示视觉效果节省了功率并且增加了电池两次充电之间的时间间隔。
电子设备(例如，600)经由显示装置(例如，601)显示(1502)经由一个或多个相机(例如，602)捕获的图像数据(例如，1420-1)的表示。在一些实施方案中，所述表示包括对象(例如，1422)的表示(例如，对象的至少一部分的表示)，并且图像数据对应于深度数据(例如，所述图像数据包括由可见光相机和深度相机捕获的数据)，所述深度数据包括对象的深度数据(例如，关于对象的一个或多个部分相对于对象的其他部分和/或相对于一个或多个相机的视野内的其他对象的相对深度定位的信息)。在一些实施方案中，深度数据为深度图或深度遮罩的形式。
在一些实施方案中，电子设备(例如，600)包括一个或多个深度传感器(例如，175、602)。在一些实施方案中，在显示虚拟头像(例如，1421)的表示之前，电子设备经由一个或多个深度传感器捕获对象的初始深度数据(例如，对应于由一个或多个相机(例如，602)捕获的图像数据的初始或未修改的深度图和/或深度遮罩；对象的初始或未修改的深度遮罩)。电子设备通过修改对象的初始深度数据来生成对象的深度数据。在一些实施方案中，修改初始深度数据可减少在包括和排除虚拟头像的第一部分(例如，1421-2)的表示之间突兀过渡的情况，尤其是当对象的姿势相对于电子设备变化时。修改对象的初始深度数据允许当用户的姿势变化时更平滑过渡地显示虚拟头像的表示，从而改善所检测到的对象变化的视觉反馈(由虚拟头像的对应变化表示)。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，修改对象的初始深度数据包括对所述初始深度数据执行选自由以下项组成的组的一种或多种变换：模糊(例如，使初始深度数据散焦以共混不同级别的深度数据之间的过渡；例如，模糊初始深度遮罩的值(例如，灰度值))所述初始深度数据、使所述初始深度数据逐渐淡出(例如，将所述深度数据向下调制来减小深度值)，以及平滑化(例如，应用数学函数来共混所述初始深度数据，特别是在所述初始深度数据的不同深度层之间的过渡处)所述初始深度数据。
电子设备(例如，600)经由显示装置(例如，601)显示(1504)虚拟头像(例如，1421)的表示(例如，虚拟头像构造的视觉表示，所述表示当被表示时可包括所述构造的一些或全部)，所述虚拟头像的表示代替对象(例如，1422、1423)的表示的至少一部分(例如，其中虚拟头像的至少一部分部分或完全地覆盖(例如，遮蔽)所述对象的至少一部分)而显示(例如，遮蔽所述对象的所述表示的所述至少一部分或显示在所述对象的所述表示的所述至少一部分的顶部上)。在对象的表示的至少一部分上显示虚拟头像的视觉表示向用户提供了当虚拟头像覆盖对象时虚拟头像看起来如何的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，虚拟头像被放置在相对于对象的表示的模拟深度处(例如，在经选择为使得虚拟头像在用户界面的深度维度中在所述对象的所述表示的略微前面显示的位置处)，所述模拟深度是基于对象的深度数据确定的。
在一些实施方案中，根据基于所述深度数据确定虚拟头像的第一部分(例如，1421-2)(例如，头像的头发部分)满足一组基于深度的显示标准，设备(例如，600)包括(1506)虚拟头像的第一部分(例如，1421-2)的表示来作为虚拟头像(例如，1421)的表示的组成部分，所述虚拟头像的第一部分的表示代替对象的第一部分(例如，对象的表示的第一部分)显示(例如，如图14E所示，头像头发的部分1421-2显示在对象的手1425的表示的一部分上)。当虚拟头像的第一部分由于其未被对象的一部分遮蔽而满足基于深度的显示标准时，显示所述虚拟头像的所述第一部分。在显示虚拟头像的第一部分之前确定所述虚拟头像的所述第一部分是否被遮蔽允许通过仅显示所述虚拟头像的将对用户可见的部分而使用户-设备界面更有效。提供虚拟头像的可见部分的视觉反馈允许用户看到当虚拟头像覆盖在对象上时的所得图像。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，基于深度的显示标准包括以下要求：对象的深度数据指示虚拟头像的第一部分具有在所述对象的对应第一部分(例如，颈部、肩部和/或身体)(例如，所述对象的表示的对应第一部分)前面的模拟深度，以使所述基于深度的显示标准被满足(例如，该组基于深度的标准包括当所述虚拟头像的所述部分将被显示在未被所述对象的一部分(例如，对象的耳朵)遮蔽的位置处时满足的标准)。
在一些实施方案中，根据基于深度数据确定虚拟头像的第一部分(例如，1421-2)不满足针对所述对象(例如，1425)的所述第一部分的该组基于深度的显示标准(例如，因为所述对象的深度数据指示所述虚拟头像的所述第一部分具有在所述对象的所述对应第一部分后面的模拟深度)，设备(例如，600)从所述虚拟头像(例如，1421)的所述表示中排除(1508)所述虚拟头像的所述第一部分的表示(例如，头发不被显示，因为其在区域1424-1处定位在对象肩部1422-1的后面)(例如，在图14D中不示出另外的头像头发1421-2，因为所述头像头发定位在手1425后面)。在一些实施方案中，电子设备还在应已经由所述虚拟头像的所述第一部分占据的区域中显示所述对象的所述第一部分(例如，所述对象的所述表示的所述第一部分)(例如，放弃将所述虚拟头像的所述第一部分的表示包括作为所述虚拟头像的所述表示的组成部分，因为所述部分应被所述对象遮蔽)。当虚拟头像的第一部分由于其被对象的一部分遮蔽而不满足基于深度的显示标准时，所述虚拟头像的所述第一部分被从所显示的虚拟头像的表示中排除。在显示虚拟头像的第一部分之前确定所述虚拟头像的所述第一部分是否被遮蔽允许通过排除所述虚拟头像的将对用户不可见的部分而使用户-设备界面更有效。提供虚拟头像的视觉反馈允许用户看到当虚拟头像覆盖在对象上时的所得图像。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，虚拟头像(例如，1421)的第一部分(例如，头像头部)基于对象的运动而移动。在一些实施方案中，虚拟头像的第一部分基于对象头部或对象头部的表示的移动而移动。
在一些实施方案中，虚拟头像的表示包括显示在对象的表示的第二部分(例如，1425、1423)上的虚拟头像的第二部分(例如，1421-1、1421-3、1421-4、1435-1)的表示(例如，头像头部(1421-3)的顶部)，而不管深度数据是否指示所述虚拟头像的所述第二部分具有在所述对象的所述表示的对应第二部分前面或后面的模拟深度。持久地显示虚拟头像的第二部分(诸如头像头部的顶部)的表示。这允许虚拟头像的第二部分始终被显示，即使对象的表示包括比头像更靠近相机(例如，602)定位的物体(例如，定位在对象头部的表示上的帽子(1423)将被头像(1421)覆盖)。持久地显示虚拟头像的一部分通过允许用户显示所选择的头像而无需调整设备的深度设置来忽略某些物体，而向用户提供了对所述设备的更多控制。提供对所述设备的附加控制而不由于附加显示的控件使UI杂乱就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，虚拟头像的第二部分(例如，头像的头部)持久地代替对象的表示的对应第二部分显示。在一些实施方案中，与基于深度的标准无关而显示的头像的各部分被持久地显示在对象上以避免将对象的表示的各部分(例如，帽子(1423)、对象的头发)显示为穿过所述虚拟头像突出，即使当所述虚拟头像的所述各部分与所述对象的所述表示的所述各部分的空间关系另外指示所述虚拟头像的所述部分应被所述对象的所述部分遮蔽时也如此。在一些实施方案中，虚拟头像的第二部分(例如，头像的头部)基于对象(例如，1422)的移动(例如，基于对象头部的移动或基于对象头部的表示的移动)而移动。
在一些实施方案中，虚拟头像的第一部分(例如，1421-2)(例如，基于深度数据来被包括或排除的部分)是第一头像特征(例如，虚拟头像的元素，诸如头像的头发、头像的耳朵、头像的配件(例如，头像的耳环))的第一子部分，并且虚拟头像的第二部分(例如，1421-1、1421-3、1421-4、1435-1、1435-2)(例如，不是基于深度数据来被包括或排除的部分；独立于深度数据而被包括的部分)是第一头像特征(例如，头像头发)的第二子部分。在一些实施方案中，当虚拟头像处于面向前方(例如，面向相机)的中性位置(例如，如图14K所示)(例如，当没有检测到对象的面部或头部的姿势变化时所述虚拟头像的显示位置)时，所述第一子部分是所述虚拟头像(例如，1435)的定位在所述虚拟头像的背面上的部分(例如，1435-3)。在一些实施方案中，第二子部分(例如，1435-2)是虚拟头像的一部分，所述部分当虚拟头像处于面向前方的中性位置时定位在所述虚拟头像的正面上或者以其他方式不定位在虚拟头像的背面上。在一些实施方案中，第一头像特征是头像头发，所述第二子部分是在虚拟头像的头部(例如，1421-3)的正面上显示的头像头发(例如，1421-1)的前部部分(例如，刘海)，并且所述第一子部分是头像头发的背部部分(例如，背部的长发)，所述背部部分至少部分被所述对象(例如，1422)的一部分(诸如所述对象的颈部和/或肩部(例如，1422-1))遮蔽。
在一些实施方案中，虚拟头像(例如，1421、1435)包括头像头发特征(例如，长的头像头发)，所述头像头发特征包括虚拟头像的第一部分(例如，1421-1)。电子设备(例如，600)通过显示头像头发特征的第一部分(例如，1421-1)来显示虚拟头像的表示，并且基于根据对象的深度数据，头像头发特征的第二部分(例如，1421-2)的模拟深度是在对象的表示的第三部分(例如，1422-1)(例如，颈部、肩部和/或身体)之前还是之后来有条件地显示所述头像头发特征的所述第二部分(例如，显示所述头像头发特征的持久部分的表示，并且取决于深度而可变地包括(或排除)所述虚拟头像的所述第一部分)。确定所述头像头发特征的所述第一部分和所述头发特征的所述第二部分是在对象的表示的第三部分(诸如对象的颈部、肩部或身体)的前面还是后面。在显示之前确定所述头发特征的所述第二部分的可视性允许通过仅显示所述头像头发特征的将对用户可见的部分而使用户-设备界面更有效。提供虚拟头像的视觉反馈允许用户看到当头像头发特征与对象的表示一起显示时的所得图像。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，虚拟头像包括头像的颈部特征(例如，1435-3)(例如，似马的头像(例如，独角兽或马)的颈部)；例如，头像的鬃毛)，所述颈部特征包括虚拟头像的第一部分(例如，1435-4)。电子设备通过以下方式来显示虚拟头像(例如，1435)的表示：基于根据对象的深度数据，头像颈部特征的某一部分的模拟深度是在所述对象的所述表示的第四部分(例如，1422-1)(例如，颈部或肩部)之前还是之后来有条件地显示所述头像颈部特征的所述部分(例如，显示所述头像颈部特征的持久部分的表示，并且取决于深度而可变地包括(或排除)所述虚拟头像的所述第一部分)。确定所述头像颈部特征的所述部分是在对象的表示的第四部分(诸如对象的颈部)的前面还是后面。在显示之前确定所述颈部特征的所述部分的可视性允许通过仅显示所述头像颈部特征的将对用户可见的部分而使用户-设备界面更有效。提供虚拟头像的视觉反馈允许用户看到当头像头发特征与对象的表示一起显示时的所得图像。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，虚拟头像(例如，1421、1435)的第一部分(例如，1421-2、1435-3)包括所述虚拟头像的被遮蔽部分(例如，1435-4)(例如，头像颈部的后部)，所述被遮蔽部分在所述对象的所述表示的所述部分(例如，对象的头部)具有(直接)面向一个或多个相机的姿势(例如，所述对象的头部定位成正面面向相机)时不被显示。头像的被遮蔽部分不被显示，因为用户无法看到所述头像的所述部分。在显示之前确定所述虚拟头像的所述第一部分的可视性允许通过仅显示所述头像颈部特征的将对用户可见的部分而使用户-设备界面更有效。提供虚拟头像的视觉反馈允许用户看到当头像头发特征与对象的表示一起显示时的所得图像。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，所述虚拟头像的所述被遮蔽部分包括所述头像颈部(例如，1435-2、1435-3)的后部，或定位在所述对象的颈部或头部后面的所述虚拟头像的各部分(例如，头像头发的后部)。在一些实施方案中，这防止头像颈部的后部(或在头像头部的后部上或定位于对象颈部后面的所述头像的各部分)在对象的头部向上倾斜(例如，向上看)时被显示为穿过所述对象颈部的表示突出。
在一些实施方案中，显示虚拟头像(例如，1421)的表示还包括将与虚拟头像的第一部分(例如，1421-1)相邻(例如，并且还与对象的表示的至少一部分(例如，1422-1)相邻)的虚拟头像的第三部分(例如，1432)的视觉外观修改(例如，共混、模糊、羽化，或以其他方式逐渐改变隐藏度)成基于头像的外观和所述对象的所述表示的外观的外观。在一些实施方案中，将头像头发(例如，1432)的一部分与对象(例如，1422)的表示在虚拟头像的表示的某一部分处共混，其中所述头像头发的所述部分与所述对象的所显示的表示的肩部(1422-1)相交。在一些实施方案中，将头像头部的底部部分与所述对象的所述表示在虚拟头像的表示的某一部分处共混(例如，1434)，其中所述头像头部的所述底部部分与对象颈部的显示表示相交(例如，图14H)。
在一些实施方案中，电子设备(例如，600)检测对象(例如，1422)的头部部分的姿势变化(例如，对象的头部转向侧面)。响应于电子设备检测到对象的头部部分的姿势变化，电子设备基于深度数据和所述姿势变化来修改(例如，增大或减少)从虚拟头像的表示(例如，所述头像的头发)中排除的虚拟头像(例如，1421-2)的量(例如，包括在虚拟头像的表示中或从虚拟头像的表示中排除的尺寸)。根据所述对象的所述头部部分的姿势变化来更新所显示的虚拟头像提供了所述虚拟头像的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，修改包括当头像头部(例如，1421-3)转向侧面以匹配对象头部的移动时，增大或减少在虚拟头像(例如，1421)的表示中显示的头像头发的量。在一些实施方案中，头像的第一部分(例如，头像头发)的显示量取决于响应于姿势的变化，所述头像的所述部分是否被对象的表示的一部分遮蔽来进行修改。例如，头像头发的一部分的显示量(例如，尺寸)当响应于转动头像的头部，所述头像头发的所述部分被用户的颈部或肩部(例如，1422-1)遮蔽时减少(例如，转动头像头部使得先前显示的定位于对象的肩部前面的头发不再显示，因为转动头部使头像头发定位在对象肩部(例如，1424-1)的后面)。另外，所述头像头发的所述部分的显示量当先前隐藏在对象的肩部、颈部或头部后面的头发部分(例如，1424-2)由于所述头像头部转向侧面而可见时增加(例如，定位于对象的肩膀后面的头发现在是可见的，因为转动所述头像头部导致所述头像头发定位于对象的肩部前面)。
在一些实施方案中，设备(例如，600)检测(1510)对象的姿势变化。响应于检测到对象(例如，1422)的姿势变化(例如，检测到手(例如，1425)在用户的肩部(例如，1422-1)上的移动；例如，检测到对象头部的转动或倾斜)，电子设备(例如，600)基于姿势变化来修改(1512)所述虚拟头像(例如，1421)的显示表示。根据所述对象的姿势变化来更新所显示的虚拟头像提供了所述虚拟头像的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，根据基于考虑到对象姿势变化的深度数据确定虚拟头像(例如，1421)的第一部分(例如，1421-2)满足所述组基于深度的显示标准，电子设备将虚拟头像的表示的外观从排除所述虚拟头像的所述第一部分(例如，1421-2)的第一外观(例如，图14D)(例如，所述虚拟头像的所述第一部分由于其被对象(例如，1425)的表示遮蔽而不显示的外观)(例如，头像头发的一部分隐藏在对象的手、脖子和/或肩部后面)更新(1514)为包括所述虚拟头像的所述第一部分的第二外观(例如，图14E)。在一些实施方案中，根据基于考虑到对象姿势变化的深度数据确定所述虚拟头像的所述第一部分不满足所述组基于深度的显示标准，电子设备将虚拟头像的表示的外观从包括所述虚拟头像的所述第一部分的第三外观(例如，图14C)更新(1516)为排除所述虚拟头像的所述第一部分的第四外观(例如，图14D)(例如，1424-1示出所显示的头发的量减少)。在一些实施方案中，所述虚拟头像的所述第一部分基于对象的移动而动态地隐藏(例如，基于对象的移动，所述头像的隐藏部分可以变成被显示，并且所述头像的显示部分可以变成被隐藏)。
在一些实施方案中，电子设备(例如，600)检测对象(例如，1422)的表示的所述部分中的变化(例如，姿势(例如，取向、旋转、平移等)的变化；例如，面部表情的变化)。电子设备基于所检测到的所述对象的所述表示的所述部分中的变化来改变所述虚拟头像(例如，1421、1435)的外观(例如，基于所检测到的所述对象的所述表示的所述部分中的变化来实时修改所述虚拟头像的位置和/或面部表情)。根据所述对象的表情变化来更新所显示的虚拟头像提供了所述虚拟头像的视觉反馈。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中，电子设备(例如，600)经由显示装置(例如，601)显示由在所述对象的所述表示的至少第五部分(例如，对象的胸部、颈部或肩部)上显示的虚拟头像(例如，1421、1435)所投射的阴影(例如，1430、1436)的表示。该设备在所述对象的所述表示的一部分上显示由所述虚拟表示投射的阴影的表示，以利用模拟光源提供所显示的虚拟头像的更真实表示。提供虚拟头像的视觉反馈允许用户查看所得图像。为用户提供改进的视觉反馈就增强了设备的可操作性，并且使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中，虚拟头像所投射的阴影的表示以小于100％的不透明度覆盖在对象的表示上。在一些实施方案中，所述对象的一部分基于所显示的虚拟头像与任选地基于在相机的视野中检测到的光源确定的模拟光源的相对位置来确定。在一些实施方案中，所述阴影的显示表示的一个或多个特性(例如，位置、强度、形状等)基于虚拟头像的形状。在一些实施方案中，所显示的阴影的形状基于虚拟头像的形状来确定，使得不同的头像显现为投射不同形状的阴影。
在一些实施方案中，所述阴影(例如，1430、1436)的显示表示的一个或多个特性(例如，位置、强度、形状等)基于一个或多个相机(例如，602)的视野中的照明条件(例如，检测到的环境光的量、检测到的光源，等等)。在一些实施方案中，基于相机视野中的光源的位置来确定阴影的位置。例如，如果光源(例如，检测到的光源或模型化的光源)定位在相机视野中的对象(例如，1422)的表示后面，则阴影定位在所述对象的表示上，与所述光源相对于所述对象的所述表示的位置相对。在一些实施方案中，基于在一个或多个相机的视野中检测到的照明条件的亮度来确定阴影的强度(例如，照明条件越亮则阴影越强烈(明显、更暗等)，并且照明条件越暗则阴影越不强烈)。
在一些实施方案中，所述阴影(例如，1430、1436)的显示表示的一个或多个特性(例如，位置、强度、形状等)基于深度数据。在一些实施方案中，使用深度数据(例如，为深度图或深度遮罩的形式)来确定阴影的位置和/或形状，以提供基于对象(例如，1422)的表示在一个或多个相机的视野中的三维定位的阴影效果的更真实表示(例如，使得基于从头像至对象的模拟距离和从光源至头像的模拟距离，头像的阴影看起来落到对象上)。
应注意，上面相对于方法1500所述的过程(例如，图15A至图15B)的详情也以类似方式适用于下文所述的方法。例如，方法700任选地包括以上参考方法1500所述的各种方法的一个或多个特征。例如，诸如虚拟头像的视觉效果在即时消息应用程序用户界面中的图像数据中显示。对于另一示例，方法900任选地包括以上参考方法1500所述的各种方法的一个或多个特征。例如，诸如虚拟头像的视觉效果在头像用户界面中的图像数据中显示。对于另一示例，方法1100任选地包括以上参考方法1500所述的各种方法的一个或多个特征。例如，诸如虚拟头像的视觉效果在媒体用户界面中的图像数据中显示。对于另一示例，方法1300任选地包括以上参考方法1500所述的各种方法的一个或多个特征。例如，诸如虚拟头像的视觉效果在用于实时视频通信会话的用户界面中的图像数据中显示。为了简明起见，这些详情在下文中不再重复。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择并描述这些实施方案是为了最好地解释这些技术的原理及其实际应用。本领域的其他技术人员由此能够最好地利用这些技术以及具有适合于所预期的特定用途的各种修改的各种实施方案。
虽然参照附图对本公开以及示例进行了全面的描述，但应当注意，各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解，此类变化和修改被认为被包括在由权利要求书所限定的本公开和示例的范围内。
如上所述，本技术的一个方面在于收集和使用得自各种来源的数据，以与其他用户共享。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户健康状况或健康水平相关的数据或记录(例如，重要标志测量、药物信息、锻炼信息)、出生日期，或任何其他识别或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于更好地表示会话中的用户。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集，分析，公开，传输，存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。用户可以方便地访问此类策略，并应随着数据的采集和/或使用变化而更新。用户的个人信息应采集为实体的合法和合理使用，而不应在这些合法使用之外共享或销售。此外，在收到用户知情同意后，应进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和(或)州法律的管辖，诸如《健康保险隐私及责任法案》(HIPAA)；然而，其他国家中的保健数据可能受到其他条例和政策的限制，并应相应处理。因此，在每个国家应保持不同的个人数据类型的不同的隐私实践。
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就发送头像而言，本发明的技术可被配置为在注册服务期间或此后的任何时间允许用户选择“加入”或“退出”参与对个人信息数据的收集。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，用户可在下载应用程序时通知用户，其个人信息数据将被访问，然后在个人信息数据被应用程序访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用中，数据去标识可用于保护用户的隐私。适当时可通过以下方式来促进去标识：去除特定标识符(例如，出生日期等)、控制存储的数据的量或特异性(例如，收集城市级别而不是地址级别的位置数据)、控制如何存储数据(例如，在用户间聚合数据)和/或其他方法。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。

Claims (57)

1.一种电子设备，包括：
显示装置；
一个或多个处理器；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：
经由所述显示装置显示实时视频通信应用程序的实时视频通信用户界面，所述实时视频通信用户界面包括在显示器上同时显示：
以第一尺寸显示的实时视频通信会话中第一参与者的表示；
参与与第一参与者的所述实时视频通信会话的对象的表示，其中以小于第一尺寸的第二尺寸显示所述对象的表示；和
与相机效果模式相关联的第一示能表示，其中所述第一示能表示与所述对象的表示分开；
在同时显示第一参与者的表示、所述对象的表示和所述第一示能表示时，检测指向所述第一示能表示的手势；以及
响应于检测到指向所述第一示能表示的所述手势：
激活所述相机效果模式；以及
将参与所述实时视频通信会话的所述对象的所述表示的尺寸增大至第三尺寸，第三尺寸大于第二尺寸并且占据在检测到指向所述第一示能表示的所述手势之前由第一参与者的表示占据的显示器的至少一部分。
2.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
在显示所述第一示能表示之前，检测所述实时视频通信用户界面上的第一输入，所述第一输入对应于显示与所述实时视频通信会话相关联的一个或多个选项的请求；
响应于检测到所述第一输入：
显示与所述实时视频通信会话相关联的所述一个或多个选项；以及
显示所述第一示能表示。
3.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
在所述相机效果模式被激活时：
检测对效果选项示能表示的选择；以及
响应于检测到对所述效果选项示能表示的选择，基于与所选择的效果选项示能表示相关联的视觉效果来修改参与所述实时视频通信会话的所述对象的所述表示的外观。
4.根据权利要求3所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
检测所述实时视频通信用户界面上的第二输入，所述第二输入对应于缩小参与所述实时视频通信会话的所述对象的所述表示的所述尺寸的请求；以及
响应于检测到所述第二输入，同时显示：
参与所述实时视频通信会话的所述对象的所述表示，参与所述实时视频通信会话的所述对象的所述表示具有基于与所选择的效果选项示能表示相关联的所述视觉效果而修改的外观；和
所述实时视频通信会话中的相应参与者的一个或多个表示。
5.根据权利要求3所述的电子设备，其中多个参与者正在参与所述实时视频通信会话，所述多个参与者包括所述对象和第一参与者，其中第一参与者是第一远程参与者，并且其中所述对象的表示是所述电子设备的相机的视野的实时预览，所述一个或多个程序还包括用于以下操作的指令：
在基于与所选择的效果选项示能表示相关联的视觉效果而修改参与所述实时视频通信会话的所述对象的所述表示的外观之后，将与参与所述实时视频通信会话的所述对象的表示的经修改的外观相对应的数据传输至所述多个参与者中的至少第一远程参与者。
6.根据权利要求1所述的电子设备，其中参与所述实时视频通信会话的所述对象的所述表示包括由与所述电子设备相关联的相机捕获的图像数据。
7.根据权利要求1所述的电子设备，其中参与所述实时视频通信会话的所述对象的所述表示包括从第二电子设备传输至所述电子设备的图像数据。
8.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
响应于检测到指向所述第一示能表示的所述手势，显示与第一类型的视觉效果相关联的第一视觉效果示能表示和与不同于所述第一类型的视觉效果的第二类型的视觉效果相关联的第二视觉效果示能表示。
9.根据权利要求8所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
检测对所述示能表示中与一种类型的视觉效果相关联的一种示能表示的选择；以及
响应于检测到对与所述视觉效果相关联的所述示能表示的所述选择，显示对应于所述视觉效果的多个视觉效果选项。
10.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
在所述相机效果模式被激活时：
修改参与所述实时视频通信会话的所述对象的所述表示的外观，以显示一个或多个视觉效果。
11.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
在所述相机效果模式被激活时：
修改参与所述实时视频通信会话的所述对象的所述表示的外观，以显示虚拟头像；
检测在所述电子设备的一个或多个相机的视野中的面部变化；以及
基于所述面部的所检测到的变化来改变所述虚拟头像的外观。
12.根据权利要求1所述的电子设备，其中所述实时视频通信用户界面还包括：
所述实时视频通信会话中的第二参与者的表示；和
所述实时视频通信会话中的第三参与者的表示。
13.根据权利要求1所述的电子设备，其中多个参与者正在参与所述实时视频通信会话，所述多个参与者包括所述对象和所述第一参与者，其中所述第一参与者是第一远程参与者，并且其中所述实时视频通信用户界面还包括所述第一远程参与者的表示，所述一个或多个程序还包括用于以下操作的指令：
进一步响应于检测到指向所述第一示能表示的所述手势，缩小所述第一远程参与者的所述表示的尺寸。
14.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
在所述相机效果模式被激活时：
在参与所述实时视频通信会话的所述对象的所述表示中显示第一视觉效果；
检测对应于所述第一视觉效果的输入；以及
响应于检测到对应于所述第一视觉效果的所述输入：
根据确定所述输入为第一类型，基于所述输入的量值和方向来修改参与所述实时视频通信会话的所述对象的所述表示中所述第一视觉效果的位置；以及
根据确定所述输入为第二类型，基于所述输入的所述量值来修改所述第一视觉效果的尺寸。
15.根据权利要求14所述的电子设备，其中修改所述第一视觉效果的所述位置包括：
在检测到所述输入的终止之前，基于所述输入的所述量值和方向来显示所述第一视觉效果的移动；以及
根据确定所述第一视觉效果移动跨过预先确定的位置的边界区域，生成所述第一视觉效果已经跨过所述边界区域的指示。
16.根据权利要求15所述的电子设备，其中所述指示为触觉反馈或视觉反馈中的至少一者。
17.根据权利要求14所述的电子设备，其中：
修改所述第一视觉效果的所述位置包括显示所述第一视觉效果从第一位置至第二位置的移动；并且
修改所述第一视觉效果的所述尺寸包括显示所述第一视觉效果从第一显示尺寸至第二显示尺寸的转变。
18.根据权利要求14所述的电子设备，其中：
修改所述第一视觉效果的所述位置包括将所述第一视觉效果从显现在第一位置处转变为显现在第二位置处，而不显示显现在中间位置处的所述第一视觉效果；并且
修改所述第一视觉效果的所述尺寸包括将所述第一视觉效果从第一显示尺寸转变为第二显示尺寸，而不显示具有中间尺寸的所述第一视觉效果。
19.根据权利要求1所述的电子设备，所述一个或多个程序还包括用于以下操作的指令：
显示没有所述第一示能表示的所述实时视频通信用户界面；
检测所述实时视频通信用户界面上的触摸输入；以及
响应于检测到所述触摸输入：
根据确定所述相机效果模式被激活，显示实时视频通信选项用户界面，所述实时视频通信选项用户界面包括所述第一示能表示和多个视觉效果示能表示；以及
根据确定所述相机效果模式未被激活，显示所述实时视频通信选项用户界面，所述实时视频通信选项用户界面包括所述第一示能表示并排除所述多个视觉效果示能表示。
20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由具有显示装置的电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：
经由所述显示装置显示实时视频通信应用程序的实时视频通信用户界面，所述实时视频通信用户界面包括在显示器上同时显示：
以第一尺寸显示的实时视频通信会话中第一参与者的表示；
参与与第一参与者的所述实时视频通信会话的对象的表示，其中以小于第一尺寸的第二尺寸显示所述对象的表示；和
与相机效果模式相关联的第一示能表示，其中所述第一示能表示与所述对象的表示分开；
在同时显示第一参与者的表示、所述对象的表示和所述第一示能表示时，检测指向所述第一示能表示的手势；以及
响应于检测到指向所述第一示能表示的所述手势：
激活所述相机效果模式；以及
将参与所述实时视频通信会话的所述对象的所述表示的尺寸增大至第三尺寸，第三尺寸大于第二尺寸并且占据在检测到指向所述第一示能表示的所述手势之前由第一参与者的表示占据的显示器的至少一部分。
21.根据权利要求20所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
在显示所述第一示能表示之前，检测所述实时视频通信用户界面上的第一输入，所述第一输入对应于显示与所述实时视频通信会话相关联的一个或多个选项的请求；
响应于检测到所述第一输入：
显示与所述实时视频通信会话相关联的所述一个或多个选项；以及
显示所述第一示能表示。
22.根据权利要求20所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
在所述相机效果模式被激活时：
检测对效果选项示能表示的选择；以及
响应于检测到对所述效果选项示能表示的选择，基于与所选择的效果选项示能表示相关联的视觉效果来修改参与所述实时视频通信会话的所述对象的所述表示的外观。
23.根据权利要求22所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
检测所述实时视频通信用户界面上的第二输入，所述第二输入对应于缩小参与所述实时视频通信会话的所述对象的所述表示的所述尺寸的请求；以及
响应于检测到所述第二输入，同时显示：
参与所述实时视频通信会话的所述对象的所述表示，参与所述实时视频通信会话的所述对象的所述表示具有基于与所选择的效果选项示能表示相关联的所述视觉效果而修改的外观；和
所述实时视频通信会话中的相应参与者的一个或多个表示。
24.根据权利要求22所述的非暂态计算机可读存储介质，其中多个参与者正在参与所述实时视频通信会话，所述多个参与者包括所述对象和第一参与者，其中第一参与者是第一远程参与者，并且其中所述对象的表示是所述电子设备的相机的视野的实时预览，所述一个或多个程序还包括用于以下操作的指令：
在基于与所选择的效果选项示能表示相关联的视觉效果而修改参与所述实时视频通信会话的所述对象的所述表示的外观之后，将与参与所述实时视频通信会话的所述对象的表示的经修改的外观相对应的数据传输至所述多个参与者中的至少第一远程参与者。
25.根据权利要求20所述的非暂态计算机可读存储介质，其中参与所述实时视频通信会话的所述对象的所述表示包括由与所述电子设备相关联的相机捕获的图像数据。
26.根据权利要求20所述的非暂态计算机可读存储介质，其中参与所述实时视频通信会话的所述对象的所述表示包括从第二电子设备传输至所述电子设备的图像数据。
27.根据权利要求20所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
响应于检测到指向所述第一示能表示的所述手势，显示与第一类型的视觉效果相关联的第一视觉效果示能表示和与不同于所述第一类型的视觉效果的第二类型的视觉效果相关联的第二视觉效果示能表示。
28.根据权利要求27所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
检测对所述示能表示中与一种类型的视觉效果相关联的一种示能表示的选择；以及
响应于检测到对与所述视觉效果相关联的所述示能表示的所述选择，显示对应于所述视觉效果的多个视觉效果选项。
29.根据权利要求20所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
在所述相机效果模式被激活时：
修改参与所述实时视频通信会话的所述对象的所述表示的外观，以显示一个或多个视觉效果。
30.根据权利要求20所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
在所述相机效果模式被激活时：
修改参与所述实时视频通信会话的所述对象的所述表示的外观，以显示虚拟头像；
检测在所述电子设备的一个或多个相机的视野中的面部变化；以及
基于所述面部的所检测到的变化来改变所述虚拟头像的外观。
31.根据权利要求20所述的非暂态计算机可读存储介质，其中所述实时视频通信用户界面还包括：
所述实时视频通信会话中的第二参与者的表示；和
所述实时视频通信会话中的第三参与者的表示。
32.根据权利要求20所述的非暂态计算机可读存储介质，其中多个参与者正在参与所述实时视频通信会话，所述多个参与者包括所述对象和所述第一参与者，其中所述第一参与者是第一远程参与者，并且其中所述实时视频通信用户界面还包括所述第一远程参与者的表示，所述一个或多个程序还包括用于以下操作的指令：
进一步响应于检测到指向所述第一示能表示的所述手势，缩小所述第一远程参与者的所述表示的尺寸。
33.根据权利要求20所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
在所述相机效果模式被激活时：
在参与所述实时视频通信会话的所述对象的所述表示中显示第一视觉效果；
检测对应于所述第一视觉效果的输入；以及
响应于检测到对应于所述第一视觉效果的所述输入：
根据确定所述输入为第一类型，基于所述输入的量值和方向来修改参与所述实时视频通信会话的所述对象的所述表示中所述第一视觉效果的位置；以及
根据确定所述输入为第二类型，基于所述输入的所述量值来修改所述第一视觉效果的尺寸。
34.根据权利要求33所述的非暂态计算机可读存储介质，其中修改所述第一视觉效果的所述位置包括：
在检测到所述输入的终止之前，基于所述输入的所述量值和方向来显示所述第一视觉效果的移动；以及
根据确定所述第一视觉效果移动跨过预先确定的位置的边界区域，生成所述第一视觉效果已经跨过所述边界区域的指示。
35.根据权利要求34所述的非暂态计算机可读存储介质，其中所述指示为触觉反馈或视觉反馈中的至少一者。
36.根据权利要求33所述的非暂态计算机可读存储介质，其中：
修改所述第一视觉效果的所述位置包括显示所述第一视觉效果从第一位置至第二位置的移动；并且
修改所述第一视觉效果的所述尺寸包括显示所述第一视觉效果从第一显示尺寸至第二显示尺寸的转变。
37.根据权利要求33所述的非暂态计算机可读存储介质，其中：
修改所述第一视觉效果的所述位置包括将所述第一视觉效果从显现在第一位置处转变为显现在第二位置处，而不显示显现在中间位置处的所述第一视觉效果；并且
修改所述第一视觉效果的所述尺寸包括将所述第一视觉效果从第一显示尺寸转变为第二显示尺寸，而不显示具有中间尺寸的所述第一视觉效果。
38.根据权利要求20所述的非暂态计算机可读存储介质，所述一个或多个程序还包括用于以下操作的指令：
显示没有所述第一示能表示的所述实时视频通信用户界面；
检测所述实时视频通信用户界面上的触摸输入；以及
响应于检测到所述触摸输入：
根据确定所述相机效果模式被激活，显示实时视频通信选项用户界面，所述实时视频通信选项用户界面包括所述第一示能表示和多个视觉效果示能表示；以及
根据确定所述相机效果模式未被激活，显示所述实时视频通信选项用户界面，所述实时视频通信选项用户界面包括所述第一示能表示并排除所述多个视觉效果示能表示。
39.一种方法，包括：
在具有显示装置的电子设备处：
经由所述显示装置显示实时视频通信应用程序的实时视频通信用户界面，所述实时视频通信用户界面包括在显示器上同时显示：
以第一尺寸显示的实时视频通信会话中第一参与者的表示；
参与与第一参与者的所述实时视频通信会话的对象的表示，其中以小于第一尺寸的第二尺寸显示所述对象的表示；和
与相机效果模式相关联的第一示能表示，其中所述第一示能表示与所述对象的表示分开；
在同时显示第一参与者的表示、所述对象的表示和所述第一示能表示时，检测指向所述第一示能表示的手势；以及
响应于检测到指向所述第一示能表示的所述手势：
激活所述相机效果模式；以及
将参与所述实时视频通信会话的所述对象的所述表示的尺寸增大至第三尺寸，第三尺寸大于第二尺寸并且占据在检测到指向所述第一示能表示的所述手势之前由第一参与者的表示占据的显示器的至少一部分。
40.根据权利要求39所述的方法，还包括：
在显示所述第一示能表示之前，检测所述实时视频通信用户界面上的第一输入，所述第一输入对应于显示与所述实时视频通信会话相关联的一个或多个选项的请求；
响应于检测到所述第一输入：
显示与所述实时视频通信会话相关联的所述一个或多个选项；以及
显示所述第一示能表示。
41.根据权利要求39所述的方法，还包括：
在所述相机效果模式被激活时：
检测对效果选项示能表示的选择；以及
响应于检测到对所述效果选项示能表示的选择，基于与所选择的效果选项示能表示相关联的视觉效果来修改参与所述实时视频通信会话的所述对象的所述表示的外观。
42.根据权利要求41所述的方法，还包括：
检测所述实时视频通信用户界面上的第二输入，所述第二输入对应于缩小参与所述实时视频通信会话的所述对象的所述表示的所述尺寸的请求；以及
响应于检测到所述第二输入，同时显示：
参与所述实时视频通信会话的所述对象的所述表示，参与所述实时视频通信会话的所述对象的所述表示具有基于与所选择的效果选项示能表示相关联的所述视觉效果而修改的外观；和
所述实时视频通信会话中的相应参与者的一个或多个表示。
43.根据权利要求41所述的方法，其中多个参与者正在参与所述实时视频通信会话，所述多个参与者包括所述对象和第一参与者，其中第一参与者是第一远程参与者，并且其中所述对象的表示是所述电子设备的相机的视野的实时预览，所述方法还包括：
在基于与所选择的效果选项示能表示相关联的视觉效果而修改参与所述实时视频通信会话的所述对象的所述表示的外观之后，将与参与所述实时视频通信会话的所述对象的表示的经修改的外观相对应的数据传输至所述多个参与者中的至少第一远程参与者。
44.根据权利要求39所述的方法，其中参与所述实时视频通信会话的所述对象的所述表示包括由与所述电子设备相关联的相机捕获的图像数据。
45.根据权利要求39所述的方法，其中参与所述实时视频通信会话的所述对象的所述表示包括从第二电子设备传输至所述电子设备的图像数据。
46.根据权利要求39所述的方法，还包括：
响应于检测到指向所述第一示能表示的所述手势，显示与第一类型的视觉效果相关联的第一视觉效果示能表示和与不同于所述第一类型的视觉效果的第二类型的视觉效果相关联的第二视觉效果示能表示。
47.根据权利要求46所述的方法，还包括：
检测对所述示能表示中与一种类型的视觉效果相关联的一种示能表示的选择；以及
响应于检测到对与所述视觉效果相关联的所述示能表示的所述选择，显示对应于所述视觉效果的多个视觉效果选项。
48.根据权利要求39所述的方法，还包括：
在所述相机效果模式被激活时：
修改参与所述实时视频通信会话的所述对象的所述表示的外观，以显示一个或多个视觉效果。
49.根据权利要求39所述的方法，还包括：
在所述相机效果模式被激活时：
修改参与所述实时视频通信会话的所述对象的所述表示的外观，以显示虚拟头像；
检测在所述电子设备的一个或多个相机的视野中的面部变化；以及
基于所述面部的所检测到的变化来改变所述虚拟头像的外观。
50.根据权利要求39所述的方法，其中所述实时视频通信用户界面还包括：
所述实时视频通信会话中的第二参与者的表示；和
所述实时视频通信会话中的第三参与者的表示。
51.根据权利要求39所述的方法，其中多个参与者正在参与所述实时视频通信会话，所述多个参与者包括所述对象和所述第一参与者，其中所述第一参与者是第一远程参与者，并且其中所述实时视频通信用户界面还包括所述第一远程参与者的表示，所述方法还包括：
进一步响应于检测到指向所述第一示能表示的所述手势，缩小所述第一远程参与者的所述表示的尺寸。
52.根据权利要求39所述的方法，还包括：
在所述相机效果模式被激活时：
在参与所述实时视频通信会话的所述对象的所述表示中显示第一视觉效果；
检测对应于所述第一视觉效果的输入；以及
响应于检测到对应于所述第一视觉效果的所述输入：
根据确定所述输入为第一类型，基于所述输入的量值和方向来修改参与所述实时视频通信会话的所述对象的所述表示中所述第一视觉效果的位置；以及
根据确定所述输入为第二类型，基于所述输入的所述量值来修改所述第一视觉效果的尺寸。
53.根据权利要求52所述的方法，其中修改所述第一视觉效果的所述位置包括：
在检测到所述输入的终止之前，基于所述输入的所述量值和方向来显示所述第一视觉效果的移动；以及
根据确定所述第一视觉效果移动跨过预先确定的位置的边界区域，生成所述第一视觉效果已经跨过所述边界区域的指示。
54.根据权利要求53所述的方法，其中所述指示为触觉反馈或视觉反馈中的至少一者。
55.根据权利要求52所述的方法，其中：
修改所述第一视觉效果的所述位置包括显示所述第一视觉效果从第一位置至第二位置的移动；并且
修改所述第一视觉效果的所述尺寸包括显示所述第一视觉效果从第一显示尺寸至第二显示尺寸的转变。
56.根据权利要求52所述的方法，其中：
修改所述第一视觉效果的所述位置包括将所述第一视觉效果从显现在第一位置处转变为显现在第二位置处，而不显示显现在中间位置处的所述第一视觉效果；并且
修改所述第一视觉效果的所述尺寸包括将所述第一视觉效果从第一显示尺寸转变为第二显示尺寸，而不显示具有中间尺寸的所述第一视觉效果。
57.根据权利要求39所述的方法，还包括：
显示没有所述第一示能表示的所述实时视频通信用户界面；
检测所述实时视频通信用户界面上的触摸输入；以及
响应于检测到所述触摸输入：
根据确定所述相机效果模式被激活，显示实时视频通信选项用户界面，所述实时视频通信选项用户界面包括所述第一示能表示和多个视觉效果示能表示；以及
根据确定所述相机效果模式未被激活，显示所述实时视频通信选项用户界面，所述实时视频通信选项用户界面包括所述第一示能表示并排除所述多个视觉效果示能表示。
CN201910692978.1A 2018-05-07 2018-09-28 一种显示实时视频通信用户界面的设备、方法和存储介质 Active CN110460799B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201862668227P 2018-05-07 2018-05-07
US62/668,227 2018-05-07
US201862679934P 2018-06-03 2018-06-03
US62/679,934 2018-06-03
DKPA201870367 2018-06-12
DKPA201870366 2018-06-12
DKPA201870368 2018-06-12
DKPA201870367 2018-06-12
DKPA201870368 2018-06-12
DKPA201870366 2018-06-12
US16/110,514 2018-08-23
US16/110,514 US10375313B1 (en) 2018-05-07 2018-08-23 Creative camera
CN201811157549.6A CN110460797A (zh) 2018-05-07 2018-09-28 创意相机

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811157549.6A Division CN110460797A (zh) 2018-05-07 2018-09-28 创意相机

Publications (2)

Publication Number Publication Date
CN110460799A true CN110460799A (zh) 2019-11-15
CN110460799B CN110460799B (zh) 2021-05-07

Family

ID=68466052

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201911219525.3A Active CN110944141B (zh) 2018-05-07 2018-09-28 创意相机
CN201911202668.3A Active CN110933355B (zh) 2018-05-07 2018-09-28 一种用于显示相机用户界面的方法、电子设备和存储介质
CN202110530629.7A Pending CN113114970A (zh) 2018-05-07 2018-09-28 创意相机
CN201811157549.6A Pending CN110460797A (zh) 2018-05-07 2018-09-28 创意相机
CN201910692978.1A Active CN110460799B (zh) 2018-05-07 2018-09-28 一种显示实时视频通信用户界面的设备、方法和存储介质

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN201911219525.3A Active CN110944141B (zh) 2018-05-07 2018-09-28 创意相机
CN201911202668.3A Active CN110933355B (zh) 2018-05-07 2018-09-28 一种用于显示相机用户界面的方法、电子设备和存储介质
CN202110530629.7A Pending CN113114970A (zh) 2018-05-07 2018-09-28 创意相机
CN201811157549.6A Pending CN110460797A (zh) 2018-05-07 2018-09-28 创意相机

Country Status (6)

Country Link
EP (2) EP3590251A1 (zh)
JP (2) JP7073238B2 (zh)
KR (2) KR102315413B1 (zh)
CN (5) CN110944141B (zh)
AU (1) AU2019266049B2 (zh)
WO (1) WO2019217003A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115698927A (zh) * 2020-06-10 2023-02-03 斯纳普公司 用于与图像处理sdk一起使用的界面轮播

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10466889B2 (en) 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
CN110930298A (zh) * 2019-11-29 2020-03-27 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
US11416127B2 (en) 2020-03-10 2022-08-16 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
CN111415635B (zh) * 2020-03-16 2021-08-20 安博思华智能科技有限责任公司 一种大屏显示方法、装置、介质和电子设备
CN113434223A (zh) * 2020-03-23 2021-09-24 北京字节跳动网络技术有限公司 特效处理方法及装置
CN112037338A (zh) * 2020-08-31 2020-12-04 深圳传音控股股份有限公司 Ar形象的创建方法、终端设备以及可读存储介质
CN112034986A (zh) * 2020-08-31 2020-12-04 深圳传音控股股份有限公司 基于ar的交互方法、终端设备以及可读存储介质
CN112135059B (zh) * 2020-09-30 2021-09-28 北京字跳网络技术有限公司 拍摄方法、装置、电子设备和存储介质
US11983702B2 (en) * 2021-02-01 2024-05-14 Apple Inc. Displaying a representation of a card with a layered structure
US11644890B2 (en) * 2021-02-11 2023-05-09 Qualcomm Incorporated Image capturing in extended reality environments
US20230103161A1 (en) * 2021-09-24 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for tracking mitigation in three-dimensional environments
KR102395940B1 (ko) * 2021-12-28 2022-05-09 주식회사 직방 메타버스 기반의 오피스 환경에서 유저영상데이터 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 제어 시스템
EP4273669A1 (en) * 2022-05-06 2023-11-08 Nokia Technologies Oy Monitoring of facial characteristics
EP4273677A1 (en) * 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
JP7524501B2 (ja) 2022-06-28 2024-07-29 楽天グループ株式会社 動画に提供情報を重畳する動画配信
CN117979152A (zh) * 2022-10-19 2024-05-03 抖音视界有限公司 一种图像处理方法、装置、电子设备及存储介质
WO2024107720A1 (en) * 2022-11-15 2024-05-23 Snap Inc. Selectively modifying a gui
WO2024107705A1 (en) * 2022-11-15 2024-05-23 Snap Inc. Navigating previously captured images and ar experiences
CN115802152A (zh) * 2022-12-07 2023-03-14 维沃移动通信有限公司 拍摄方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075727A (zh) * 2010-12-30 2011-05-25 中兴通讯股份有限公司 一种可视电话中图像处理方法和装置
US20130194378A1 (en) * 2012-02-01 2013-08-01 Magor Communicatons Corporation Videoconferencing system providing virtual physical context
CN103947190A (zh) * 2011-12-01 2014-07-23 坦戈迈公司 视频通讯
CN104270597A (zh) * 2010-04-07 2015-01-07 苹果公司 在通话期间建立视频会议
CN105611215A (zh) * 2015-12-30 2016-05-25 掌赢信息科技（上海）有限公司 一种视频通话方法及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
JP2740145B2 (ja) 1995-09-12 1998-04-15 コナミ株式会社 多方向操作スイッチ及びこれを用いたドライビングゲーム機
US6323846B1 (en) 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8099462B2 (en) * 2008-04-28 2012-01-17 Cyberlink Corp. Method of displaying interactive effects in web camera communication
FR2958487A1 (fr) * 2010-04-06 2011-10-07 Alcatel Lucent Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video
CN102447873A (zh) * 2010-10-13 2012-05-09 张明 哈哈视频网络视频聊天娱乐辅助系统
JP2012120080A (ja) 2010-12-03 2012-06-21 Chuo Univ 立体写真撮影装置
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
JP2013101528A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
CN105653031B (zh) * 2011-11-23 2019-10-01 英特尔公司 带有多个视图、显示器以及物理学的姿势输入
CN107257403A (zh) * 2012-04-09 2017-10-17 英特尔公司 使用交互化身的通信
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US9094576B1 (en) * 2013-03-12 2015-07-28 Amazon Technologies, Inc. Rendered audiovisual communication
US10168882B2 (en) * 2013-06-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for switching between camera interfaces
US20150033192A1 (en) * 2013-07-23 2015-01-29 3M Innovative Properties Company Method for creating effective interactive advertising content
CN104869346A (zh) * 2014-02-26 2015-08-26 中国移动通信集团公司 一种视频通话中的图像处理方法及电子设备
CN106133796B (zh) * 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和系统
US9185062B1 (en) * 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
WO2016145129A1 (en) * 2015-03-09 2016-09-15 Ventana 3D, Llc Avatar control system
US20160321833A1 (en) * 2015-04-29 2016-11-03 Seerslab, Inc. Method and apparatus for generating moving photograph based on moving effect
US11112963B2 (en) * 2016-05-18 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for messaging
KR101831516B1 (ko) * 2016-06-08 2018-02-22 주식회사 시어스랩 멀티 스티커를 이용한 영상 생성 방법 및 장치
DK179978B1 (en) * 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
WO2018057272A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Avatar creation and editing
CN106792147A (zh) * 2016-12-08 2017-05-31 天脉聚源(北京)传媒科技有限公司 一种图像替换方法及装置
CN107944397A (zh) * 2017-11-27 2018-04-20 腾讯音乐娱乐科技（深圳）有限公司 视频录制方法、装置及计算机可读存储介质
KR102661019B1 (ko) * 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270597A (zh) * 2010-04-07 2015-01-07 苹果公司 在通话期间建立视频会议
CN102075727A (zh) * 2010-12-30 2011-05-25 中兴通讯股份有限公司 一种可视电话中图像处理方法和装置
CN103947190A (zh) * 2011-12-01 2014-07-23 坦戈迈公司 视频通讯
US20130194378A1 (en) * 2012-02-01 2013-08-01 Magor Communicatons Corporation Videoconferencing system providing virtual physical context
CN105611215A (zh) * 2015-12-30 2016-05-25 掌赢信息科技（上海）有限公司 一种视频通话方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115698927A (zh) * 2020-06-10 2023-02-03 斯纳普公司 用于与图像处理sdk一起使用的界面轮播
US11972090B2 (en) 2020-06-10 2024-04-30 Snap Inc. Interface carousel for use with image processing software development kit
CN115698927B (zh) * 2020-06-10 2024-10-18 斯纳普公司 用于与图像处理sdk一起使用的界面轮播

Also Published As

Publication number Publication date
AU2019266049B2 (en) 2020-12-03
EP3627450A1 (en) 2020-03-25
CN110944141A (zh) 2020-03-31
EP3590251A1 (en) 2020-01-08
JP6960513B2 (ja) 2021-11-05
CN110933355A (zh) 2020-03-27
KR102270766B1 (ko) 2021-06-30
KR20200132995A (ko) 2020-11-25
JP2021051757A (ja) 2021-04-01
CN110944141B (zh) 2020-12-08
CN110460799B (zh) 2021-05-07
CN110933355B (zh) 2021-05-07
CN113114970A (zh) 2021-07-13
CN110460797A (zh) 2019-11-15
AU2019266049A1 (en) 2020-11-26
KR20210080616A (ko) 2021-06-30
JP7073238B2 (ja) 2022-05-23
WO2019217003A1 (en) 2019-11-14
KR102315413B1 (ko) 2021-10-21
JP2019197519A (ja) 2019-11-14

Similar Documents

Publication Publication Date Title
CN110460799A (zh) 创意相机
US10659405B1 (en) Avatar integration with multiple applications
JP7464682B2 (ja) 複数のアプリケーションとのアバターの統合
CN110456965A (zh) 头像创建用户界面
CN109791702A (zh) 头像创建和编辑
CN113330488A (zh) 基于面部特征移动的虚拟头像动画
CN109219796A (zh) 实时视频上的数字触摸
CN107430489A (zh) 共享用户可配置的图形构造
CN109691074A (zh) 用于增强的用户交互的图像数据
CN110457091A (zh) 多参与者实时通信用户界面
US20220374137A1 (en) Avatar sticker editor user interfaces
US20230305688A1 (en) Avatar sticker editor user interfaces
CN110046020A (zh) 头像创建用户界面
KR102438715B1 (ko) 크리에이티브 카메라
KR102357342B1 (ko) 크리에이티브 카메라

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant