CN110490093A - 表情符号录制和发送 - Google Patents

表情符号录制和发送 Download PDF

Info

Publication number
CN110490093A
CN110490093A CN201910692958.4A CN201910692958A CN110490093A CN 110490093 A CN110490093 A CN 110490093A CN 201910692958 A CN201910692958 A CN 201910692958A CN 110490093 A CN110490093 A CN 110490093A
Authority
CN
China
Prior art keywords
avatars
face
equipment
user
head portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910692958.4A
Other languages
English (en)
Other versions
CN110490093B (zh
Inventor
F·A·安祖里斯
S·鲍尔
A·古兹曼
N·斯卡佩尔
A·C·戴伊
N·V·金
H·珐姆
G·P·A·芭莱尔
J·T·伯恩斯坦
A·奥夫南
J·A·玛利亚
G·耶基斯
C·威尔逊
M·琼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DKPA201770393A external-priority patent/DK201770393A1/en
Priority claimed from DKPA201770721A external-priority patent/DK179867B1/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110490093A publication Critical patent/CN110490093A/zh
Application granted granted Critical
Publication of CN110490093B publication Critical patent/CN110490093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08Annexed information, e.g. attachments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]

Abstract

本申请涉及表情符号录制和发送。本公开整体涉及生成和修改虚拟头像。一种具有相机和显示装置的电子设备显示响应于所述相机的视场中的面部的变化而改变外观的虚拟头像。响应于检测到所述相机的所述视场中的所述面部的一个或多个物理特征的变化,所述电子设备修改所述虚拟头像的一个或多个特征。

Description

表情符号录制和发送
本申请是申请日为2018年1月23日、申请号为201880004632.1、名称为“表情符号录制和发送”的发明专利申请的分案申请。
相关申请的交叉引用
本专利申请要求2017年5月16日提交的名称为“Emoji Recording and Sending”的美国临时申请No.62/507,177、2017年9月9日提交的名称为“Emoji Recording andSending”的美国临时申请No.62/556,412以及2017年9月11日提交的美国临时申请No.62/557,121的优先权。本专利申请还要求2017年5月29日提交的名称为“Emoji Recording andSending”的丹麦专利申请No.PA201770393、2017年9月22日提交的名称为“EmojiRecording and Sending”的丹麦专利申请No.PA201770720以及2017年9月22日提交的名称为“Emoji Recording and Sending”的丹麦专利申请No.PA201770721的优先权。这些专利申请的内容据此全文以引用方式并入本文。
技术领域
本公开整体涉及计算机用户界面,并且更具体地涉及用于生成、录制和发送表情符号和虚拟头像的技术。
背景技术
有时作为消息传送通信的一部分发送多媒体内容(诸如,表情符号和虚拟头像)。表情符号和虚拟头像表示多种预定义的人、物体、动作和/或其他事物。一些消息传送应用程序允许用户从预定义的表情符号和虚拟头像库中进行选择,作为可包含其他内容(例如,其他多媒体和/或文本内容)的消息的一部分发送这些表情符号和虚拟头像。贴纸是另一种类型的多媒体内容,有时与消息传送应用程序一起发送该多媒体内容。在某些方面,贴纸类似于表情符号和虚拟化身,因为它们可以表示人、物体、动作和/或其他事物。一些贴纸和/或消息传送应用程序允许贴纸与先前发送或接收的消息相关联。
发明内容
然而,用于使用电子设备来生成、发送和接收表情符号和虚拟头像的一些技术通常很麻烦且效率低下。例如,一些现有技术使用复杂且耗时的用户界面,该用户界面可包括多次按键或击键。一些其他现有技术使用复杂且耗时的方法来操纵和生成表情符号和虚拟头像,这些方法包括要求用户提供大量输入来实现期望的表情符号(例如,期望的动画表情符号或动态表情符号)。现有技术需要比所需更多的时间,这导致浪费用户的时间和设备能量。这后一考虑在电池驱动的设备中是特别重要的。
因此,本技术为电子设备提供了更快、更有效的方法和界面,以用于发送和接收表情符号和虚拟头像。此类方法和界面任选地补充或替代用于发送和接收表情符号的其他方法。此类方法和界面减少对用户所造成的认知负担,并且产生更有效的人机界面。对于电池驱动的计算设备,此类方法和界面节省功率,并且增大电池充电之间的时间间隔。
根据一些实施方案,描述了在具有显示器和相机的电子设备处执行的方法。该方法包括:显示虚拟头像生成界面;在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;在显示虚拟头像的预览的同时,检测虚拟头像生成界面中的输入;响应于在虚拟头像生成界面中检测到输入:根据确定在虚拟头像的预览上开始进行输入,生成表示相应时间处相机视场中的面部表情的静态虚拟头像,其中,基于输入的定时确定该相应时间;并且根据确定输入包括对虚拟头像生成界面中的录制示能表示的激活,生成动画虚拟头像,该动画虚拟头像表示相机视场中的面部表情在一时间段内的变化序列,其中,基于输入的定时来确定该时间段。
根据一些实施方案,描述了一种非暂态计算机可读存储介质。一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储被配置为由具有显示器和相机的电子设备的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于执行以下操作的指令:显示虚拟头像生成界面;在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;在显示虚拟头像的预览的同时,检测虚拟头像生成界面中的输入;响应于在虚拟头像生成界面中检测到输入:根据确定在虚拟头像的预览上开始进行输入,生成表示相应时间处相机视场中的面部表情的静态虚拟头像,其中,基于输入的定时确定该相应时间;并且根据确定输入包括对虚拟头像生成界面中的录制示能表示的激活,生成动画虚拟头像,该动画虚拟头像表示相机视场中的面部表情在一时间段内的变化序列,其中,基于输入的定时来确定该时间段。
根据一些实施方案,描述了一种暂态计算机可读存储介质。一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储被配置为由具有显示器和相机的电子设备的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于执行以下操作的指令:显示虚拟头像生成界面;在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;在显示虚拟头像的预览的同时,检测虚拟头像生成界面中的输入;响应于在虚拟头像生成界面中检测到输入:根据确定在虚拟头像的预览上开始进行输入,生成表示相应时间处相机视场中的面部表情的静态虚拟头像,其中,基于输入的定时确定该相应时间;并且根据确定输入包括对虚拟头像生成界面中的录制示能表示的激活,生成动画虚拟头像,该动画虚拟头像表示相机视场中的面部表情在一时间段内的变化序列,其中,基于输入的定时来确定该时间段。
根据一些实施方案,描述了一种电子设备。该电子设备包括:显示器;相机;一个或多个处理器;以及存储器,该存储器存储被配置为由一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于执行以下操作的指令:显示虚拟头像生成界面;在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;在显示虚拟头像的预览的同时,检测虚拟头像生成界面中的输入;响应于在虚拟头像生成界面中检测到输入:根据确定在虚拟头像的预览上开始进行输入,生成表示相应时间处相机视场中的面部表情的静态虚拟头像,其中,基于输入的定时确定该相应时间;并且根据确定输入包括对虚拟头像生成界面中的录制示能表示的激活,生成动画虚拟头像,该动画虚拟头像表示相机视场中的面部表情在一时间段内的变化序列,其中,基于输入的定时来确定该时间段。
根据一些实施方案,描述了一种电子设备。所述电子设备包括:相机;显示器,该显示器用于显示虚拟头像生成界面以及在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;用于以下操作的装置:在显示虚拟头像的预览的同时,检测虚拟头像生成界面中的输入;以及用于以下操作的装置:响应于在虚拟头像生成界面中检测到输入:根据确定在虚拟头像的预览上开始进行输入,生成表示相应时间处相机视场中的面部表情的静态虚拟头像,其中,基于输入的定时确定该相应时间;并且根据确定输入包括对虚拟头像生成界面中的录制示能表示的激活,生成动画虚拟头像,该动画虚拟头像表示相机视场中的面部表情在一时间段内的变化序列,其中,基于输入的定时来确定该时间段。
根据一些实施方案,描述了在具有显示器和相机的电子设备处执行的方法。该方法包括:显示虚拟头像生成界面;在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;接收基于改变相机视场中的面部的面部表情来生成动画虚拟头像的请求;响应于接收到生成动画虚拟头像的请求,录制相机视场中的面部的面部表情序列;在录制相机视野中的面部的面部表情之后,显示动画虚拟头像的循环版本,该循环版本包括基于响应于生成动画虚拟头像的请求而录制的面部表情序列的动画序列,其中,显示动画虚拟头像的循环版本包括显示两次或更多次动画序列。
根据一些实施方案,描述了一种非暂态计算机可读存储介质。一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储被配置为由具有显示器和相机的电子设备的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于执行以下操作的指令:显示虚拟头像生成界面;在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;接收基于改变相机视场中的面部的面部表情来生成动画虚拟头像的请求;响应于接收到生成动画虚拟头像的请求,录制相机视场中的面部的面部表情序列;在录制相机视野中的面部的面部表情之后,显示动画虚拟头像的循环版本,该循环版本包括基于响应于生成动画虚拟头像的请求而录制的面部表情序列的动画序列,其中,显示动画虚拟头像的循环版本包括显示两次或更多次动画序列。
根据一些实施方案,描述了一种暂态计算机可读存储介质。一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储被配置为由具有显示器和相机的电子设备的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于执行以下操作的指令:显示虚拟头像生成界面;在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;接收基于改变相机视场中的面部的面部表情来生成动画虚拟头像的请求;响应于接收到生成动画虚拟头像的请求,录制相机视场中的面部的面部表情序列;在录制相机视野中的面部的面部表情之后,显示动画虚拟头像的循环版本,该循环版本包括基于响应于生成动画虚拟头像的请求而录制的面部表情序列的动画序列,其中,显示动画虚拟头像的循环版本包括显示两次或更多次动画序列。
根据一些实施方案,描述了一种电子设备。该电子设备包括:显示虚拟头像生成界面;在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;接收基于改变相机视场中的面部的面部表情来生成动画虚拟头像的请求;响应于接收到生成动画虚拟头像的请求,录制相机视场中的面部的面部表情序列;在录制相机视野中的面部的面部表情之后,显示动画虚拟头像的循环版本,该循环版本包括基于响应于生成动画虚拟头像的请求而录制的面部表情序列的动画序列,其中,显示动画虚拟头像的循环版本包括显示两次或更多次动画序列。
根据一些实施方案,描述了一种电子设备。所述电子设备包括:相机;显示器,该显示器用于显示虚拟头像生成界面以及在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;用于以下操作的装置:接收基于改变相机视场中的面部的面部表情来生成动画虚拟头像的请求;用于以下操作的装置:响应于接收到生成动画虚拟头像的请求,录制相机视场中的面部的面部表情序列;用于以下操作的装置:在录制相机视野中的面部的面部表情之后,使得显示动画虚拟头像的循环版本,该循环版本包括基于响应于生成动画虚拟头像的请求而录制的面部表情序列的动画序列,其中,显示动画虚拟头像的循环版本包括显示两次或更多次动画序列。
在一些实施方案中,该方法包括:在具有相机和显示器的电子设备处:显示虚拟头像生成界面;在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;在显示虚拟头像的预览的同时,检测虚拟头像生成界面中的输入;响应于在虚拟头像生成界面中检测到输入:根据确定在虚拟头像的预览上开始进行输入,生成表示相应时间处相机视场中的面部表情的静态虚拟头像,其中,基于输入的定时确定该相应时间;并且根据确定输入包括对虚拟头像生成界面中的录制示能表示的激活,生成动画虚拟头像,该动画虚拟头像表示相机视场中的面部表情在一时间段内的变化序列,其中,基于输入的定时来确定该时间段。
在一些实施方案中,该方法包括:在具有相机和显示器的电子设备处:显示虚拟头像生成界面;在虚拟头像生成界面中显示虚拟头像的预览,其中,虚拟头像的预览对相机视场中的面部外观的变化作出反应;接收基于改变相机视场中的面部的面部表情来生成动画虚拟头像的请求;响应于接收到生成动画虚拟头像的请求,录制相机视场中的面部的面部表情序列;在录制相机视野中的面部的面部表情之后,显示动画虚拟头像的循环版本,该循环版本包括基于响应于生成动画虚拟头像的请求而录制的面部表情序列的动画序列,其中,显示动画虚拟头像的循环版本包括显示两次或更多次动画序列。
在一些实施方案中,该方法包括:在具有一个或多个相机和显示装置的电子设备处:经由显示装置显示虚拟头像,该虚拟头像响应于该一个或多个相机的视场中的面部的变化而改变外观,其中,虚拟头像包括:第一部分和与第一部分不同的第二部分;在经由显示装置显示虚拟头像的同时,检测该一个或多个相机的视场内的面部姿势的变化;响应于检测到面部姿势的变化,改变虚拟头像的外观,这包括:根据确定面部姿势的变化包括面部姿势的第一类型变化,改变虚拟头像的外观包括根据面部姿势的第一类型变化的量值相对于虚拟头像的第二部分移动虚拟头像的第一部分;以及根据确定面部姿势的变化包括面部姿势的第二类型变化,改变虚拟头像的外观包括基于面部姿势的第二类型变化的量值移动虚拟头像的第一部分和虚拟头像的第二部分。
在一些实施方案中,该方法包括:在具有一个或多个相机和显示装置的电子设备处:经由显示装置显示虚拟头像,其中,虚拟头像包括:第一头像特征,第一头像特征对一个或多个相机的视场中的面部的第一物理特征和一个或多个相机的视场内的面部的第二物理特征的变化作出反应;以及第二头像特征;在经由显示装置显示虚拟头像的同时,检测一个或多个相机的视场内的面部的一个或多个物理特征的变化;根据确定这些变化包括第一物理特征的变化:基于第一物理特征的变化来修改虚拟头像的第一头像特征,并且基于第一物理特征的变化放弃修改第二头像特征;并且根据确定这些变化包括第二物理特征的变化:基于第二物理特征的变化来修改第一头像特征,并且基于第二物理特征的变化放弃修改第二头像特征;
在一些实施方案中,该方法包括:在具有一个或多个相机和显示装置的电子设备处:经由显示装置显示虚拟头像,其中,虚拟头像包括:第一头像特征,第一头像特征对一个或多个相机的视场内的面部的第一物理特征的变化作出反应;第二头像特征,第二头像特征对第一物理特征的变化作出反应;以及第三头像特征,第三头像特征并不主要对第一物理特征的变化作出反应;在显示虚拟头像的同时,检测第一物理特征的变化;以及响应于检测到第一物理特征的变化:基于检测到的第一物理特征的变化来修改第一头像特征;基于检测到的第一物理特征的变化来修改第二头像特征;以及基于检测到的第一物理特征的变化放弃修改第三头像特征。
在一些实施方案中,该方法包括:在具有一个或多个相机和显示装置的电子设备处:经由显示装置显示虚拟头像,其中,虚拟头像包括:第一头像特征,第一头像特征对一个或多个相机的视场内的面部的第一物理特征的变化作出反应;第二头像特征,第二头像特征以不同的方式对面部的第二物理特征的变化作出反应,该方式取决于面部的第二物理特征的变化是出现在第二物理特征的第一变化范围内还是出现在第二物理特征的第二变化范围内,第二物理特征的第二变化范围与第二物理特征的第一变化范围不同;在显示虚拟头像的同时,检测一个或多个相机的视场内的面部的相应物理特征的第一变化;以及响应于检测到相应物理特征的第一变化,修改虚拟头像,这包括:根据确定检测到的相应物理特征的第一变化是第一物理特征的变化,修改第一头像特征以反映第一物理特征的变化;以及根据确定检测到的第一变化是第二物理特征的变化并且第二物理特征的变化在第一变化范围内,以第一方式改变第二头像特征的外观以反映第二物理特征的变化;根据确定检测到的第一变化是第二物理特征的变化并且第二物理特征的变化在第二变化范围内,放弃以第一方式改变第二头像特征的外观以反映第二物理特征的变化。
在一些实施方案中,该方法包括:在具有一个或多个相机和显示装置的电子设备处:经由显示装置显示虚拟头像,其中,虚拟头像包括多个头像特征,该多个头像特征对一个或多个相机的视场内的面部的一个或多个物理特征的变化作出反应;在显示虚拟头像的同时,检测面部的多个物理特征的变化,面部的多个物理特征包括与多个头像特征中的一者或多者相对应的第一物理特征以及不与多个头像特征中的任一者相对应的第二物理特征;以及响应于检测到面部的多个物理特征的变化:改变多个头像特征的相应头像特征的外观,其中,相应头像特征的变化的量值和/或方向基于第一物理特征的变化的量值或方向;以及在检测到面部的一个或多个物理特征的变化之前,使虚拟头像中不包括头像特征的部分变形,其中,使头像特征的一部分变形的量值和/或方向基于第二物理特征的变化的量值和/或方向。
在一些实施方案中,该方法包括:在具有一个或多个相机和显示装置的电子设备处:经由显示装置显示虚拟头像,其中,虚拟头像包括:第一头像特征,第一头像特征对一个或多个相机的视场内的面部的第一物理特征的变化作出反应;在显示虚拟头像的同时,检测具有第一物理特征变化量值的第一物理特征变化;响应于检测到第一物理特征的变化:根据确定第一物理特征的变化在第一物理特征值范围内,使第一头像特征改变基于第一物理特征变化量值的第一头像特征变化量值;并且根据确定第一物理特征的变化在与第一物理特征值范围不同的第二物理特征值范围内,使第一头像特征改变第二头像特征变化量值,第二头像特征变化量值与第一头像特征变化量值不同且基于第一物理特征变化量值。
在一些实施方案中,该方法包括:在具有一个或多个相机和显示装置的电子设备处:经由显示装置显示虚拟头像,其中,虚拟头像具有在参考系内的相应空间位置,其中,该相应空间位置基于一个或多个相机的视场内的面部的位置;在显示虚拟头像的同时,检测一个或多个相机的视场内的面部的位置的相应量的变化;响应于检测到一个或多个相机的视场内的面部的位置的变化:根据确定面部的位置的变化包括在第一方向上的第一变化分量,基于第一变化分量和第一修改因子的量值,修改虚拟头像在参考系内的空间位置;并且根据确定位置的变化包括在与第一方向不同的第二方向上的第二变化分量,基于第二变化分量和第二修改因子的量值修改虚拟头像在参考系内的空间位置,第二修改因子与第一修改因子不同。
在一些实施方案中,该方法包括:在具有一个或多个相机和显示装置的电子设备处:经由显示装置显示虚拟头像,其中,虚拟头像对一个或多个相机的视场内的面部的一个或多个物理特征的变化作出反应;在显示虚拟头像的同时,检测面部的一个或多个物理特征的第一配置;在检测面部的一个或多个物理特征的第一配置的同时:根据确定一个或多个物理特征的第一配置满足动画标准,修改虚拟头像以包括第一动画效果,该动画标准包括要求将第一配置保持至少第一阈值时间量以便使动画标准得到满足;并且根据不满足动画标准的一个或多个物理特征的第一配置,放弃修改虚拟头像以包括第一动画效果。
用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。
因此,为设备提供了更快、更有效的方法和界面,以用于生成、发送和接收表情符号,从而提高了此类设备的有效性、效率和用户满意度。此类方法和界面可以补充或替代用于发送和接收表情符号的其他方法。
附图说明
为了更好地理解各种所述实施方案,应结合以下附图参考下面的具体实施方式,其中类似的附图标号在所有附图中指示对应的部分。
图1A是示出了根据一些实施方案的具有触敏显示器的便携式多功能设备的框图。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。
图2示出了根据一些实施方案的具有触摸屏的便携式多功能设备。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。
图4A示出了根据一些实施方案的针对便携式多功能设备上应用程序的菜单的示例性用户界面。
图4B示出了根据一些实施方案的针对具有与显示器分开的触敏表面的多功能设备的示例性用户界面。
图5A示出了根据一些实施方案的个人电子设备。
图5B是示出了根据一些实施方案的个人电子设备的框图。
图6A至图6MM示出了用于生成和发送表情符号、贴纸、虚拟头像和/或其他多媒体内容的示例性用户界面。
图7A至图7J示出了用于接收表情符号、贴纸、虚拟头像和/或其他多媒体内容的示例性用户界面。
图8A至图8B是示出用于生成和发送表情符号、贴纸、虚拟头像和/或其他多媒体内容的方法的流程图。
图9A至图9B是示出用于生成和发送表情符号、贴纸、虚拟头像和/或其他多媒体内容的方法的流程图。
图10A至图10I示出了用于生成和修改便便虚拟头像的示例性用户界面。
图11A至图11C示出了用于生成和修改熊虚拟头像的示例性用户界面。
图12A至图12C示出了用于生成和修改外星人虚拟头像的示例性用户界面。
图13示出了用于生成和修改兔子虚拟头像的示例性用户界面。
图14A至图14D示出了用于生成和修改机器人虚拟头像的示例性用户界面。
图15A至图15B示出了用于生成和修改独角兽虚拟头像的示例性用户界面。
图16A至图16B示出了用于生成和修改鸡虚拟头像的示例性用户界面。
图17A至图17B示出了用于生成和修改猪虚拟头像的示例性用户界面。
图18A和图18B是示出用于基于一个或多个相机检测到的面部生成和修改虚拟头像的方法的流程图。
图19是示出用于基于一个或多个相机检测到的面部生成和修改虚拟头像的方法的流程图。
图20是示出用于基于一个或多个相机检测到的面部生成和修改虚拟头像的方法的流程图。
图21是示出用于基于一个或多个相机检测到的面部生成和修改虚拟头像的方法的流程图。
图22是示出用于基于一个或多个相机检测到的面部生成和修改虚拟头像的方法的流程图。
图23是示出用于基于一个或多个相机检测到的面部生成和修改虚拟头像的方法的流程图。
图24是示出用于基于一个或多个相机检测到的面部生成和修改虚拟头像的方法的流程图。
图25是示出用于基于一个或多个相机检测到的面部生成和修改虚拟头像的方法的流程图。
具体实施方式
以下描述阐述了示例性方法、参数等。然而,应当认识到,此类描述并非意在限制本公开的范围,而是作为对示例性实施方案的描述来提供。
发送具有多媒体内容和文本内容或仅具有多媒体内容的消息有可能更好地传达发送者的消息。例如,多媒体内容诸如虚拟头像(例如,动画或静态表情符号或贴纸)可以提供仅用文本难以传达或无法传达的上下文和/或语气(例如,可以将其称为“非语言通信”)。在一些情况下,预定义的虚拟头像可以用于提供该上下文和/或语气中的一些。然而,预定义的内容无法涵盖所有情况或提供精细调整的上下文或语气。因此,需要提供用于作为消息的一部分生成、发送和接收虚拟头像的有效方法和界面的电子设备。此类技术可以减轻发送和接收消息的用户的认知负担,从而提高生产率。此外,此类技术可减少以其他方式浪费在冗余用户输入上的处理器功率和电池功率。
下面,图1A至图1B、图2、图3、图4A至图4B以及图5A至图5B提供了用于执行用于生成、发送和接收虚拟头像的技术的示例性设备的描述。图6A至图6MM和图7A至图7J示出了用于接收、生成、修改和发送虚拟头像的示例性用户界面。图8A至图8B和图9A至图9B是示出用于接收、生成、修改和发送虚拟头像的示例性方法的流程图。图6A至图6MM以及图7A至图7J中的用户界面用于示出下文描述的过程,这些过程包括图8A至图8B和图9A至图9B中的过程。图10A至图10I、图11A至图11C、图12A至图12C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B示出了根据一些实施方案的用于生成和修改虚拟头像的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程,这些过程包括图18A至图18B、图19、图20、图21、图22、图23、图24和图25中的过程。图10A至图10I、图11A至图11C、图12A至图12C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B的用户界面以及图18A至图18B、图19、图20、图21、图22、图23、图24和图25的过程可以用于生成在图6A至图6MM以及图7A至图7J的界面和图8A至图8B以及图9A至图9B的过程中使用的虚拟头像。
尽管以下描述使用术语“第一”、“第二”等来描述各种元件,但这些元件不应受术语的限制。这些术语只是用于将一个元件与另一元件区分开。例如,第一触摸可被命名为第二触摸并且类似地第二触摸可被命名为第一触摸,而不脱离各种所述实施方案的范围。第一触摸和第二触摸两者均为触摸,但是它们不是同一触摸。
在本文中对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的,而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样,单数形式“一个”和“该”旨在也包括复数形式,除非上下文另外明确地指示。还将理解的是,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
根据上下文,术语“如果”任选地被解释为意指“当......时”、“在......时”或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文描述了电子设备、此类设备的用户界面和使用此类设备的相关过程的实施方案。在一些实施方案中,该设备为还包含其他功能诸如PDA和/或音乐播放器功能的便携式通信设备,诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自AppleInc.(Cupertino,California)的设备、iPod设备、和设备。任选地使用其他便携式电子设备,诸如具有触敏表面(例如,触摸屏显示器和/或触摸板)的膝上型电脑或平板电脑。还应当理解的是,在一些实施方案中,该设备并非便携式通信设备,而是具有触敏表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
在下面的讨论中,描述了一种包括显示器和触敏表面的电子设备。然而,应当理解,该电子设备任选地包括一个或多个其他物理用户界面设备,诸如物理键盘、鼠标和/或操纵杆。
该设备通常支持各种应用程序,诸如以下中的一者或多者:绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频摄像机应用程序、网页浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
在设备上执行的各种应用程序任选地使用至少一个通用的物理用户界面设备,诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息任选地对于不同应用程序被调整和/或变化,和/或在相应应用程序内被调整和/或变化。这样,设备的共用物理架构(诸如触敏表面)任选地利用对于用户而言直观且清楚的用户界面来支持各种应用程序。
现在将注意力转到具有触敏显示器的便携式设备的实施方案。图1A是示出了根据一些实施方案的具有触敏显示器系统112的便携式多功能设备100的框图。触敏显示器112有时为了方便被叫做“触摸屏”,并且有时被称为或被叫做“触敏显示器系统”。设备100包括存储器102(其任选地包括一个或多个计算机可读存储介质)、存储器控制器122、一个或多个处理单元(CPU)120、外围设备接口118、RF电路108、音频电路110、扬声器111、麦克风113、输入/输出(I/O)子系统106、其他输入控制设备116和外部端口124。设备100任选地包括一个或多个光学传感器164。设备100任选地包括用于检测设备100(例如,触敏表面,诸如设备100的触敏显示器系统112)上的接触的强度的一个或多个接触强度传感器165。设备100任选地包括用于在设备100上生成触觉输出的一个或多个触觉输出发生器167(例如,在触敏表面诸如设备100的触敏显示器系统112或设备300的触摸板355上生成触觉输出)。这些部件任选地通过一个或多个通信总线或信号线103进行通信。
如在本说明书和权利要求书中所使用的,术语触敏表面上的接触的“强度”是指触敏表面上的接触(例如,手指接触)的力或压力(每单位面积的力),或是指触敏表面上的接触的力或压力的替代物(代用物)。接触的强度具有值范围,该值范围包括至少四个不同的值并且更典型地包括上百个不同的值(例如,至少256个)。接触的强度任选地使用各种方法和各种传感器或传感器的组合来确定(或测量)。例如,在触敏表面下方或相邻于触敏表面的一个或多个力传感器任选地用于测量触敏表面上的不同点处的力。在一些具体实施中,来自多个力传感器的力测量值被组合(例如,加权平均)以确定所估计的接触力。类似地,触笔的压敏顶端任选地用于确定触笔在触敏表面上的压力。另选地,在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化任选地被用作触敏表面上的接触的力或压力的替代物。在一些具体实施中,接触力或压力的替代物测量直接用于确定是否已经超过强度阈值(例如,强度阈值以对应于替代物测量的单位来描述)。在一些具体实施中,接触力或压力的替代物测量被转换成估计的力或压力,并且估计的力或压力用于确定是否已超过强度阈值(例如,强度阈值是以压力的单位进行测量的压力阈值)。使用接触的强度作为用户输入的属性,从而允许用户访问用户在实地面积有限的尺寸更小的设备上本来不可访问的附加设备功能,该尺寸更小的设备用于(例如,在触敏显示器上)显示示能表示和/或接收用户输入(例如,经由触敏显示器、触敏表面或物理控件/机械控件,诸如旋钮或按钮)。
如本说明书和权利要求书中所使用的,术语“触觉输出”是指将由用户利用用户的触感检测到的设备相对于设备的先前位置的物理位移、设备的部件(例如,触敏表面)相对于设备的另一个部件(例如,外壳)的物理位移、或部件相对于设备的质心的位移。例如,在设备或设备的部件与用户对触摸敏感的表面(例如,手指、手掌或用户手部的其他部分)接触的情况下,通过物理位移生成的触觉输出将由用户解释为触感,该触感对应于设备或设备的部件的物理特征的所感知的变化。例如,触敏表面(例如,触敏显示器或触控板)的移动任选地由用户解释为对物理致动按钮的“按下点击”或“松开点击”。在一些情况下,用户将感觉到触感,诸如“按下点击”或“松开点击”,即使在通过用户的移动而物理地被按压(例如,被移位)的与触敏表面相关联的物理致动按钮没有移动时。又如,即使在触敏表面的光滑度无变化时,触敏表面的移动也会任选地由用户解释或感测为触敏表面的“粗糙度”。虽然用户对触摸的此类解释将受到用户的个体化感官知觉的限制,但是对触摸的许多感官知觉是大多数用户共有的。因此,当触觉输出被描述为对应于用户的特定感官知觉(例如,“按下点击”、“松开点击”、“粗糙度”)时,除非另外陈述,否则所生成的触觉输出对应于设备或其部件的物理位移,该物理位移将会生成典型(或普通)用户的所述感官知觉。
应当理解,设备100仅仅是便携式多功能设备的一个示例,并且设备100任选地具有比所示出的部件更多或更少的部件,任选地组合两个或更多个部件,或者任选地具有这些部件的不同配置或布置。图1A中所示的各种部件以硬件、软件、或硬件与软件两者的组合来实现,包括一个或多个信号处理和/或专用集成电路。
存储器102任选地包括高速随机存取存储器,并且还任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。存储器控制器122任选地控制设备100的其他部件访问存储器102。
外围设备接口118可用于将设备的输入外围设备和输出外围设备耦接到CPU 120和存储器102。所述一个或多个处理器120运行或执行存储器102中所存储的各种软件程序和/或指令集以执行设备100的各种功能并处理数据。在一些实施方案中,外围设备接口118、CPU 120和存储器控制器122任选地被实现在单个芯片诸如芯片104上。在一些其他实施方案中,它们任选地在独立的芯片上实现。
RF(射频)电路108接收和发送也被称作电磁信号的RF信号。RF电路108将电信号转换为电磁信号/将电磁信号转换为电信号,并且经由电磁信号与通信网络和其他通信设备进行通信。RF电路108任选地包括用于执行这些功能的熟知的电路,包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路108任选地通过无线通信来与网络和其他设备进行通信,这些网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如,蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。RF电路108任选地包括用于检测近场通信(NFC)场的熟知的电路,诸如通过近程通信无线电部件来进行检测。无线通信任选地使用多种通信标准、协议和技术中的任一者,包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、蓝牙低功耗(BTLE)、无线保真(Wi-Fi)(例如,IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、IEEE802.11n和/或IEEE 802.11ac)、互联网协议语音(VoIP)、Wi-MAX、电子邮件协议(例如,互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如,可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS),或者包括在本文档提交日期时还未开发出的通信协议的任何其他适当的通信协议。
音频电路110、扬声器111和麦克风113提供用户与设备100之间的音频接口。音频电路110从外围设备接口118接收音频数据,将音频数据转换为电信号,并将电信号传输到扬声器111。扬声器111将电信号转换为人类可听到的声波。音频电路110还接收由麦克风113从声波转换的电信号。音频电路110将电信号转换为音频数据,并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输至存储器102和/或RF电路108。在一些实施方案中,音频电路110还包括耳麦插孔(例如,图2中的212)。耳麦插孔提供音频电路110和可移除的音频输入/输出外围设备之间的接口,该可移除的音频输入/输出外围设备诸如仅输出的耳机或者具有输出(例如,单耳耳机或双耳耳机)和输入(例如,麦克风)两者的耳麦。
I/O子系统106将设备100上的输入/输出外围设备诸如触摸屏112和其他输入控制设备116耦接到外围设备接口118。I/O子系统106任选地包括显示控制器156、光学传感器控制器158、强度传感器控制器159、触觉反馈控制器161、深度控制器169以及用于其他输入或控制设备的一个或多个输入控制器160。该一个或多个输入控制器160从其他输入控制设备116接收电信号/将电信号发送到其他输入控制设备116。其他输入控制设备116任选地包括物理按钮(例如,下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击式转盘等。在一些另选实施方案中,输入控制器160任选地耦接至以下各项中的任一者(或不耦接至以下各项中的任一者):键盘、红外线端口、USB端口以及指向设备诸如鼠标。一个或多个按钮(例如,图2中的208)任选地包括用于扬声器111和/或麦克风113音量控制的增大/减小按钮。一个或多个按钮任选地包括下压按钮(例如,图2中的206)。
快速按下下压按钮任选地脱离触摸屏112的锁定或者任选地开始使用触摸屏上的手势来对设备进行解锁的过程,如在2005年12月23日提交的名称为“Unlocking a Deviceby Performing Gestures on an Unlock Image”的美国专利申请11/322,549(即,美国专利No.7,657,849)中所述的,该美国专利申请据此全文以引用方式并入本文。长按下压按钮(例如206)任选地使设备100开机或关机。一个或多个按钮的功能任选地为用户可定制的。触摸屏112用于实现虚拟按钮或软按钮以及一个或多个软键盘。
触敏显示器112提供设备和用户之间的输入接口和输出接口。显示控制器156从触摸屏112接收电信号和/或将电信号发送至触摸屏112。触摸屏112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及它们的任何组合(统称为“图形”)。在一些实施方案中,一些视觉输出或全部的视觉输出任选地与用户界面对象对应。
触摸屏112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器或传感器组。触摸屏112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测触摸屏112上的接触(和该接触的任何移动或中断),并且将所检测到的接触转换为与被显示在触摸屏112上的用户界面对象(例如,一个或多个软键、图标、网页或图像)的交互。在示例性实施方案中,触摸屏112与用户之间的接触点对应于用户的手指。
触摸屏112任选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术,但是在其他实施方案中使用其他显示技术。触摸屏112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与触摸屏112接触的一个或多个点的其他元件来检测接触及其任何移动或中断,该多种触摸感测技术包括但不限于电容性的、电阻性的、红外线的、和表面声波技术。在示例性实施方案中,使用投射式互电容感测技术,诸如在来自Apple Inc.(Cupertino,California)的和iPod中使用的技术。
触摸屏112的一些实施方案中的触敏显示器任选地类似于以下美国专利中描述的多点触敏触控板:6,323,846(Westerman等人)、6,570,557(Westerman等人)和/或6,677,932(Westerman等人)和/或美国专利公开2002/0015024A1,该每个专利据此全文以引用方式并入。然而,触摸屏112显示来自设备100的视觉输出,而触敏触摸板不提供视觉输出。
在一些实施方案中,触摸屏112的触敏显示器如以下专利申请所述:(1)提交于2006年5月2日的名称为“Multipoint Touch Surface Controller”的美国专利申请11/381,313;(2)2004年5月6日提交的名称为“Multipoint Touchscreen”的美国专利申请No.10/840,862;(3)2004年7月30日提交的名称为“Gestures For Touch Sensitive InputDevices”的美国专利申请No.10/903,964;(4)2005年1月31日提交的名称为“Gestures ForTouch Sensitive Input Devices”的美国专利申请11/048,264;(5)2005年1月18日提交的名称为“Mode-Based Graphical User Interfaces For Touch Sensitive InputDevices”的美国专利申请No.11/038,590;(6)2005年9月16日提交的名称为“VirtualInput Device Placement On A Touch Screen User Interface”的美国专利申请No.11/228,758;(7)2005年9月16日提交的名称为“Operation Of A Computer With A TouchScreen Interface”的美国专利申请No.11/228,700;(8)2005年9月16日提交的名称为“Activating Virtual Keys Of A Touch-Screen Virtual Keyboard”的美国专利申请No.11/228,737;以及(9)2006年3月3日提交的名称为“Multi-Functional Hand-HeldDevice”的美国专利申请No.11/367,749。所有这些申请全文以引用方式并入本文。
触摸屏112任选地具有超过100dpi的视频分辨率。在一些实施方案中,触摸屏具有约160dpi的视频分辨率。用户任选地使用任何合适的物体或附加物诸如触笔、手指等等来与触摸屏112接触。在一些实施方案中,将用户界面设计为主要通过基于手指的接触和手势来工作,由于手指在触摸屏上的接触区域较大,因此这可能不如基于触笔的输入精确。在一些实施方案中,设备将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
在一些实施方案中,除了触摸屏之外,设备100任选地包括用于激活或去激活特定功能的触控板。在一些实施方案中,触控板是设备的触敏区域,与触摸屏不同,该触敏区域不显示视觉输出。触摸板任选地是与触摸屏112分开的触敏表面,或者是由触摸屏形成的触敏表面的延伸部分。
设备100还包括用于为各种部件供电的电力系统162。电力系统162任选地包括电力管理系统、一个或多个电源(例如,电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示符(例如,发光二极管(LED))以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备100任选地还包括一个或多个光学传感器164。图1A示出了耦接到I/O子系统106中的光学传感器控制器158的光学传感器。光学传感器164任选地包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器164从环境接收通过一个或多个透镜而投射的光,并且将光转换为表示图像的数据。结合成像模块143(也叫做相机模块),光学传感器164任选地捕获静态图像或视频。在一些实施方案中,光学传感器位于设备100的后部上,与设备前部上的触摸屏显示器112相背对,使得触摸屏显示器能够用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中,光学传感器位于设备的前部上,使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取该用户的图像以用于视频会议。在一些实施方案中,光学传感器164的位置可由用户改变(例如,通过旋转设备外壳中的透镜和传感器),使得单个光学传感器164与触摸屏显示器一起使用,以用于视频会议和静态图像和/或视频图像采集两者。
设备100任选地还包括一个或多个接触强度传感器165。图1A示出了耦接到I/O子系统106中的强度传感器控制器159的接触强度传感器。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面、或其他强度传感器(例如,用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从环境接收接触强度信息(例如,压力信息或压力信息的代用物)。在一些实施方案中,至少一个接触强度传感器与触敏表面(例如,触敏显示器系统112)并置排列或邻近。在一些实施方案中,至少一个接触强度传感器位于设备100的后部上,与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个接近传感器166。图1A示出了耦接到外围设备接口118的接近传感器166。另选地,接近传感器166任选地耦接到I/O子系统106中的输入控制器160。接近传感器166任选地如以下美国专利申请中所述的那样执行:No.11/241,839,名称为“Proximity Detector In Handheld Device”;No.11/240,788,名称为“ProximityDetector In Handheld Device”;No.11/620,702,名称为“Using Ambient Light SensorTo Augment Proximity Sensor Output”;No.11/586,862,名称为“Automated ResponseTo And Sensing Of User Activity In Portable Devices”;以及No.11/638,251,名称为“Methods And Systems For Automatic Configuration Of Peripherals”,这些美国专利申请据此全文以引用方式并入本文。在一些实施方案中,当多功能设备被置于用户的耳朵附近时(例如,当用户正在进行电话呼叫时),接近传感器关闭并且禁用触摸屏112。
设备100任选地还包括一个或多个触觉输出发生器167。图1A示出了耦接到I/O子系统106中的触觉反馈控制器161的触觉输出发生器。触觉输出发生器167任选地包括一个或多个电声设备,诸如扬声器或其他音频部件;和/或将能量转换成线性运动的机电设备,诸如马达、螺线管、电活性聚合器、压电致动器、静电致动器或其他触觉输出生成部件(例如,将电信号转换成设备上的触觉输出的部件)。接触强度传感器165从触觉反馈模块133接收触觉反馈生成指令,并且在设备100上生成能够由设备100的用户感觉到的触觉输出。在一些实施方案中,至少一个触觉输出发生器与触敏表面(例如,触敏显示器系统112)并置排列或邻近,并且任选地通过竖直地(例如,向设备100的表面内/外)或侧向地(例如,在与设备100的表面相同的平面中向后和向前)移动触敏表面来生成触觉输出。在一些实施方案中,至少一个触觉输出发生器传感器位于设备100的后部上,与位于设备100的前部上的触摸屏显示器112相背对。
设备100任选地还包括一个或多个加速度计168。图1A示出了耦接到外围设备接口118的加速度计168。另选地,加速度计168任选地耦接到I/O子系统106中的输入控制器160。加速度计168任选地如以下美国专利公开中所述的那样执行:美国专利公开20050190059,名称为“Acceleration-based Theft Detection System for Portable ElectronicDevices”和美国专利公开20060017692,名称为“Methods And Apparatuses ForOperating A Portable Device Based On An Accelerometer”,这两个美国专利公开均全文以引用方式并入本文。在一些实施方案中,基于对从一个或多个加速度计接收的数据的分析来在触摸屏显示器上以纵向视图或横向视图显示信息。设备100任选地除了加速度计168之外还包括磁力仪和GPS(或GLONASS或其他全球导航系统)接收器,以用于获取关于设备100的位置和取向(例如,纵向或横向)的信息。
设备100任选地还包括一个或多个深度相机传感器175。图1A示出了耦接到I/O子系统106中的深度相机控制器169的深度相机传感器。深度相机传感器175从环境中接收通过传感器投射的数据。结合成像模块143(也被称为相机模块)、深度相机传感器175相机任选地用于确定由成像模块143捕获的图像的不同部分的深度图。在一些实施方案中,深度相机传感器位于设备100的前部,使得在用户在触摸屏显示器上查看其他视频会议参与者的同时任选地获取具有深度信息的用户图像以用于视频会议,并且捕捉具有深度图数据的自拍。在一些实施方案中,深度相机传感器175的位置可由用户改变(例如,通过旋转设备外壳中的透镜和传感器),使得深度相机传感器175与触摸屏显示器一起使用以用于视频会议和静态图像和/或视频图像采集两者。
在一些实施方案中,存储于存储器102中的软件部件包括操作系统126、通信模块(或指令集)128、接触/运动模块(或指令集)130、图形模块(或指令集)132、文本输入模块(或指令集)134、全球定位系统(GPS)模块(或指令集)135以及应用程序(或指令集)136。此外,在一些实施方案中,存储器102(图1A)或370(图3)存储设备/全局内部状态157,如图1A和图3中所示。设备/全局内部状态157包括以下中的一者或多者:活动应用程序状态,其指示哪些应用程序(如果有的话)当前是活动的;显示状态,其指示什么应用程序、视图或其他信息占据触摸屏显示器112的各个区域;传感器状态,包括从设备的各个传感器和输入控制设备116获取的信息;以及关于设备的位置和/或姿态的位置信息。
操作系统126(例如,Darwin、RTXC、LINUX、UNIX、OS X、iOS、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如,存储器管理、存储设备控制、功率管理等)的各种软件部件和/或驱动程序,并且促进各种硬件部件和软件部件之间的通信。
通信模块128促进通过一个或多个外部端口124来与其他设备进行通信,并且还包括用于处理由RF电路108和/或外部端口124所接收的数据的各种软件部件。外部端口124(例如,通用串行总线(USB)、火线等)适于直接耦接到其他设备或间接地经由网络(例如,互联网、无线LAN等)耦接。在一些实施方案中,外部端口是与(Apple Inc.的商标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如,30针)连接器。
接触/运动模块130任选地检测与触摸屏112(结合显示控制器156)和其他触敏设备(例如,触摸板或物理点击式转盘)的接触。接触/运动模块130包括各种软件部件以用于执行与接触检测相关的各种操作,诸如确定是否已经发生了接触(例如,检测手指按下事件)、确定接触强度(例如,接触的力或压力,或者接触的力或压力的替代物)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如,检测一个或多个手指拖动事件),以及确定接触是否已经停止(例如,检测手指抬起事件或者接触断开)。接触/运动模块130从触敏表面接收接触数据。确定接触点的移动任选地包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变),所述接触点的移动由一系列接触数据表示。这些操作任选地被应用于单点接触(例如,单指接触)或者多点同时接触(例如,“多点触摸”/多个手指接触)。在一些实施方案中,接触/运动模块130和显示控制器156检测触摸板上的接触。
在一些实施方案中,接触/运动模块130使用一组一个或多个强度阈值来确定操作是否已由用户执行(例如,确定用户是否已“点击”图标)。在一些实施方案中,根据软件参数来确定强度阈值的至少一个子集(例如,强度阈值不是由特定物理致动器的激活阈值来确定的,并且可在不改变设备100的物理硬件的情况下被调节)。例如,在不改变触控板或触摸屏显示器硬件的情况下,触控板或触摸屏的鼠标“点击”阈值可被设定成预定义的阈值的大范围中的任一个阈值。另外,在一些具体实施中,向设备的用户提供用于调节一组强度阈值中的一个或多个强度阈值(例如,通过调节各个强度阈值和/或通过利用对“强度”参数的系统级点击来一次调节多个强度阈值)的软件设置。
接触/运动模块130任选地检测用户的手势输入。触敏表面上的不同手势具有不同的接触模式(例如,所检测到的接触的不同运动、计时和/或强度)。因此,任选地通过检测特定接触模式来检测手势。例如,检测手指轻击手势包括检测手指按下事件,然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如,在图标的位置处)检测手指抬起(抬离)事件。作为另一个示例,在触敏表面上检测手指轻扫手势包括检测手指按下事件,然后检测一个或多个手指拖动事件,并且随后检测手指抬起(抬离)事件。
图形模块132包括用于在触摸屏112或其他显示器上呈现和显示图形的各种已知的软件部件,包括用于改变所显示的图形的视觉冲击(例如,亮度、透明度、饱和度、对比度或其他视觉特征)的部件。如本文所用,术语“图形”包括可被显示给用户的任何对象,其非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中,图形模块132存储表示待使用的图形的数据。每个图形任选地被分配有对应的代码。图形模块132从应用程序等接收用于指定待显示的图形的一个或多个代码,在必要的情况下还一起接收坐标数据和其他图形属性数据,并且然后生成屏幕图像数据,以输出至显示控制器156。
触觉反馈模块133包括用于生成指令的各种软件部件,该指令由触觉输出发生器167使用,以便响应于用户与设备100的交互而在设备100上的一个或多个位置处产生触觉输出。
任选地为图形模块132的部件的文本输入模块134提供用于在各种应用程序(例如,联系人137、电子邮件140、IM 141、浏览器147和需要文本输入的任何其他应用程序)中输入文本的软键盘。
GPS模块135确定设备的位置,并提供该信息以供在各种应用程序中使用(例如提供给电话138以供在基于位置的拨号中使用;提供给相机143作为图片/视频元数据;以及提供给提供基于位置的服务的应用,诸如天气桌面小程序、本地黄页桌面小程序和地图/导航桌面小程序)。
应用程序136任选地包括以下模块(或指令集)或者其子集或超集:
·联系人模块137(有时称为通讯录或联系人列表);
·电话模块138;
·视频会议模块139;
·电子邮件客户端模块140;
·即时消息(IM)模块141;
·健身支持模块142;
·用于静态图像和/或视频图像的相机模块143;
·图像管理模块144;
·视频播放器模块;
·音乐播放器模块;
·浏览器模块147;
·日历模块148;
·桌面小程序模块149,其任选地包括以下各项中的一者或多者:天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4、词典桌面小程序149-5、和由用户获取的其他桌面小程序、以及用户创建的桌面小程序149-6;
·用于形成用户创建的桌面小程序149-6的桌面小程序创建器模块150;
·搜索模块151;
·视频和音乐播放器模块152,其合并视频播放器模块和音乐播放器模块;
·记事本模块153;
·地图模块154;以及/或者
·在线视频模块155。
任选地存储在存储器102中的其他应用程序136的示例包括其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别和语音复制。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、和文本输入模块134,联系人模块137任选地用于管理通讯录或联系人列表(例如,存储在存储器102或存储器370中的联系人模块137的应用程序内部状态192中),包括:向通讯录添加一个或多个姓名;从地址簿删除姓名;将电话号码、电子邮件地址、物理地址或其他信息与姓名关联;将图像与姓名关联;对姓名进行归类和分类;提供电话号码或电子邮件地址来发起和/或促进通过电话138、视频会议模块139、电子邮件140或IM 141进行的通信;等等。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,电话模块138任选地用于输入与电话号码对应的字符序列、访问联系人模块137中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话,以及当会话完成时断开或挂断。如上所述,无线通信任选地使用多种通信标准、协议和技术中的任一种。
结合RF电路108、音频电路110、扬声器111、麦克风113、触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132、文本输入模块134、联系人模块137和电话模块138,视频会议模块139包括根据用户指令来发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,电子邮件客户端模块140包括响应于用户指令来创建、发送、接收和管理电子邮件的可执行指令。结合图像管理模块144,电子邮件客户端模块140使得非常容易创建和发送具有由相机模块143拍摄的静态图像或视频图像的电子邮件。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,即时消息模块141包括用于以下操作的可执行指令:输入与即时消息对应的字符序列、修改先前输入的字符、传输相应即时消息(例如,使用短消息服务(SMS)或多媒体消息服务(MMS)协议以用于基于电话的即时消息或者使用XMPP、SIMPLE、或IMPS以用于基于互联网的即时消息)、接收即时消息以及查看所接收的即时消息。在一些实施方案中,所传输和/或接收的即时消息任选地包括图形、照片、音频文件、视频文件和/或MMS和/或增强消息服务(EMS)中所支持的其他附件。如本文所用,“即时消息”是指基于电话的消息(例如,使用SMS或MMS发送的消息)和基于互联网的消息(例如,使用XMPP、SIMPLE或IMPS发送的消息)两者。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135、地图模块154和音乐播放器模块,健身支持模块142包括用于创建健身(例如,具有时间、距离和/或卡路里燃烧目标)的可执行指令;与健身传感器(运动设备)进行通信;接收健身传感器数据;校准用于监视健身的传感器;为健身选择和播放音乐;以及显示、存储和传输健身数据。
结合触摸屏112、显示控制器156、光学传感器164、光学传感器控制器158、接触/运动模块130、图形模块132和图像管理模块144,相机模块143包括用于以下操作的可执行指令:捕获静态图像或视频(包括视频流)并且将它们存储到存储器102中、修改静态图像或视频的特征,或从存储器102删除静态图像或视频。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、和相机模块143,图像管理模块144包括用于排列、修改(例如,编辑)、或以其他方式操控、加标签、删除、呈现(例如,在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,浏览器模块147包括用于根据用户指令来浏览互联网,包括搜索、链接至、接收和显示网页或其部分,以及链接至网页的附件和其他文件的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、电子邮件客户端模块140和浏览器模块147,日历模块148包括根据用户指令来创建、显示、修改和存储日历以及与日历相关联的数据(例如,日历条目、待办事项等)的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147,桌面小程序模块149是任选地由用户下载和使用的微型应用程序(例如,天气桌面小程序149-1、股市桌面小程序149-2、计算器桌面小程序149-3、闹钟桌面小程序149-4和词典桌面小程序149-5)或由用户创建的微型应用程序(例如,用户创建的桌面小程序149-6)。在一些实施方案中,桌面小程序包括HTML(超文本标记语言)文件、CSS(层叠样式表)文件和JavaScript文件。在一些实施方案中,桌面小程序包括XML(可扩展标记语言)文件和JavaScript文件(例如,Yahoo!桌面小程序)。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134和浏览器模块147,桌面小程序创建器模块150任选地被用户用于创建桌面小程序(例如,将网页的用户指定部分转变为桌面小程序)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,搜索模块151包括用于根据用户指令来搜索存储器102中与一个或多个搜索条件(例如,一个或多个用户指定的搜索词)匹配的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、和浏览器模块147,视频和音乐播放器模块152包括允许用户下载和回放以一种或多种文件格式诸如MP3或AAC文件存储的所记录的音乐和其他声音文件的可执行指令,以及用于显示、呈现或以其他方式回放视频(例如,在触摸屏112上或在经由外部端口124连接的外部显示器上)的可执行指令。在一些实施方案中,设备100任选地包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132和文本输入模块134,记事本模块153包括根据用户指令来创建和管理记事本、待办事项等的可执行指令。
结合RF电路108、触摸屏112、显示控制器156、接触/运动模块130、图形模块132、文本输入模块134、GPS模块135和浏览器模块147,地图模块154任选地用于根据用户指令接收、显示、修改和存储地图以及与地图相关联的数据(例如,驾驶方向、与特定位置处或附近的商店及其他兴趣点有关的数据,以及其他基于位置的数据)。
结合触摸屏112、显示控制器156、接触/运动模块130、图形模块132、音频电路110、扬声器111、RF电路108、文本输入模块134、电子邮件客户端模块140和浏览器模块147,在线视频模块155包括用于执行以下操作的指令:允许用户访问、浏览、接收(例如,通过流式传输和/或下载)、回放(例如在触摸屏上或在经由外部端口124所连接的外部显示器上)、发送具有至特定在线视频的链接的电子邮件,以及以其他方式管理一种或多种文件格式诸如H.264的在线视频。在一些实施方案中,使用即时消息模块141而不是电子邮件客户端模块140来发送特定在线视频的链接。在线视频应用程序的其他描述可见于2007年6月20日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interfacefor Playing Online Videos”的美国临时专利申请60/936,562和2007年12月31日提交的名称为“Portable Multifunction Device,Method,and Graphical User Interface forPlaying Online Videos”的美国专利申请11/968,067,这两个专利申请的内容据此全文以引用方式并入本文。
上述每个模块和应用程序对应于用于执行上述一种或多种功能以及在本专利申请中所述的方法(例如,本文所述的计算机实现的方法和其他信息处理方法)的可执行指令集。这些模块(例如,指令集)不必以独立的软件程序、过程或模块实现,因此这些模块的各种子集任选地在各种实施方案中组合或以其他方式重新布置。例如,视频播放器模块任选地与音乐播放器模块组合成单个模块(例如,图1A中的视频和音乐播放器模块152)。在一些实施方案中,存储器102任选地存储上述模块和数据结构的子组。此外,存储器102任选地存储上文未描述的另外的模块和数据结构。
在一些实施方案中,设备100是该设备上的预定义的一组功能的操作唯一地通过触摸屏和/或触摸板来执行的设备。通过使用触摸屏和/或触控板作为用于操作设备100的主要输入控制设备,任选地减少设备100上的物理输入控制设备(例如,下压按钮、拨盘等等)的数量。
唯一地通过触摸屏和/或触控板来执行的预定义的一组功能任选地包括在用户界面之间的导航。在一些实施方案中,触摸板在被用户触摸时将设备100从设备100上显示的任何用户界面导航到主菜单、home菜单或根菜单。在此类实施方案中,使用触摸板来实现“菜单按钮”。在一些其他实施方案中,菜单按钮是物理下压按钮或者其他物理输入控制设备,而不是触摸板。
图1B是示出根据一些实施方案的用于事件处理的示例性部件的框图。在一些实施方案中,存储器102(图1A)或存储器370(图3)包括事件分类器170(例如,在操作系统126中)以及相应的应用程序136-1(例如,前述应用程序137至151、155、380至390中的任一个应用程序)。
事件分类器170接收事件信息并确定要将事件信息递送到的应用程序136-1和应用程序136-1的应用程序视图191。事件分类器170包括事件监视器171和事件分配器模块174。在一些实施方案中,应用程序136-1包括应用程序内部状态192,该应用程序内部状态指示当应用程序是活动的或正在执行时被显示在触敏显示器112上的一个或多个当前应用程序视图。在一些实施方案中,设备/全局内部状态157被事件分类器170用来确定哪个(哪些)应用程序当前是活动的,并且应用程序内部状态192被事件分类器170用来确定要将事件信息递送到的应用程序视图191。
在一些实施方案中,应用程序内部状态192包括附加信息,诸如以下各项中的一者或多者:当应用程序136-1恢复执行时将被使用的恢复信息、指示信息正被显示或准备好用于被应用程序136-1显示的用户界面状态信息、用于使得用户能够返回到应用程序136-1的前一状态或视图的状态队列,以及用户采取的先前动作的重复/撤销队列。
事件监视器171从外围设备接口118接收事件信息。事件信息包括关于子事件(例如,触敏显示器112上的用户触摸,作为多点触摸手势的一部分)的信息。外围设备接口118传输其从I/O子系统106或传感器诸如接近传感器166、一个或多个加速度计168和/或麦克风113(通过音频电路110)接收的信息。外围设备接口118从I/O子系统106接收的信息包括来自触敏显示器112或触敏表面的信息。
在一些实施方案中,事件监视器171以预先确定的间隔将请求发送至外围设备接口118。作为响应,外围设备接口118传输事件信息。在其他实施方案中,外围设备接口118仅当存在显著事件(例如,接收到高于预先确定的噪声阈值和/或接收到超过预先确定的持续时间的输入)时才传输事件信息。
在一些实施方案中,事件分类器170还包括命中视图确定模块172和/或活动事件识别器确定模块173。
当触敏显示器112显示多于一个视图时,命中视图确定模块172提供用于确定子事件已在一个或多个视图内的什么地方发生的软件过程。视图由用户能够在显示器上看到的控件和其他元素构成。
与应用程序相关联的用户界面的另一方面是一组视图,本文中有时也称为应用程序视图或用户界面窗口,在其中显示信息并且发生基于触摸的手势。在其中检测到触摸的(相应应用程序的)应用程序视图任选地对应于在应用程序的程序化或视图分级结构内的程序化水平。例如,在其中检测到触摸的最低水平视图任选地被称为命中视图,并且被识别为正确输入的事件集任选地至少部分地基于初始触摸的命中视图来确定,所述初始触摸开始基于触摸的手势。
命中视图确定模块172接收与基于触摸的手势的子事件相关的信息。当应用程序具有以分级结构组织的多个视图时,命中视图确定模块172将命中视图识别为应当对子事件进行处理的分级结构中的最低视图。在大多数情况下,命中视图是发起子事件(例如,形成事件或潜在事件的子事件序列中的第一子事件)在其中发生的最低水平视图。一旦命中视图被命中视图确定模块172识别,命中视图便通常接收与其被识别为命中视图所针对的同一触摸或输入源相关的所有子事件。
活动事件识别器确定模块173确定视图分级结构内的哪个或哪些视图应接收特定子事件序列。在一些实施方案中,活动事件识别器确定模块173确定仅命中视图应接收特定子事件序列。在其他实施方案中,活动事件识别器确定模块173确定包括子事件的物理位置的所有视图是活跃参与的视图,并因此确定所有活跃参与的视图都应接收特定子事件序列。在其他实施方案中,即使触摸子事件完全被局限到与一个特定视图相关联的区域,分级结构中的较高视图将仍然保持为活跃参与的视图。
事件分配器模块174将事件信息分配到事件识别器(例如,事件识别器180)。在包括活动事件识别器确定模块173的实施方案中,事件分配器模块174将事件信息递送到由活动事件识别器确定模块173确定的事件识别器。在一些实施方案中,事件分配器模块174在事件队列中存储事件信息,该事件信息由相应事件接收器182进行检索。
在一些实施方案中,操作系统126包括事件分类器170。另选地,应用程序136-1包括事件分类器170。在又一个实施方案中,事件分类器170是独立模块,或者是存储在存储器102中的另一个模块(诸如,接触/运动模块130)的一部分。
在一些实施方案中,应用程序136-1包括多个事件处理程序190和一个或多个应用程序视图191,其中的每一个都包括用于处理发生在应用程序的用户界面的相应视图内的触摸事件的指令。应用程序136-1的每个应用程序视图191包括一个或多个事件识别器180。通常,相应应用程序视图191包括多个事件识别器180。在其他实施方案中,事件识别器180中的一个或多个事件识别器是独立模块的一部分,该独立模块为诸如用户界面工具包或应用程序136-1从中继承方法和其他属性的更高级别的对象。在一些实施方案中,相应事件处理程序190包括以下各项中的一者或多者:数据更新器176、对象更新器177、GUI更新器178、和/或从事件分类器170接收的事件数据179。事件处理程序190任选地利用或调用数据更新器176、对象更新器177或GUI更新器178来更新应用程序内部状态192。另选地,应用程序视图191中的一个或多个应用程序视图包括一个或多个相应事件处理程序190。另外,在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178中的一者或多者包括在相应应用程序视图191中。
相应的事件识别器180从事件分类器170接收事件信息(例如,事件数据179),并且从事件信息识别事件。事件识别器180包括事件接收器182和事件比较器184。在一些实施方案中,事件识别器180还包括元数据183和事件传递指令188(其任选地包括子事件递送指令)的至少一个子集。
事件接收器182接收来自事件分类器170的事件信息。事件信息包括关于子事件例如触摸或触摸移动的信息。根据子事件,事件信息还包括附加信息,诸如子事件的位置。当子事件涉及触摸的运动时,事件信息任选地还包括子事件的速率和方向。在一些实施方案中,事件包括设备从一个取向旋转到另一取向(例如,从纵向取向旋转到横向取向,或反之亦然),并且事件信息包括关于设备的当前取向(也被称为设备姿态)的对应信息。
事件比较器184将事件信息与预定义的事件或子事件定义进行比较,并且基于该比较来确定事件或子事件,或者确定或更新事件或子事件的状态。在一些实施方案中,事件比较器184包括事件定义186。事件定义186包含事件的定义(例如,预定义的子事件序列),例如事件1(187-1)、事件2(187-2)以及其他。在一些实施方案中,事件(187)中的子事件例如包括触摸开始、触摸结束、触摸移动、触摸取消和多点触摸。在一个示例中,事件1(187-1)的定义是被显示对象上的双击。例如,双击包括被显示对象上的预先确定时长的第一触摸(触摸开始)、预先确定时长的第一抬离(触摸结束)、被显示对象上的预先确定时长的第二触摸(触摸开始)以及预先确定时长的第二抬离(触摸结束)。在另一个示例中,事件2(187-2)的定义是被显示对象上的拖动。例如,拖动包括被显示对象上的预先确定时长的触摸(或接触)、触摸在触敏显示器112上的移动、以及触摸的抬离(触摸结束)。在一些实施方案中,事件还包括用于一个或多个相关联的事件处理程序190的信息。
在一些实施方案中,事件定义187包括对用于相应用户界面对象的事件的定义。在一些实施方案中,事件比较器184执行命中测试以确定哪个用户界面对象与子事件相关联。例如,在触敏显示器112上显示三个用户界面对象的应用程序视图中,当在触敏显示器112上检测到触摸时,事件比较器184执行命中测试以确定这三个用户界面对象中的哪一个用户界面对象与该触摸(子事件)相关联。如果每个所显示对象与相应事件处理程序190相关联,则事件比较器使用该命中测试的结果来确定哪个事件处理程序190应当被激活。例如,事件比较器184选择与子事件和触发该命中测试的对象相关联的事件处理程序。
在一些实施方案中,相应事件(187)的定义还包括延迟动作,所述延迟动作延迟事件信息的递送,直到已确定子事件序列确实对应于或不对应于事件识别器的事件类型。
当相应事件识别器180确定子事件序列不与事件定义186中的任何事件匹配时,该相应事件识别器180进入事件不可能、事件失败或事件结束状态,在此之后忽略基于触摸的手势的后续子事件。在这种情况下,对于命中视图保持活动的其他事件识别器(如果有的话)继续跟踪并处理持续进行的基于触摸的手势的子事件。
在一些实施方案中,相应事件识别器180包括具有指示事件递送系统应当如何执行对活跃参与的事件识别器的子事件递送的可配置属性、标记和/或列表的元数据183。在一些实施方案中,元数据183包括指示事件识别器彼此如何交互或如何能够交互的可配置属性、标志和/或列表。在一些实施方案中,元数据183包括指示子事件是否递送到视图或程序化分级结构中的不同层级的可配置属性、标志和/或列表。
在一些实施方案中,当事件的一个或多个特定子事件被识别时,相应事件识别器180激活与事件相关联的事件处理程序190。在一些实施方案中,相应事件识别器180将与事件相关联的事件信息递送到事件处理程序190。激活事件处理程序190不同于将子事件发送(和延期发送)到相应命中视图。在一些实施方案中,事件识别器180抛出与所识别的事件相关联的标记,并且与该标记相关联的事件处理程序190获取该标记并执行预定义过程。
在一些实施方案中,事件递送指令188包括递送关于子事件的事件信息而不激活事件处理程序的子事件递送指令。相反,子事件递送指令将事件信息递送到与子事件序列相关联的事件处理程序或者递送到活跃参与的视图。与子事件序列或与活跃参与的视图相关联的事件处理程序接收事件信息并执行预先确定的过程。
在一些实施方案中,数据更新器176创建并更新在应用程序136-1中使用的数据。例如,数据更新器176对联系人模块137中所使用的电话号码进行更新,或者对视频播放器模块中所使用的视频文件进行存储。在一些实施方案中,对象更新器177创建和更新在应用程序136-1中使用的对象。例如,对象更新器177创建新的用户界面对象或更新用户界面对象的位置。GUI更新器178更新GUI。例如,GUI更新器178准备显示信息,并且将显示信息发送到图形模块132用以显示在触敏显示器上。
在一些实施方案中,事件处理程序190包括数据更新器176、对象更新器177和GUI更新器178或者具有对它们的访问权限。在一些实施方案中,数据更新器176、对象更新器177和GUI更新器178被包括在相应应用程序136-1或应用程序视图191的单个模块中。在其他实施方案中,它们被包括在两个或更多个软件模块中。
应当理解,关于触敏显示器上的用户触摸的事件处理的上述论述还适用于利用输入设备来操作多功能设备100的其他形式的用户输入,并不是所有用户输入都是在触摸屏上发起的。例如,任选地与单次或多次键盘按下或按住协作的鼠标移动和鼠标按钮按下;触控板上的接触移动,诸如轻击、拖动、滚动等;触笔输入;设备的移动;口头指令;检测到的眼睛移动;生物特征输入;和/或它们的任何组合任选地被用作对应于限定要识别的事件的子事件的输入。
图2示出了根据一些实施方案的具有触摸屏112的便携式多功能设备100。触摸屏任选地在用户界面(UI)200内显示一个或多个图形。在本实施方案以及下文所述的其他实施方案中,用户能够通过例如利用一根或多根手指202(在图中未按比例绘制)或一支或多支触笔203(在图中未按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。在一些实施方案中,当用户中断与一个或多个图形的接触时,将发生对一个或多个图形的选择。在一些实施方案中,手势任选地包括一次或多次轻击、一次或多次轻扫(从左向右、从右向左、向上和/或向下)和/或已与设备100发生接触的手指的滚动(从右向左、从左向右、向上和/或向下)。在一些具体实施中或在一些情况下,不经意地与图形接触不会选择图形。例如,当与选择对应的手势是轻击时,在应用程序图标上方扫动的轻扫手势任选地不会选择对应的应用程序。
设备100任选地还包括一个或多个物理按钮,诸如“home”或菜单按钮204。如前所述,菜单按钮204任选地用于导航到任选地在设备100上被执行的一组应用程序中的任何应用程序136。另选地,在一些实施方案中,菜单按钮被实现为被显示在触摸屏112上的GUI中的软键。
在一些实施方案中,设备100包括触摸屏112、菜单按钮204、用于使设备开机/关机和用于锁定设备的下压按钮206、一个或多个音量调节按钮208、用户身份模块(SIM)卡槽210、耳麦插孔212和对接/充电外部端口124。下压按钮206任选地用于通过压下该按钮并且将该按钮保持在压下状态持续预定义的时间间隔来对设备进行开/关机;通过压下该按钮并在该预定义的时间间隔过去之前释放该按钮来锁定设备;和/或对设备进行解锁或发起解锁过程。在另选的实施方案中,设备100还通过麦克风113接受用于激活或去激活某些功能的语音输入。设备100还任选地包括用于检测触摸屏112上的接触的强度的一个或多个接触强度传感器165,和/或用于为设备100的用户生成触觉输出的一个或多个触觉输出发生器167。
图3是根据一些实施方案的具有显示器和触敏表面的示例性多功能设备的框图。设备300不必是便携式的。在一些实施方案中,设备300是膝上型电脑、台式计算机、平板电脑、多媒体播放器设备、导航设备、教育设备(诸如儿童学习玩具)、游戏系统或控制设备(例如,家用控制器或工业用控制器)。设备300通常包括一个或多个处理单元(CPU)310、一个或多个网络或其他通信接口360、存储器370和用于使这些部件互连的一个或多个通信总线320。通信总线320任选地包括使系统部件互连并且控制系统部件之间的通信的电路(有时称作芯片组)。设备300包括具有显示器340的输入/输出(I/O)接口330,该显示器通常是触摸屏显示器。I/O接口330还任选地包括键盘和/或鼠标(或其他指向设备)350和触摸板355、用于在设备300上生成触觉输出的触觉输出发生器357(例如,类似于以上参考图1A所述的一个或多个触觉输出发生器167)、传感器359(例如,光学传感器、加速度传感器、接近传感器、触敏传感器和/或接触强度传感器(类似于以上参考图1A所述的一个或多个接触强度传感器165))。存储器370包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备;并且任选地包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器370任选地包括远离CPU310定位的一个或多个存储设备。在一些实施方案中,存储器370存储与便携式多功能设备100(图1A)的存储器102中存储的程序、模块和数据结构类似的程序、模块和数据结构或其子集。此外,存储器370任选地存储在便携式多功能设备100的存储器102中不存在的附加程序、模块和数据结构。例如,设备300的存储器370任选地存储绘图模块380、呈现模块382、文字处理模块384、网站创建模块386、盘编辑模块388、和/或电子表格模块390,而便携式多功能设备100(图1A)的存储器102任选地不存储这些模块。
图3中的上述元素中的每个元素任选地存储于先前提到的存储器设备的一个或多个存储器设备中。上述模块中的每个模块对应于用于执行上述功能的指令集。上述模块或程序(例如,指令集)不必被实现为单独的软件程序、过程或模块,并且因此这些模块的各种子集任选地在各种实施方案中被组合或以其他方式重新布置。在一些实施方案中,存储器370任选地存储上述模块和数据结构的子组。此外,存储器370任选地存储上文未描述的另外的模块和数据结构。
现在将注意力转到任选地在例如便携式多功能设备100上实现的用户界面的实施方案。
图4A示出了根据一些实施方案的便携式多功能设备100上的应用程序菜单的示例性用户界面。类似的用户界面任选地在设备300上实现。在一些实施方案中,用户界面400包括以下元件或者其子集或超集:
·一个或多个无线通信诸如蜂窝信号和Wi-Fi信号的一个或多个信号强度指示器402;
·时间404;
·蓝牙指示器405;
·电池状态指示器406;
·具有针对常用应用程序的图标的托盘408,该图标诸如:
o电话模块138的被标记为“电话”的图标416,该图标416任选地包括未接来电或语音留言的数量的指示符414;
o电子邮件客户端模块140的被标记为“邮件”的图标418,该图标418任选地包括未读电子邮件的数量的指示符410;
o浏览器模块147的标记为“浏览器”的图标420;以及
o视频和音乐播放器模块152(也称为iPod(苹果公司(Apple Inc.)的商标)模块152)的被标记为“iPod”的图标422;以及
·其他应用的图标,诸如:
o IM模块141的被标记为“消息”的图标424;
o日历模块148的被标记为“日历”的图标426;
o图像管理模块144的被标记为“照片”的图标428;
o相机模块143的被标记为“相机”的图标430;
o在线视频模块155的被标记为“在线视频”的图标432;
o股市桌面小程序149-2的被标记为“股市”的图标434;
o地图模块154的被标记为“地图”的图标436;
o天气桌面小程序149-1的被标记为“天气”的图标438;
o闹钟桌面小程序149-4的被标记为“时钟”的图标440;
o健身支持模块142的被标记为“健身支持”的图标442;
o记事本模块153的标记为“记事本”的图标444;以及
o设置应用程序或模块的被标记为“设置”的图标446,该图标提供对设备100及其各种应用程序136的设置的访问。
应当指出的是,图4A中示出的图标标签仅是示例性的。例如,视频和音乐播放器模块152的图标422被标记“音乐”或“音乐播放器”。对于各种应用程序图标任选地使用其他标签。在一些实施方案中,相应应用程序图标的标签包括与该相应应用程序图标对应的应用程序的名称。在一些实施方案中,特定应用程序图标的标签不同于与该特定应用程序图标对应的应用程序的名称。
图4B示出了具有与显示器450(例如,触摸屏显示器112)分开的触敏表面451(例如,图3的平板或触摸板355)的设备(例如,图3的设备300)上的示例性用户界面。设备300还任选地包括用于检测触敏表面451上的接触的强度的一个或多个接触强度传感器(例如,传感器359中的一个或多个传感器)和/或用于为设备300的用户生成触觉输出的一个或多个触觉输出发生器357。
尽管将参考触摸屏显示器112(其中组合了触敏表面和显示器)上的输入给出以下示例中的一些示例,但是在一些实施方案中,设备检测与显示器分开的触敏表面上的输入,如图4B中所示。在一些实施方案中,触敏表面(例如,图4B中的451)具有与显示器(例如,450)上的主轴(例如,图4B中的453)对应的主轴(例如,图4B中的452)。根据这些实施方案,设备检测在与显示器上的相应位置对应的位置(例如,在图4B中,460对应于468并且462对应于470)处与触敏表面451的接触(例如,图4B中的460和462)。这样,在触敏表面(例如,图4B中的451)与多功能设备的显示器(图4B中的450)分开时,由设备在触敏表面上检测到的用户输入(例如,接触460和462以及它们的移动)被该设备用于操控显示器上的用户界面。应当理解,类似的方法任选地用于本文所述的其他用户界面。
另外,虽然主要是参考手指输入(例如,手指接触、单指轻击手势、手指轻扫手势)来给出下面的示例,但是应当理解的是,在一些实施方案中,这些手指输入中的一个或多个手指输入由来自另一输入设备的输入(例如,基于鼠标的输入或触笔输入)替代。例如,轻扫手势任选地由鼠标点击(例如,而不是接触),之后是光标沿着轻扫的路径的移动(例如,而不是接触的移动)替代。又如,轻击手势任选地由在光标位于轻击手势的位置上方时的鼠标点击(例如,代替对接触的检测,之后是停止检测接触)替代。类似地,当同时检测到多个用户输入时,应当理解的是,多个计算机鼠标任选地被同时使用,或鼠标和手指接触任选地被同时使用。
图5A示出了示例性个人电子设备500。设备500包括主体502。在一些实施方案中,设备500可包括相对于设备100和300(例如,图1A至图4B)所述的特征中的一些或全部特征。在一些实施方案中,设备500具有在下文中称为触摸屏504的触敏显示屏504。作为触摸屏504的替代或补充,设备500具有显示器和触敏表面。与设备100和300的情况一样,在一些实施方案中,触摸屏504(或触敏表面)任选地包括用于检测所施加的接触(例如,触摸)强度的一个或多个强度传感器。触摸屏504(或触敏表面)的一个或多个强度传感器可提供表示触摸的强度的输出数据。设备500的用户界面可基于触摸的强度来对触摸作出响应,这意味着不同强度的触摸可调用设备500上的不同用户界面操作。
用于检测和处理触摸强度的示例性技术见于例如以下相关专利申请中:2013年5月8日提交的名称为“Device,Method,and Graphical User Interface for DisplayingUser Interface Objects Corresponding to an Application”的国际专利申请序列号PCT/US2013/040061,发布为WIPO专利公开号WO/2013/169849;以及2013年11月11日提交的名称为“Device,Method,and Graphical User Interface for Transitioning BetweenTouch Input to Display Output Relationships”的国际专利申请序列号PCT/US2013/069483,发布为WIPO专利公开号WO/2014/105276,该每个专利申请据此全文以引用方式并入。
在一些实施方案中,设备500具有一个或多个输入机构506和508。输入机构506和508(如果包括的话)可以是物理形式的。物理输入机构的示例包括下压按钮和可旋转机构。在一些实施方案中,设备500具有一个或多个附接机构。此类附接机构(如果包括的话)可允许将设备500与例如帽子、眼镜、耳环、项链、衬衣、夹克、手镯、表带、手链、裤子、皮带、鞋子、钱包、背包等附接。这些附接机构允许用户穿戴设备500。
图5B示出了示例性个人电子设备500。在一些实施方案中,设备500可包括参考图1A、图1B和图3所述的部件中的一些或全部部件。设备500具有总线512,该总线将I/O部分514与一个或多个计算机处理器516和存储器518操作性地耦接。I/O部分514可连接到显示器504,该显示器可具有触敏部件522并且任选地具有强度传感器524(例如,接触强度传感器)。此外,I/O部分514可与通信单元530连接,用于使用Wi-Fi、蓝牙、近场通信(NFC)、蜂窝和/或其他无线通信技术来接收应用程序和操作系统数据。设备500可包括输入机构506和/或508。例如,输入机构506任选地是可旋转输入设备或者可按压输入设备以及可旋转输入设备。在一些示例中,输入机构508任选地是按钮。
在一些示例中,输入机构508任选地是麦克风。个人电子设备500任选地包括各种传感器,诸如GPS传感器532、加速度计534、定向传感器540(例如,罗盘)、陀螺仪536、运动传感器538和/或其组合,所有这些设备均可操作地连接到I/O部分514。
个人电子设备500的存储器518可以包括用于存储计算机可执行指令的一个或多个非暂态计算机可读存储介质,该可执行指令在由一个或多个计算机处理器516执行时例如可使得计算机处理器执行下述技术,包括过程800、900、1800、1900、2000、2100、2200、2300、2400和2500(分别对应于图8A至图8B、图9A至图9B、图18A至图18B、图19、图20、图21、图22、图23、图24和图25)。计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质。在一些实施例中,存储介质是暂态计算机可读存储介质。在一些实施例中,存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘,以及持久性固态存储器诸如闪存、固态驱动器等。个人电子设备500不限于图5B的部件和配置,而是可包括多种配置中的其他部件或附加部件。
如本文所用,术语“示能表示”是指任选地在设备100、300和/或500(图1A、图3和图5A至图5B)的显示屏上显示的用户交互式图形用户界面对象。例如,图像(例如,图标)、按钮和文本(例如,超链接)任选地各自构成示能表示。
如本文所用,术语“焦点选择器”是指用于指示用户正与之进行交互的用户界面的当前部分的输入元件。在包括光标或其他位置标记的一些具体实施中,光标充当“焦点选择器”,使得当光标在特定用户界面元素(例如,按钮、窗口、滑块或其他用户界面元素)上方时在触敏表面(例如,图3中的触摸板355或图4B中的触敏表面451)上检测到输入(例如,按压输入)的情况下,该特定用户界面元素根据所检测到的输入而被调节。在包括能够实现与触摸屏显示器上的用户界面元素的直接交互的触摸屏显示器(例如,图1A中的触敏显示器系统112或图4A中的触摸屏112)的一些具体实施中,在触摸屏上所检测到的接触充当“焦点选择器”,使得当在触摸屏显示器上在特定用户界面元素(例如,按钮、窗口、滑块或其他用户界面元素)的位置处检测到输入(例如,由接触进行的按压输入)时,该特定用户界面元素根据所检测到的输入而被调节。在一些具体实施中,焦点从用户界面的一个区域移动到用户界面的另一个区域,而无需光标的对应移动或触摸屏显示器上的接触的移动(例如,通过使用制表键或箭头键将焦点从一个按钮移动到另一个按钮);在这些具体实施中,焦点选择器根据焦点在用户界面的不同区域之间的移动而移动。不考虑焦点选择器所采取的具体形式,焦点选择器通常是由用户控制的以便递送与用户界面的用户预期的交互(例如,通过向设备指示用户界面的用户期望与其进行交互的元素)的用户界面元素(或触摸屏显示器上的接触)。例如,在触敏表面(例如,触摸板或触摸屏)上检测到按压输入时,焦点选择器(例如,光标、接触或选择框)在相应按钮上方的位置将指示用户期望激活相应按钮(而不是设备显示器上示出的其他用户界面元素)。
如说明书和权利要求中所使用的,接触的“特征强度”这一术语是指基于接触的一个或多个强度的接触的特征。在一些实施方案中,特征强度基于多个强度样本。特征强度任选地基于相对于预定义事件(例如,在检测到接触之后,在检测到接触抬离之前,在检测到接触开始移动之前或之后,在检测到接触结束之前,在检测到接触的强度增大之前或之后和/或在检测到接触的强度减小之前或之后)而言在预先确定的时间段(例如,0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期间采集的预定义数量的强度样本或一组强度样本。接触的特征强度任选地基于以下各项中的一者或多者:接触的强度的最大值、接触的强度的均值、接触的强度的平均值、接触的强度的前10%处的值、接触的强度的半最大值、接触的强度的90%最大值等。在一些实施方案中,在确定特征强度时使用接触的持续时间(例如,在特征强度是接触的强度在时间上的平均值时)。在一些实施方案中,将特征强度与一组一个或多个强度阈值进行比较,以确定用户是否已执行操作。例如,该组一个或多个强度阈值任选地包括第一强度阈值和第二强度阈值。在该示例中,特征强度未超过第一阈值的接触导致第一操作,特征强度超过第一强度阈值但未超过第二强度阈值的接触导致第二操作,而特征强度超过第二阈值的接触导致第三操作。在一些实施方案中,使用特征强度与一个或多个阈值之间的比较来确定是否要执行一个或多个操作(例如,是执行相应操作还是放弃执行相应操作)而不是用于确定执行第一操作还是第二操作。
在一些实施方案中,识别手势的一部分以用于确定特征强度。例如,触敏表面任选地接收连续的轻扫接触,该连续的轻扫接触从起始位置过渡并到达结束位置,在该结束位置处,接触强度增加。在该示例中,接触在结束位置处的特征强度任选地仅基于连续轻扫接触的一部分,而不是整个轻扫接触(例如,仅结束位置处的轻扫接触的部分)。在一些实施方案中,在确定接触的特征强度之前任选地向轻扫接触的强度应用平滑算法。例如,平滑化算法任选地包括以下各项中的一种或多种:不加权滑动平均平滑化算法、三角平滑化算法、中值滤波器平滑化算法和/或指数平滑化算法。在一些情况下,这些平滑化算法消除了轻扫接触的强度中的窄的尖峰或凹陷,以实现确定特征强度的目的。
任选地相对于一个或多个强度阈值诸如接触检测强度阈值、轻按压强度阈值、深按压强度阈值和/或一个或多个其他强度阈值来表征触敏表面上的接触强度。在一些实施方案中,轻按压强度阈值对应于这样的强度:在该强度下设备将执行通常与点击物理鼠标或触摸板的按钮相关联的操作。在一些实施方案中,深按压强度阈值对应于这样的强度:在该强度下设备将执行与通常与点击物理鼠标或触控板的按钮相关联的操作不同的操作。在一些实施方案中,当检测到特征强度低于轻按压强度阈值(例如,并且高于标称接触检测强度阈值,比标称接触检测强度阈值低的接触不再被检测到)的接触时,设备将根据接触在触敏表面上的移动来移动焦点选择器,而不执行与轻按压强度阈值或深按压强度阈值相关联的操作。一般来讲,除非另有陈述,否则这些强度阈值在不同组的用户界面附图之间是一致的。
接触特征强度从低于轻按压强度阈值的强度增大到介于轻按压强度阈值与深按压强度阈值之间的强度有时被称为“轻按压”输入。接触特征强度从低于深按压强度阈值的强度增大到高于深按压强度阈值的强度有时被称为“深按压”输入。接触特征强度从低于接触检测强度阈值的强度增大到介于接触检测强度阈值与轻按压强度阈值之间的强度有时被称为检测到触摸表面上的接触。接触特征强度从高于接触检测强度阈值的强度减小到低于接触检测强度阈值的强度有时被称为检测到接触从触摸表面抬离。在一些实施方案中,接触检测强度阈值为零。在一些实施方案中,接触检测强度阈值大于零。
在本文中所述的一些实施方案中,响应于检测到包括相应按压输入的手势或响应于检测到利用相应接触(或多个接触)执行的相应按压输入来执行一个或多个操作,其中至少部分地基于检测到该接触(或多个接触)的强度增大到高于按压输入强度阈值而检测到相应按压输入。在一些实施方案中,响应于检测到相应接触的强度增大到高于按压输入强度阈值(例如,相应按压输入的“向下冲程”)来执行相应操作。在一些实施方案中,按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于按压输入强度阈值,并且响应于检测到相应接触的强度随后减小到低于按压输入阈值(例如,相应按压输入的“向上冲程”)来执行相应操作。
在一些实施方案中,设备采用强度滞后以避免有时被称为“抖动”的意外输入,其中设备限定或选择与按压输入强度阈值具有预定义关系的滞后强度阈值(例如,滞后强度阈值比按压输入强度阈值低X个强度单位,或滞后强度阈值是按压输入强度阈值的75%、90%或某个合理比例)。因此,在一些实施方案中,按压输入包括相应接触的强度增大到高于按压输入强度阈值以及该接触的强度随后减小到低于对应于按压输入强度阈值的滞后强度阈值,并且响应于检测到相应接触的强度随后减小到低于滞后强度阈值(例如,相应按压输入的“向上冲程”)来执行相应操作。类似地,在一些实施方案中,仅在设备检测到接触强度从等于或低于滞后强度阈值的强度增大到等于或高于按压输入强度阈值的强度并且任选地接触强度随后减小到等于或低于滞后强度的强度时才检测到按压输入,并且响应于检测到按压输入(例如,根据环境,接触强度增大或接触强度减小)来执行相应操作。
为了容易解释,任选地,响应于检测到以下各种情况中的任一种情况而触发对响应于与按压输入强度阈值相关联的按压输入或响应于包括按压输入的手势而执行的操作的描述:接触强度增大到高于按压输入强度阈值、接触强度从低于滞后强度阈值的强度增大到高于按压输入强度阈值的强度、接触强度减小到低于按压输入强度阈值、和/或接触强度减小到低于与按压输入强度阈值对应的滞后强度阈值。另外,在将操作描述为响应于检测到接触的强度减小到低于按压输入强度阈值而执行的示例中,任选地响应于检测到接触的强度减小到低于对应于并且小于按压输入强度阈值的滞后强度阈值来执行操作。
现在将注意力转到在电子设备(诸如便携式多功能设备100、设备300或设备500)上实现的用户界面(“UI”)以及相关联的过程的实施方案。
图6A至图6MM示出了根据一些实施方案的用于生成和发送虚拟头像的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程,这些过程包括图8A至图8B以及图9A至图9B中的过程。图7A至图7J示出了根据一些实施方案的用于接收和播放虚拟头像的示例性用户界面。图6A至图6MM以及图7A至图7J使用虚拟头像作为虚拟头像的具体示例。
图6A描绘了具有显示器601(在一些情况下,该显示器为触敏显示器)和相机602(该相机至少包括能够捕获表示光谱的一部分(例如,可见光、红外光或紫外光)的数据的图像传感器)的设备600。在一些实施方案中,相机602包括多个图像传感器和/或其他类型的传感器。除了捕获表示感测光的数据之外,在一些实施方案中,相机602能够捕获其他类型的数据诸如深度数据。例如,在一些实施方案中,相机602还使用基于斑点、飞行时间、视差或焦点的技术来捕获深度数据。设备600使用相机602捕获的图像数据包括对应于相机视场内的场景的光谱的一部分的数据。另外,在一些实施方案中,捕获的图像数据还包括光数据的深度数据。在一些其他实施方案中,捕获的图像数据包含足以针对光谱的该部分的数据确定或生成深度数据的数据。在一些实施方案中,设备600包括设备100、300或500的一个或多个特征。
在一些示例中,电子设备600包括深度相机,诸如红外相机、热成像相机或其组合。在一些示例中,该设备还包括光发射设备(例如,光投射器),诸如IR泛光灯、结构化光投影仪或其组合。可选地,光发射设备用于在通过可见光相机和深度相机(例如,IR相机)捕获图像期间照亮对象,并且来自深度相机和可见光相机的信息用于确定由可见光相机捕获的对象的不同部分的深度图。在一些实施方案中,使用来自两个相机(例如,两个可见光相机)的视差信息显示本文所述的照明效果以用于后向图像,并且使用来自深度相机的深度信息结合来自可见光相机的图像数据以用于前向图像(例如,自拍图像)。在一些实施方案中,当使用两个可见光相机确定深度信息时以及使用深度相机确定深度信息时,使用相同的用户界面,从而即使在使用截然不同的技术确定产生照明效果时使用的信息时,也为用户提供一致的体验。在一些实施方案中,在显示应用了所述照明效果之一的相机用户界面时,设备检测相机切换示能表示的选择并且从前向相机(例如,深度相机和可见光相机)切换到后向相机(例如,彼此间隔开的两个可见光相机)(或反之亦然),同时保持用户界面控件的显示以应用照明效果并且将前向相机的视场显示替换为后向相机的视场(反之亦然)。
在图6A中,设备600正在显示具有用于各种应用程序的多个图标的home屏幕界面,这些图标包括用于消息传送应用程序的图标603。响应于图标603上的手势(例如,轻击手势604),设备600显示图6B中的对应于与图标603相关联的消息传送应用程序的用户界面。
在图6B中,设备600正在显示消息传送界面608。元素605-1至605-6与先前的消息传送通信相对应。每个元素605-1至605-6表示与一个或多个远程用户的一次通信,该一个或多个远程用户各自与他们自己的电子设备相关联。响应于在特定元素上的手势(例如,轻击手势606),设备600更新消息传送界面608以显示先前与作为通信的一部分的一个或多个远程用户进行的消息传送通信的一部分,如图6C中所描绘。
在图6C中,设备600正在显示消息传送界面608,该消息传送界面用于与名为“John”(并且具有“JA”的姓名首字母或字母组合)的远程用户进行消息传送通信。消息传送界面608包括消息区域609,该消息区域包括四个先前交换的消息610-1至610-3(消息610-3从设备600的用户发送至“John”,而由设备600从“John”接收其他两个消息)。消息传送界面608还包括消息编写区域612和在消息编写区域612的左边的消息选项图标(包括图标614,例如,访问用于为消息选择贴纸和/或其他多媒体元素的界面的图标)。在一些实施方案中,消息选项图标允许发送不同类型的消息,这些消息包括照片、表情符号、贴纸和其他形式的非文本消息,诸如下面描述的那些消息。
响应于设备600检测到(例如,经由图6C的轻击手势616)对消息编写区域612的选择,如图6D中所描绘地更新消息传送界面608。例如,在图6D中,隐藏(但可以通过选择按钮618再次显示)消息选项图标,显示建议的消息响应620,并且显示虚拟键盘622。在一些情况下,虚拟键盘622用于输入要发送给远程用户的新消息。
在图6E中,消息编写区域612包括文本“晚点赶过来”,例如,经由虚拟键盘622或其他方法诸如语音输入输入该文本。响应于对发送按钮621的选择,设备600将文本作为消息的一部分发送给与消息609中的通信相关联的一个或多个参与者。在图6E的情况下,设备600将消息发送给名为“John”的用户。在图6F中,设备600具有更新的消息区域609,以通过将消息区域612更新为包括消息610-4来反映消息的发送。
在一些情况下,访问消息选项图标以添加或编写新消息(例如,通过向消息添加非文本内容)。例如,响应于设备600检测到对示能表示618的选择(例如,经由图6F中的轻击手势624),再次显示包括图标614的消息选项图标,如图6G中所描绘。响应于对图标614的选择(例如,经由手势,诸如图6H中的轻击手势626),设备600通过用当前正在显示最近项目菜单629(有时称为最近项目的“托盘”)的多媒体项目界面628替换虚拟键盘622来更新消息传送界面608(如图6I中所描绘),该多媒体项目界面包括先前发送的多媒体项目(例如,图6I中的贴纸630-1至630-4,但也可以包括其他类型的多媒体项目,诸如声音、动画或视频)。使用该界面,用户可以选择先前发送的多媒体项目以再次发送。例如,用户可以经由在所选贴纸上的轻击手势在图6I的最近项目菜单629中选择一个贴纸。响应于此类选择,设备600将贴纸放置在消息编写区域612中,或者将所选贴纸发送给在消息区域609中表示的通信中涉及的一个或多个远程用户。在一些实施方案中,使用轻击和拖动手势将所选贴纸(或其他多媒体项目)放置在消息编写区域612或消息区域609中(并且在一些情况下,放置在特定消息上)。例如,经由轻击手势选择特定贴纸。在不破坏与触敏显示器601的接触的情况下,经由拖动手势将贴纸拖动到消息编写区域612或消息区域609。一旦贴纸到达期望位置,则停止与触敏显示器601的接触,并且将贴纸放置在最后的接触位置处。如果最后的接触位置在消息区域609中,则将贴纸发送给与消息区域609中表示的通信相关联的一个或多个远程用户。任选地,将贴纸和将贴纸与特定消息相关联的数据一起发送给远程用户(例如,和指示贴纸“粘贴”在特定消息的特定位置的数据一起发送贴纸)。这些技术不特定于选择和发送贴纸。它还可以应用于可从最近项目菜单629或其他位置选择的其他类型的多媒体项目。
在图6I中,多媒体项目界面628还包括菜单选择按钮632(其允许经由显示与可用菜单相对应的按钮或其他可选项目来选择除最近项目菜单629之外的菜单或界面)和全屏按钮634(其允许多媒体项目界面628扩大到占据显示器的更多地方(或占据整个显示器))。下文进一步描述了全屏按钮634。
除使用菜单选择按钮632来在菜单或界面之间切换之外,还任选地使用手势来在菜单之间切换。例如,响应于轻扫手势(例如,如图6J和图6K中所描绘,通过接触636跨多媒体项目界面628的移动表示的轻扫),设备更新多媒体项目界面628以用虚拟头像菜单638替换最近项目菜单629的显示。尽管正在用虚拟头像菜单638替换最近项目菜单629,但滚动指示符639提供关于多媒体项目界面628中有多少其他菜单可用的反馈。
在图6L中,虚拟头像菜单638已经完全替换了最近项目菜单629的显示。响应于设备600检测到(例如,经由手势诸如图6M的轻击手势642)对继续示能表示640的选择,如图6N中所描绘地显示虚拟头像界面643。该界面允许用户生成反映用户的面部移动和表情的新虚拟头像,如下文进一步描述的。在一些实施方案中,根本不显示虚拟头像菜单638。而是,显示虚拟头像界面643,而不首先显示虚拟头像菜单638。
图6N的虚拟头像界面643包括与不同头像框架相对应的头像模板表示644-1至644-7(例如,具有不同外观和行为的头像角色)。每个头像模板表示可以将检测到的面部移动和表情映射到其上的头像框架。指示符645与当前选择的头像模板相对应。虚拟头像预览646是虚拟头像的“实时”预览,因为对其进行更新以反映用户当前的面部移动和表情。例如,在一些实施方案中,利用相机602,设备600从相机602连续地捕获图像数据。所捕获的图像数据包括可见光数据和深度数据。设备600分析所捕获的图像数据以识别面部移动(例如,肌肉移动、头部取向、凝视方向等)和/或面部表情(例如,微笑、皱眉、愤怒表情、悲伤表情、困惑表情等)。然后,设备600根据当前与虚拟头像预览646相关联的头像框架的参数来更新头像预览646以反映检测到的用户特征。在一些实施方案中,设备600响应于646首先正在执行或显示的虚拟头像界面643而自动开始连续更新虚拟头像预览646。检测对不同头像模板的表示的选择将使设备600基于新选择的头像模板更新虚拟头像预览646。
图6O描绘了所捕获的图像数据650-1至650-5中的用户面部以及对虚拟头像预览的对应更新651-1至651-5的几个示例。这些是设备600更新表情符号预览646以反映用户的面部移动、表情和姿势的示例。在所捕获的图像数据650-1中,设备600检测(例如,基于面部特征、面部肌肉、面部移动和/或面部表情)用户正在目视前方、正在微笑和/或正在高兴。作为响应,除将虚拟头像预览的眼睛更新为直视前方之外,设备600还更新虚拟头像预览以反映用户的微笑和/或快乐表情,如更新651-1中所描绘。尽管在所捕获的图像数据中检测到的用户的物理特征有时是被更新使得虚拟头像反映用户的虚拟头像中的相同物理特征,但在其他情况下,检测到的用户的物理特征的变化使得更新虚拟头像的不同类型的物理特征。例如,在图6O中,由于猴子没有眉毛,用户眉毛的变化被映射到猴子的耳朵(或其他特征)上,如650-2和651-2所示。在该示例中,用户的嘴巴和眼睛被映射到猴子的嘴巴和眼睛上。在图像数据650-3和更新651-3的示例中,用户的不愉快表情和/或皱眉反映在虚拟头像预览的对应特征中。在一些实施方案中,如果用户保持面部表情或面部姿势,如图像650-3和650-4所描绘,则用附加特征(诸如在更新651-4的情况下的眼泪)来更新虚拟头像预览。这种类型的预定义更新也可以响应于检测到的移动不足而发生。在一些实施方案中,更新还基于在图像数据中检测到的用户移动。例如,检测用户头部的旋转的设备600产生使虚拟头像预览类似地旋转的更新。在一些实施方案中,更新还基于用于虚拟头像的特征的物理模型。例如,在图像数据650-5中,设备600检测到用户正在摇头。作为响应,设备600生成更新651-5以反映摇头。另外,在更新651-5中,小狗的耳朵还因应用于小狗耳朵的物理模型而伸出。
在图6P中,设备600经由手势(例如,由接触653表示的轻击手势)检测对录制按钮652的选择。作为响应,更新虚拟头像界面643以示出正在生成动画虚拟头像,如图6Q中所描绘。例如,用停止按钮654替换录制按钮652,不再显示头像模板表示644-1至644-7,并且显示录制进度指示符656,该录制进度指示符指示已经录制动画表情符号多长时间以及仍然可以录制虚拟头像的相对时间量。可以通过任意种方法停止录制,诸如通过预定时间量(例如,15秒)的到期或者通过选择停止按钮654来停止录制。在一些实施方案中,在录制时,设备600正在检测和/或存储用于创建动画虚拟头像的一系列数据点。例如,在一些实施方案中,设备600录制面部移动和/或面部表情的时间序列(例如,作为可能值范围中的值,其中,可能值范围中的每个值与预定移动或表情相对应),然后,将该面部移动和/或面部表情映射到头像模板上以创建动画虚拟头像。另选地,在设备600更新虚拟头像预览以反映用户的面部移动和/或表情时,设备600通过创建虚拟头像预览的视频录制来录制动画虚拟头像。在一些实施方案中,设备600还记录利用设备600的麦克风捕获的声音,使得录制的动画虚拟头像包括可以与虚拟头像的录制动画一起回放的声音。
图6R描绘了在动画虚拟头像的录制期间的稍后时间点。已经更新虚拟头像预览646,以反映新检测到的来自用户的面部移动和/或表情。还更新了指示符656,以反映录制动画虚拟头像的进一步进展。
图6R-1描绘了在头像录制期间检测到用户已经相对于设备改变了其位置的设备600。具体地讲,在与图6R-1相对应的时间点,用户面部不再处于相机的视场中。作为响应,设备600在头像界面643的边缘(例如,与最后检测到的用户面部的位置相对应的边缘)处显示虚拟头像,在虚拟头像周围显示框架角部653,并且显示消息655A(“请将您的面部置于视图中”)以提示用户调整其相对于设备的对准情况。在一些实施方案中,即使在不再在相机的视场中检测到用户面部之后,虚拟头像的录制也仍然继续,但在未检测到用户面部时,虚拟头像将保持静止(或呈现预定姿势(例如,中性姿势))。
图6R-2描绘了用户已经在相机视场之外停留超过预定阈值时间的时间之后的设备600。响应于检测到用户已经在相机视场之外停留超过预定时间的时间,设备600暂停录制虚拟头像。如图6R-2所示,根据录制暂停,设备600已经用录制按钮648替换了停止按钮654。设备600还显示消息655B(“轻击以恢复”),该消息向用户指示已经暂停录制。在一些实施方案中,用户可以通过轻击头像界面643中的任何地方(包括轻击录制按钮648)来恢复录制。当用户已经在相机视场之外停留超过预定阈值时间量的时间时暂停录制虚拟头像,并请求另一输入以恢复录制,这减少了能量使用以及深度相机的使用,从而延长电池功率驱动的设备的电池寿命并且延长深度相机的寿命。
图6S描绘了在动画虚拟头像的录制期间的又一稍后时间点。已经更新虚拟头像预览646,以进一步反映新检测到的来自用户的面部移动和/或表情。还更新了指示符656,以反映录制动画虚拟头像的进一步进展。
在图6S中,接收请求停止录制动画虚拟头像的手势(例如,由接触658表示的轻击手势)。作为响应,设备600停止录制动画虚拟头像并更新虚拟头像界面,如图6T中所描绘。在其他情况下,响应于预定时间段(例如,15秒)到期,设备600停止录制动画虚拟头像并更新虚拟头像界面,如图6T中所描绘。
图6S-1至图6S-3描绘了在录制(例如,生成)虚拟头像的虚拟头像界面643的另一个实施方案。如图6S-1所示,设备600显示定时器659(例如,显示剩余10秒),该定时器指示当前头像录制会话(例如,通过激活录制按钮648发起的会话)剩余的时间。在图6S-2中,进行了4秒的相同录制会话和定时器659当前显示头像录制会话剩余6秒。在图6S-3中,录制会话已经结束(即,图6S-3是比图6S-1晚10秒的时间点)。响应于录制会话结束,设备600用垃圾桶示能表示660-1替换定时器659,可以激活(例如,通过轻击手势)该垃圾桶示能表示以丢弃完成的录制会话。在一些实施方案中,垃圾桶示能表示660的功能类似于图6T以及图6U至图6U-1的丢弃示能表示660。
在图6T中,虚拟头像界面643当前正在播放录制的动画虚拟头像659,而不是显示虚拟头像预览,如动画虚拟头像659的回放的三个快照所描述。在一些实施方案中,录制的动画虚拟头像以循环的方式播放(例如,在没有用户输入的情况下播放录制的动画虚拟头像至少两次,如图6T中的箭头所指示)。虚拟头像界面643还包括丢弃按钮660、静音按钮662和确认按钮664(显示该确认按钮以代替录制按钮652)。丢弃按钮660丢弃所显示的录制动画虚拟头像,而不保存该头像也不将该头像发送给远程用户。静音按钮662允许用户使录制的动画虚拟头像的回放静音。确认按钮664允许将录制的动画虚拟头像发送给远程用户(例如,响应于确认按钮664的激活或者在用户发送消息之前移动到消息编写区域612,直接发送给与消息区域609中显示的通信相关联的一个或多个用户)。在设备600检测到对确认按钮664的选择之后,更新虚拟头像界面643以返回到相对于图6N描述的状态。在一些实施方案中,确认按钮664包括与在用于发送消息编写区域中的消息的发送按钮中显示的发送字形或图标(例如,图6V中的670)类似或相同的字形或图标,其用于指示可以通过选择确认按钮664将录制的动画虚拟头像发送给远程用户。
在正在播放动画虚拟头像659时,响应于在与当前选择的模板不同的头像模板的表示上的轻击手势665,更新动画虚拟头像以反映新的头像模板,而不必重新录制动画虚拟头像。这在图6U中有所描绘,图6U描绘了已经被动画虚拟头像666替换的动画虚拟头像659。将录制的用于生成图6T中的动画虚拟化身659的面部肌肉、面部移动、面部特征和面部表情重新应用于图6U中的新选择的头像模板。
在图6U-1中,当正在播放动画头像666时,设备600检测到与对丢弃示能表示660的选择相对应的轻击手势661。作为响应,设备600丢弃所捕获的动画头像数据(例如,放弃将动画头像添加到消息编写区域612)并转换到图6U-2的界面。在图6U-2中,设备600显示预录制头像界面643,该预录制头像界面类似于图6P中所见到的界面(例如,包括录制按钮)。与图6P相比,头像模板保持为机器人(例如,虚拟头像666)的头像模板,而不是返回到猴子虚拟头像659。也就是说,保留了图6T和图6U中所描绘的回放期间对从头像659到头像666的变化的检测结果。
重新参考图6T,响应于手势(例如,由接触667表示的轻击手势),设备600将录制的动画虚拟头像668添加到消息编写区域612(参见图6V)并使虚拟头像界面643返回到图6N中描述的状态(参见图6V)。然后,用户可以在设备600发送消息(例如,响应于在发送示能表示670上的由接触672表示的轻击手势,如图6W中所描绘)之前向消息(参见图6V)添加更多的消息内容(例如,文本或其他多媒体项目)。另选地,在设备600检测到对确认按钮664的选择时,设备600将录制的动画虚拟头像发送给与消息区域609中显示的通信相关联的一个或多个远程用户,然后更新该消息区域以反映已经将动画虚拟头像668发送给与消息区域609中包括的通信相关联的一个或多个用户,如图6X中所描绘。
图6Y至图6BB描绘了虚拟头像界面643对滚动通过头像模板列表的用户输入的响应。例如,响应于轻扫手势(例如,接触676跨头像模板竖直移动的表示,如图6Y至图6AA中所描绘),设备600滚动头像模板并改变当前选择的头像模板。基于轻扫手势更新头像模板指示符645内存在的头像模板。响应于检测到正在选择新的头像模板,设备600更新虚拟头像预览。例如,在图6Z中,当设备600检测到对头像模板表示644-5的选择时,显示虚拟头像预览678(该虚拟头像预览基于与表示644-5相对应的头像模板),并且在图6AA中,当选择头像模板表示644-8时,显示虚拟头像预览680(该虚拟头像预览基于与表示644-8相对应的头像模板)。
除生成对动画木偶表情符号的录制之外,表情符号界面643还允许生成静态虚拟头像(例如,具有基于虚拟头像的状态确定的表情/外观的贴纸)。例如,在图6CC中,响应于在虚拟头像预览680上的用户输入(例如,由接触682表示的轻击并保持手势),设备600在与用户输入相关联的时间处(例如,当接收到输入时,当用户输入结束时,或与用户输入相关联的一些其他时间处)生成与虚拟头像预览680的状态相对应的贴纸。在实施方案中,设备600显示从虚拟头像预览680剥离的贴纸683(图6DD和图6EE),以指示已经生成贴纸并且/或者用户可以放置贴纸。
在设备600生成贴纸之后,用户任选地从用于贴纸的几个操作中进行选择。例如,用户可以使设备600将贴纸放置在允许稍后使用的最近菜单或其他类似界面中。用户还可以使设备600在设备600发送包含贴纸的消息之前将贴纸放置在消息编写区域612中,用户可以将贴纸放置在消息区域609中(并且任选地)放置在特定消息上,以使设备600将贴纸发送给参与消息区域609中的通信的一个或多个用户。
例如,在图6FF中,设备600已经检测到接触682的抬离,同时接触仍在虚拟头像预览680的上方。作为响应,设备600已经将所生成的贴纸保存到设备600,诸如保存在设备600的存储器中的数据库或库中,可以通过最近项目菜单629(图6I)访问该数据库或库,使得可通过最近项目菜单629或经由设备600上的其他界面任选地选择贴纸。设备600任选地显示,贴纸经由具有不同图形版本684和686的动画在本地保存,如图6FF至图6GG中所描绘,朝向菜单选择按钮632移动。
又如,图6HH至图6KK示出了设备600将生成的贴纸发送给参与消息区域609中表示的通信的一个或多个用户的示例。在图6II中,设备600检测到在虚拟头像预览680上的用户输入(例如,由图6HH至图6JJ中的在虚拟头像预览680上开始的接触688表示的轻击和拖动手势)。当设备600检测到用户将贴纸表示拖动到消息区域609中时,贴纸表示690沿循接触688。一旦设备600检测到消息区域609中的接触688抬离,则设备600将贴纸691发送给作为消息区域609中表示的通信的参与者的一个或多个远程用户,如图6KK中所描绘。
在图6LL中,设备600响应于对全屏按钮634的选择(例如,经由图6LL中的接触692表示的轻击手势)更新虚拟头像界面643以显示更多屏幕(或以全屏模式显示)。图6MM描绘了被放大以占据显示器601的更多地方之后的虚拟头像界面643。当选择按钮692时,该按钮使设备600将虚拟头像界面643返回到其先前的配置。
图7A至图7J描绘了在从远程用户接收到动画表情符号之后的消息传送界面608。尽管图7A至图7J使用图6A至图6MM的设备600作为示例,但图7A至图7J中描绘的用户界面和功能还适用于其他设备(例如,设备100、300或500),该其他设备包括先前未发送贴纸或动画虚拟头像的那些设备。
图7A描绘了在刚刚播放动画虚拟头像之前已经从名为“John”(并且具有“JA”的姓名首字母或字母组合)的远程用户接收到动画虚拟头像700之后的消息界面608。在一些实施方案中,在接收到动画虚拟头像700之后,设备600自动播放该动画虚拟头像。当选择静音按钮702时,该静音按钮使设备600与动画虚拟头像700相关联的任何声音消失。在一些实施方案中,如果动画虚拟头像滚动离开显示器,则任何声音也均消失。在一些实施方案中,如相对于图6A至图6MM所描述的那样显示虚拟头像界面643(例如,虚拟头像界面643包括基于检测到的面部移动/表情和所选头像模板的预览虚拟头像)。
在图7B中,响应于播放动画虚拟头像700一次(例如,从开始到结束播放一次),显示动画虚拟头像700的静止帧703,以代替动画虚拟头像700。回放按钮704也显示在消息区域609中,并且允许通过例如由图7C的接触706表示的轻击特征再次播放动画虚拟头像700。图7D描绘了再次播放动画虚拟头像700的设备600(相对于图7A描述了播放动画表情符号)。
在一些实施方案中,当正在播放动画虚拟头像700时,如果设备600在静音按钮702上接收到用户输入(例如,由图7E的接触708表示的轻击手势),则设备600停止播放与动画虚拟头像700相关联的任何声音,同时继续播放动画虚拟头像700(例如,动画虚拟头像700仍然在没有声音的情况下移动)。在一些实施方案中,响应于对静音按钮702的选择(或者如果设备600上的声音被关闭或者设备600具有启用的可访问性特征),则显示文字本按钮714,如图7H中所描绘。响应于对文字本按钮714的选择(例如,经由图7G的接触716表示的轻击手势),显示用于动画虚拟头像700的声音的文字本718,如图7H中所描绘。文字本718的内容在设备600本地生成或者远程生成(例如,使用远程服务器计算资源来生成)。
响应于在动画虚拟头像700上的用户输入(例如,图7I中的接触720表示的轻击和保持手势),设备600显示与动画虚拟头像700相关的选项菜单,如图7J中所描绘。例如,菜单722包括几个响应按钮723-1至723-6,设备600可以将其发送给参与消息区域609中表示的通信的一个或多个远程用户。另外,还显示菜单724,该菜单具有复制按钮726、保存按钮728和更多按钮730。复制按钮726将动画虚拟头像700复制到设备600的剪贴板。保存按钮728将动画虚拟头像700保存到设备600(例如,保存到稍后可以通过安装在设备600上的应用程序访问的数据库或库)。更多按钮730显示可以相对于动画虚拟头像700执行的另外操作。
图8A至图8B是示出根据一些实施方案的使用电子设备的方法800的流程图。在具有显示器和相机的设备(例如,100、300、500、600)处执行方法800。方法800中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下文所述,方法800提供了用于生成和发送表情符号诸如虚拟头像的直观方式。该方法减少了用户生成和发送表情符号的认知负担,从而创建更有效的人机界面。针对电池驱动的计算设备,使得用户能够更快速且更有效地生成和发送表情符号节省功率并增加电池两次充电之间的时间间隔。
具有相机(例如,602)(例如,被配置为具有用于捕获表示可见光数据、IR光数据、深度数据等的数据的一个或多个传感器)和显示器(例如,601)的电子设备(例如,600)显示(802)虚拟头像生成界面(例如,图6N的643)(例如,用于选择表情符号(动画或静态)、生成静态贴纸和/或录制动画虚拟头像的界面)。电子设备在虚拟头像生成界面中显示(804)虚拟头像的预览(例如,图6N的646)(例如,2D或3D计算机生成图形对象,在一些情况下,其旨在传达非语言消息,诸如情绪或反应)(例如,从多个不同的可用虚拟头像模板中选择的动画虚拟头像)。虚拟头像的预览对在相机视场中的面部的外观的变化作出反应(例如,图6O)(例如,动画虚拟头像将反映用户的头部移动、面部表情和在来自相机中的一个或多个图像传感器的图像数据中检测到的取向)。在显示虚拟头像的预览时,电子设备检测(806)虚拟头像生成界面中的输入(例如,接触652、682或690)。响应于(808)检测到虚拟头像生成界面中的输入并且根据确定输入在虚拟头像的预览(例如,682或690)上开始(例如,在动画虚拟头像上的触摸并保持输入或控制光标的触控板输入),电子设备生成(810)静态虚拟头像贴纸(例如,683或691)(例如,“可粘附”在消息区域中的特定位置上的动画表情符号的静止图像),该静态虚拟头像贴纸表示相应时间处相机视场中的面部的表情。在一些实施方案中,基于输入的定时(例如,在首次接收到输入时,在输入结束时,在与输入相对应的手势开始跨触敏表面移动时,或与输入相关的任何其他时间处)确定该相应时间。根据确定输入包括对虚拟头像生成界面中的录制示能表示(例如,648)的激活(例如,对录制示能表示的轻击),电子设备生成(812)动画虚拟头像(例如,668),该动画虚拟头像表示在一时间段内相机视场中的面部的表情的变化序列(例如,如图6Q至图6S所示)。在一些实施方案中,基于输入的定时(例如,当检测到输入的开始时、当检测到输入的结束时、当检测到输入的某种类型的移动(诸如当输入是触敏表面上的手势时)时开始的时间段,或基于输入的一些其他时间段)确定时间段。在一些实施方案中,虚拟头像是三维的。在一些实施方案中,以3D形式显示虚拟头像的预览(例如,646)或动画虚拟头像(例如,659)。消除用于两种可能风格的通信(例如,动画虚拟头像和静态虚拟头像)的用户输入之间的歧义避免需要单独的界面来生成每种类型的消息内容。减少传递期望消息所需的输入的数量增强了设备的可操作性,并且使用户设备界面更有效(例如,通过允许从单个界面进行多种类型的多媒体通信来帮助用户实现预期通信),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,电子设备显示(814)包括消息区域(例如,609)的消息传送界面(例如,界面608)(例如,消息传送应用程序,诸如Apple的Messages)。消息区域包括来自通信(例如,图6N的消息区域609中的通信)(例如,消息传送线程)的两个或更多个参与者(例如,在图6C中,远程用户“John”和设备600的用户)的消息(例如,610-1至610-4)(例如,从电子设备的用户发送的消息和从不同电子设备的远程用户接收到的消息)。虚拟头像生成界面与消息传送界面同时显示(例如,图6N)(例如,虚拟头像生成界面显示在消息传送界面的下半部分中)。在一些实施方案中,将虚拟头像预览(例如,646)自动显示为虚拟头像生成界面的初始显示的一部分。
在一些实施方案中,消息传送界面包括消息编写区域(例如,612)(例如,用于在将消息发送给接收者之前输入文本、表情符号和其他内容的消息输入区域)并且输入为对虚拟头像预览(例如,646)的轻击。响应于检测到虚拟头像生成界面中的输入,电子设备在消息编写区域中显示静态虚拟头像(例如,683或691)。在一些实施方案中,显示虚拟头像生成界面包括用虚拟头像生成界面的显示替换消息传送界面的虚拟键盘(例如,622)的显示(例如,从图6H到图6N的转换,而不介入数据)。在发送消息之前显示消息的多媒体内容降低了错误消息的可能性,并允许用户在发送消息之前添加更多内容(例如,经由文本或其他内容)。减少传递期望消息所需的消息的数量增强了设备的可操作性,并且使用户设备界面更有效(例如,通过在减少通信所需消息的数量的同时帮助用户实现预期通信),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,头像生成界面包括静态虚拟头像区域(例如,629)(例如,在头像生成界面的底部处显示的先前生成的贴纸的托盘),该静态虚拟头像区域包括一个或多个先前生成的虚拟头像的集合(例如,630-1至630-4)。响应于用户输入(例如,图6CC的682),电子设备将所生成的虚拟头像添加到(612)一个或多个先前生成的虚拟头像的集合(例如,发送头像,收藏虚拟头像,或以其他方式标记虚拟头像,以将其包括在虚拟头像的集合中)。在一些实施方案中,响应于用户输入(例如,626)(例如,对头像生成用户界面或消息传送用户界面中的虚拟头像集合示能表示的选择)显示虚拟头像的集合(例如,贴纸)(例如,包括托盘中新生成贴纸的微型版本)。在一些实施方案中,隐藏先前生成的贴纸的托盘,直到从用户接收到请求显示托盘的输入(例如,输入626)或者直到在电子设备上检测到的一些其他事件指示托盘可能与消息界面或头像生成界面的当前状态相关。在一些实施方案中,在将虚拟头像添加到虚拟头像的集合之后,电子设备从用户接收与第二用户共享虚拟头像集合的请求,并且作为响应,电子设备将虚拟头像的集合发送给第二用户。保持先前发送的消息多媒体内容允许用户在适用于新消息时添加和重新使用先前的内容。不需要重新创建内容增强了设备的可操作性,并且使用户设备界面更有效(例如,通过避免重复生成内容),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,输入在虚拟头像的预览(例如,680)上开始(816)并且在消息区域内的位置处结束(例如,参见图6HH至图6KK)(例如,以手指接触虚拟头像的预览(例如,680)开始、以手指拖动到消息区域继续并且以手指在消息区域中的抬离结束的手势(在一些情况下,手势可以在消息区域中的特定消息上结束,并且贴纸与该特定消息相关联且任选地随该消息在会话中移动而移动))。电子设备将静态虚拟头像(例如,691)发送(818)给与通信相关联的参与者(例如,一个或多个远程用户)(例如,图6KK)。在一些实施方案中,响应于示出静态虚拟头像正从虚拟头像预览中剥离的手势显示动画(图6CC至图6FF)。
在一些实施方案中,静态虚拟头像(例如,691)具有基于在虚拟头像预览(例如,680)上检测到输入(例如,688)时相机视场中的面部的表情确定的外观。在一些实施方案中,响应于在虚拟头像的预览上检测到输入的开始,电子设备使得虚拟头像的预览停止(820)对处于相机视场中的面部的外观的变化作出反应。这向用户指示已经生成了贴纸,并且通过将贴纸发送给用户来向用户预览将贴纸拖动到消息609中显示的通信时发送的贴纸的外观。通过显示将生成的贴纸的预览,而无需用户在看到所得到贴纸之前必须执行额外的交互或完成完整的贴纸生成手势,增强设备的可操作性,这使得人机界面得到改善且更有效。这通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,在输入远离虚拟头像移动之后,虚拟头像预览(例如,680)恢复对变化的反应(例如,当朝向消息会话拖动静态头像时,动画恢复)。在一些实施方案中,虚拟头像预览(例如,680)停止对面部外观的变化作出反应,直到拖动静态头像的输入结束。恢复对虚拟头像预览的更新使得用户能够将生成的贴纸的外观与虚拟头像的其他可能外观进行比较,该虚拟头像的其他可能外观可能潜在地是不同/附加贴纸的基础。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过提供关于可以在用户发送生成内容之前生成的其他内容的反馈来帮助用户实现预期结果),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,响应于用于生成动画虚拟头像的时间段到期(例如,5秒、10秒或15秒的定时器到期,或者停止了该时间段的用户输入),电子设备显示发送或确认示能表示(例如,664)以替代录制示能表示(例如,不再显示虚拟录制按钮,而是显示虚拟发送按钮以代替虚拟录制按钮)。响应于接收到选择发送或确认示能表示的输入(例如,在触敏显示器上的发送示能表示上的轻击手势),电子设备将所生成的动画虚拟头像发送(824)给远程用户(例如,参见图6U和图6X,而不是首先将动画虚拟头像发送到消息编写区域612,如图6V和图6W所示)(例如,将动画虚拟头像发送给与消息传送线程或会话相关联的远程用户,而不将动画虚拟头像首先放置在消息传送界面的另一区域诸如消息编写区域中)。在完成动画虚拟头像的录制之后显示发送或确认按钮以代替录制按钮使得能够通过重复使用不适用于界面的当前状态的按钮占用的区域并且通过向用户提供更多与上下文相关的功能性来在界面中显示更多信息。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过在显示器上显示更多信息/选项,而不会使显示器因未使用元素而混乱),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,响应于用于生成动画虚拟头像的时间段到期,电子设备显示(822)确认示能表示(例如,664)以代替录制示能表示。响应于接收到选择发送示能表示的输入(例如,经由接触667)(例如,在触敏显示器上的发送示能表示上的轻击手势),电子设备在消息传送界面(例如,图6V)的消息编写区域(例如,612)(例如,将显示在键盘上键入的文本的消息传送界面的区域)中显示动画虚拟头像的表示(例如,静态图形元素或动画虚拟头像)。在一些实施方案中,该时间段基于预定时间量(例如,由进度指示符656表示的时间量)。在生成动画虚拟头像之后,电子设备停止显示虚拟头像的预览并显示动画虚拟头像的循环版本(例如,图6T)。循环版本的动画虚拟头像的显示包括显示动画序列两次或更多次(例如,如下文相对于方法900所描述的)。在完成动画虚拟头像的录制之后显示发送或确认按钮以代替录制按钮使得能够通过重复使用不适用于(或不那么适用于)界面的当前状态的按钮占用的区域来在界面中显示更多信息。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过在显示器上显示更多信息/选项,而不会使显示器因未使用元素而混乱),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,使用第一虚拟头像模板(例如,由元素644-4表示的模板,或由图6N的指示符645指示的另一元素)来显示循环版本的动画虚拟头像。电子设备显示多个其他虚拟头像模板的表示(例如,元素644-1至644-7)(例如,不同虚拟头像模板的微型通用版本,诸如笑脸、动物、机器人或其他对象),这些表示包括第二虚拟头像模板的表示(例如,图6Z的元素644-8),其中,第二虚拟头像模板与第一虚拟头像模板不同。在一些实施方案中,多个虚拟头像模板中的一个或多个虚拟头像模板基于可经由消息传送应用程序发送的表情符号。在开始显示循环版本的动画虚拟头像(例如,图6T)之后并且响应于接收到选择第一虚拟头像模板表示的用户输入(例如,665),电子设备更新循环版本的动画虚拟头像的显示以反映第二虚拟头像模板(例如,图6U)(例如,当动画虚拟头像仍然基于面部表情的变化序列时,改变动画虚拟头像的外观以反映新的虚拟头像模板)。例如,动画虚拟头像可以从猴子变为机器人,但其仍将反映相同的相机视场中的面部表情随时间推移的变化序列(例如,参见从图6T到图6U的转换)。基于新选择的头像模板更新动画虚拟头像允许用户通过在录制动画虚拟头像的移动和动作之后允许选择动画虚拟头像的风格来微调用于预期消息的多媒体内容。不需要重新录制动画虚拟头像以尝试新的头像模板增强了设备的可操作性,并且使用户设备界面更有效(例如,通过避免重复生成内容),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,响应于启动虚拟头像生成界面自动显示虚拟头像预览(例如,646)。在一些实施方案中,一旦显示虚拟头像生成界面,则显示虚拟头像预览,而无需用户输入。
在一些实施方案中,响应于检测到相机视场中的面部的第一物理特征(例如,嘴巴微笑、舌头伸出、耳朵摆动、眉毛抬起或任何其他物理特征的任何其他移动)的特性(例如,位置、取向、移动),电子设备基于检测到的特性更新显示的虚拟头像预览的第一物理特征,其中,面部的第一物理特征的类型(例如,眼睛、眉毛、嘴巴、舌头、耳朵)与所显示预览的第一物理特征的类型相同。在一些实施方案中,如果用户的嘴张开,则虚拟头像的嘴将响应地张开(例如,图6O的650-1和651-1处)。类似的结果可以基于面部表情。例如,如果检测到面部的物理特征或特性的一个或多个移动,则电子设备可以确定正在显示预定义情绪。作为响应,可以通过更新对应物理特征或特性以反映检测到的面部表情来更新显示的虚拟头像预览以反映预定义的运动。将用户的物理特征映射到虚拟头像的类似物理特征使得用户能够提供向系统提供输入的移动、表情和姿势,其直观地映射到虚拟头像上,而不需要麻烦或耗时的触摸或键输入。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过以可预测方式将用户的特征映射到虚拟头像来帮助用户实现预期结果,以及减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,响应于检测到相机视场中的面部的第二物理特征的特性,电子设备基于检测到的特性更新显示的虚拟头像预览的第二物理特征,其中,面部的第二物理特征的类型与显示预览的第二物理特征的类型不同(例如,在图6O中,眉毛的移动650-2,以及耳朵的移动651-2)。在一些实施方案中,如果用户正在微笑,且这指示用户开心,则可以改变虚拟头像的不同特征(诸如,独角兽的角或机器人上的灯)以反映微笑。类似的结果可以基于面部表情。例如,如果检测到面部的物理特征或特性的一个或多个移动,则电子设备可以确定正在显示预定义情绪。作为响应,可以通过更新不同组的物理特征或特性以反映检测到的面部表情来任选地更新显示的虚拟头像预览以反映预定义的运动。将用户的物理特征映射到虚拟头像的不同物理特征使得用户能够提供向系统提供输入的移动、表情和姿势,其映射到用户原本无法容易控制的头像特征上。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过将用户的特征映射到虚拟头像使得控制虚拟头像的附加特征来帮助用户实现预期结果,以及减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,响应于检测到相机视场中的面部的移动,电子设备基于用于虚拟头像的物理模型和检测到的移动更新显示的虚拟头像预览的第三物理特征(例如,图6O中的650-5和651-5处)。在一些实施方案中,例如,如果虚拟头像基于用于小狗的虚拟头像模板,则当检测到用户的面部正在摇动时,虚拟头像的面部将摇动,并且即使用户的耳朵未响应于摇动而伸出,虚拟头像的耳朵也可以伸出以反映摇动运动的物理学。在一些实施方案中,基于相机视场中的面部的对应特征的移动和物理模型来更新显示的虚拟头像预览的相同物理特征(例如,耳朵基于用户的耳朵的移动而移动,但也基于用于小狗大耳的物理模型而移动)。基于用于虚拟头像的物理模型更新虚拟头像使得用户能够创建逼真和交互的虚拟头像,该虚拟头像可以传达更广范围的非语言信息。这增强了设备的可操作性,并且使用户设备界面更高效(例如,通过帮助用户使用更加逼真的虚拟头像移动传递预定消息),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,虚拟头像的预览基于预定义的虚拟头像模板(例如,与图6N的表示644-4相关联的头像模板)。电子设备基于与预定义的虚拟头像模板相关联的一个或多个预定义行为来更新虚拟头像的预览。在一些实施方案中,如果未在相机视场中的面部检测到面部表情的移动或变化(例如,650-3和650-4),则虚拟头像的预览显示预定义的响应(例如,651-4),诸如眨眼、旋转头部、作出面部表情或其他动作。
在一些实施方案中,响应于确定在相机视场中不再检测到面部(例如,由于面部已经移出相机视场,面部跟踪失败;面部被遮挡而未出现在相机视场中;或者已经重新定位面部使得设备无法再准确地跟踪面部上的特征的移动),电子设备使虚拟头像预览的显示逐渐淡出(例如,虚拟头像预览646将会淡出)。在一些实施方案中,设备对虚拟头像预览进行其他修改以指示无法再跟踪用户的面部,例如根据设备检测到的最后信息使虚拟头像预览降级,包括改变虚拟头像预览的尺寸、旋转、运动等。在一些实施方案中,响应于确定在相机视场中不再检测到面部(例如,由于面部已经移出相机视场,面部跟踪失败;面部被遮挡而未出现在相机视场中;或者已经重新定位面部使得设备无法再准确地跟踪面部上的特征的移动),电子设备显示指示相机无法再准确地检测到面部的消息(在图6N的虚拟头像643上方或代替图6N的虚拟头像预览646显示显示提示)。在一些实施方案中,响应于确定在相机视场中不再检测到面部(例如,由于面部已经移出相机视场,面部跟踪失败;面部被遮挡而未出现在相机视场中;或者已经重新定位面部使得设备无法再准确地跟踪面部上的特征的移动),电子设备基于在视场中无法再检测到面部之前(例如,在紧接视场中无法再检测到面部之前或在视场中无法再检测到面部之前不久)的时间段内发生的面部外观变化更新虚拟头像的预览的显示(例如,设备600重复显示从微笑到皱眉或眼睛移动的转换)。在一些实施方案中,基于在相机视场中无法再检测到面部之前的时间段内发生的面部外观变化更新虚拟头像的预览的显示包括:逐渐减慢虚拟头像的预览随时间推移的更新,使得虚拟头像的更新逐渐停止(例如,正在转动的头像缓慢地停止转动,正在张开或闭合的眼睛缓慢地停止张开或闭合,正在张开或闭合的嘴巴缓慢地停止张开或闭合)。显示关于虚拟头像预览是否正在跟踪用户面部的反馈使得用户能够确定设备是否被正确保持以及用于检测用户的面部的条件是否正确。向设备状态的用户提供改进的反馈,这增强了设备的可操作性,并且通过以设备仍在试图跟踪用户面部的指示来提供用户界面的更好连续性,使用户设备界面更有效。这提供了更好且更直观的人机界面,并且使得即使在设备无法跟踪用户面部时,用户也能继续与设备进行交互。
需注意,上文相对于方法800所述的过程(例如,图8A至图8B)的详情也以类似方式适用于下文所述的方法。例如,方法900任选地包括上文参考方法800所述的各种方法的一个或多个特性。例如,上文相对于方法800所述的贴纸的生成任选地与下文相对于方法900所述的用户界面结合。又如,在发送如上文相对于方法800所述的动画虚拟头像(例如,动画虚拟头像)之前的声音静音任选地与下文相对于方法900所述的用户界面结合。为了简明起见,这些详情在下文中不再重复。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如为通用处理器(例如,如相对于图1A、图3和图5A所述)或特定于应用程序的芯片。此外,上文参考图8A和图8B所述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,检测虚拟头像生成界面中的输入(806)任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏表面604上的接触,并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较,并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应,预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时,事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用内部状态192。在一些实施例中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
图9A至图9B是示出根据一些实施方案的使用电子设备的方法900的流程图。在具有显示器和相机的设备(例如,100、300、500、600)处执行方法900。方法900中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下文所述,方法900提供了用于生成和发送表情符号诸如虚拟头像的直观方式。该方法减少了用户生成和发送表情符号的认知负担,从而创建更有效的人机界面。针对电池驱动的计算设备,使得用户能够更快速且更有效地生成和发送表情符号节省功率并增加电池两次充电之间的时间间隔。
具有相机(例如,被配置为具有用于捕获表示可见光数据、IR光数据、深度数据等的数据的一个或多个传感器)和显示器(例如,601)的电子设备(例如,600)显示(902)虚拟头像生成界面(例如,图6N的643)(例如,用于选择表情符号、生成静态表情符号和录制动画表情符号的界面)。电子设备在虚拟头像生成界面中显示(904)虚拟头像的预览(例如,图6N的646)(例如,2D或3D计算机生成图形对象,在一些情况下,其旨在传达非语言消息,诸如情绪或反应)(例如,从多个不同的可用表情符号风格或模板中选择的移动表情符号)。虚拟头像的预览对在相机视场中的面部的外观的变化作出反应(例如,图6O)(例如,动画表情符号将反映用户的头部移动、面部表情和在来自一个或多个图像传感器的图像数据中检测到的取向)。电子设备接收(906)基于改变相机视场中的面部的面部表情来生成动画虚拟头像的请求(例如,接触652)。响应于接收到生成动画虚拟头像的请求,电子设备录制(908)(例如,图6Q至图6S)在相机视场中的面部的面部表情序列(例如,包括一系列数据点的序列,这一系列数据点用于提供可应用于虚拟头像模板以生成动画虚拟头像的点的映射)。在录制相机视野中的面部的面部表情之后,电子设备显示(910)包括动画序列的循环版本(例如,图6T和6U)的动画虚拟头像(例如,659),该动画序列基于响应于生成动画虚拟头像的请求而录制的面部表情序列(例如,通过将表示录制的面部表情的一系列数据点顺序地映射到预定义的动画虚拟头像模板来显示动画虚拟头像)。电子设备显示循环版本的动画虚拟头像两次或更多次。在一些实施方案中,录制面部表情序列包括录制用于预定义虚拟头像模板的离散映射点的值的时间序列。显示循环版本的动画虚拟头像使得用户能够随后查看动画虚拟头像内容以理解是否正在传送适当的消息。为用户提供改进的视觉反馈增强了设备的可操作性,减少错误实例,并且使用户设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,以及减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,电子设备响应于定时器到期(例如,由进度指示符656表示)(例如,5秒、10秒或15秒定时器)停止录制面部表情序列。在一些实施方案中,电子设备响应于接收到用户输入(例如,接触658)(例如,用户对显示在显示器上的虚拟按钮的轻击)而停止录制面部表情序列。限制动画虚拟头像录制的时间使用户能够创建动画虚拟头像录制,同时限制对设备的计算资源(例如,存储装置)的影响。这通过节约设备的计算资源来增强设备的可操作性。
在一些实施方案中,电子设备用循环版本的动画虚拟头像的显示替换(912)预览的显示(例如,参见从图6S到图6T的转换)(例如,响应于面部表情序列的录制完成时,以循环方式向用户回放生成的动画虚拟头像)。播放循环版本的录制动画表情符号会自动使得用户在决定是否发送、删除或保存动画表情符号之前查看动画表情符号。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过在用户提交结果之前提供指示结果的反馈来帮助用户实现预期结果,以及减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,生成动画虚拟头像的请求包括选择在虚拟头像生成界面中显示的录制示能表示(例如,648)。在录制在相机视野中的面部的面部表情之后,电子设备用发送或确认示能表示(例如,664)替换录制示能表示的显示。在一些实施方案中,发送示能表示如上文相对于方法800所解释的那样来操作。响应于对录制示能表示的选择而录制动画虚拟头像,使得用户能够使用虚拟头像预览来验证设备正在跟踪用户并且当前选择的虚拟头像模板与用户希望传达的消息一致。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过在用户生成预期结果之前提供预期结果的预览来帮助用户实现预期结果,以及减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,使用第一虚拟头像模板(例如,与元素644-4相对应的头像模板)显示(918)循环版本的动画虚拟头像。电子设备显示多个其他虚拟头像模板的表示(例如,元素644-1至644-7)(例如,不同虚拟头像模板的微型通用版本,诸如笑脸、动物、机器人或其他对象),这些表示包括第二虚拟头像模板的表示(例如,图6Z的元素644-8)。第二虚拟头像模板与第一虚拟头像模板不同。在一些实施方案中,多个虚拟头像模板中的一个或多个虚拟头像模板基于可经由消息传送应用程序发送的表情符号。在开始显示循环版本的动画虚拟头像之后并且响应于接收到选择第一虚拟头像模板表示的用户输入,电子设备更新(922)循环版本的动画虚拟头像的显示以反映第二虚拟头像模板(例如,当动画虚拟头像仍然基于面部表情的变化序列时,改变动画虚拟头像的外观以反映新的虚拟头像模板)。例如,动画虚拟头像可以从猴子变为机器人,但其仍将反映相同的相机视场中的面部表情随时间推移的变化序列(例如,参见从图6T到图6U的转换)。在一些实施方案中,电子设备显示(914)虚拟头像模板的多个表示(例如,不同虚拟头像模板的微型通用版本,诸如笑脸、动物、机器人或其他对象),该多个表示包括第一虚拟头像模板的表示。响应于接收到与对第一虚拟头像模板的表示的选择相对应的用户输入,电子设备更新(916)循环版本的动画虚拟头像的显示以与第一虚拟头像模板相对应(例如,在不需要用户重新录制任何面部表情的情况下,将动画更改为基于机器人虚拟头像模板的机器人动画而不是基于小狗虚拟头像模板的小狗动画)。基于新选择的头像模板更新动画虚拟头像允许用户通过在录制动画虚拟头像的移动和动作之后允许选择动画虚拟头像的风格来微调用于预期消息的多媒体内容。不需要重新录制动画虚拟头像以预览新的头像模板增强了设备的可操作性,并且使用户设备界面更有效(例如,通过避免重复生成内容),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,预览虚拟头像基于第二头像模板。响应于检测到相机视场中的面部(例如,图6O的650-2)的第一物理特征的第一特性(例如,用户眉毛的移动),电子设备基于检测到的第一特性更新(920)显示的虚拟头像预览的第一物理特征(例如,使得虚拟头像预览移动其眉毛)。所显示预览的第一物理特征具有第一特征类型(例如,眉毛)。在接收到与对第一图形元素的选择相对应的用户输入(例如,将头像模板从小狗切换为猴子)之后并且响应于检测到相机视场中的面部的第一物理特征的第二特性(例如,用户眉毛的移动),电子设备基于检测到的第二特性更新(922)显示的虚拟头像预览的第二物理特征(例如,图6O的651-2)(例如,移动猴子的耳朵),其中,所显示预览的第二物理特征具有与第一特征类型(例如,眉毛)不同的第二特征类型(例如,耳朵)。将用户的相同物理特征映射到不同头像模板的不同物理特征使得用户能够通过利用相同输入产生多种虚拟头像来具有更广范围的用于传送消息的选项。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过提供更多用于传达消息的选择来帮助用户实现预期消息),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,响应于接收到与滚动(例如,经由图6Y至图6AA的接触676)虚拟头像模板的多个表示的请求相对应的用户输入,电子设备滚动虚拟头像模板的多个表示的显示,以显示不属于虚拟头像模板的多个表示的一部分的第二图形元素。在一些实施方案中,滚动基于与请求相对应的用户输入的速度。滚动通过虚拟头像模板使用户能够快速查看用于虚拟头像的不同选项。另外,滚动虚拟头像模板的多个表示的显示使用户能够查看上一个虚拟头像模板和下一个虚拟头像模板。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,以及减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,在检测到用户输入的结束之后,滚动速度随着时间推移逐渐降低(例如,滚动逐渐停止,就像虚拟头像的多个表示具有通过摩擦逐渐减慢的惯性一样)。随时间推移逐渐降低滚动速度使用户能够继续查看不同的虚拟头像模板选项,而无需提供附加输入。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过在不需要另外交互的情况下提供可能结果的反馈来帮助用户实现预期结果,以及减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,响应于接收到与请求相对应的用户输入,电子设备生成从一个虚拟头像模板更改为不同的虚拟头像模板的与当前所选虚拟头像模板相对应的听觉输出和/或触觉输出。例如,当虚拟头像模板的多个表示中的每一者滚动经过指示当前所选虚拟头像模板的位置时,生成听觉输出和/或触觉输出。生成听觉或触觉反馈使用户能够确定何时发生新选择。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过提供指示何时进行新选择的反馈来帮助用户实现预期结果,以及减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,响应于接收到动画虚拟头像上的用户输入,该输入与保存动画虚拟头像的请求相对应,电子设备将用于动画虚拟头像的数据存储到电子设备上的数据库(例如,图6CC至图6GG)。例如,电子设备将表示动画虚拟头像的数据存储到电子设备中的非易失性存储装置中的目录或库中。
在一些实施方案中,电子设备接收将动画虚拟头像发送到远程设备的远程用户的请求(例如,接触688)(例如,图6HH至图6KK)。根据确定远程设备满足第一组标准(例如,远程设备具有用于播放第一版本的动画虚拟头像的所需版本的所需应用),电子设备将第一版本的动画虚拟头像发送到远程设备的用户(例如,发送表示所录制的面部表情序列的非图形数据和虚拟头像模板的指示,使得远程设备可以再现动画虚拟头像)。根据确定远程设备不满足第一组标准(例如,远程设备不具有用于播放第一版本的动画虚拟头像的合适消息传送应用程序或合适版本的消息传送应用程序),电子设备将与第一版本不同的第二版本的动画虚拟头像发送(例如,发送表示动画虚拟头像的视频文件)给远程设备的用户。确定要向远程用户发送哪个版本的动画虚拟头像通过仅向远程用户发送最少量的兼容信息来节约设备的资源。此外,这样做减少了用户以更兼容的格式重新发送信息(例如,响应于远程用户指示初始格式不可见)的需要。高效和有效的数据传输增强了设备的可操作性,这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,在显示循环版本的动画虚拟头像时,电子设备基于在录制面部表情序列时所录制的声音并且基于与预定义头像模板相关联的音频过滤器来播放(924)音频数据。在一些实施方案中,在显示循环版本的动画虚拟头像时,电子设备基于在录制面部表情序列时所录制的声音来播放音频数据。响应于接收到与对静音示能表示(例如,图6T和图6U的662)的选择相对应的用户输入,电子设备停止播放音频数据。基于特定于用于虚拟头像的头像模板的过滤器播放用于动画虚拟头像的经过滤音频,这使得用户能够通过提供关于如何传送消息的更多选项以及更具吸引力的动画虚拟头像来更有效地传送消息。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过向用户提供更多关于如何传送消息的选项来帮助用户实现预期消息),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,响应于(926)接收到向远程用户发送动画虚拟头像的请求并且根据确定在使与循环版本的动画虚拟头像的显示相关联的音频数据静音时接收到将动画虚拟头像发送给远程用户的请求(例如,接触667),电子设备将表示动画虚拟头像的数据发送(928)给远程用户,而不发送用于动画虚拟头像的声音数据。根据确定在未将与循环版本的动画虚拟头像的显示相关联的音频数据静音时接收到将动画虚拟头像发送给远程用户的请求,电子设备将表示动画虚拟头像的数据连同用于动画虚拟头像的声音数据一起发送给(930)远程用户。当用户使在动画虚拟头像的回放中静音时发送没有声音的动画虚拟头像使得用户能够有效地选择是否在发送给远程用户的消息中包括声音。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过利用最少的交互来帮助用户实现预期消息),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,响应于接收到生成动画虚拟头像的请求(例如,接触652),电子设备录制处于相机视野中的面部的第一面部移动,其中,显示循环版本的动画虚拟头像包括基于用于动画虚拟头像的物理模型和第一面部移动来使虚拟头像动画化(例如,参见图像数据650-5,以及图6O的更新651-5)。基于用于虚拟头像的物理模型更新动画虚拟头像使得用户能够创建逼真和交互的虚拟头像,该虚拟头像可以传达更广范围的非语言通信。这增强了设备的可操作性,并且使用户设备界面更高效(例如,通过帮助用户使用更加逼真的虚拟头像移动传递预定消息),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,响应于检测到处于相机视野中的面部的特定特征在录制面部表情序列时在特定姿势中保持超过阈值时间量的时间(例如,参见图6O的650-4和650-5),电子设备向动画虚拟头像添加与面部的特定姿势相对应的预定义动画表情(例如,参见图6O的651-5)。例如,如果面部在预定时间段内具有中性表情,则将预定义的移动(诸如,头部转动或眨眼)添加到动画虚拟头像。又如,如果面部在预定时间段内具有愤怒表情,则将表示愤怒的一个或多个附加特征(诸如,耳朵变换颜色或从耳朵冒出蒸汽)添加到动画虚拟头像。基于设备检测到用户面部的特征在特定姿势中保持阈值时间量来更新动画虚拟头像使得用户能够将与仅使用面部表情、特征和移动可能实现的动作相比更多的动作添加到动画虚拟头像。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过提供用于传送不以另外方式与轻易可用的面部表情、移动或特征相对应的动作的附加机构来帮助用户实现预期结果),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
在一些实施方案中,在录制面部表情序列时,响应于经由与相机分开的输入机构接收到用户输入(例如,触敏表面上的触摸,运动传感器检测到的电子设备的移动,按钮的激活,或其他输入),电子设备向面部表情序列添加第一面部表情(例如,录制快乐面部表情,舌头伸出的面部表情,或未作为在录制用于包括在动画虚拟头像中的面部表情时相机视场中的面部作出的面部表情实际录制的任何其他面部表情)。第一面部表情基于经由输入机构接收到的用户输入。在一些实施方案中,当动画虚拟头像正在循环时,用户可以使用触摸屏控件来向动画虚拟头像添加附加表情,使得当动画虚拟头像循环时,用户可以将表情逐渐添加到动画虚拟头像,使得即使在最初创建动画虚拟头像时,表情的那些变化与基于相机视场中的面部(例如,用户面部)的面部表情录制的表情的变化不同,动画虚拟头像也包括用户选择的表情的变化。基于用户输入而不是随相机捕获来更新动画虚拟头像使得用户能够将与仅使用面部表情、特征和移动可能实现的动作相比更多的动作添加到动画虚拟头像。这增强了设备的可操作性,并且使用户设备界面更有效(例如,通过提供用于传送不以另外方式与轻易可用的面部表情、移动或特征相对应的动作的附加机构来帮助用户实现预期结果),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并延长了设备的电池寿命。
需注意,上文相对于方法900所述的过程(例如,图9A至图9B)的详情也可以类似方式适用于上文所述的方法。例如,方法900任选地包括上文参考方法800所述的各种方法的一个或多个特性。例如,基于录制面部特征、移动和/或表情的序列并且基于与相对于方法900所述的头像模板相关联的框架来显示动画虚拟头像预览可以应用于上文相对于方法800所述的贴纸和动画虚拟头像界面。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如为通用处理器(例如,如相对于图1A、图3和图5A所述)或特定于应用程序的芯片。此外,上文参考图9A和图9B所述的操作任选地由图1A至图1B中所描绘的部件来实现。例如,接收生成动画虚拟头像的请求(906)任选地由事件分类器170、事件识别器180和事件处理程序190来实现。事件分类器170中的事件监视器171检测在触敏表面604上的接触,并且事件分配器模块174将事件信息递送到应用程序136-1。应用程序136-1的相应事件识别器180将事件信息与相应事件定义186进行比较,并且确定触敏表面上第一位置处的第一接触是否与预定义的事件或子事件对应,预定义的事件或子事件诸如为对用户界面上的对象的选择。当检测到相应的预定义的事件或子事件时,事件识别器180激活与对该事件或子事件的检测相关联的事件处理程序190。事件处理程序190任选地利用或调用数据更新器176或对象更新器177来更新应用内部状态192。在一些实施例中,事件处理程序190访问相应GUI更新器178来更新应用程序所显示的内容。类似地,本领域的普通技术人员会清楚地知道可如何基于图1A至图1B中描绘的部件来实现其他过程。
图10A至图10I、图11A至图11C、图12A至图12C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B示出了根据一些实施方案的用于生成和修改虚拟头像的示例性用户界面。这些附图中的用户界面用于示出下文描述的过程,这些过程包括图18A至图18B、图19、图20、图21、图22、图23、图24和图25中的过程。
在一些实施方案中,虚拟头像是可以图形描绘的用户表示。在一些实施方案中,虚拟头像是非真实感的(例如,卡通的)。在一些实施方案中,头像是拟人化构造诸如程式化动物(例如,头像1100、1300、1500、1600和1700)、程式化机器人(例如,头像1400)或通常无生命对象的程式化(例如,头像1000)。在一些实施方案中,虚拟头像包括具有一个或多个头像特征(例如,头像面部特征)的头像面部。在一些实施方案中,头像特征对应(例如,映射)于用户面部的一个或多个物理特征,使得检测到的用户的物理特征的移动影响头像特征(例如,影响特征的图形表示)。
在一些示例中,用户能够使用相机传感器(例如,相机模块143、光学传感器164)操纵虚拟头像的特性或特征。当用户的物理特征(诸如面部特征)和位置(诸如头部位置或头部倾斜)改变时,电子设备检测该变化并且修改显示的虚拟头像的图像以反映用户物理特征和位置的变化。在一些实施方案中,对用户的身体特征和位置的改变指示各种表情、情绪、语境、语气或其他非语言交流。在一些实施方案中,电子设备修改虚拟头像的显示图像以表示这些表情、情绪、语境、语气或其他非语言交流。
图10A至图10I、图11A至图11C、图12A至图12C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B示出了示例性用户输入和显示在电子设备上的示例性虚拟头像(例如,便便头像、熊头像、外星人头像、兔子头像、机器人头像、独角兽头像、鸡头像和猪头像)的对应变化。在一些实施方案中,电子设备包括设备100、300和500的一个或多个元件和/或特征。图10A至图10I、图11A至图11C、图12A至图12C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B左侧上的图像表示当用户在一个或多个相机(例如,相机模块143、光学传感器164)和/或其他传感器(例如,红外传感器)的视场内时电子设备检测到的用户的图像。换句话讲,用户的图像来自于相机(例如,相机模块143、光学传感器164)的视角,在一些实施方案中,该相机可以定位在电子设备(例如,设备100、300和500)上,并且在其他实施方案中,该相机可以与电子设备分开定位(例如,将数据传递到电子设备的外部相机或传感器)。在一些实施方案中,图10A至图10I、图11A至图11C、图12A至图12C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B左侧上的图像的边界表示一个或多个相机(例如,相机模块143、光学传感器164)和/或其他传感器(例如,红外传感器)的视场的边界。在一些实施方案中,用户的图像显示在电子设备的显示器(例如,触摸屏112、显示器340、显示器450、显示器504)上。在一些实施方案中,将用户的图像传输至外部电子设备以用于显示。在一些实施方案中,外部电子设备包括设备100、300和500的一个或多个元件和/或特征。在一些实施方案中,用户的图像数据由设备收集和处理,但不会立即显示在电子设备上或传输至外部设备。
图10A至图10I、图11A至图11C、图12A至图12C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B左侧上的图像中的每一者示出了处于基于检测到的位于图的左侧上的对应用户图像而呈现(例如,在被修改之后显示)的状态的虚拟头像(例如,便便头像)。在一些实施方案中,从用户观察虚拟头像的视角来显示虚拟头像。在一些实施方案中,虚拟头像显示在电子设备的显示器上(例如,触摸屏112、显示器340、显示器450、显示器504)。在一些实施方案中,将虚拟头像传输至外部电子设备以用于显示。在一些实施方案中,图10A至图10I、图11A至图11C、图12A至图12C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B右侧上的图像表示虚拟头像在电子设备的显示器(例如,触摸屏112、显示器340、显示器450、显示器504)的显示区域内的位置,并且图10A至图10I、图11A至图11C、图12A至图12C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B右侧上的图像的边界表示包括虚拟头像的显示区域的边界。在一些实施方案中,右侧中表示的显示区域对应于应用程序用户界面的头像显示区域,诸如上文所讨论的虚拟头像界面643、消息编写区域612、消息区域609(或其一部分)。
在一些实施方案中,头像特征(例如,头像的可以相对于其他头像特征离散地移动或修改的离散元素)反应的量值与用户的物理特征(例如,检测到或跟踪到的特征,诸如用户肌肉,肌肉群,或解剖特征诸如眼睛)的变化的量值相对应。例如,在一些实施方案中,根据物理特征的潜在运动范围确定物理特征的变化的量值,其中,量值表示物理特征在该物理特征的运动范围(例如,预测或建模的运动范围)内的相对位置。在此类实施方案中,头像特征的反应的量值类似地是头像特征在头像特征的运动范围内的相对位置。在一些实施方案中,基于对物理特征变化的起始位置和结束位置的比较或测量(例如,距离)来确定变化的量值。在此类实施方案中,可以通过将所测量的物理特征的变化应用于头像特征(例如,直接应用,或作为缩放或经调整的值应用),将物理特征的变化转化为对第一头像特征的修改。
在一些实施方案中,对化身特征的修改具有量值分量和方向分量,其中,对头像特征的修改的方向分量基于头像特征作出反应的一个或多个物理特征的变化的方向分量。在一些实施方案中,头像特征的反应的方向对应于(例如,直接对应于或相反地对应于)用户的物理特征的变化的相对方向,其中,基于物理特征从初始位置(例如,物理特征的中性位置、静止位置,或者在一些实施方案中,设备初始检测到的物理特征的位置)开始的移动的方向确定物理特征的变化的相对方向。在一些实施方案中,头像特征的反应的方向与物理特征的变化的相对方向直接相对应(例如,物理特征向上移动,则头像特征也向上移动)。在其他实施方案中,头像特征的反应的方向与物理特征的变化的相对方向相反地相对应(例如,物理特征向上移动,则头像特征向下移动)。
在一些实施方案中,相对于物理特征的变化的方向分量镜像化头像特征的变化的方向分量。例如,当物理特征(例如,用户的嘴巴)向左移动时,头像特征(例如,头像嘴巴)向右移动。在一些实施方案中,针对沿垂直轴的移动,头像特征的变化的方向分量与物理特征的变化的方向分量相同,并且针对沿水平轴的移动,头像特征的变化的方向分量与物理特征的变化的方向分量成镜像关系,类似于在照镜子时看到的效果。在一些实施方案中,将用户虹膜的中性静止位置确定为相对于用户眼球周边的特定位置(例如,居中位置)。
图10A示出了说明电子设备响应于检测到用户面部特征的变化而修改便便头像1000的示例性实施方案。便便头像被示出为具有四个显示状态(1011A、1011B、1011C和1011D),其中,便便头像的四个显示状态中的每一者分别与用户的四个检测状态(1001A、1001B、1001C和1001D)相对应。具体地讲,在图10A中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改便便头像的特征。在图10A所示的实施方案中,检测到的用户的面部特征包括用户的嘴巴1020(具有角部1020A和1020B)和用户的眉毛1022。在一些实施方案中,跟踪的物理特征可以包括其他面部特征,诸如眼睑、虹膜、肌肉、肌肉群等。在图10A的实施方案中,便便头像的特征包括头像面部1000C、嘴巴1030、头像眼睛1032、头像的上部1034、头像的下部1036以及(在某些状态下)头像眉毛1038。
如1001A中所示,电子设备检测到用户的中性面部表情。例如,电子设备检测到用户的嘴巴1020和眉毛1022定位成放松的中性状态,而不是处于与特定面部表情(例如,微笑或皱眉)相关联的位置。响应于检测到用户的中性面部表情,电子设备在1011A中显示具有中性表情(例如,中性状态)的便便头像1000。具体地讲,电子设备显示具有处于放松的中性状态而不是处于通常与特定面部表情(例如,微笑或皱眉)相关联的位置的头像嘴巴1030的便便头像。在一些实施方案中,头像的中性位置对应于相关图像的其他表示,诸如可以在消息传送应用程序中找到的静态便便表情符号。另外,电子设备显示便便头像的不具有眉毛1038的面部1000C,并且显示看向垂直于显示器(或者相机(例如,相机143、光学传感器164)的焦点平面)的方向的头像眼睛1032。电子设备还显示便便头像的位于下部1036上方的中性竖直位置处的上部1034。
如1001B中所示,电子设备检测用户嘴巴1020的用于形成微笑面部表情的位置(例如,用户嘴巴的角部1020A和1020B中的一者或两者定位成向上姿势(例如,向上位置)以形成微笑面部表情)。响应于检测到用户嘴巴1020的位置,电子设备修改头像嘴巴1030的显示以具有微笑表情,使得头像嘴巴1030具有张开的微笑位置,如1011B中所示。如1011B中所示,眼睛1032、上部1034和下部1036相对于其在1011A中的原始位置保持不变。
如1001C中所示,电子设备检测到用户的皱眉面部表情。在一些实施方案中,电子设备通过检测用户嘴巴的角部1020A和1020B中的一者或两者定位成向下姿势(例如,向下位置)以及用户眉毛1022处于向下位置(例如,与处于1001A和1001B中的放松中性状态下的眉毛1022的位置相比,该用户眉毛在用户面部上皱起或定位在用户面部上更低位置处),来检测皱眉面部表情。响应于检测到用户的皱眉面部表情,电子设备修改便便头像以具有皱眉且下垂的面部,如1011C中所示。例如,电子设备修改便便头像,使得头像嘴巴1030的角部向下转动以使嘴巴1030具有略微张开的姿态,并且便便头像的下部1036向下弯曲,类似于便便头像嘴巴1030的向下转动姿态。在图10A的实施方案中,当电子设备检测到用户眉毛1022的向下位置时,不对在头像眼睛1032上方的便便头像的解剖学对应部分进行修改。
在一些实施方案中,电子设备通过显示当嘴巴1030正在移动到向下转动位置时嘴巴1030向下转动以及下部1036向下弯曲的动画来修改便便头像,以使其具有1011C中所示的下垂面部。在一些实施方案中,电子设备进一步修改便便头像,使得当便便头像呈现下垂面部时,便便头像的尖端部1040塌陷或向下倾斜。在一些实施方案中,尖端部1040的位置具体地基于用户眉毛1022(在解剖学上不与尖端部1040相对应的物理特征)的位置。在一些实施方案中,当用户不再作出皱眉表情时,电子设备修改便便头像以使其返回到中性位置。在此类实施方案中,电子设备通过显示嘴巴1030移动到中性位置以及下部1036移动回到其中性位置的动画来修改便便头像,以使其返回1011A中的中性状态。在一些实施方案中,使便便头像从下垂面部返回到中性状态包括电子设备将便便头像的尖端部1040显示为拉直到其中性位置。
如1001D中所示,电子设备检测到用户嘴巴的角部1020A和1020B略微抬起并且用户眉毛1022处于抬起位置(例如,与处于1001A和1001B中所示的放松中性状态时眉毛1022的位置相比,位于用户面部的较高位置处)。响应于检测到用户嘴巴1020的角部1020A和1020B的位置,电子设备修改便便头像的显示,使得头像的嘴巴1030的角部略微抬起以匹配用户嘴巴1020的角部1020A和1020B的位置。响应于检测到用户眉毛1022的抬起位置,电子设备通过将位于便便头像的眼睛1032上方的眉毛1038引入到抬起位置(例如,以传达便便头像1000正在抬起其眉毛1038的表情)并且在向上方向上延伸便便头像的上部1034(例如,通过延伸便便头像的尖端部1040,同时保持下部1036的原始位置),来修改便便头像。在1001D和1011D中所示的实施方案中,当用户眉毛1022抬起时,电子设备引入头像眉毛1038并且延伸便便头像的尖端部1040。在一些实施方案中,当用户眉毛1022返回到其中性位置时,电子设备移除头像眉毛1038并使尖端部1040放松。在一些实施方案中,电子设备通过使眉毛1038向下朝向便便头像的眼睛1032移动并且消失在眼睛1032上方的便便头像面部1000C中的过程动画化,来移除便便头像的眉毛1038。
图10B示出了示例性实施方案,该示例性实施方案示出了电子设备响应于检测到用户面部特征的变化而修改便便头像,其中,对便便头像的修改包括以夸大方式移动头像特征。在一些实施方案中,夸大虚拟头像的特征允许用户影响对头像特征作出的最大变化,而不必令人不适地改变其面部的对应特征。例如,如图10B所示,用户可以使头像尽可能宽地张开其嘴巴(例如,处于惊讶表情中),而不必使用户不适地张开嘴巴(例如,不必使用户将嘴巴张开到预测或确定的用户嘴巴运动范围的最大范围)。
图10B中将便便头像示出为具有三个显示状态(1012A、1012B和1012C),其中,便便头像的三个显示状态中的每一者分别与用户的三个检测状态(1002A、1002B和1002C)相对应。具体地讲,在图10B中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改便便头像的特征。在图10B所示的实施方案中,检测到的用户面部特征包括用户的嘴巴1020。在一些实施方案中,跟踪的物理特征可以包括其他面部特征,诸如眼睑、虹膜、肌肉、肌肉群等。在图10B的实施方案中,便便头像的特征包括头像嘴巴1030、头像眼睛1032、头像的上部1034和头像的下部1036。
如1002A中所示,电子设备检测用户的第一状态,在第一状态下,用户的嘴巴1020略微张开(例如,张开用户嘴巴的预测或确定的运动范围的最大范围的10%)。响应于检测到略微张开的用户嘴巴1020,电子设备修改便便头像,如1012A中所示,使得便便头像的嘴巴1030具有张开位置(头像嘴巴的模拟运动范围的最大范围的20%,该张开程度大于(例如,在其相应的运动范围内)用户嘴巴1020的张开程度),同时保持头像的其他特征(诸如,便便头像的眼睛1032、上部1034和下部1036)不变。
如1002B中所示,电子设备检测用户面部特征的变化,在该变化中,用户的嘴巴1020比在状态1002A下张开得更宽(例如,张开用户嘴巴的预测或确定的运动范围的最大范围的25%)。响应于检测到用户嘴巴1020从1002A中的略微张开位置转换到1002B中的更宽张开位置,电子装置修改便便头像的嘴巴1030以增大尺寸,如1012B中所示,使得嘴巴1030具有比1012A中所示的位置更大(例如,头像嘴巴的模拟运动范围的最大范围的50%)的张开位置,同时仍保持其他头像特征(包括便便头像的眼睛1032、上部1034和下部1036)的定位。
如1002C中所示,电子设备检测用户面部特征的又一个变化,在该变化中,用户的嘴巴1020比在1002B中张开得甚至更宽(例如,张开用户嘴巴的预测或确定的运动范围的最大范围的50%)。响应于检测到用户嘴巴1020从1002B中的张开位置转换到1002C中的更宽张开位置,电子装置修改便便头像的嘴巴1030以进一步增大尺寸,如1012C中所示,使得嘴巴1030具有比1012B中所示的位置更大(例如,头像嘴巴的模拟运动范围的最大范围的100%)的张开位置。然而,在1012C中,嘴巴1030的开口大于下部1036的高度。因此,电子设备使便便头像1000的下部1036在1042处扩展以响应于用户的张开嘴巴1020保持便便头像1000的结构完整性。换句话讲,为了响应于用户的张开嘴巴1020保持头像及其特征的一致定位,设备修改虚拟头像的一个或多个互连部分(例如,下部1036)。例如,如1012C中所示,电子设备在区域1042处扩展便便头像的与头像嘴巴1030相邻的下部1036,以适应放大的头像嘴巴1030的增大尺寸。如果电子设备未以这种方式修改下部1036,则放大的嘴巴1030将延伸超出虚拟头像的结构,从而潜在地阻碍用户旨在使用虚拟头像进行传送的上下文和/或语气。
在一些实施方案中,头像嘴巴1030的尺寸的增大(例如,从1012A中所示的位置到1012B中所示的位置,或者从1012B中所示的位置到1012C中所示的位置)不与用户嘴巴1020的尺寸的增大(例如,从1002A中所示的位置到1002B中所示的位置,或者从1002B中所示的位置到1002C中所示的位置)成比例,而是被缩放以提供夸大的尺寸变化率。例如,在一些实施方案中,缩放比例是2的倍增因数,使得头像嘴巴的相对张开位置是用户嘴巴的相对张开位置的两倍。例如,如果用户嘴巴张开用户嘴巴的最大运动范围的10%,则电子设备显示头像嘴巴张开头像嘴巴的模拟运动范围的最大范围的20%。
图10C示出了电子设备响应于检测到用户物理特征的变化而修改便便头像的示例性实施方案,其中,对便便头像的修改包括向前和向后旋转(例如,倾斜)便便头像的上部同时使便便头像的下部保持静止。电子设备将便便头像显示为具有三个显示状态(1013A、1013B和1013C),其中,便便头像的三个显示状态中的每一者分别与用户的三个检测状态(1003A、1003B和1003C)相对应。具体地讲,在图10C中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改便便头像的特征。在图10C中所示的实施方案中,用户的物理特征包括用户的面部1024、颏部1026和头部1028。在一些实施方案中,跟踪的物理特征可以包括其他面部特征,诸如眼睑、虹膜、肌肉、肌肉群等。在图10C的实施方案中,便便头像的特征包括头像嘴巴1030、头像眼睛1032、头像的上部1034(包括便便头像的尖端部1040)和头像的下部1036。
如1003A中所示,电子设备检测具有在向上方向上旋转的位置的用户面部1024。例如,用户抬起其颏部1026并使其头部1028向后(例如,远离相机(例如,相机143、光学传感器164)倾斜的视场平面)以将其面部1024定位在向上方向上。响应于检测到用户面部1024的向上位置,电子设备通过使便便头像的上部1034在远离显示器(例如,远离相机(例如,相机143、光学传感器164)焦点平面向后)的方向上倾斜来将便便头像修改为向上看状态,如1013A中所示。在该向后倾斜位置中,电子设备显示朝向便便头像1000的后侧定位的便便头像的尖端部1040,以示出当将便便头像修改为向上看状态时,尖端部1040的偏移位置。另外,电子设备将便便头像的眼睛1032修改为向上看状态(例如,通过使便便头像的瞳孔或虹膜1032A朝向头像眼睛1032的顶部偏移),如1013A中所示。当电子设备使便便头像的上部1034倾斜并将眼睛1032修改为向上看状态时,电子设备使便便头像的其他特征保持不变。例如,电子设备保持头像嘴巴1030的位置并固定便便头像的下部1036的位置,使得电子设备示出围绕轴(例如,x轴)向后旋转的上部1034,该轴沿下部1036的宽度延伸。
如1003B中所示,电子设备检测具有在向下方向上旋转的位置的用户面部1024。例如,用户降低(收起)其颏部1026并使其头部1028向前(例如,朝向相机(例如,相机143、光学传感器164)的焦点平面)倾斜以将其面部1024定位在向下方向上。响应于检测到用户面部1024的向下位置,电子设备通过使便便头像的上部1034在朝向显示器(例如,朝向相机(例如,相机143、光学传感器164)焦点平面向前)的方向上倾斜来将便便头像修改为向下看状态,如1013B中所示。在该向前倾斜位置中,电子设备显示朝向便便头像的前侧定位的便便头像的尖端部1040,以示出当将便便头像修改为向下看状态时,尖端部1040的偏移位置。另外,电子设备将便便头像的眼睛1032修改为向下看状态(例如,通过使便便头像的瞳孔或虹膜1032A朝向头像眼睛1032的底部偏移),如1013B中所示。当电子设备使便便头像的上部1034倾斜并将眼睛1032修改为向下看状态时,电子设备使便便头像的其他特征保持不变。例如,电子设备保持头像嘴巴1030的位置并固定便便头像的下部1036的位置,使得电子设备示出围绕轴(例如,x轴)向前旋转的上部1034,该轴沿下部1036的宽度延伸。
如1003C中所示,电子设备检测到用户的位置(具体地讲,用户面部1024和头部1028的位置)处于1003B中所示的向下旋转位置,但该用户位置也在相机(例如,相机143、光学传感器164)视场内从1003B中所示的位置开始向下偏移。作为响应,电子设备将便便头像1000显示为处于1013B中所示的向前倾斜位置,但该便便头像同样在1013C中的显示区域内向下偏移,以镜像化用户在相机视场内的偏移的向下方向。
图10D示出了电子设备响应于检测到用户物理特征的变化而修改便便头像的示例性实施方案,其中,对便便头像的修改包括旋转便便头像的上部同时使便便头像的下部保持静止。便便头像被示出为具有四个显示状态(1014A、1014B、1014C和1014D),其中,便便头像的四个显示状态中的每一者分别与用户的四个检测状态(1004A、1004B、1004C和1004D)相对应。在图10D中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改便便头像的特征。在图10D中所示的实施方案中,用户的物理特征包括用户的嘴巴1020、面部1024、头部1028和肩部1021。在一些实施方案中,跟踪的物理特征可以包括其他面部特征,诸如眼睑、虹膜、肌肉、肌肉群等。在图10D的实施方案中,便便头像的特征包括头像嘴巴1030、头像眼睛1032、头像的上部1034(包括便便头像的尖端部1040)和头像的下部1036。
如1004A中所示,电子设备检测到,用户头部1028以及任选的用户面部1024(或包括面部1024的各种物理特征)被旋转到用户的右侧,同时用户的肩部1021保持向前定位。作为响应,电子设备通过将便便头像的上部1034向右扭转(同时使下部1036保持静止)来修改便便头像,如1014A中所示,使得虚拟头像的扭转运动镜像化用户头部1028和面部1024的向右旋转移动。电子设备还检测到用户嘴巴1020的微笑姿势,并将头像嘴巴1030修改成微笑状态。如1014A中所示,电子设备使便便头像的上部1034围绕轴1051(例如,y轴)扭转,该轴垂直地延伸穿过便便头像的中心。当电子设备使便便头像的上部1034向右扭转时,电子设备还使便便头像的尖端部1040向左偏移、使便便头像的眼睛1032向右移动、并增大便便头像的上部1034中形成的皱纹1034A或层的量,从而使便便头像具有包括下部1036的轻微扭转1070的扭曲外观,其基于上部1034和下部1036之间的互连关系来建模。即使头像的部分(例如,便便头像的尖端部1040)在解剖学上不一定与用户的物理特征相对应,但对便便头像的这些修改提供了模仿用户的物理移动的动画效果。
1004B和1014B示出了类似的效果,其中,电子设备检测到,用户的头部1028以及任选的用户面部1024(或包括面部1024的各种物理特征)被旋转到用户的左侧,同时用户的肩部1021保持向前定位。作为响应,电子设备通过将便便头像的上部1034向左扭转(同时使下部1036保持静止)来修改便便头像,如1014B中所示,使得虚拟头像的扭转运动镜像化用户头部1028和面部1024的向左旋转移动。如1014B中所示,电子设备使便便头像的上部1034围绕轴1051扭转,该轴垂直地延伸穿过便便头像的中心。当电子设备使便便头像的上部1034向左扭转时,电子设备还使便便头像的尖端部1040向右偏移、使便便头像的眼睛1032向左移动、并增大便便头像的上部1034中形成的皱纹1034A或层的量,从而使便便头像具有包括下部1036的轻微扭转1070的扭曲外观,其基于上部1034和下部1036之间的互连关系来建模。
在一些实施方案中,电子设备不跟踪用户肩部1021的移动(例如,旋转移动)或定位,使得用户可以影响虚拟头像的变化,而不必在相机(例如,相机143、光学传感器164)前面保持固定的取向或位置。例如,如1004C中所示,用户肩部1021向用户的右边倾斜或转动,但便便头像的下部1036保持固定,如1014C中所示。然而,电子设备检测到,用户头部1028以及任选的用户面部1024旋转到用户的右侧。因此,如1014C中所示,电子设备如上文相对于1014A所讨论的那样相应地修改便便头像,而不响应于用户转动其肩部1021而进一步修改便便头像。1004D和1014D中示出了类似的效果,其中,用户肩部1021与用户头部1028一起向用户左边倾斜或转动,并且电子设备如上文相对于1014B所讨论的那样修改便便头像,而不响应于用户转动其肩部1021而进一步修改便便头像(例如,下部1036)。
图10E示出了电子设备响应于检测到用户物理特征的变化而修改便便头像的示例性实施方案,其中,对便便头像的修改包括使便便头像的上部倾斜同时使便便头像的下部保持静止。便便头像被示出为具有四个显示状态(1015A、1015B、1015C和1015D),其中,便便头像的四个显示状态中的每一者分别与用户的四个检测状态(1005A、1005B、1005C和1005D)相对应。在每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改便便头像的特征。在图10E中所示的实施方案中,用户的物理特征包括用户的嘴巴1020、面部1024、头部1028、肩部1021、眼睛1023和颈部1025。在一些实施方案中,跟踪的物理特征可以包括其他面部特征,诸如眼睑、虹膜、肌肉、肌肉群等。在图10E的实施方案中,便便头像的特征包括头像嘴巴1030、头像眼睛1032、头像的上部1034(包括便便头像的尖端部1040和中间部分1031)和头像的下部1036。
如1005A中所示,电子设备检测到,用户头部1028以及任选的用户面部1024(或包括面部1024的各种物理特征)向用户右侧倾斜,同时用户的肩部1021保持向前定位。电子设备还检测到用户颈部1025向用户右边略微倾斜。作为响应,电子设备通过使便便头像的上部1034向右倾斜(便便头像的上部1034包括尖端部1040和中间部分1031),同时使下部1036保持静止,来修改便便头像,如1015A中所示,使得虚拟头像的倾斜运动镜像化用户头部1028(和/或面部1024)和颈部1025的向右倾斜。
除镜像化倾斜方向之外,电子设备还修改虚拟头像以说明在1005A中示出的用户的各种物理特征中存在的不同倾斜程度。例如,相比于用户的下部(例如,用户的颈部1025),用户的上部(例如,用户的头部1028)倾斜的程度更大。因此,如1015A中所示,电子设备修改虚拟头像,使得在虚拟头像的顶部处(例如,在尖端部1040处)的移动或倾斜量最大,并且在虚拟头像的底部处(例如,在下部1036处)的移动或倾斜量最小。换句话讲,倾斜量从虚拟头像的顶部到虚拟头像的底部逐渐减小,这与在1005A中的用户中示出的倾斜程度的变化一致。1015A中便便头像的具有大倾斜程度的尖端部1040、具有比尖端部1040更小的倾斜程度的中间部分1031以及未倾斜的下部1036证明了这一点。即使头像的部分(例如,便便头像的尖端部1040)在解剖学上不一定与用户的物理特征相对应,但对便便头像的这些修改提供了模仿用户的物理移动的动画效果。此外,例如当用户使其头部1028和颈部1025倾斜时,电子设备将虚拟头像修改成具有不同倾斜程度,以模仿用户物理特征的减小的运动范围。
1005B和1015B示出了类似的效果,其中,电子设备检测到用户头部1028和颈部1025向用户左侧倾斜。作为响应,电子设备通过使便便头像的上部1034以不同的倾斜程度向左倾斜(例如,尖端部1040比中间部分1031倾斜更大的程度),同时使下部1036保持静止,来修改便便头像,如1015B中所示,使得虚拟头像的倾斜运动镜像化用户头部1028和颈部1025的向左倾斜,如相对于1005A和1015A更详细地讨论的。
如1005C中所示,电子设备检测到偏移到用户右侧的用户眼睛1023(例如,用户眼睛的虹膜或瞳孔)以及由定位成向上姿势的用户嘴巴1020的角部1020A和1020B形成的微笑面部表情。响应于检测到用户眼睛1023的向右偏移,电子设备将便便头像的眼睛1032修改为向右看状态(例如,通过使便便头像的瞳孔或虹膜1032A朝向头像眼睛1032的右侧偏移),如1015C中所示。响应于检测到定位成向上姿势的用户嘴巴的角部1020A和1020B中的一者或两者,电子设备修改头像嘴巴1030的显示以具有微笑表情,其中,头像嘴巴1030具有张开的微笑位置,如1015C中所示。如1015C中所示,上部1034和下部1036相对于其相应的中性位置(1011A中所示)保持不变。
1005D和1015D示出了类似的效果,其中,电子设备检测到用户的微笑面部表情以及偏移到用户左侧的用户眼睛1023(例如,用户眼睛的虹膜或瞳孔)。响应于检测到用户眼睛1023的向左偏移,电子设备将便便头像的眼睛1032修改为向左看状态(例如,通过使便便头像的瞳孔或虹膜1032A朝向头像眼睛1032的左侧偏移),如1015D中所示。响应于检测到处于向上姿势的角部1020A和1020B中的一者或两者,电子设备修改头像嘴巴1030的显示以具有微笑表情,如上文相对于1015C所讨论的。同样,在1015D中,上部1034和下部1036相对于其相应的中性位置(1011A和1015C中所示)保持不变。
图10F示出了电子设备响应于检测到用户在相机(例如,相机143、光学传感器164)的视场内的位置的偏移而修改便便头像的示例性实施方案。对便便头像的修改包括使便便头像在与用户在相机视场内的位置的偏移相对应的方向上偏移(例如,平移)。便便头像被示出为具有处于四个显示区域中的四个显示状态(1016A、1016B、1016C和1016D),其中,便便头像的四个显示状态中的每一者分别与用户的四个检测状态(1006A、1006B、1006C和1006D)相对应。在图10F中的每个显示状态中,电子设备响应于检测到在用户的相应状态下显示的在相机视场内检测到的用户的位置或位置变化来定位或修改便便头像。在四个显示状态中的每一者中,所显示状态的边界(例如,1016A、1016B、1016C和1016D的边界)表示包括虚拟头像的显示区域的边界。
如1006A中所示,电子设备检测到,用户的位置在相机(例如,相机143、光学传感器164)的视场内水平居中。响应于在相机视场内检测到用户的水平居中位置,电子设备在如1016A中所示的显示区域内显示具有水平居中位置的便便头像。
在1006B中,电子设备检测到,用户的位置在相机(例如,相机143、光学传感器164)的视场中在向右方向上偏离中心(例如,偏移或平移)。换句话讲,用户向用户的向左方向偏移(例如,相对于相机的视场向右偏移),但在相机的视场内保持完全可见。响应于检测到1006B中用户的偏移位置,电子设备使整个便便头像(包括上部1034和下部1036两者)的水平位置偏移,使得便便头像显示在向左偏移的位置处,如1016B中所示,以便将用户的方向偏移镜像化到用户的向左方向上。如1006B中所示,用户偏移到其左侧,使其左肩部1021A靠近视场的右边缘。因此,电子设备显示位于1016B的显示区域的左边缘附近的便便头像,该便便头像镜像化了用户在相机视场内的偏移位置的方向。在一些实施方案中,通过虚拟头像在方向和量值上的偏移来镜像化用户的偏移位置。在一些实施方案中,通过虚拟头像仅在方向上的偏移来镜像化用户的偏移位置,并且调整(例如,使衰减)虚拟头像的偏移的量值以保持虚拟头像在显示区域的边界内的位置。下文相对于1006C、1016C、1006D和1016D讨论了此类实施方案的示例。
在1006C中,电子设备检测到,用户的位置在相机(例如,相机143、光学传感器164)的视场中在最右方向上偏离中心(例如,偏移或平移)。换句话讲,用户向用户的向左方向远远地偏移(例如,相对于相机的视场向右偏移),但偏移至使得用户的左肩部1021A不再在相机视场内。响应于检测到1006C中用户的大幅度偏移位置,电子设备使便便头像的水平位置偏移,使得整个便便头像(包括上部1034和下部1036两者)显示为处于完全向左偏移的位置,其中,便便头像的最外边缘(例如,下部1036的边缘1036A)抵靠1016C中所示的显示区域的左边界定位。1016C中的便便头像的偏移显示镜像反映了用户向用户的向左方向偏移的方向,而不是使便便头像偏移,使得头像的一部分延伸超出1016C中的显示区域(如用户在1006C中所做的那样),设备将便便头像定位在显示区域1016C的边缘处。通过即使在用户的一部分超出相机(例如,相机143、光学传感器164)的视场时,也将虚拟头像的位置保持在显示区域(例如,1016A、1016B、1016C和1016D)内,电子设备允许用户影响虚拟头像的变化,而不必在相机前面保持固定的取向或位置。
1006D和1016D中示出了类似的效果。在1006D中,电子设备检测到,用户向右偏移(例如,在相机的视场中向左偏移),使得用户的右肩部不再在相机的视场内。响应于检测到用户的远远偏移位置,电子设备使便便头像的水平位置偏移,使得整个便便头像(包括上部1034和下部1036两者)显示为处于完全向右偏移的位置,其中,便便头像的最外边缘(例如,下部1036的边缘1036B)抵靠1016D中所示的显示区域的右边界定位。如上所述,通过即使在用户的一部分超出相机(例如,相机143、光学传感器164)的视场时,也将虚拟头像的位置保持在显示区域1016D内,电子设备允许用户影响虚拟头像的变化,而不必在相机前面保持固定的取向或位置。
图10G示出了电子设备响应于检测到用户的物理特征在相机(例如,相机143、光学传感器164)的视场内的位置的偏移而修改便便头像的示例性实施方案。对便便头像的修改包括使便便头像在与用户的物理特征在相机视场内的位置的偏移相对应的方向上偏移(例如,平移)。图10G中所示的实施方案在以下方面类似于上文相对于图10D至图10F所讨论的那些实施方案:电子设备跟踪用户头部1028的移动和定位(例如,旋转移动和/或平移移动),但不跟踪用户肩部1021和任选的用户颈部1025的移动或定位。另外,图10G所示的实施方案在以下方面类似于图10F中的实施方案:对虚拟头像的修改镜像反映了用户在方向上的移动,但不一定镜像反映在量值上的移动。通过实现这些技术,电子设备允许用户影响虚拟头像的变化,而不必在相机(例如,相机143、光学传感器164)前面保持固定取向或位置。
便便头像被示出为具有处于两个显示区域中的两个显示状态(1017A和1017B),其中,便便头像的两个显示状态中的每一者分别与用户的两个检测状态(1007A和1007B)相对应。在图10G中的每个显示状态中,设备响应于检测到在用户的相应状态下显示的在相机视场内检测到的用户的物理特征的位置或位置变化来定位或修改便便头像。在两个显示状态中的每一者中,所显示状态的边界(例如,1017A和1017B的边界)表示包括虚拟头像的显示区域的边界。
在1007A中,电子设备检测到,用户头部1028和任选的用户颈部1025在相机(例如,相机143、光学传感器164)的视场中在向左方向上偏离(例如,平移)。换句话讲,用户的头部1028和颈部1025向用户的向右方向偏移(例如,相对于相机的视场向左偏移)。响应于检测到1007A中用户头部1028以及任选的用户颈部1025的偏移位置,电子设备使整个便便头像(包括上部1034和下部1036两者)的水平位置偏移,使得便便头像显示在向右偏移的位置处,如1017A中所示,以便将用户头部的偏移镜像化到用户的向右方向上。
1007B和1017B中示出了类似的效果。在1007B中,电子设备检测到,用户头部1028和任选的用户颈部1025在相机(例如,相机143、光学传感器164)的视场中在向右方向上偏离(例如,平移)。换句话讲,用户的头部1028和颈部1025向用户的向左方向偏移(例如,相对于相机的视场向右偏移)。响应于检测到1007B中用户头部1028以及任选的用户颈部1025的偏移位置,电子设备使整个便便头像(包括上部1034和下部1036两者)的水平位置偏移,使得便便头像显示在向左偏移的位置处,如1017B中所示,以便将用户头部的偏移镜像化到用户的向左方向上。
图10H示出了电子设备响应于检测到用户的物理特征在相机(例如,相机143、光学传感器164)的视场内的位置的变化而修改便便头像的示例性实施方案。对便便头像的修改包括增大或减小便便头像的尺寸,以及使便便头像在与用户的物理特征在相机视场内的位置的偏移相对应的方向上偏移(例如,平移)。便便头像被示出为具有处于四个显示区域中的四个显示状态(1018A、1018B、1018C和1018D),其中,便便头像的四个显示状态中的每一者分别与用户的四个检测状态(1008A、1008B、1008C和1008D)相对应。在图10H中的每个显示状态中,电子设备响应于检测到在用户的相应状态下显示的在相机视场内检测到的用户的物理特征的位置或位置变化来定位或修改便便头像。在四个显示状态中的每一者中,所显示状态的边界(例如,1018A、1018B、1018C和1018D的边界)表示包括虚拟头像的显示区域的边界。
在1008A中,电子设备检测到,用户头部1028在相机(例如,相机143、光学传感器164)的视场中相对于其肩部1021在向上方向上偏移(例如,平移)(例如,用户正在向上拉伸其颈部1025)。响应于检测到1008A中用户头部1028的向上偏移位置,电子设备使整个便便头像(包括上部1034和下部1036两者)的竖直位置偏移,使得将整个便便头像显示为处于向上偏移位置,其中,便便头像的最上边缘(例如,尖端部1040的边缘1040A)靠近1018A中所示的显示区域的上边界定位,以便镜像反映用户头部1028在1008A中所示的向上方向上的偏移。
在1008B中,电子设备检测到,用户头部1028在相机(例如,相机143、光学传感器164)的视场中相对于用户的肩部1021在向下方向上偏移(例如,平移)(例如,用户正在垂下其头部1028)。响应于检测到1008B中用户头部1028的向下偏移位置,电子设备使整个便便头像(包括上部1034和下部1036两者)的竖直位置偏移,使得将整个便便头像显示为处于向下偏移位置,其中,便便头像的最下边缘(例如,下部1036的边缘1036C)靠近1018B中所示的显示区域的下边界定位,以便镜像反映用户头部1028在1008B中所示的向下方向上的偏移。
在1008C中,电子设备检测到,例如当用户头部1028更靠近相机定位时,用户头部1028在相机(例如,相机143、光学传感器164)的视场内的尺寸增大。响应于检测到1008C中的用户头部1028的尺寸增大,电子设备增大整个便便头像的尺寸。在一些实施方案中,电子设备根据检测到的用户头部1028从一个检测到的状态(例如,图10A的1001A中的中性状态)到另一个状态(例如,检测到的状态1008C)的尺寸变化来增大便便头像的尺寸。在1018C中,电子设备增大便便头像的尺寸以填充显示区域,而不会使便便头像的一部分延伸超出显示区域的边界。在一些实施方案中,电子设备增大虚拟头像的尺寸以提供头像非常靠近电子设备的显示器(例如,触摸屏112、显示器340、显示器450、显示器504)定位的印象。
例如,电子设备在1018C中增大便便头像的尺寸,使得便便头像的尖端部1040在1040A处邻近显示区域的上边界、便便头像的下部1036在1036C处邻近显示区域的下边界、下部1036的左边缘在1036A处靠近显示区域的左边界、并且下部1036的右边缘在1036B处靠近显示区域的右边界。在一些实施方案中,诸如1018C中所示的实施方案中,电子设备成比例增大便便头像的尺寸,使得各种头像特征(例如,头像的眼睛1032、嘴巴1030、上部1034和下部1036)的相对位置相对于便便头像的形状未变形。例如,当电子设备在1018C中增大便便头像的尺寸时,头像眼睛1032、嘴巴1030、上部1034(包括尖端部1040)和下部1036的尺寸也增大,但其他部分保持不变。
在1008D中,电子设备检测到,例如当用户头部1028远离相机定位时,用户头部1028在相机(例如,相机143、光学传感器164)的视场内的尺寸减小。响应于检测到1008D中的用户头部1028的尺寸减小,电子设备减小整个便便头像的尺寸。在一些实施方案中,电子设备根据检测到的用户头部1028从一个检测到的状态(例如,图10A的1001A中的中性状态)到另一个状态(例如,检测到的状态1008D)的尺寸变化来减小便便头像的尺寸。在一些实施方案中,诸如在1018D中,电子设备减小便便头像的尺寸以提供虚拟头像远离电子设备的显示器(例如,触摸屏112、显示器340、显示器450、显示器504)定位的印象。
例如,电子设备在1018D中减小便便头像的尺寸,使得便便头像的尖端部1040在1040A处远离显示区域的上边界定位、便便头像的下部1036在1036C处远离显示区域的下边界定位、下部1036的左边缘在1036A处远离显示区域的左边界定位、并且下部1036的右边缘在1036B处远离显示区域的右边界定位。在一些实施方案中,诸如1018D中所示的实施方案中,电子设备成比例减小便便头像的尺寸,使得各种头像特征(例如,头像的眼睛1032、嘴巴1030、上部1034和下部1036)的相对位置相对于便便头像的形状未变形。例如,当电子设备在1018D中减小便便头像的尺寸时,头像眼睛1032、嘴巴1030、上部1034(包括尖端部1040)和下部1036的尺寸也减小,但其他部分保持不变。
图10I示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改便便头像1000的示例性实施方案。便便头像被示出为具有与用户的检测状态1009相对应的一个显示状态1019。如1009和1019中所示,电子设备检测到用户做出嘟嘴表情,并且作为响应,电子设备通过用一组嘟起的嘴唇1050替换便便头像的嘴巴1030来修改便便头像1000。在一些实施方案中,诸如在1009中所示的实施方案中,电子设备通过检测用户颌部1027处于闭合位置,并且检测用户嘴巴1020的角部1020A和1020B朝向彼此移动使得用户的嘴唇1029(例如,用户的上嘴唇1029A和下嘴唇1029B)以嘟嘴姿势从用户嘴巴1020向外延伸,来确定用户正在做出嘟嘴面部表情。尽管未在图10I中示出,但在一些实施方案中,电子设备修改便便头像,以便以类似于图16B中所示以及下文更详细地讨论的方式从嘟起的嘴唇1050发射出心。
图11A示出了说明电子设备响应于检测到用户面部特征的变化而修改熊头像1100的示例性实施方案。熊头像被示出为具有四个显示状态(1111A、1111B、1111C和1111D),其中,熊头像的四个显示状态中的每一者分别与用户的四个检测状态(1101A、1101B、1101C和1101D)相对应。在图11A中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改熊头像的特征。在图11A所示的实施方案中,检测到的用户的面部特征包括用户的嘴巴1120(具有角部1120A和1120B)和用户的眉毛1122。在一些实施方案中,跟踪的物理特征可以包括其他面部特征,诸如眼睑、虹膜、肌肉、肌肉群等。在图11A的实施方案中,熊头像的特征包括头像嘴巴1130、头像眼睛1132、头像耳朵1133、头像鼻子1137、头像头部1135以及(在某些状态下)头像眉毛1138。
如1101A中所示,电子设备检测到用户的中性面部表情。例如,设备检测到用户的嘴巴1120和眉毛1122定位成放松的中性状态,而不是处于与特定面部表情(诸如,微笑或皱眉)相关联的位置。响应于检测到用户的中性面部表情,电子设备在1111A中显示具有中性表情或状态的熊头像1100。具体地讲,电子设备显示具有处于放松的中性状态而不是处于通常与特定面部表情(例如,微笑或皱眉)相关联的位置的头像嘴巴1130的熊头像。在一些实施方案中,头像的中性位置对应于相关图像的其他表示,诸如可以在消息传送应用程序中找到的静态熊表情符号。在1111A中,熊的嘴巴1130的中性状态由线1130A和1130B指示,线1130A和1130B从熊的嘴巴1130或“鼻口部”区域的外侧水平延伸,然后在熊的鼻子1137的基部略微向上弯曲。电子设备还显示具有鼻子1137和耳朵1133的熊头像,其中,该鼻子位于放松的嘴巴1130上方,并且该耳朵处于放松的中性状态、沿熊的头部1135的侧面定位、且未卷曲或伸展。另外,电子设备显示不具有眉毛1138的熊头像,并且显示看向垂直于显示器(或者相机(例如,相机143、光学传感器164)的焦点平面)的方向的头像眼睛1132。
如1101B和1111B中所示,电子设备检测到用户嘴巴1120的位置(例如,检测到,用户嘴巴的角部1120A和1120B中的一者或两者定位成向上姿势(例如,向上位置)以形成微笑面部表情),并且作为响应,电子设备修改熊头像的两个特征。例如,响应于检测到用户嘴巴1120的角部1120A和1120B中的一者或两者定位成向上姿势,电子设备修改熊耳朵1133和熊嘴巴1130两者。电子设备通过使线1130A和1130B向上转动来修改熊的嘴巴1130以具有微笑表情,线1130A和1130B向上转动指示熊嘴巴1130的微笑表情,如1111B中所示。电子设备将熊的耳朵1133修改为“向上竖起”或在向上方向上延伸。在一些实施方案中,诸如1111B中所示的实施方案中,对熊耳朵1133的修改还包括使每个耳朵1133的宽度略微变窄以及改变耳朵1133在熊头部1135的侧面上的竖直位置,使得当耳朵向上竖起时,耳朵1133在熊头部1135上定位在更高位置处(与处于1111A中的中性状态下的耳朵1133在熊头部1135侧面上的竖直位置相比)。如1111B中所示,眼睛1132和鼻子1137相对于其在1111A中的原始位置保持不变。应当理解,在该实施方案中,当用户微笑时,电子设备将熊的嘴巴1130改变为微笑状态并且使耳朵1133向上竖起。当用户不再微笑时,电子设备使嘴巴1130和耳朵1133返回到其中性位置。
如1101C中所示,电子设备检测到,用户眉毛1122处于抬起位置(例如,与处于1101A和1101B中所示的放松中性状态时眉毛1122的位置相比,位于用户面部上的较高位置处)。响应于检测到抬起的眉毛1122,电子设备修改熊头像的两个特征。例如,电子设备将熊耳朵1133修改为向上竖起,并且修改熊头像以引入位于熊眼睛1132上方的眉毛1138,从而传达熊头像1100正在抬起其眉毛1138的印象,如1111C中所示。如1111B中所示,熊嘴巴1130返回到其中性位置,并且眼睛1132和鼻子1137相对于其在1111A中的原始位置保持不变。应当理解,在该实施方案中,当用户眉毛1122抬起时,电子设备引入头像的眉毛1138并使耳朵1133向上竖起。因此,当用户眉毛1122返回到其中性位置时,电子设备移除头像眉毛1138并使耳朵1133放松。
在1101D中,电子设备检测到,用户的眉毛1122抬起并且用户嘴巴1120的角部1120A和1120B中的一者或两者定位成向上姿势。作为响应,电子设备修改熊头像1100以实现耳朵极大程度地竖起,引入抬起的眉毛1138,并且使其微笑,如1111D中所示。电子设备通过大幅度缩小每个耳朵1133的宽度,使耳朵在向上方向上延伸,并且改变耳朵1133在熊头部1135侧面上的竖直位置使得耳朵1133在熊头部1135上定位在甚至比处于1111B和1111C中所示的竖起位置时所处位置更高的位置处,来修改耳朵1133以实现耳朵极大程度地竖起。对熊耳朵1133的修改的这种组合使得耳朵1133的外观在向上方向上极大程度地拉伸,该拉伸程度大于1111B和1111C中所示的耳朵竖起程度。应当理解,在该实施方案中,当用户抬起其眉毛1122并且微笑(例如,用户嘴巴1120的角部1120A和1120B中的一者或两者定位成向上姿势)时,电子设备引入头像的眉毛1138,将熊的嘴巴1130修改成微笑状态,并且使耳朵1133极大程度地竖起。因此,当用户眉毛1122和嘴巴1120返回到其中性位置时,电子设备移除头像眉毛1138并使耳朵1133和嘴巴1130放松。
图11B示出了说明电子设备响应于检测到用户面部特征的变化而修改熊头像1100的示例性实施方案。熊头像被示出为具有四个显示状态(1112A、1112B、1112C和1112D),其中,熊头像的四个显示状态中的每一者分别与用户的四个检测状态(1102A、1102B、1102C和1102D)相对应。在图11B中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改熊头像的特征。在四个显示状态中的每一者中,所显示状态的边界(例如,1112A、1112B、1112C和1112D的边界)表示包括虚拟头像的显示区域的边界。
在图11B所示的实施方案中,检测到的用户的面部特征包括用户的嘴巴1120(具有角部1120A和1120B)和用户的眉毛1122。在一些实施方案中,跟踪的物理特征可以包括其他面部特征,诸如眼睑、虹膜、肌肉、肌肉群等。在图11B的实施方案中,熊头像的特征包括头像嘴巴1130、头像眼睛1132、头像耳朵1133、头像鼻子1137、头像头部1135以及(在某些状态下)头像眉毛1138。
如1102A中所示,电子设备检测到用户嘴巴1120的角部1120A和1120B中的一者或两者定位成向下姿势(例如,向下位置),并且作为响应,电子设备修改熊头像的两个特征。在一些实施方案中,电子设备通过检测用户嘴巴的角部1120A和1120B中的一者或两者处于向下位置,并且任选地检测用户眉毛1122中的一者或两者未处于较低位置(例如,眉毛1122抬起或处于其中性位置),来确定用户正在做出悲伤面部表情。响应于检测到用户嘴巴1120的角部1120A和1120B的向下姿势或位置,电子设备修改熊嘴巴1130和熊耳朵1133两者,如1112A中所示。
电子设备通过使线1130A和1130B向下转动来修改熊的嘴巴1130以具有悲伤表情,线1130A和1130B向下转动形成熊嘴巴1130的悲伤表情,如1112A中所示。电子设备通过使熊耳朵1133的外边缘1133A和1133B向下转动(例如,折叠、旋转或倾斜),来将熊耳朵1133修改为在向下方向上“卷曲”或“耷拉”。在一些实施方案中,使熊耳朵1133卷曲还包括改变耳朵1133在熊头部1135的侧面上的竖直位置,使得当耳朵卷曲时,耳朵1133在熊头部1135上定位在更低位置处(与处于图11A的1111A中的中性状态下的耳朵1133在熊头部1135侧面上的竖直位置相比)。如1112A中所示,熊眼睛1132和鼻子1137相对于其在1111A中的原始位置保持不变。应当理解,在该实施方案中,当用户嘴巴1120形成悲伤面部表情时,电子设备将熊的嘴巴1130改变为悲伤表情并且使熊耳朵1133卷曲。当用户不再做出悲伤面部表情时,电子设备使熊嘴巴1130和耳朵1133返回到其中性位置。
在1102B和1112B中,电子设备检测到用户将悲伤面部表情保持阈值时间量,并且作为响应,电子设备通过引入从熊眼睛1132发出的眼泪1140来修改熊头像1100,以在熊头像做出具有卷曲耳朵1133的悲伤面部表情时将熊头像显示为正在哭泣。在一些实施方案中,当用户将悲伤表情保持第一阈值时间量(例如,0.3秒)时,电子设备修改熊头像以仅引入从熊眼睛1132中的一者或两者发出的单颗眼泪1140,并且然后,在用户继续保持悲伤表情达第二阈值时间量(例如,0.6秒)之后,电子设备修改熊头像以引入从眼睛1132发出的另外眼泪1140。电子设备显示从熊眼睛1132形成的眼泪1140,该眼泪沿熊面部向下流,从熊头部1135滴落,并且在1112B中显示区域的底部边缘处从视图中消失。在一些实施方案中,电子设备间歇地并且任选地以随机间隔显示眼泪1140。在一些实施方案中,眼泪1140持续出现,直到用户停止做出悲伤面部表情。如1112B中所示,电子设备继续显示卷曲的熊耳朵1133,并且继续显示做出悲伤表情的熊嘴巴1130。
在1102C和1112C中,电子设备检测到用户将皱眉面部表情保持阈值时间量,并且作为响应,电子设备修改熊头像1100以具有皱眉表情以及位于在熊头部1135上方的暴风云1142。电子设备通过检测用户嘴巴1120的角部1120A和1120B中的一者或两者定位成向下姿势并且检测用户眉毛1122处于向下位置(例如,与处于1101A中的放松中性状态下的眉毛1122的位置相比,该用户眉毛在用户面部上皱起或定位在用户面部上更低位置处),来检测用户的皱眉表情。响应于检测到用户的皱眉面部表情,电子设备通过向下转动熊嘴巴1130(例如,通过使线1130A和1130B向下弯曲,如1112C中所示)并且引入皱起状态的熊眉毛1138以形成皱眉眉毛姿势(如1112C中所示),来修改熊头像。在1112B中所示的实施方案中,电子设备未响应于检测到用户的皱眉面部表情而立即引入暴风云1142,电子设备也未修改熊的耳朵1133或鼻子11311。
在电子设备检测到用户将皱眉面部表情保持阈值时间量之后,电子设备修改皱眉熊头像1100以引入位于在熊头部1135上方的暴风云1142。在一些实施方案中,暴风云1142被动画化并且是动态的。例如,电子设备可以修改暴风云1142以引入闪电1144和/或雨。在一些实施方案中,电子设备显示从暴风云1142坠落并降落在熊头像头部1135上的雨。在一些实施方案中,降落的雨沿熊面部流下,从熊头部1135下落,并且在1112C中显示区域的底部边缘处从视图中消失。在一些实施方案中,电子设备间歇地并且任选地以随机间隔显示闪电1144和雨。在一些实施方案中,电子设备继续显示暴风云1142,直到用户停止做出皱眉面部表情。当用户停止做出皱眉面部表情时,电子设备修改熊头像1100,使得暴风云1142消失,皱眉眉毛1138消失,并且嘴巴1130返回到1111A中所示的中性位置。在一些实施方案中,当用户将皱眉面部表情保持第一阈值时间量(例如,0.3秒)时,电子设备显示没有闪电1144或雨的暴风云1142,并且然后,在用户继续保持皱眉面部表情达到第二阈值时间量(例如,0.6秒)之后,电子设备修改暴风云1142以产生闪电1144和雨。
如1102D和1112D中所示,电子设备检测到用户使其眉毛1122中的一者或两者降低,并且作为响应,电子设备将熊耳朵1133修改为卷曲。在该实施方案中,电子设备响应于检测到用户使其眉毛1122降低而使熊头像的耳朵1133卷曲。当用户使其眉毛1122返回到它们的中性位置时,电子设备使熊耳朵1133伸直。在1102D和1112D中所示的实施方案中,电子设备放弃修改熊头像1100的其他特征。因此,电子设备保持熊眼睛1132、嘴巴1130和鼻子1137的中性位置,并且不引入眉毛1138或其他对象(例如,眼泪1140或暴风云1142)。
图11C示出了说明电子设备响应于检测到用户面部特征的变化而修改熊头像1100的示例性实施方案。熊头像被示出为具有四个显示状态(1113A、1113B、1113C和1113D),其中,熊头像的四个显示状态中的每一者分别与用户的四个检测状态(1103A、1103B、1103C和1103D)相对应。在图11C中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改熊头像的特征。在四个显示状态中的每一者中,所显示状态的边界(例如,1113A、1113B、1113C和1113D的边界)表示包括虚拟头像的显示区域的边界。
如1103A和1113A中所示,电子设备检测到用户正在使他们的眼睛1123眯着(例如,使他们的眼睛1123变窄或凝视),并且作为响应,电子设备通过在熊眼睛1132周围引入头像面部结构来修改熊头像1100以使它的眼睛1132眯着。在一些实施方案中,电子设备通过检测用户眼睛1123的尺寸的减小(例如,相对于用户眼睛1123的中性位置)并且/或者在用户眼睛1123的外侧角部处形成的皱纹,来检测用户正在眯眼。作为响应,电子设备通过引入出现在熊眼睛1132下方的拱形位置处的颧骨1139并且引入出现在熊眼睛1132上方的较低位置处的眉毛1138(类似于1112C中所示的皱眉眉毛姿势),来修改熊头像以显示熊的眼睛1132眯着。电子设备显示颧骨1139拱起以遮蔽熊眼睛1132的下部并形成熊眯着的眼睛的底部,并且显示眉毛1138向下弯曲以遮蔽熊眼睛1132的上部并形成熊眯着的眼睛的顶部。当用户使其眼睛1123返回到它们的中性位置时,电子设备移除熊眉毛1138和颧骨1139以使熊头像1100返回到其中性姿势(1111A中所示)。在一些实施方案中,电子设备通过使眉毛1138从熊眼睛1132向上移动并且消失在熊头像面部中的过程动画化,来移除熊眉毛1138。在一些实施方案中,电子设备通过使颧骨1139降低并拉直以去除拱形并且消失在熊头像面部中的过程动画化来移除熊的颧骨1139。在1103A和1113A中所示的实施方案中,电子设备放弃修改熊头像1100的其他特征。因此,电子设备保持熊的嘴巴1130和鼻子1137的中性位置。
如1103B和1113B中所示,电子设备检测到用户将眯眼面部表情保持阈值时间量,并且作为响应,电子设备通过引入从熊眼睛1132射出的激光束1146来修改熊头像1100,同时熊保留上文相对于1113A所讨论的眯眼表情。电子设备显示从熊眼睛1132的底部形成的激光束1146,该激光束在向下方向上射出,并且在1113B中显示区域的底部边缘处从视图中消失。在一些实施方案中,电子设备将激光束1146显示为连续光束。在一些实施方案中,电子设备将激光束1146显示为间歇性突发以及任选地以随机间隔射出。在一些实施方案中,电子设备继续显示激光束1146,直到用户停止眯眼。在一些实施方案中,当用户将眯眼表情保持第一阈值时间量(例如,0.3秒)时,电子设备显示从每只眼睛1132射出的激光束1146的单个突发,并且在用户继续保持眯眼表情达到第二阈值时间量(例如,0.6秒)之后,电子设备显示从每只眼睛1132射出的连续激光束1146(或激光束1146的重复突发)。
如1103C和1113C中所示,电子设备检测到用户使他们的眼睛1123变宽,并且作为响应,电子设备通过在熊眼睛1132周围引入头像面部结构来修改熊头像1100以显示变宽的眼睛1132。在1103C和1113C中所示的实施方案中,电子设备通过检测用户眼睛1123的尺寸的增大(例如,相对于用户眼睛1123的中性位置)来检测用户的眼睛变宽。在一些实施方案中,检测变宽的眼睛任选地包括电子设备检测用户眉毛1122的抬起位置。响应于检测到变宽的用户眼睛1123,电子设备通过引入处于熊眼睛1132上方的抬起位置处的眉毛1138来修改熊头像以显示熊的眼睛1132变宽。当用户使其眼睛1123返回到它们的中性位置时,电子设备移除熊眉毛1138以使熊头像1100返回到其中性姿势(1111A中所示)。在一些实施方案中,电子设备通过使眉毛1138向下朝向熊眼睛1132移动并且消失在熊眼睛1132上方的熊头像面部中的过程动画化,来移除熊眉毛1138。在1103C和1113C中所示的实施方案中,电子设备放弃修改熊头像1100的其他特征。因此,电子设备保持熊的耳朵1133、嘴巴1130、眼睛1132和鼻子1137的中性位置。
如1103D和1113D中所示,电子设备检测到用户闭合了他们的眼睛1123,并且作为响应,电子设备通过在熊眼睛1132周围引入头像面部结构(例如,特征)来修改熊头像1100以闭合它的眼睛1132。在一些实施方案中,电子设备通过检测用户眼睑1127完全覆盖用户眼睛1123来检测用户闭合了他们的眼睛。作为响应,电子设备通过引入出现在熊眼睛1132下方的抬起且略微呈拱形的位置处的颧骨1139,并且引入出现在熊眼睛1132上方的眼睑1148且使该眼睑在向下方向上移动以覆盖熊眼睛1132(如1113D中所示),来修改熊头像以显示熊眼睛1132闭合。当用户使其眼睑1127抬起到它们的中性位置时,电子设备移除熊眼睑1148和颧骨1139以使熊头像1100返回到其中性姿势(1111A中所示)。在一些实施方案中,电子设备通过使眼睑1148向上移动以露出熊眼睛1132并且消失在熊眼睛1132上方的熊头像面部中的过程动画化,来移除熊眼睑1148。在一些实施方案中,电子设备通过使颧骨1139降低并拉直以去除轻微拱形并且消失在熊头像面部中的过程动画化来移除熊的颧骨1139。在1103D和1113D中所示的实施方案中,电子设备放弃修改熊头像1100的其他特征。因此,电子设备保持熊的嘴巴1130、耳朵1133和鼻子1137的中性位置。
图12A示出了说明电子设备响应于检测到用户面部特征的变化而修改外星人头像1200的示例性实施方案。外星人头像被示出为具有三个显示状态(1211A、1211B和1211C),其中,外星人头像的三个显示状态中的每一者分别与用户的三个检测状态(1201A、1201B和1201C)相对应。在图12A中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改外星人头像的特征。在三个显示状态中的每一者中,所显示状态的边界(例如,1211A、1211B和1211C的边界)表示包括虚拟头像的显示区域的边界。
如1201A和1211A中所示,电子设备检测到用户的中性面部表情(例如,用户眼睛1223张开,眉毛1222处于用户眼睛1223上方的放松位置处,用户脸颊1228放松且未扩展,并且用户嘴巴1220处于放松中性状态而不是处于与特定面部表情相关联的位置处),并且作为响应,电子设备显示具有1211A中的中性表情或状态的外星人头像1200。例如,电子设备显示具有大的有角度头部1235的外星人头像1200,该头部顶部宽并且逐渐缩小以形成尖状底部(例如,颏部),其中,嘴巴1230处于放松中性状态,并且不处于通常与特定面部表情(诸如,微笑或皱眉)相关联的位置。另外,电子设备显示具有面部1205的外星人头像,该面部具有大的椭圆形眼睛1232,该眼睛成角度以匹配外星人头部1235的有角度结构。电子设备显示显示看向垂直于显示器(或者相机(例如,相机143、光学传感器164)的焦点平面)的方向的外星人眼睛1232。电子设备还显示外星人头部1235和面部1205,该面部不具有各种特征诸如鼻子、耳朵或眉毛。在一些实施方案中,头像的中性位置对应于相关图像的其他表示,诸如可以在消息传送应用程序中找到的静态外星人表情符号。
如1201B和1211B中所示,电子设备通过检测用户嘴巴1220的角部1220A和1220B中的一者或两者定位成向下姿势以及用户眉毛1222定位成向下姿势(例如,与处于1201A中的放松中性状态下的眉毛1222的位置相比,该用户眉毛在用户面部上皱起或定位在用户面部上更低位置处),来检测用户的皱眉面部表情。响应于检测到用户的皱眉面部表情,电子设备修改外星人头像以具有皱眉且下垂的面部,如1211B中所示。例如,电子设备修改外星人1200,使得外星人嘴巴1230的角部向下转动,并且外星人面部1205在位于外星人的经向下转动的嘴巴1230的角部附近的区域1240A和1240B处扩展。在一些实施方案中,电子设备通过显示当嘴巴1230正在移动到向下转动位置时嘴巴1230向下转动以及区域1240A和1240B从外星人面部1205扩展的动画来修改外星人,以使其具有1211B中所示的下垂面部。在一些实施方案中,当用户不再作出皱眉面部表情时,电子设备修改外星人头像以使其返回到中性位置。在一些实施方案中,电子设备通过显示当嘴巴1230移动到中性位置时嘴巴1230移动到中性位置以及区域1240A和1240B回缩到外星人面部1205中的动画来修改外星人,以使其返回到1211A中的中性表情。
如1201C和1211C中所示,电子设备检测到用户做出嘟嘴表情,并且作为响应,电子设备通过用发射出黏滑心脏1252的一组嘟起的嘴唇1250替换外星人嘴巴1230来修改外星人头像1200。在一些实施方案中,诸如在1201C中所示的实施方案中,电子设备通过检测用户颌部1225处于闭合位置,并且检测用户嘴巴1220的角部1220A和1220B朝向彼此移动使得用户的嘴唇1229(例如,用户的上嘴唇1229A和下嘴唇1229B)以嘟嘴姿势从用户嘴巴1220向外延伸,来确定用户正在做出嘟嘴表情。响应于检测到用户的嘟嘴表情,电子设备通过将外星人嘴巴1230改变为一组嘟起的嘴唇1250来修改外星人头像1200。在一些实施方案中,电子设备通过引入显示为从外星人嘟起的嘴唇1250发射出的一个或多个黏滑心脏1252来修改外星人头像1200。在一些实施方案中,电子设备放弃修改外星人头像1200的任何其他特征。
在一些实施方案中,电子设备未响应于检测到用户的嘟嘴表情而立即引入黏滑心脏1252。在此类实施方案中,仅在电子设备检测到用户将嘟嘴表情保持阈值时间量之后,电子设备才修改嘟嘴的外星人头像1200以引入从嘟起的嘴唇1250发射出的黏滑心脏1252。在一些实施方案中,当用户将嘟嘴表情保持第一阈值时间量(例如,0.3秒)时,电子设备修改外星人头像以仅引入从嘟起的嘴唇1250发射出的单个黏滑心脏1252,并且然后,在用户继续保持嘟嘴表情达第二阈值时间量(例如,0.6秒)之后,电子设备修改外星人头像以引入从嘟起的嘴唇1250发射出的另外的黏滑心脏1252。在一些实施方案中,黏滑心脏1252被动画化并且是动态的。例如,在一些实施方案中,电子设备间歇地并且任选地以随机间隔显示从嘟起的嘴唇1250发射出的黏滑心脏1252。在一些实施方案中,电子设备将黏滑心脏1252显示为具有不同尺寸。在一些实施方案中,随电子设备远离嘟起的嘴唇1250移动,电子设备显示的黏滑心脏1252的尺寸增大。另外,在一些实施方案中,电子设备显示的每个黏滑心脏1252以随机轨迹移动,并且消失在位于1211C的显示区域内的随机位置处,或者另选地在该黏滑心脏离开1211C的显示区域时从视图中消失。在一些实施方案中,电子设备显示在基于用户或头像正面向的方向的方向上从嘟起的嘴唇1250发射出的黏滑心脏1252。例如,如果电子设备检测到用户面部或头像向左转动,则嘟起的嘴唇1250向左发射出黏滑心脏1252,并且如果电子设备检测到用户面部或头像向右转动,则嘟起的嘴唇1250向右发射出黏滑心脏1252。在一些实施方案中,电子设备继续显示从外星人嘟起的嘴唇1250发射出的黏滑心脏1252,直到用户停止做出嘟嘴面部表情。在一些实施方案中,当用户停止做出嘟嘴面部表情时,电子设备修改外星人头像1200,使得黏滑心脏1252消失并且嘟起的嘴唇1250被外星人嘴巴1230替换。
图12B示出了说明电子设备响应于检测到用户面部特征的变化而修改外星人头像1200的示例性实施方案。外星人头像被示出为具有四个显示状态(1212A、1212B、1212C和1212D),其中,外星人头像的四个显示状态中的每一者分别与用户的四个检测状态(1202A、1202B、1202C和1202D)相对应。在图12B中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改外星人头像的特征。
如1202A和1212A中所示,电子设备检测到用户眉毛1222处于略微抬起的位置处(例如,定位成略微高于1201A中所示的中性位置),并且响应于用户略微抬起其眉毛1222向外星人添加眉毛以显示外星人抬起其眉毛。例如,响应于检测到用户眉毛1222的略微抬起位置,电子设备通过引入位于外星人头像的眼睛1232上方的处于抬起位置的眉毛1238来修改外星人头像1200(例如,以传达外星人头像1200正在抬起其眉毛1238的印象)。在该实施方案中,当用户眉毛1222略微抬起时,电子设备引入外星人的眉毛1238。因此,当用户眉毛1222返回到其中性位置时,电子设备移除外星人的眉毛1238。在一些实施方案中,电子设备通过使眉毛1238向下朝向外星人眼睛1232移动并且消失在外星人眼睛1232上方的外星人面部1205中的过程动画化,来移除外星人眉毛1238。
如1202B中所示,电子设备检测到,用户的眉毛1222已经从1202A中的略微抬起位置移动到极大程度抬起位置(例如,定位成高于1202A中所示的略微抬起位置)。在一些实施方案中,检测到用户眉毛极大程度地抬起任选地包括:除用户抬起其眉毛1222之外,电子设备还检测到用户的眼睛1223变宽。响应于检测到用户眉毛极大程度地抬起,电子设备保持在1212A中引入的眉毛1238的位置,并且通过在外星人头部1235的顶部处引入刺突部1254来修改外星人的头部1235,如1212B中所示。在一些实施方案中,当用户将其眉毛1222抬起至超出1202A中所示的略微抬起位置时,电子设备通过使刺突部1254从外星人头部1235的顶部突起的过程动画化来引入刺突部1254。在一些实施方案中,当用户使其眉毛1222返回到它们的中性位置或略微抬起位置时,电子设备通过使刺突部1254回缩到外星人头部1235中的过程动画化来移除刺突部1254。在1202B和1212B中所示的实施方案中,电子设备放弃修改外星人头像1200的其他特征。因此,电子设备保持外星人的嘴巴1230和眼睛1232的中性位置。
如1202C和1212C中所示,电子设备检测到用户脸颊1228处于略微膨胀或扩展的位置(例如,用户以空气略微地填充其脸颊1228,使得脸颊略微扩展至超出1201A中所示的中性位置),并且电子设备响应于用户使其脸颊1228略微膨胀,向外星人添加脸颊以显示外星人的脸颊膨胀。例如,响应于检测到用户脸颊1228的略微膨胀位置,电子设备通过引入处于略微扩展位置的头像脸颊1256来修改外星人头像1200(例如,以传达外星人头像1200的脸颊1256膨胀的印象)。如1212C中所示,电子设备显示的外星人脸颊1256扩展至超出外星人头部1235的狭窄下部。在该实施方案中,当用户脸颊1228略微膨胀时,电子设备引入外星人的脸颊1256。因此,当用户脸颊1228返回到其中性位置时,电子设备移除外星人的脸颊1256。在一些实施方案中,电子设备通过使脸颊1256回缩到外星人面部1205并且消失在外星人眼睛1232下方的外星人面部1205中的过程动画化,来移除外星人脸颊1256。
在一些实施方案中,诸如在1212C中所示的实施方案中,电子设备还响应于检测到用户略微膨胀的脸颊1228而修改外星人嘴巴1230。例如,如1212C中所示,当用户使其脸颊1228膨胀时,电子设备将外星人嘴巴1230从其在1211A中示出的中性位置修改为窄的圆形形状,该窄的圆形形状模仿用户嘴唇的变窄(并且有时嘟起)。
如1202D中所示,电子设备检测到,用户脸颊1228已经从1202C中的略微膨胀位置扩展到极大程度膨胀位置(例如,扩展至超出1202C中所示的略微膨胀位置)。响应于检测到用户脸颊的极大程度膨胀,电子设备通过引入从外星人脸颊1256突出的刺突部1258来修改外星人的膨胀脸颊1256,如1212D中所示。在一些实施方案中,当用户将其脸颊1228扩展至超出1202C中所示的略微膨胀位置时,电子设备通过使刺突部1258从外星人膨胀脸颊1256的外部部分延伸的过程动画化来引入刺突部1258。在一些实施方案中,当用户使其脸颊1228返回到它们的中性位置或略微膨胀位置时,电子设备通过使刺突部1258回缩到外星人脸颊1256中的过程动画化来移除刺突部1258。在1202D和1212D中所示的实施方案中,电子设备放弃修改外星人头像1200的其他特征。因此,电子设备保持外星人眼睛1232的中性位置和外星人嘴巴1230的变窄位置。
图12C示出了说明电子设备响应于检测到用户面部特征的变化而修改外星人头像1200的示例性实施方案。外星人头像被示出为具有五个显示状态(1213A、1213B、1213C、1213D和1213E),其中,外星人头像的五个显示状态中的每一者分别与用户的五个检测状态(1203A、1203B、1203C、1203D和1203E)相对应。在图12C中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改外星人头像的特征。
在图12C中所示的实施方案中,仅当用户将其眼睛闭合或使其眼睛变窄至少阈值量(例如,一半)时,电子设备才减小外星人眼睛的尺寸。否则,电子设备响应于用户使其眼睛1223闭合小于阈值量的量而放弃修改外星人的眼睛1232。这允许电子设备响应于检测到当用户实际上处于其中性张开位置时其眼睛看起来部分闭合的用户,显示外星人,而不会无意地使外星人眼睛1232闭合或变窄。
如1203A和1213A中所示,电子设备检测到用户使他们的眼睛1223变宽,并且作为响应,电子设备通过增大外星人眼睛1232的尺寸来修改外星人头像1200以显示变宽的眼睛1232。在1203A和1213A中所示的实施方案中,电子设备通过检测用户眼睛1223的尺寸的增大(例如,相对于用户眼睛1223的中性位置)来检测用户的眼睛1223变宽。在一些实施方案中,检测变宽的眼睛任选地包括电子设备检测用户眉毛1222的抬起位置。响应于检测到变宽的用户眼睛1223,电子设备通过增大外星人眼睛1232的面积(如1213A中所示)来修改外星人头像以显示外星人的眼睛1232变宽。如1203A和1213A中所示,外星人眼睛1232的变化相对于用户眼睛1223的变化被夸大,因为与用户眼睛的变化的百分比(例如,预测或确定的运动范围的10%)相比,头像眼睛的变化占最大模拟运动范围的更大百分比(例如,30%)。
如1203B和1213B中所示,当用户使他们的眼睛1223从1203A中的变宽位置返回到1203B中的中性位置时,电子设备使外星人眼睛1232从1213A中的放大状态缩小到1213B中的中性状态。
在1203C中,电子设备检测到,用户使他们的眼睛1223变窄或闭合,但未超出用于修改外星人眼睛1232的阈值量。响应于确定用户眼睛1223未闭合超出阈值,电子设备放弃修改外星人眼睛1232,如1213C中所示。
在1203D中,电子设备检测到,用户使他们的眼睛1223闭合超出阈值的量,但未闭合至处于完全闭合的位置。换句话讲,电子设备检测到,在1203D中,用户眼睛1223略微张开。作为响应,电子设备在1213D中减小外星人眼睛1232的尺寸,以将外星人眼睛1232显示为处于与1203D中的用户的略微张开眼睛1223相对应的略微张开状态。
在1203E中,电子设备通过检测用户眼睑1227完全覆盖用户眼睛1223来确定用户眼睛1223完全闭合。作为响应,电子设备在1213E中进一步减小外星人眼睛1232的尺寸,以将外星人眼睛1232显示为处于闭合状态。如1213E中所示,将外星人闭合的眼睛显示为外星人头部1235上的成角度线1232A。
在图12C中所示的实施方案中,电子设备响应于检测到用户眼睛1223的变化而修改外星人眼睛1232,并且放弃修改外星人头像1200的其他特征。因此,外星人嘴巴1230保持中性姿势,并且未引入其他特征(例如,刺突部、眉毛、脸颊等),如1213A、1213B、1213C、1213D和1213E中所示。
图13示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改兔子头像1300的示例性实施方案。兔子头像被示出为具有三个显示状态(1311A、1311B和1311C),其中,兔子头像的三个显示状态中的每一者分别与用户的三个检测状态(1301A、1301B和1301C)相对应。在图13中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个面部特征的位置或位置变化来定位或修改兔子头像的特征。
在1301A中,电子设备检测到用户的中性面部表情(例如,用户眼睛1323张开,眉毛1322处于用户眼睛1323上方的放松位置处,并且用户嘴巴1320处于放松中性状态而不是处于与特定面部表情相关联的位置处)。响应于检测到中性面部表情,电子设备在1311A中显示具有中性表情或状态的兔子头像1300。例如,电子设备显示兔子头像1300,该兔子头像具有从兔子头部1335的顶部垂直延伸的长耳朵1333、具有张开位置的眼睛1332以及包括胡须1342、鼻子1344、牙齿1346和嘴巴1330的嘴部区域1340。在1311A中,兔子嘴巴1330的中性状态由兔子嘴巴1330的闭合位置以及定位成靠近彼此且从兔子嘴部区域1340在向下方向上柔软地延伸的胡须1342指示。另外,电子设备显示不具有眉毛1338的兔子头像1300,并且显示看向垂直于显示器(或者相机(例如,相机143、光学传感器164)的焦点平面)的方向的兔子眼睛1332。在一些实施方案中,头像的中性位置对应于相关图像的其他表示,诸如可以在消息传送应用程序中找到的静态兔子表情符号。
如1301B和1311B中所示,电子设备检测到用户闭合了他们的眼睛1323,并且作为响应,电子设备通过在兔子眼睛1332周围引入头像面部结构(例如,特征)来修改兔子头像1300以闭合它的眼睛1332。在一些实施方案中,电子设备通过检测用户眼睑1327完全覆盖用户眼睛1323来检测用户闭合了他们的眼睛。作为响应,电子设备通过引入出现在兔子眼睛1332下方的抬起且略微呈拱形的位置处的颧骨1339,并且引入出现在兔子眼睛1332上方的眼睑1348且使该眼睑在向下方向上移动以覆盖兔子眼睛1332(如1311B中所示),来修改兔子头像以显示兔子眼睛1332闭合。当用户使其眼睑1327抬起到它们的中性位置时,电子设备移除兔子眼睑1348和颧骨1339以使兔子头像1300返回到其中性姿势(1311A中所示)。在一些实施方案中,电子设备通过使眼睑1348向上移动以露出兔子眼睛1332并且消失在兔子眼睛1332上方的兔子面部中的过程动画化,来移除兔子眼睑1348。在一些实施方案中,电子设备通过使颧骨1339降低并拉直以去除轻微拱形并且消失在兔子面部中的过程动画化来移除兔子的颧骨1339。在1301B和1311B中所示的实施方案中,电子设备放弃修改兔子头像1300的其他特征。因此,电子设备保持兔子的耳朵1333以及包括胡须1342、嘴巴1330、牙齿1346和鼻子1344的嘴部区域1340的中性位置。
如1301C和1311C中所示,电子设备检测到用户嘴巴1320的角部1320A和1320B中的一者或两者定位成向上姿势(例如,形成微笑面部表情),并且作为响应,电子设备修改兔子头像以具有微笑面部表情。例如,电子设备通过降低(例如,张开)兔子嘴巴1330并增大每个胡须1342之间的间距来修改兔子的嘴部区域1340以形成微笑面部表情,如1311C中所示。通过增大胡须1342之间的间距,电子设备传达兔子特征(特别是嘴部区域1340的特征)之间的互连面部关系。因此,当用户移动他们的嘴巴1320时,电子设备修改兔子的嘴巴1330,这影响兔子嘴部区域1340的互连面部特征的变化。电子设备通过调整胡须1342之间的间距来表示兔子嘴部区域1340的特征之间的这种联系,胡须通过嘴部区域1340连接到兔子嘴巴1330。在该实施方案中,当用户微笑时,电子设备将兔子的嘴部区域1340改变为微笑表情状态。当用户不再微笑时,电子设备使包括嘴巴1330和胡须1342的嘴部区域1340返回到其中性位置。兔子的眼睛1332、牙齿1346、鼻子1344和耳朵1333相对于它们在1311A中的中性位置保持不变。
图14A示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改机器人头像1400的示例性实施方案。机器人头像被示出为具有三个显示状态(1411A、1411B和1411C),其中,机器人头像的三个显示状态中的每一者分别与用户的三个检测状态(1401A、1401B和1401C)相对应。在图14A中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改机器人头像的特征。
在1401A中,电子设备检测到用户的中性面部表情。例如,用户眼睛1423张开(其中,虹膜1423A或瞳孔指向垂直于相机(例如,相机143、光学传感器164)的焦点平面的方向),眉毛1422处于用户眼睛1423上方的放松位置处,并且用户脸颊1428放松且未扩展。另外,用户嘴巴1420(具有用户嘴唇1420A的第一部分(其可以任选地形成用户嘴巴1420的角部)和用户嘴唇1420B的第二部分(其可以任选地形成用户嘴巴1420的角部))处于放松的中性状态,而不是处于与特定面部表情相关联的位置处。响应于检测到中性面部表情,电子设备在1411A中显示具有中性表情或状态的机器人头像1400。例如,电子设备显示具有耳朵1433、天线1434以及鼻子1436的机器人头像1400,其中,耳朵以垂直居中对齐方式抵靠机器人头部1435的侧面定位,天线具有在机器人头部1435的顶部上的水平居中位置中的较低位置,鼻子具有三角形形状,该三角形底部与机器人头部1435的底部边缘平行对齐,并且与底部相对的角朝向天线1434向上指向。
在1411A中,机器人嘴巴1430的中性位置由电子设备显示的嘴巴1430的位置和形状指示。例如,电子设备通过使嘴巴1430在机器人鼻子1436下方水平居中来将机器人嘴巴1430显示在中性位置处。另外,当电子设备显示具有“药丸”形状的机器人嘴巴1430时,机器人嘴巴1430处于中性位置,该“药丸”形状由圆形端部1430A和1430B形成,该圆形端部由水平定位且平行于彼此的上边缘1430U和下边缘1430L连接。当嘴巴处于中性位置时,电子设备显示形成机器人的“牙齿”1440的垂直线1430C。牙齿1440相对于机器人头部1435具有固定的水平位置,该水平位置在机器人鼻子1436下方居中。
如1411A中所示,电子设备通过显示具有内圆1432B或孔口的外圆1432A将机器人眼睛1432显示为处于中性位置,该内圆或孔口定位在外圆1432A的中心,其中,线1431在外圆1432A和内圆1432B之间水平延伸。机器人眼睛特征(例如,居中孔口1432B和水平线1431)的这种组合表示机器人眼睛1432看向垂直于显示器(或者相机(例如,相机143、光学传感器164)的焦点平面)的方向。在一些实施方案中,机器人眼睛1432的张开性由内圆1432B的尺寸指示。例如,当内圆1432B的直径增大时,机器人眼睛1432被认为变宽或张开。当内圆1432B的直径减小时,机器人眼睛1432被认为变窄或闭合。在一些实施方案中,电子设备通过移除内圆1432B并显示跨外圆1432A延伸的单个线1431,来将机器人眼睛1432显示为处于闭合位置。在其他实施方案中,电子设备通过显示具有最小直径的内圆1432B,来将机器人眼睛1432显示为处于闭合位置。在图14A至图14D中所示的实施方案中,1411A中所示的内圆1432B的尺寸表示内圆1432B的中性位置或尺寸。在一些实施方案中,头像的中性位置对应于相关图像的其他表示,诸如可以在消息传送应用程序中找到的静态机器人表情符号。
如1401B中所示,电子设备检测到偏移到用户右侧的用户眼睛1423(例如,用户眼睛的虹膜1423A和/或瞳孔)。响应于检测到用户虹膜1423A的向右偏移,电子设备将机器人头像的眼睛1432修改为向右看。例如,针对每个机器人眼睛1432,电子设备使内圆1432B偏移到外圆1432A的最右边缘,如1411B中所示。另外,当电子设备使内圆1432B偏移到外圆1432A的最右边缘时,电子设备还调整水平线1431的长度以保持它们在内圆1432B和外圆1432A之间的水平延伸。如1411B中所示,电子设备放弃修改机器人头像1400的其他特征。
1401C和1411C示出了类似的效果,其中,电子设备检测到偏移到用户左侧的用户眼睛1423(例如,用户眼睛的虹膜1423A和/或瞳孔)。响应于检测到用户虹膜1423A的向左偏移,电子设备将机器人头像的眼睛1432修改为向左看,如1411C中所示。例如,针对每个机器人眼睛1432,电子设备使内圆1432B偏移到外圆1432A的最左边缘并调整水平线1431的长度以保持它们在内圆1432B和外圆1432A之间的水平延伸。同样,如1411C中所示,电子设备放弃修改机器人头像1400的其他特征。
图14B示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改机器人头像1400的示例性实施方案。机器人头像被示出为具有三个显示状态(1412A、1412B和1412C),其中,机器人头像的三个显示状态中的每一者分别与用户的三个检测状态(1402A、1402B和1402C)相对应。在图14B中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改机器人头像的特征。
如1402A和1412A中所示,电子设备检测到用户使他们的眼睛1423变宽,并且作为响应,电子设备修改机器人头像1400以显示变宽的眼睛1432。在1402A和1412A中所示的实施方案中,电子设备通过检测用户眼睛1423的尺寸的增大(例如,相对于用户眼睛1423的中性位置)来检测用户的眼睛1423变宽。在一些实施方案中,检测变宽的眼睛任选地包括电子设备检测用户眉毛1422的抬起位置。响应于检测到变宽的用户眼睛1423,电子设备通过增大内圆1432B的直径(如1412A中所示)来修改机器人头像1400以显示机器人的眼睛1432变宽。另外,电子设备减小水平线1431的长度以保持它们在内圆1432B和外圆1432A之间的水平延伸。如1412A中所示,电子设备放弃修改机器人头像1400的其他特征。
如1402B和1412B中所示,电子设备检测到用户使他们的眼睛1423变窄,并且作为响应,电子设备修改机器人头像1400以使它的眼睛1432变窄。在1402B和1412B中所示的实施方案中,电子设备通过检测用户眼睛1423的尺寸的减小(例如,相对于用户眼睛1423的中性位置)来检测用户的眼睛1423变窄。响应于检测到变窄的用户眼睛1423,电子设备通过减小内圆1432B的直径(如1412B中所示)来修改机器人头像1400以显示机器人的眼睛1432变窄。另外,电子设备增大水平线1431的长度以保持它们在内圆1432B和外圆1432A之间的水平延伸。如1412B中所示,电子设备放弃修改机器人头像1400的其他特征。
如1402C和1412C中所示,电子设备检测到用户眉毛1422处于抬起位置(例如,定位成高于1401A中所示的中性位置),并且作为响应,电子设备修改机器人头像1400的各种特征。例如,如1412C中所示,电子设备通过使天线1434从机器人头部1435的顶部延伸,使机器人耳朵1433从机器人头部1435的侧面延伸,并且使连接机器人眼睛1432的内圆1432B和外圆1432A的线1431旋转,来修改机器人头像1400。在1412C中所示的实施方案中,电子设备使线1431旋转使得它们成角度,以模仿处于“抬起”位置的机器人眉毛。例如,电子设备使位于机器人右眼1432R中的线1431沿顺时针方向旋转大约45度,并且使位于机器人左眼1432L中的线1431沿逆时针方向旋转大约45度。在该实施方案中,当用户抬起其眉毛1422时,电子设备如上所讨论的那样修改机器人头像1400。因此,当电子设备检测到用户眉毛1422返回到其中性位置时,电子设备显示返回到它们在1411A中所示的中性位置的天线1434、耳朵1433和线1431。
图14C示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改机器人头像1400的示例性实施方案。机器人头像被示出为具有四个显示状态(1413A、1413B、1413C和1413D),其中,机器人头像的四个显示状态中的每一者分别与用户的四个检测状态(1403A、1403B、1403C和1403D)相对应。在图14C中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改机器人头像的特征。
如1403A和1413A中所示,电子设备检测到,用户嘴唇1420A和1420B的一部分处于与1401A中所示的位置不同的位置处。具体地讲,电子设备检测到嘴唇1420A和1420B的一部分定位成向上姿势(例如,微笑面部表情),并且作为响应,电子设备修改机器人头像1400以具有微笑表情。例如,电子设备通过将机器人嘴巴的形状改变为具有较短下边缘1430L和较长上边缘1430U的梯形形状,来修改机器人嘴巴1430以具有微笑表情,如1413A中所示。如1413A中所示,电子设备放弃修改机器人头像1400的其他特征。
如1403B和1413B中所示,电子设备检测到用户嘴唇1420A和1420B的部分中的一者或两者定位成向下姿势并且用户眉毛1422处于向下位置处(例如,与1401A中处于放松中性状态下的眉毛1422的位置相比,该用户眉毛在用户面部上皱起或定位在用户面部上更低位置处),并且作为响应,电子设备修改机器人头像1400的多个特征以显示具有皱眉表情的机器人。例如,电子设备通过修改机器人嘴巴1430和机器人耳朵1433两者来显示具有皱眉表情的机器人。电子设备通过将机器人嘴巴的形状改变为具有较长下边缘1430L和较短上边缘1430U的梯形形状,来修改机器人嘴巴1430以具有皱眉表情,如1413A中所示。另外,电子设备修改机器人耳朵1433,使得它们从机器人头部1435的侧面延伸并在向下方向上倾斜,从而远离机器人头部1435的侧面成角度,如1413B中所示。在1413B中所示的实施方案中,电子设备放弃修改机器人头像1400的其他特征。
在1403C中,电子设备检测到,用户嘴巴1420的部分1420C和1420D在用户嘴巴1420张开时间隔开(例如,好像用户嘴巴1420正在说话动作中移动)。响应于检测到用户嘴巴1420的这种“说话”动作,电子设备修改机器人头像1400,如1413C中所示,以显示模仿用户说话动作的机器人嘴巴1430。例如,电子设备通过引入水平空间1441来改变机器人牙齿1440,该水平空间将机器人牙齿1440分成上排牙齿1440A和下排牙齿1440B。当电子设备检测到用户嘴巴在说话动作中移动时,电子设备增大上排牙齿1440A和下排牙齿1440B之间的水平空间1441的高度,以显示机器人牙齿1440在张开方向上移动,并且减小上排牙齿1440A和下排牙齿1440B之间的水平空间1441的高度,以显示机器人牙齿1440在闭合方向上移动。通过以这种方式修改水平间距1441的高度,电子设备修改机器人嘴巴1430以模仿用户嘴巴1420的说话动作。在一些实施方案中,诸如在1403C和1413C中所示的实施方案中,电子设备不响应于检测到用户嘴巴1420的部分1420C和1420D在说话动作中移动而修改机器人嘴巴1430的形状或位置。而是,如上所讨论地修改机器人牙齿1440。在一些实施方案中,诸如在图14C的实施方案中,物理特征(例如,用户的嘴唇和/或嘴巴)的变化可以导致对应的头像特征(例如,机器人嘴巴1430、1430U、1430L)发生夸大的变化,这种夸大表现为与针对物理特征检测到的形状变化不同的形状变化。
如1403D和1413D中所示,当电子设备检测到用户嘴巴1420返回到1403D中的闭合位置时(例如,用户嘴巴1420的部分1420C和1420D闭合),电子设备移除水平空间1441,使得机器人牙齿1440返回到中性闭合位置,如1413D中所示。
图14D示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改机器人头像1400的示例性实施方案。机器人头像被示出为具有四个显示状态(1414A、1414B、1414C和1414D),其中,机器人头像的四个显示状态中的每一者分别与用户的四个检测状态(1404A、1404B、1404C和1404D)相对应。在图14D中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改机器人头像的特征。在四个显示状态中的每一者中,所显示状态的边界(例如,1414A、1414B、1414C和1414D的边界)表示包括虚拟头像的显示区域的边界。
如1404A和1414A中所示,电子设备检测到用户嘴巴1420(例如,上嘴唇1420C和下嘴唇1420D)偏移到用户右侧(例如,相对于相机视场向左偏移),并且作为响应,电子设备修改机器人的嘴巴1430和鼻子1436两者。电子设备通过使机器人嘴巴1430的形状向右偏移以便镜像化用户嘴巴1420的移动,同时保持机器人牙齿1440相对于机器人头部1435的相对位置,来修改机器人嘴巴1430。例如,如1414A中所示,机器人嘴巴1430的药丸形状向右偏移并且牙齿1440的位置保持固定,使得机器人嘴巴1430相对于机器人头部1435和牙齿1440看起来偏移。
如1404A中所示,用户鼻子1425的尖端部与用户嘴巴1420一起略微偏移。在一些实施方案中,电子设备不直接监视或检测用户鼻子1425的移动,但是,电子设备通过将机器人鼻子1436修改为响应于机器人嘴巴1430偏移而移动,来说明用户鼻子1425的移动。例如,电子设备修改机器人鼻子1436,使得机器人鼻子随机器人嘴巴1430偏移而旋转,从而传达机器人的嘴巴1430和鼻子1436之间的互连面部关系,该互连面部关系类似于用户的嘴巴1420与鼻子1425之间的互连面部关系。在1414A中所示的实施方案中,电子设备使机器人嘴巴1430向右偏移并使鼻子1436顺时针旋转。对机器人的嘴巴1430和鼻子1436的修改的这种组合模仿了用户的嘴巴1420和鼻子1425的移动,并且提供了机器人的面部特征(特别是机器人的鼻子1436和嘴巴1430)以与用户的嘴巴1420和鼻子1425的互连方式类似的方式互连的外观。
1404B示出了用户的嘴巴1420和鼻子1425在与1404A中所示的方向相反的方向上的移动,并且1414B示出了电子设备对机器人头像1400进行的对应修改。对机器人头像1400进行的这些修改类似于上文相对于1414A所讨论的那些修改,但是以相反的方向示出。例如,在1404B中,用户嘴巴1420和鼻子1425被示出为向用户左侧偏移(例如,相对于相机视场向右偏移),并且作为响应,电子设备使机器人嘴巴1430向右偏移并且使机器人鼻子1436逆时针旋转,如1414B中所示。同样,对机器人的嘴巴1430和鼻子1436的修改的这种组合模仿了用户的嘴巴1420和鼻子1425的移动,并且提供了机器人的面部特征以与用户的嘴巴1420和鼻子1425的互连方式类似的方式互连的外观。
如1404C和1414C中所示,电子设备检测到用户脸颊1428处于膨胀或扩展的位置(例如,用户以空气填充其脸颊1428,使得脸颊扩展至超出1401A中所示的中性位置),并且作为响应,电子设备通过使机器人耳朵1433从机器人头部1435的侧面延伸来修改机器人头像1400。在一些实施方案中,电子设备基于用户扩展其脸颊1428的量来修改耳朵1433的延伸程度。例如,当用户继续扩展其脸颊1428时,电子设备使耳朵1433继续延伸。类似地,当用户脸颊1428回缩时(例如,响应于用户从他们的脸颊1428中释放出空气),电子设备使机器人耳朵1433回缩。
如1404D中所示,电子设备通过检测用户颌部1427处于闭合位置,并且检测用户嘴巴1420的角部1420A和620B朝向彼此移动使得用户的嘴唇(例如,用户的上嘴唇1420C和下嘴唇1420D)以嘟嘴姿势从用户嘴巴1420向外延伸,来检测用户正在做出嘟嘴面部表情。响应于检测到用户的嘟嘴面部表情,电子设备通过改变机器人嘴巴1430的形状并且显示从机器人嘴巴1430发射出的金属心脏1452来修改机器人头像1400,如1414D中所示。例如,电子设备将机器人嘴巴1430的形状修改为在圆的中心具有“+”形状1454的圆,以形成机器人“嘟嘴”表情。另外,电子设备引入显示为从机器人“嘟起”的嘴巴1430发射出的一个或多个金属心脏1452。在一些实施方案中,电子设备放弃修改机器人头像1400的任何其他特征。
在一些实施方案中,电子设备未响应于检测到用户的嘟嘴面部表情而立即引入金属心脏1452。在此类实施方案中,仅在电子设备检测到用户将嘟嘴面部表情保持阈值时间量之后,电子设备才修改嘟嘴的机器人头像1400以引入从嘟起的嘴巴1430发射出的金属心脏1452。在一些实施方案中,当用户将嘟嘴面部表情保持第一阈值时间量(例如,0.3秒)时,电子设备修改机器人头像以仅引入从嘟起的嘴巴1430发射出的单个金属心脏1452,并且然后,在用户继续保持嘟嘴面部表情达第二阈值时间量(例如,0.6秒)之后,电子设备修改机器人头像以引入从嘟起的嘴巴1430发射出的另外的金属心脏1452。
在一些实施方案中,金属心脏1452被动画化并且是动态的。例如,在一些实施方案中,电子设备间歇地并且任选地以随机间隔显示从嘟起的嘴巴1430发射出的金属心脏1452。在一些实施方案中,电子设备将金属心脏1452显示为具有不同尺寸。在一些实施方案中,随电子设备远离嘟起的嘴巴1430移动,电子设备显示的金属心脏1452的尺寸增大。另外,在一些实施方案中,电子设备显示的每个金属心脏1452以随机轨迹移动,并且消失在位于1414D的显示区域内的随机位置处,或者另选地在该金属心脏离开1414D的显示区域时从视图中消失。在一些实施方案中,电子设备显示在基于用户或头像正面向的方向的方向上从嘟起的嘴巴1430发射出的金属心脏1452。例如,如果电子设备检测到用户面部或头像向左转动,则嘟起的嘴巴1430向左发射出金属心脏1452,并且如果电子设备检测到用户面部或头像向右转动,则嘟起的嘴巴1430向右发射出金属心脏1452。在一些实施方案中,电子设备继续显示从机器人嘟起的嘴巴1430发射出的金属心脏1452,直到用户停止做出嘟嘴面部表情。在一些实施方案中,当用户停止做出嘟嘴面部表情时,电子设备修改机器人头像1400,使得金属心脏1452消失并且嘟起的嘴巴1430返回到1411A中所示的中性形状。
图15A示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改独角兽头像1500的示例性实施方案。独角兽头像被示出为具有四个显示状态(1511A、1511B、1511C和1511D),其中,独角兽头像的四个显示状态中的每一者分别与用户的四个检测状态(1501A、1501B、1501C和1501D)相对应。在图15A中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改独角兽头像的特征。
在1501A中,电子设备检测到用户的中性面部表情(例如,用户眼睛1523张开,眉毛1522处于用户眼睛1523上方的放松位置处,并且用户嘴巴1520处于放松中性状态而不是处于与特定面部表情相关联的位置处)。响应于检测到中性面部表情,电子设备在1511A中显示具有中性状态的独角兽头像1500。例如,电子设备显示具有耳朵1533、眼睛1532和鬃毛1552的独角兽1500,其中,耳朵从独角兽头部1535的顶部垂直延伸,眼睛处于张开位置,并且鬃毛自然地披散在独角兽头部1535的顶部处并且沿独角兽的头部1535和颈部1539的后部垂下。另外,电子设备显示具有角1550的独角兽1500,该角定位成朝向独角兽头部1535的顶部且邻近独角兽的耳朵1533和鬃毛1552。电子设备显示不具有眉毛或脸颊特征的独角兽1500,并且显示看向垂直于显示器(或者相机(例如,相机143、光学传感器164)的焦点平面)的方向的独角兽眼睛1532。
电子设备还显示具有口鼻区域1540的独角兽1500,该口鼻区域包括嘴巴1530和鼻孔1536。在1511A中,电子设备将独角兽的口鼻区域1540显示为处于中性状态,该口鼻区域包括处于闭合位置的独角兽嘴巴1530和处于放松位置的鼻孔1536。
在1511A中所示的中性状态下,电子设备将独角兽头像1500显示为处于倾斜取向,使得独角兽1500面向1511A的显示区域的左侧,其中,独角兽特征中的大约一半可见。例如,电子设备显示独角兽眼睛1532中的一只,独角兽嘴巴1530的一半,以及处于1511A中所示的中性状态的一个鼻孔1536。在一些实施方案中,头像的中性位置对应于相关图像的其他表示,诸如可以在消息传送应用程序中找到的静态独角兽表情符号。
如1501B和1511B中所示,电子设备检测到用户的上嘴唇1520A处于抬起位置并且用户眉毛1522处于较低位置(例如,用户正在做出冷笑面部表情),并且作为响应,电子设备修改所显示的独角兽头像1500以显示冷笑表情。例如,电子设备修改独角兽头像1500以引入定位成处于皱起状态的眉毛1538,该眉毛部分地遮挡独角兽眼睛1532的上部,如1511B中所示。另外,电子设备通过利用突出的上嘴唇1530A将独角兽的嘴巴1530改变到张开位置来修改口鼻区域1540,以露出独角兽的牙齿1542。电子设备还通过将鼻孔1536显示为处于扩展或弯曲位置并扩展口鼻区域1540以覆盖独角兽面部的更大部分,来修改口鼻区域1540以形成冷笑姿势,如1511B中所示。
在1501B和1511B中所示的实施方案中,电子设备响应于检测到用户的冷笑面部表情而修改独角兽头像1500以显示冷笑表情。在一些实施方案中,电子设备将头像的变化显示为每个修改特征(例如,嘴巴、鼻孔、口鼻区域、眉毛)的变化的逐步动画,其中,动画变化与用户的对应物理特征(例如,用户的嘴唇和眉毛)的变化的方向和量值相匹配。在其他实施方案中,电子设备将虚拟头像的特征(例如,嘴巴、鼻孔、口鼻区域、眉毛)修改为表示独角兽冷笑的预定义位置。
在一些实施方案中,当电子设备检测到用户不再做出冷笑面部表情时,电子设备将独角兽头像1500修改为返回到1511A中所示的中性状态。例如,当用户做出冷笑表情时,电子设备通过使眉毛1538从独角兽眼睛1532向上移动并消失在独角兽鬃毛1552和耳朵1533下方的独角兽面部中的过程动画化,来移除独角兽眉毛1538。另外,电子设备使口鼻区域1540移动到其中性位置、鼻孔1536返回到其放松状态以及独角兽嘴巴1530闭合以返回其中性位置的过程动画化。在一些实施方案中,电子设备显示返回到其中性位置的独角兽1500,而不使修改特征(例如,眉毛、嘴巴、鼻孔和口鼻区域)的变化动画化。换句话讲,电子设备显示独角兽从1511B中所示的冷笑表情到1511A中所示的中性状态的瞬时变化。
如1501C和1511C中所示,电子设备检测到用户抬起他们的眉毛1522,并且作为响应,电子设备修改所显示的独角兽头像1500以抬起其眉毛。例如,响应于检测到用户抬起的眉毛1522,电子设备将独角兽鬃毛1552的前部1552A修改为向上竖起,并且引入位于独角兽眼睛1532上方的独角兽眉毛1538,以传达独角兽头像1500正在抬起其眉毛1538的印象,如1511C中所示。在该实施方案中,当用户眉毛1522抬起时,电子设备引入独角兽的眉毛1538并使鬃毛1552的前部向上竖起。当用户眉毛1522返回到其中性位置时,电子设备移除独角兽的眉毛1538并使鬃毛1552放松。在一些实施方案中,设备通过使眉毛1538朝向独角兽眼睛1532移动并且消失在独角兽眼睛1532上方的独角兽面部中的过程动画化,使独角兽1500返回到中性位置。另外,随着眉毛1538被移除,电子设备使鬃毛1552的前部1552A下落到其中性位置的过程动画化。
如1501D和1511D中所示,电子设备检测到用户使他们的头部1528以及任选的面部1524(或包括面部1524的各种物理特征)旋转到用户左侧,并且作为响应,电子设备通过使独角兽头部1535旋转,同时使独角兽颈部1539保持静止,来修改独角兽头像1500。例如,电子设备使独角兽头部1535旋转,使得独角兽头部朝向用户在电子设备的显示器(例如,触摸屏112、显示器340、显示器450、显示器504)上观看独角兽头像1500的视角转动。当电子设备使独角兽头部1535旋转同时保持独角兽颈部1539的位置时,电子设备显示先前当独角兽1500面向1511A中所示的倾斜取向时隐藏的独角兽特征。例如,如1511D中所示,电子设备使独角兽头部1535转动以显示两个独角兽眼睛1532,两个鼻孔1536,以及独角兽耳朵1533、角1550和口鼻区域1540的先前视图中隐藏了的部分。另外,当电子设备使独角兽头部1535旋转时,独角兽鬃毛1552与独角兽头部1535一起移动,并且头部1535略微向下倾斜使得独角兽嘴巴1530从视图中消失。
图15B示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改独角兽头像1500的示例性实施方案。独角兽头像被示出为具有三个显示状态(1512A、1512B和1512C),其中,独角兽头像的三个显示状态中的每一者分别与用户的三个检测状态(1502A、1502B和1502C)相对应。在图15B中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改独角兽头像的特征。在三个显示状态中的每一者中,所显示状态的边界(例如,1512A、1512B和1512C的边界)表示包括虚拟头像的显示区域的边界。
如1502A和1512A中所示,电子设备检测到用户做出嘟嘴表情,并且作为响应,电子设备通过用一组嘟起的嘴唇1531替换独角兽的嘴巴1530来修改独角兽头像1500。在一些实施方案中,诸如在1502A中所示的实施方案中,电子设备通过检测用户颌部1527处于闭合位置,并且检测用户嘴巴1520的角部朝向彼此移动使得用户的嘴唇(例如,用户的上嘴唇1520A和下嘴唇1520B)以嘟嘴姿势从用户嘴巴1520向外延伸,来确定用户正在做出嘟嘴表情。响应于检测到用户的嘟嘴表情,电子设备通过将独角兽嘴巴1530改变为一组嘟起的嘴唇1531,同时放弃修改独角兽1500的任何其他特征,来修改独角兽头像1500,如1512A中所示。
如1502B和1512B中所示,电子设备检测到用户将嘟嘴表情保持阈值时间量,并且作为响应,电子设备通过引入显示为从独角兽嘟起的嘴唇1531发射出的一个或多个彩虹心脏1555,来修改独角兽头像1500。在1512A和1512B中所示的实施方案中,电子设备未响应于检测到用户的嘟嘴表情而立即引入彩虹心脏1555。而是,仅在电子设备检测到用户将嘟嘴表情保持阈值时间量之后,电子设备才修改嘟嘴的独角兽头像1500以引入从嘟起的嘴唇1531发射出的彩虹心脏1555。
在一些实施方案中,当用户将嘟嘴表情保持第一阈值时间量(例如,0.3秒)时,电子设备修改独角兽头像以仅引入从嘟起的嘴唇1531发射出的单个彩虹心脏1555,并且然后,在用户继续保持嘟嘴表情达第二阈值时间量(例如,0.6秒)之后,电子设备修改独角兽头像以引入从嘟起的嘴唇1531发射出的另外的彩虹心脏1555。在一些实施方案中,彩虹心脏1555被动画化并且是动态的。例如,在一些实施方案中,电子设备间歇地并且任选地以随机间隔显示从嘟起的嘴唇1531发射出的彩虹心脏1555。在一些实施方案中,电子设备将彩虹心脏1555显示为具有不同尺寸。在一些实施方案中,随电子设备远离嘟起的嘴唇1531移动,电子设备显示的彩虹心脏1555的尺寸增大。另外,在一些实施方案中,电子设备显示的每个彩虹心脏1555以随机轨迹移动,并且消失在位于1512B的显示区域内的随机位置处,或者另选地在该彩虹心脏离开1512B的显示区域时从视图中消失。
在一些实施方案中,电子设备显示在基于用户或头像正面向的方向的方向上从嘟起的嘴唇1531发射出的彩虹心脏1555。例如,如果电子设备检测到用户面部或头像向左转动,则嘟起的嘴唇1531向左发射出彩虹心脏1555,并且如果电子设备检测到用户面部或头像向右转动,则嘟起的嘴唇1531向右发射出彩虹心脏1555。在一些实施方案中,电子设备继续显示从独角兽嘟起的嘴唇1531发射出的彩虹心脏1555,直到用户停止做出嘟嘴面部表情。在一些实施方案中,当用户停止做出嘟嘴面部表情时,电子设备修改独角兽头像1500,使得彩虹心脏1555消失并且嘟起的嘴唇1531被独角兽嘴巴1530替换。
在1502C中,电子设备检测到,用户抬起他们的眉毛1522,同时保持上文相对于1502B讨论的嘟嘴表情。如1512C中所示,响应于检测到用户抬起他们的眉毛1522,电子设备修改独角兽1535为,以使该独角兽抬起其眉毛,同时仍然产生上文相对于1512B讨论的彩虹心脏1555。例如,在显示从嘟起的嘴唇1531发射出彩虹心脏1555的独角兽1500时,电子设备进一步修改独角兽1500(响应于检测到用户抬起他们的眉毛1522),使得独角兽鬃毛1552的前部1552A向上竖起,并且在独角兽眼睛1532上方引入独角兽眉毛1538,以传达独角兽头像1500在发射出彩虹心脏1555的同时抬起其眉毛1538的印象,如1512C中所示。在一些实施方案中,鬃毛1552的移动根据一个或多个物理模型(例如,惯性模型、重力模型、力传递模型、摩擦模型)进行。
图16A示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改鸡头像1600的示例性实施方案。鸡头像被示出为具有四个显示状态(1611A、1611B、1611C和1611D),其中,鸡头像的四个显示状态中的每一者分别与用户的四个检测状态(1601A、1601B、1601C和1601D)相对应。在图16A中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改鸡头像的特征。
在1601A中,电子设备检测到用户的中性面部表情(例如,用户眼睛1623张开,眉毛1622处于用户眼睛1623上方的放松位置处,用户脸颊1628放松且未扩展,并且用户嘴巴1620处于放松中性状态而不是处于与特定面部表情相关联的位置处)。响应于检测到中性面部表情,电子设备在1611A中显示具有中性状态的鸡头像1600。例如,电子设备显示具有喙部1630和垂冠1650的鸡1600,其中,喙部处于闭合位置,垂冠从鸡面部区域1655延伸并且松弛地悬挂在鸡头部1635。另外,电子设备显示不具有脸颊的鸡1600。在一些实施方案中,头像的中性位置对应于相关图像的其他表示,诸如可以在消息传送应用程序中找到的静态鸡表情符号。
如1601B和1611B中所示,电子设备检测到用户脸颊1628处于膨胀或扩展的位置(例如,用户以空气填充其脸颊1628,使得脸颊扩展至超出1601A中所示的中性位置),并且作为响应,电子设备通过引入脸颊1633以显示鸡的脸颊1633膨胀来修改鸡头像1600。除引入膨胀的鸡脸颊1633之外,电子设备还显示当鸡脸颊1633膨胀时鸡垂冠1650从其中性位置(1611A中所示)摆动到变宽位置(1611B中所示)的动画。在一些实施方案中,电子设备通过显示因从1611A中的中性位置移动到1611B中的变宽位置而摆动的垂冠1650来显示具有惯性的垂冠1650。
在1601C和1601D中,电子设备检测到,用户脸颊1628返回到其中性位置(例如,未扩展或膨胀)。作为响应,电子设备修改鸡头像1600以移除膨胀脸颊1633,如1611C和1611D中所示。例如,电子设备移除脸颊1633,并且显示从1611B中的变宽位置摆动到1611C中的变窄位置,然后最终稳定在1611D中的中性位置的鸡垂冠1650。
图16B示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改鸡头像1600的示例性实施方案。鸡头像被示出为具有三个显示状态(1612A、1612B和1612C),其中,鸡头像的三个显示状态中的每一者分别与用户的三个检测状态(1602A、1602B和1602C)相对应。在图16B中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改鸡头像的特征。在三个显示状态中的每一者中,所显示状态的边界(例如,1612A、1612B和1612C的边界)表示包括虚拟头像的显示区域的边界。
如1602A和1612A中所示,电子设备检测到用户做出嘟嘴表情,并且作为响应,电子设备通过用一组嘟起的嘴唇1645替换鸡喙部1630的尖端部来修改鸡头像1600。在一些实施方案中,诸如在1602A中所示的实施方案中,电子设备通过检测用户颌部1627处于闭合位置,并且检测用户嘴巴1620的角部朝向彼此移动使得用户的嘴唇(例如,用户的上嘴唇1620A和下嘴唇1620B)以嘟嘴姿势从用户嘴巴1620向外延伸,来确定用户正在做出嘟嘴表情。响应于检测到用户的嘟嘴表情,电子设备通过将鸡喙部1630的尖端部改变为一组嘟起的嘴唇1645,同时放弃修改鸡1600的任何其他特征,来修改鸡头像1600,如1612A中所示。
在1602B和1602C中,电子设备检测到,用户头部1629转向侧面,同时将嘟嘴表情保持阈值时间量。作为响应,电子设备通过使鸡头部1635面向左侧或右侧(这取决于检测到的用户头部1629的方向),并且引入显示为从鸡嘟起的嘴唇1645发射出的一个或多个心脏1652,来修改鸡头像1600。在图16B中所示的实施方案中,电子设备未响应于检测到用户的嘟嘴表情而立即引入心脏1652。而是,仅在电子设备检测到用户将嘟嘴表情保持阈值时间量之后,电子设备才修改嘟嘴的鸡头像1600以引入从嘟起的嘴唇1645发射出的心脏1652。
在一些实施方案中,当用户将嘟嘴表情保持第一阈值时间量(例如,0.3秒)时,电子设备修改鸡头像1600以仅引入从嘟起的嘴唇1645发射出的单个心脏1652,并且然后,在用户继续保持嘟嘴表情达第二阈值时间量(例如,0.6秒)之后,电子设备修改鸡头像1600以引入从嘟起的嘴唇1645发射出的另外的心脏1652。在一些实施方案中,心脏1652被动画化并且是动态的。例如,在一些实施方案中,电子设备间歇地并且任选地以随机间隔显示从嘟起的嘴唇1645发射出的心脏1652。在一些实施方案中,电子设备将心脏1652显示为具有不同尺寸。在一些实施方案中,随电子设备远离嘟起的嘴唇1645移动,电子设备显示的心脏1652的尺寸增大。另外,在一些实施方案中,电子设备显示的每个心脏1652以随机轨迹移动,并且消失在位于显示区域(例如,1612B或1612C的显示区域)内的随机位置处,或者另选地在该心脏离开显示区域(例如,1612B或1612C的显示区域)时从视图中消失。
在一些实施方案中,电子设备显示在基于用户或头像正面向的方向的方向上从嘟起的嘴唇1645发射出的心脏1652。例如,如1602B和1612B中所示,电子设备检测到用户头部1629转向用户右侧方向(例如,相对于相机视场向左转动),并且电子设备显示面向右侧的鸡头部1635以镜像化用户头部1629。因此,电子设备显示在鸡头像1600面向的向右方向上从嘟起的嘴唇1645发射出的心脏1652,如1612B中所示。相反地,如1602C和1612C中所示,电子设备检测到用户头部1629转向用户左侧方向(例如,相对于相机视场向右转动),并且电子设备显示面向左侧的鸡头部1635以镜像化用户头部1629。因此,电子设备显示在鸡头像1600面向的向左方向上从嘟起的嘴唇1645发射出的心脏1652,如1612C中所示。
在一些实施方案中,电子设备继续显示从鸡嘟起的嘴唇1645发射出的心脏1652,直到用户停止做出嘟嘴面部表情。在一些实施方案中,当用户停止做出嘟嘴面部表情时,电子设备修改鸡头像1600,使得心脏1652消失并且嘟起的嘴唇1645被鸡喙部1630的尖端部替换。
图17A示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改猪头像1700的示例性实施方案。猪头像被示出为具有两个显示状态(1711A和1711B),其中,猪头像的两个显示状态中的每一者分别与用户的两个检测状态(1701A和1701B)相对应。在图17A中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改猪头像的特征。
在1701A中,电子设备检测到用户的中性面部表情(例如,用户眼睛1723张开,眉毛1722处于用户眼睛1223上方的放松位置处,并且用户嘴巴1720处于放松中性状态而不是处于与特定面部表情相关联的位置处)。响应于检测到中性面部表情,电子设备在1711A中显示具有中性状态的猪头像1700。例如,电子设备显示具有在猪头部1735上垂直居中的眼睛1732的猪1700,其中,眼睛被显示为不具有眉毛,并且看向垂直于显示器(或者相机(例如,相机143、光学传感器164)的焦点平面)的方向。电子设备还显示具有鼻子1736的猪1700,其中,鼻子在猪头部1735上水平居中并且定位成略微低于猪眼睛1732。在中性状态下,电子设备显示具有嘴巴1730的猪1700,其中,嘴巴处于定位在猪鼻子1736下方的闭合位置,如1711A中所示。在一些实施方案中,头像的中性位置对应于相关图像的其他表示,诸如可以在消息传送应用程序中找到的静态猪表情符号。
如1701B和1711B中所示,电子设备检测到用户的上嘴唇1720A处于抬起位置并且用户眉毛1722处于较低位置(例如,用户正在做出冷笑面部表情),并且作为响应,电子设备修改所显示的猪头像1700以显示冷笑表情。例如,电子设备修改猪头像1700以引入定位成处于皱起状态的眉毛1738,该眉毛部分地遮挡猪眼睛1732的上部,如1711B中所示。另外,电子设备修改猪的嘴巴1730和鼻子1736以显示猪的冷笑表情。例如,电子设备将猪嘴巴1730显示为处于张开位置以露出猪牙齿1742,并且使猪鼻子1736在向上方向上偏移。如1701B和1711B中所示,猪鼻子1736的变化相对于用户上嘴唇1720A的变化被夸大,因为与用户嘴唇的变化的百分比(例如,预测或确定的运动范围的10%)相比,头像鼻子的变化占最大模拟运动范围的更大百分比(例如,30%)。
在一些实施方案中,当电子设备检测到用户不再做出冷笑表情时,电子设备将猪头像1700修改为返回到1711A中所示的中性状态。例如,当用户做出冷笑表情时,电子设备通过使眉毛1738从猪眼睛1732向上移动并消失在猪头部1735下方的猪面部中的过程动画化,来移除猪眉毛1738。另外,电子设备使猪嘴巴1730闭合以隐藏牙齿1742并返回到其中性位置的过程动画化,并且使猪鼻子1736移动到1711A中所示的放松状态的过程动画化。
图17B示出了说明电子设备响应于检测到用户物理特征(诸如,面部特征)的变化而修改猪头像1700的示例性实施方案。猪头像被示出为具有四个显示状态(1712A、1712B、1712C和1712D),其中,猪头像的四个显示状态中的每一者分别与用户的四个检测状态(1702A、1702B、1702C和1702D)相对应。在图17B中的每个显示状态中,电子设备响应于检测到在用户的相应状态下检测到的用户的一个或多个物理特征(诸如,面部特征)的位置或位置变化来定位或修改猪头像的特征。
如1702A和1712A中所示,电子设备检测到用户嘴巴1720(例如,上嘴唇1720A和下嘴唇1720B)偏移到用户左侧(例如,相对于相机视场向右偏移),并且作为响应,电子设备修改猪的嘴巴1730和鼻子1736两者。例如,电子设备使猪鼻子1736水平偏移到猪头部1735的左侧。另外,电子设备通过缩短嘴巴1730,并且使嘴巴1730水平旋转并偏移到猪头部1735的左侧以便镜像化用户嘴巴1720的移动,来修改猪嘴巴1730。
如1702A中所示,用户鼻子1725的尖端部与用户嘴巴1720一起略微偏移。在一些实施方案中,电子设备不直接监视或检测用户鼻子1725的移动,但是,电子设备通过将猪鼻子1736修改为响应于猪嘴巴1730偏移而移动,来说明用户鼻子1725的移动,如1712A中所示。例如,电子设备修改猪鼻子1736,使得猪鼻子随猪嘴巴1730偏移而水平偏移,从而传达猪的嘴巴1730和鼻子1736之间的互连面部关系,该互连面部关系类似于用户的嘴巴1720与鼻子1725之间的互连面部关系。在1712A中所示的实施方案中,电子设备使猪的嘴巴1730和鼻子1736向左偏移并使嘴巴1730沿顺时针略微旋转。对猪的嘴巴1730和鼻子1736的修改的这种组合模仿了用户的嘴巴1720和鼻子1725的移动,并且提供了猪的面部特征(特别是猪的鼻子1736和嘴巴1730)以与用户的嘴巴1720和鼻子1725的互连方式类似的方式互连的外观。
1702B示出了用户的嘴巴1720和鼻子1725在与1702A中所示的方向相反的方向上的移动,并且1712B示出了电子设备对猪头像1700进行的对应修改。对猪头像1700进行的这些修改类似于上文相对于1712A所讨论的那些修改,但是以相反的方向示出。例如,在1702B中,用户嘴巴1720和鼻子1725被示出为偏移到用户右侧(例如,相对于相机视场向左偏移),并且作为响应,电子设备使猪鼻子1736偏移到猪头部1735的右侧,缩短猪嘴巴1730,使嘴巴1730沿逆时针方向略微旋转,并且使嘴巴1730水平偏移到猪头部1735的已偏移鼻子1736下方的右侧,如1712B中所示。同样,对猪的嘴巴1730和鼻子1736的修改的这种组合模仿了用户的嘴巴1720和鼻子1725的移动,并且提供了猪的面部特征以与用户的嘴巴1720和鼻子1725的互连方式类似的方式互连的外观。
如1702C和1712C中所示,电子设备检测到用户嘴巴1720的角部1720C和1720D中的一者或两者处于向上姿势(例如,形成微笑面部表情),并且作为响应,电子设备修改猪头像1700以具有微笑表情。例如,电子设备修改猪的嘴巴1730和鼻子1736的位置,使得该嘴巴和鼻子相对于它们在1711A中所示的中性位置均抬起。例如,在1712C中,电子设备使猪鼻子1736抬起,使得猪鼻子1736的顶部定位在猪眼睛1732的中部处或上方。类似地,电子设备使猪嘴巴1730抬起,使得猪嘴巴相对于猪鼻子1736保持与猪嘴巴处于中性状态时具有的相对定位相同的相对定位。因此,电子设备响应于检测到用户的微笑面部表情,将猪鼻子1736和猪嘴巴1730均显示为处于猪头部1735上的抬起位置处。在一些实施方案中,电子设备还调整猪嘴巴1730的形状以形成微笑表情(例如,具有张开的微笑形状)。
如1702D和1712D中所示,电子设备检测到用户嘴巴1720的角部1720C和1720D中的一者或两者定位成向下姿势(例如,悲伤面部表情),并且作为响应,电子设备修改猪头像1700以具有悲伤表情。例如,电子设备修改猪的嘴巴1730和鼻子1736的位置,使得该嘴巴和鼻子相对于它们在1711A中所示的中性位置均降低。例如,在1712D中,电子设备使猪鼻子1736降低,使得猪鼻子1736的顶部定位在猪眼睛1732的底部处或下方。类似地,电子设备使猪嘴巴1730降低,使得猪嘴巴相对于猪鼻子1736保持与猪嘴巴处于中性状态时具有的相对定位相同的相对定位。因此,电子设备响应于检测到用户的悲伤面部表情,将猪鼻子1736和猪嘴巴1730均显示为处于猪头部1735上的较低位置处。在一些实施方案中,诸如在1712D中所示的实施方案中,电子设备还通过使猪嘴巴1730在向下方向上弯曲来调整猪嘴巴1730的形状以形成悲伤表情。
在图10A至图10I、图11A至图11C、图12A至图12C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B中提供的示例中,电子设备检测到用户在用户物理特征的各个位置之间转换,然后电子设备根据检测到的用户物理特征的变化来更新或修改虚拟头像(例如,便便头像、熊头像、外星人头像、兔子头像、机器人头像、独角兽头像、鸡头像或猪头像)。在这些示例中,电子设备通过保持虚拟头像的某些特征的特性并且使其他虚拟头像特征的变化动画化来在各种表情和位置之间转换虚拟头像的显示。例如,如图10A的1001A至1001D中所示,设备保持头像眼睛1030的位置,同时修改其他头像特征,诸如头像嘴巴1030、眉毛1038和上部1034。应当理解,尽管头像状态与用户的相应检测状态相对应(例如,显示的头像状态1011A至1011D分别与检测到的用户状态1001A至1001D相对应),但检测到的用户状态(以及所得的头像状态)的顺序不限于图10A至图10I、图11A至图11C、图12A至图12C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B中所示的顺序。因此,用户可以改变任何物理特征或者假设任何期望位置,并且无论变化发生的顺序如何,电子设备均响应于检测到的变化而修改虚拟头像。
图18A和图18B是示出根据一些实施方案的用于在电子设备处基于由一个或多个相机检测到的面部生成虚拟头像的方法的流程图。在具有一个或多个相机(例如,164、602)和显示装置(例如,112、340、504、601)的电子设备(例如,100、300、500、600)处执行方法1800。方法1800中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下所述,方法1800提供了用于生成具有对不同类型的姿势变化作出不同反应的部分的虚拟头像的直观方式。该方法减少了用户生成虚拟头像的身体和认知负担,从而创建更有效的人机界面。针对电池驱动的计算设备,使用户能够更快速且更有效地生成期望虚拟头像节省功率并增加电池两次充电之间的时间间隔。方法1800的示例可以在参考图10A至图10I以及图15A至图15B讨论的用户界面和虚拟头像中找到。
电子设备(例如,100、300、500、600)经由显示装置(例如,112、340、504、601)显示(1802)响应于一个或多个相机的视场中的面部的变化而改变外观的虚拟头像(例如,1000、1500)(例如,可以图形描绘的用户表示)。响应于一个或多个相机的视场中的面部的变化改变虚拟头像的外观向用户提供用于控制对虚拟头像的修改的选项,而无需显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
虚拟头像包括第一部分(例如,1034、1535)(例如,头部和面部(例如,非下颈部))和第二部分(例如,1036、1539)(例如,下颈部(非头部和非上颈部)),第二部分与第一部分不同(1804)。
在一些示例(1814)中,第一部分(例如,1034、1535)对面部(例如,用户头部、被统称为面部的一个或多个互相关联的面部特征(例如,嘴巴、眼睛、鼻子、肌肉或肌肉群)的集合)的姿势的第一类型变化(例如,沿x轴的旋转(例如,点头)或沿y轴的旋转(例如,左右摇头))和面部姿势的第二类型变化(例如,整个面部/头部沿x轴、y轴或z轴的平移(例如,整个面部/头部在视场内的重新定位))作出反应(例如,对检测到的移动建模,基于移动更新视觉外观(尤其是显示的取向))。
在一些示例中,与对面部取向的第一类型变化作出反应的第一部分相比,第二部分(例如,1036、1539)具有降低的反应性(例如,第二部分对面部取向的第一类型变化作出较少的反应)。在一些示例中,第二部分不对面部取向的第一类型变化作出反应,使得不直接对检测到的取向的第一类型变化进行建模,并且不基于检测到的移动更新视觉外观(尤其是显示的取向)。在一些示例中,第二部分是非面部特征(例如,颈部),该非面部特征未映射到任何检测到的面部特征或者不由任何检测到的面部特征直接控制。在一些示例中,第二部分不直接对取向的第一类型变化作出反应,但可以间接地对面部姿势的第一类型变化作出反应(例如,基于由取向的第一类型变化引起的第一部分的移动,基于第一部分和第二部分之间的联系),并且对面部姿势的第二类型变化作出反应。在一些示例中,用户面部姿势沿平行于一个或多个相机的视场平面的轴(例如,x轴、y轴)或垂直于一个或多个相机的视场平面的轴(例如,z轴)发生的变化(例如,平移变化)使得虚拟头像的第一部分(例如,1034或虚拟头像的头部1535)和虚拟头像的第二部分(例如,1036或虚拟头像的颈部1539)二者均移动。相比之下,在此类实施方案中,用户面部姿势围绕平行于一个或多个相机的视场平面的轴(例如,x轴、y轴)或垂直于一个或多个相机的视场平面的轴(例如,z轴)发生的变化(例如,旋转变化)使得虚拟头像的第一部分移动,而虚拟头像的第二部分不移动(或移动较少)。与虚拟头像的第一部分相比,虚拟头像的第二部分对面部姿势的第一类型变化具有降低的反应性,这向用户提供了用于区别地影响虚拟头像的不同部分的选项,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不使用户界面因附加的控件而杂乱增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,在检测到一个或多个相机的视场内的面部的姿势变化之前,虚拟头像的第一部分(例如,1034、1535)在视觉上不与虚拟头像的第二部分(例如,1036、1539)划分开(例如,不存在第一部分结束位置(例如,头部1535的底部或颈部1539的顶部)和第二部分开始位置(例如,颈部的顶部的下方)的视觉指示)。在一些实施方案中,虚拟头像是一堆半固体物质(例如,一堆便便,诸如便便头像1000)的表示,并且顶部(例如,1034和/或1040)基于面部姿势的第一类型变化而移动,但底部(例如,1036)不基于面部姿势的第一类型变化而移动。
在一些示例中,虚拟头像的第一部分(例如,1034、1535)是虚拟头像的头部特征的至少一部分,并且虚拟头像的第二部分(例如,1036、1539)是虚拟头像的颈部特征的至少一部分。在一些示例中,虚拟头像的第一部分是独角兽或马的头部(例如,1535),并且虚拟头像的第二部分是独角兽或马的颈部(例如,1539)。
在一些示例中,在检测到一个或多个相机的视场内的面部的姿势变化之前,面部相对于一个或多个相机的视场以第一取向定向(例如,将面部定向为直接面向一个或多个相机),并且在检测到一个或多个相机的视场内的面部的姿势变化之前,以不同于第一取向的第二取向显示虚拟头像(例如,1500)。在一些示例中,与用户面部的取向相比,虚拟头像被显示为具有倾斜取向。例如,当用户直接面向一个或多个相机使得用户面部特征可见(例如,如图15A所示)时,以倾斜角度显示虚拟头像(例如,1500),使得不显示(例如,隐藏或部分隐藏)虚拟头像的某些部分(例如,头像特征,诸如,眼睛1532、耳朵1533等)。在一些示例中,响应于面部的移动而露出隐藏头像特征中的一者或多者(例如,如果面部向侧面旋转,则经由显示设备显示先前隐藏的头像特征(诸如,眼睛1532或耳朵1533)的至少一部分,如图15A的1511D中所示)。
在一些示例中,虚拟头像的第一部分(例如,1034、1535或其一部分)(例如,用于犬虚拟头像的耳朵、马虚拟头像(例如,1500)的鬃毛(例如,1552))的移动或虚拟头像的第二部分(例如,1036、1539或其一部分)的移动根据一个或多个物理模型(例如,惯性模型、重力模型、力传递模型、摩擦模型)进行。在一些示例中,物理模型基于面部或面部的一部分的移动的量值和方向以及虚拟头像特征的一个或多个预定义属性(诸如,模拟质量、模拟弹性、模拟摩擦系数或其他模拟物理属性)来指定头像特征的移动的量值和方向。
在一些示例(1816)中,第一部分(例如,1034、1535)是虚拟头像的上部,并且第二部分(例如,1036、1539)是虚拟头像的下部。在一些实施方案中,第一部分是虚拟头像的第一侧,并且第二部分是虚拟头像的第二侧,第二侧与第一侧不同(例如,相对)。
在一些示例中,面部姿势的变化仅包括第一类型变化(例如,仅包括旋转分量而不包括平移分量的姿势变化),并且基于面部姿势的第一类型变化的量值相对于虚拟头像的第二部分(例如,1036、1539)移动虚拟头像的第一部分(例如,1034、1535)包括移动虚拟头像的第一部分而不移动虚拟头像的第二部分。移动虚拟头像的第一部分而不移动虚拟头像的第二部分向用户提供指示相同物理特征的进一步移动将使设备仅移动第一部分而不移动虚拟头像的第二部分的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,面部姿势的第一类型变化(例如,姿势的旋转变化)使得仅虚拟头像的第一部分(例如,1034、1535)移动,而不使虚拟头像的第二部分(例如,1036、1539)移动。例如,如果相机视场中的用户使其整个身体旋转(例如,如图10D所示的面部、颈部和肩部),则仅虚拟头像的第一部分(例如,头像面部(例如,1000C、1535))移动(例如,旋转),而虚拟头像的第二部分(例如,头像颈部(例如,1539)或下部(例如,1036))不移动。也就是说,虚拟头像的不同部分对用户移动作出不同反应。在一些示例中,即使跟踪到某些特征的移动,虚拟头像中在解剖学上/生理学上与用户的一部分相对应的部分(例如,在解剖学上与用户颈部相对应的头像颈部)也不对对应特征的这些移动作出反应。在一些示例中,即使相机视场中存在其他特征(例如,用户颈部(例如,1025)),也仅跟踪或使用用户面部(例如,1024)的移动来影响虚拟头像。
在一些示例中,虚拟头像还包括第三部分(例如,上颈部,1034和1036或1535和1539之间的部分或者连接1034和1036或1535和1539的部分),第三部分与第一部分(例如,1034、1535)和第二部分(例如,1036、1539)不同。在一些实施方案中,诸如在图10E中所示的实施方案中,第一部分是尖端部1040,第二部分是下部1036,并且第三部分是中间部分1031,该中间部分形成上部的一部分(例如,1034)并将上部的尖端部1040连接到下部1036。此外,根据确定面部姿势的变化包括面部姿势的第一类型变化(例如,旋转移动),电子设备(例如,100、300、500、600)使虚拟头像的第三部分相对于虚拟头像的第二部分移动,其中,第三部分相对于第二部分的移动小于第一部分相对于第二部分的移动。使虚拟头像的第三部分相对于虚拟头像的第二部分移动小于第一部分相对于第二部分移动的量的量,这向用户提供了指示进一步移动相同物理特征将使设备将第三部分(相对于第二部分)移动一定程度(该程度小于其将使设备将第一部分(相对于第二部分)移动的程度)的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,旋转移动使得第一部分(例如,1040、1535)相对于虚拟头像的第二部分(例如,1036、1539)移动第一程度,并且使得第三部分(例如,1031)相对于虚拟头像的第二部分移动第二程度,其中,第二移动程度小于第一移动程度。在一些示例中,第二部分是非面部特征(例如,下颈部(例如,1036、1539)),该非面部特征未映射到任何检测到的面部特征或者不由任何检测到的面部特征直接控制。在一些示例中,第二部分不对第一类型的取向变化作出反应。在一些示例中,第三部分是非面部特征(例如,上颈部),该非面部特征未映射到任何检测到的面部特征或者不由任何检测到的面部特征直接控制。在一些示例中,第三部分提供第一部分和第二部分之间的连接。在一些示例中,由面部姿势的第一类型变化引起的虚拟头像的变化量从虚拟头像的第二部分附近(例如,1036附近)的少量变化逐渐变化到虚拟头像的第一部分附近(例如,1040附近)的大量变化。
在一些示例中,虚拟头像的第三部分(例如,上颈部,1034和1036或1535和1539之间的部分或者连接1034和1036或1535和1539的部分)定位在虚拟头像的第一部分(例如,1040、1535)和虚拟头像的第二部分(例如,1036、1539)之间。在一些示例中,第三部分是虚拟头像的中间区域(例如,1031或上颈部区域),其相对于虚拟头像的第一部分具有衰减的移动特性。
在一些示例中,使虚拟头像的第三部分(例如,上颈部,1034和1036或1535和1539之间的部分或者连接1034和1036或1535和1539的部分)相对于虚拟头像的第二部分(例如,1036、1539)移动包括使虚拟头像的第三部分围绕在虚拟头像的第一部分(例如,1034、1535)和虚拟头像的第二部分之间延伸的轴(例如,1051)移动。使虚拟头像的第三部分围绕在虚拟头像的第一部分和第二部分之间延伸的轴移动向用户提供指示相同物理特征的进一步移动将使设备限制第三部分围绕在虚拟头像的第一部分和第二部分之间的轴的移动的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,第三部分(例如,中间部分1031)的移动是围绕在虚拟头像的第一部分和第二部分(例如,尖端部1040和底部1036)之间延伸的轴(例如,1051)的扭转运动。在一些示例中,第三部分的移动是围绕与显示器的平面或一个或多个相机的焦点平面平行的轴(例如,上/下轴1051)的旋转移动。在一些示例中,第三部分的移动是围绕从显示器的平面或一个或多个相机的焦点平面延伸出的轴的旋转移动。例如,当用户使其面部围绕垂直于相机视场平面的轴旋转时,虚拟头像的一部分(例如,第一部分、第二部分和/或第三部分)围绕从显示器平面延伸出的轴旋转。
在一些示例中,面部姿势的变化仅包括第二类型变化(例如,仅包括平移分量而不包括旋转分量的姿势变化),并且基于面部姿势的第二类型变化的量值使虚拟头像的第一部分(例如,1034、1535)和虚拟头像的第二部分(例如,1036、1539)均移动包括保持虚拟头像的第一部分相对于虚拟头像的第二部分的位置的相对位置。保持虚拟头像的第一部分相对于虚拟头像的第二部分的位置的相对位置向用户提供了指示以下内容的反馈:相同类型变化的进一步移动将使设备在相同方向上移动虚拟头像的第一部分和虚拟头像的第二部分两者,而不使第一部分和第二部分相对于彼此移动。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,面部姿势的第二类型变化(例如,姿势的平移变化)使得虚拟头像的第一部分和第二部分两者移动类似的量,使得第一部分和第二部分的相对位置保持不变(例如,第一部分和第二部分的移动在不使第一部分相对于第二部分移动的情况下发生)。例如,如图10F所示,如果相机视场中的用户使他们的面部相对于相机平移(例如,使他们的面部1024在与一个或多个相机的焦点平面或显示器的平面平行的相应方向上偏移,如1006B、1006C和1006D中所示),第一部分(例如,头像面部或上部1034)和第二部分(例如,头像颈部或下部1036)两者均移动(例如,平移,如1016B、1016C和1016D中所示)。也就是说,虚拟头像的不同部分对用户的平移移动作出类似反应。
在经由显示装置显示虚拟头像时,电子设备(例如,100、300、500、600)检测(1806)一个或多个相机的视场内的面部的姿势(例如,位置和/或取向)的变化。
响应于检测到面部姿势的变化,电子设备(例如,100、300、500、600)改变(1808)虚拟头像的外观并且可以执行以下操作中的一者或多者。根据确定面部姿势的变化包括面部姿势的第一类型变化(例如,面部取向的变化),电子设备(例如,100、300、500、600)改变(1810)虚拟头像的外观,这包括根据面部姿势的第一类型变化的量值使虚拟头像的第一部分(例如,1034、1535)相对于虚拟头像的第二部分(例如,1036、1539)移动。根据面部姿势的第一类型变化的量值使虚拟头像的第一部分相对于虚拟头像的第二部分移动向用户提供指示以下内容的反馈:相同类型变化的进一步移动将使设备将虚拟头像的第一部分移动(相对于第二部分)根据相同类型的进一步移动的量值确定的量。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,第一部分(例如,1034、1535)相对于第二部分(例如,1036、1539)的移动在不使第二部分相对于所显示的视图框架移动的情况下发生。也就是说,第一部分在所显示的视图框架内移动,而第二部分在所显示的视图框架内保持固定或基本上固定,如图10E的1015B和图15A的1511D中所示。在一些示例中,第一部分的移动是围绕轴的旋转移动,诸如,围绕y轴(例如,如所显示的垂直轴)的旋转。
根据确定面部姿势的变化包括面部姿势的第二类型变化(例如,面部位置的变化),电子设备(例如,100、300、500、600)改变(1812)虚拟头像的外观,这包括基于面部姿势的第二类型变化的量值使虚拟头像的第一部分和虚拟头像的第二部分两者均移动。基于面部姿势的第二类型变化的量值使虚拟头像的第一部分和虚拟头像的第二部分两者均移动向用户提供指示以下内容的反馈:面部姿势的相同类型变化的进一步移动将使设备将虚拟头像的第一部分和虚拟头像的第二部分均移动根据相同类型的进一步移动的量值确定的量。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些示例中,第一部分和第二部分的移动是沿轴(例如,沿相同轴)(诸如,x轴(例如,如所显示的水平轴))的平移移动。
在一些示例(1818)中,根据确定面部姿势的变化包括面部姿势的第一类型变化和面部姿势的第二类型变化(例如,如图10C中所示),改变虚拟头像的外观包括:基于面部姿势的第一类型变化的量值使虚拟头像的第一部分(例如,1034、1535)相对于虚拟头像的第二部分(例如,1036、1539)移动(1820)(例如,基于面部从一侧到另一侧的旋转使虚拟头像的顶部(例如,1040或1034)扭转,同时使虚拟头像的底部(例如,1036)减少扭转或不扭转),以及基于面部姿势的第二类型变化的量值使虚拟头像的第一部分和虚拟头像的第二部分两者均移动(例如,基于面部在特定方向上(诸如向上、向下、向左或向右)偏移使虚拟头像的顶部(例如,1040或1034)和底部(例如,1036)移动)。基于面部姿势的第一类型变化的量值使虚拟头像的第一部分相对于虚拟头像的第二部分移动,并且基于面部姿势的第二类型变化的量值使虚拟头像的第一部分和第二部分两者均移动,这为用户提供指示以下内容的反馈:第一类型变化和第二类型变化的进一步移动将使设备将虚拟头像的第一部分移动(相对于第二部分)根据第一类型的进一步移动的量值确定的量,并且将虚拟头像的第一部分和虚拟头像的第二部分两者均移动根据第二类型的进一步移动的量值确定的量。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
需注意,上文相对于方法1800(例如,图18A和图18B)所述的过程的详情也以类似的方式适用于上文所述的方法以及下文所述的方法1900、2000、2100、2200、2300、2400和2500。例如,方法1800任选地包括下文所述以及上文参考方法800、900、1900、2000、2100、2200、2300、2400和2500所述的各种方法的特征中的一个或多个特征。例如,根据方法800和900生成、发送和接收动画头像的方法可以采用根据方法1800生成的虚拟头像(例如,具有对不同类型的姿势变化作出不同反应的部分的虚拟头像)。类似地,根据方法1800生成和/或修改的虚拟头像可以被包括在方法800或900的虚拟头像生成界面(例如,804、904)中的虚拟头像的显示预览中。又如,根据方法1800生成的虚拟头像(例如,具有对不同类型的姿势变化作出不同反应的部分的虚拟头像)也可以根据方法800、900、1900、2000、2100、2200、2300、2400和2500的虚拟头像生成和修改方法生成。例如,根据方法1800生成的虚拟头像可以包括一个或多个动画效果(例如,1140、1142、1252、1452、1531、1555、1652)。类似地,根据方法1800生成的虚拟头像可以包括对第一物理特征(例如,1122)和第二物理特征(例如,1120A至1120B)两者的变化作出反应(例如,1904、1910、1914)的头像特征(例如,1133)。为简洁起见,排除了其他示例。
图19是示出根据一些实施方案的用于在电子设备处基于由一个或多个相机检测到的面部生成虚拟头像的方法的流程图。在具有一个或多个相机(例如,164、602)和显示装置(例如,112、340、504、601)的电子设备(例如,100、300、500、600)处执行方法1900。方法1900中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下所述,方法1900提供了用于在对用户面部的位置变化作出反应的同时生成虚拟头像的直观方式。该方法减少了用户生成虚拟头像的认知负担,从而创建更有效的人机界面。针对电池驱动的计算设备,使用户能够更快速且更有效地生成期望虚拟头像节省功率并增加电池两次充电之间的时间间隔。方法1900的示例可以在参考图11A至图11C、图14A至图14D以及图17A至图17B讨论的用户界面和虚拟头像中找到。
电子设备(例如,100、300、500、600)经由显示装置(例如,112、340、504、601)显示(1902)虚拟头像(例如,1100、1400、1700)。在一些示例(1904)中,虚拟头像包括第一头像特征(例如,基于动物的头像1100的耳朵1133,机器人头像1400的耳朵1433,基于动物的头像1700的鼻子1736)和第二头像特征(例如,1132、1440、1730)。第一头像特征对一个或多个相机(例如,164、602)的视场内的面部(例如,1124、1424、1724)的第一物理特征(例如,1122、1420A/1420B、1722)的变化以及一个或多个相机的视场内的面部的第二物理特征的变化作出反应。在一些实施方案中,第一物理特征是明确识别到的用户面部特征(诸如,眉毛(1122),单个面部肌肉(例如,皱眉肌或额肌),或相关面部肌肉的集合(例如,控制眉毛(1122)的移动的一组肌肉,包括皱眉肌和额肌)),并且第二物理特征是明确识别到的用户面部特征(诸如,嘴巴(1120)或用户嘴唇(1720A)的一部分,单个面部肌肉(例如,颧大肌或上唇提肌),或相关面部肌肉的集合(例如,控制嘴巴移动(例如,当微笑时)的一组肌肉,包括颧大肌或上唇提肌))。显示具有对一个或多个相机的视场中的面部的第一物理特征的变化作出反应的第一头像特征的虚拟头像为用户提供了用于控制对虚拟头像的部分的修改的选项,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在显示虚拟头像(例如,1100、1400、1700)时,电子设备(例如,100、300、500、600)检测(1906)一个或多个相机(例如,164、602)的视场内的面部(例如,1124、1424、1724)的一个或多个物理特征(例如,1122、1420A/1420B、1722)的变化(例如,位移或移动)。
根据确定(1908)变化包括第一物理特征的变化(例如,用户眉毛(1122、1722)的抬起或降低,或用户嘴唇(1420A/1420B)的位置的变化),电子设备(例如,100、300、500、600)基于第一物理特征的变化修改(1910)虚拟头像(例如,1100、1400、1700)的第一头像特征(例如,1133、1430、1736),并且基于第一物理特征的变化放弃修改第二头像特征(例如,1132、1440、1730)。基于第一物理特征的变化修改虚拟头像的第一头像特征,并且基于第一物理特征的变化放弃修改第二头像特征,这为用户提供了指示进一步移动或改变相同物理特征将使设备改变第一头像特征而不改变第二头像特征的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些实施方案中,当用户使他们的眉毛1122移动(例如,抬起或降低)时,第一头像特征(例如,头像耳朵1133)响应于眉毛移动而移动,并且第二头像特征(例如,头像1100的眼睛1132)不响应眉毛移动而移动。
在一些实施方案中,第一物理特征(例如,1122)的变化至少包括面部的第一物理特征的竖直位移(例如,用户抬起或降低他们的眉毛1122),并且基于第一物理特征的变化修改第一头像特征(例如,1133)包括在包括第一头像特征的至少一部分的竖直位移(例如,朝向(向上)或远离(向下)虚拟头像头部(例如,1135)的顶部的向下或向上竖直移动)和第一头像特征的至少一部分的水平位移(例如,朝向(内侧)或远离(外侧)虚拟头像头部的顶部的内侧或外侧水平移动)中的至少一者的方向上移动第一头像特征。通过在包括第一头像特征的至少一部分的竖直位移和第一头像特征的至少一部分的水平位移中的至少一者的方向上移动第一头像特征,来基于第一物理特征的变化修改第一头像特征,这向用户提供了指示相同物理特征进一步移动将使设备在水平方向和竖直方向中的至少一个方向上移动第一头像特征的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,当用户使他们的眉毛(例如,1122)抬起时,眉毛在竖直方向上(例如,在向上或朝上的方向上)朝向用户头部的顶部移动。响应于用户眉毛的这种向上(例如,朝上)竖直移动,虚拟头像的耳朵(例如,熊头像1100的耳朵1133)在朝向头像头部(例如,1135)的顶部的方向上移动。在一些示例中,朝向头像头部的顶部的移动的方向包括朝上(例如,向上)竖直位移(例如,当耳朵定位在头像头部的侧部上时)、内侧水平位移(例如,当耳朵定位在头像头部的顶部上时)或它们的组合。在一些示例中,当用户使他们的眉毛(例如,1122)降低时,眉毛在竖直方向上(例如,在向下或朝下的方向上)远离用户头部的顶部移动。响应于用户眉毛的这种向下(例如,朝下)竖直移动,虚拟头像的耳朵(例如,1133)在远离头像头部的顶部的方向上移动。在一些示例中,远离头像头部的顶部的移动的方向包括朝下(例如,向下)竖直位移(例如,当耳朵定位在头像头部的侧部上时)、外侧水平位移(例如,当耳朵定位在头像头部的顶部上时)或它们的组合。
在一些实施方案中,第一物理特征(例如,用户嘴巴1120)的变化至少包括面部的第一物理特征的位移(例如,水平或竖直位移(例如,平移))。例如,用户嘴巴1120的角部1120A和1120B具有(例如,当与处于中性静止位置的用户嘴巴的角部的位置相比时,在朝向用户头部的底部(例如,用户的颏部)的向下方向上,或者在朝向用户头部的顶部的向上方向上)竖直移位的位置。在此类实施方案中,基于第一物理特征的变化修改虚拟头像(例如,1100)的第一头像特征(例如,虚拟头像的耳朵1133)包括使第一头像特征的至少一部分旋转(例如,卷曲、伸直、折叠、展开等)。基于第一物理特征的变化使第一头像特征的至少一部分旋转为用户提供了指示进一步移动相同物理特征将使设备在旋转方向上移动第一头像特征的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,第一头像特征的远侧端部(例如,虚拟头像耳朵1133的尖端部)在沿第一头像特征的远侧端部和第一头像特征的近侧端部(例如,头像耳朵1133的基部)之间延伸的轴的方向上旋转,其中,旋转方向根据面部的第一物理特征的至少一部分的竖直位移来确定。在一些示例中,当用户使他们的嘴巴的角部(例如,1120A/1120B)抬起时(例如,在微笑表情中),虚拟头像(例如,1100)的耳朵(例如,1133)的尖端部在从头像耳朵的基部延伸的方向上以展开或伸直的方式移动。在一些示例中,当用户使他们的嘴巴的角部降低时(例如,在悲伤表情中),虚拟头像的耳朵的尖端部在朝向头像耳朵的基部的方向上以折叠或卷曲的方式移动(例如,如图11B的1102D和1112D中所示)。
在一些实施方案中,第一头像特征包括头像耳朵(例如,1133),第一物理特征至少包括用户嘴巴(例如,1120)的角部区域(例如,1120A或1120B),第一物理特征的变化至少包括用户嘴巴的至少角部区域的位移,并且基于第一物理特征的变化修改第一头像特征包括基于用户嘴巴的至少角部区域的位移的量值来使头像耳朵的至少一部分旋转。1102A和1112A中示出了并且上文相对于图11B更详细地描述了此类实施方案的一个示例,该示例表明,头像耳朵的卷曲(例如,旋转)由用户嘴巴的角部的移动来控制。
在一些实施方案中,第二物理特征包括用户眉毛(例如,1122)的至少一部分,面部的一个或多个物理特征的变化包括用户眉毛的位置的竖直偏移,并且基于第二物理特征的变化修改第一头像特征(例如,1133)包括使头像耳朵(例如,1133)的位置竖直偏移(例如,朝向(向上)或远离(向下)虚拟头像头部的顶部的向下或向上竖直移动)。在一些示例中,头像耳朵针对用户嘴巴(例如,1120)的角部(例如,1120A和/或1120B)和用户眉毛(例如,1122)均可作出反应。在一些此类实施方案中,用户嘴巴的角部控制头像耳朵的卷曲(例如,旋转),同时用户眉毛控制头像耳朵的位置(例如,竖直位置)。
在一些实施方案中,第一头像特征包括头像耳朵(例如,1133),第一物理特征包括用户眉毛(例如,1122)的至少一部分,面部的一个或多个物理特征的变化包括用户眉毛的位置的竖直偏移,并且基于第一物理特征的变化来修改虚拟头像(例如,1100)的第一头像特征包括使头像耳朵的位置水平偏移。在一些示例中,当用户眉毛向上偏移时,头像耳朵向内移位。在1101B和1111B中示出了并且上文相对于图11A更详细地描述了此类实施方案的示例。在一些示例中,当用户眉毛向下移动时,头像耳朵向外偏移(例如,当用户眉毛(例如,1122)从他们的抬起位置下降时,头像耳朵在向外方向上从它们的向内位置(例如,如1111B中所示)移动到它们的中性位置(例如,如1111A中所示))。在一些示例中,头像具有各自对相应的用户眉毛作出反应的两个耳朵。在此类实施方案中,用户使两个眉毛均抬起将导致两个耳朵向内偏移,从而减小耳朵之间的间距。
根据确定(1912)变化包括第二物理特征的变化(例如,用户嘴巴1120的角部1120A和1120B抬起或降低),电子设备(例如,100、300、500、600)基于第二物理特征的变化修改(1914)第一头像特征(例如,1133),并且基于第二物理特征的变化放弃修改第二头像特征(例如,1132)。基于第二物理特征的变化修改第一头像特征,并且基于第二物理特征的变化放弃修改第二头像特征,这为用户提供了指示进一步移动或改变相同物理特征将使设备改变第一头像特征而不改变第二头像特征的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,当用户使他们的嘴巴(1120)的角部(1120A和1120B)移动(例如,抬起或降低)时,第一头像特征(例如,头像耳朵1133)响应于嘴巴的角部的移动而移动,并且第二头像特征(例如,头像1100的眼睛1132)不响应嘴巴的角部的移动而移动。
在一些实施方案中,第二头像特征(例如,1132)对与第一物理特征和第二物理特征不同的第三物理特征(例如,1123)的变化作出反应。显示具有对与第一物理特征和第二物理特征不同的第三物理特征的变化作出反应的第二头像特征的虚拟头像为用户提供了用于控制对虚拟头像的第二部分的修改的选项,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
例如,第二头像特征(例如,头像眼睛1132)不主要对第一物理特征(例如,用户眉毛1122)的变化和第二物理特征(例如,用户嘴巴1120)的变化作出反应(或任选地不作出反应)。换句话讲,第二头像特征不基于面部特征(例如,第一物理特征1122和第二物理特征1120)的变化来直接修改,而是可能受头像的对面部的变化直接作出反应的其他变化的影响。例如,基于物理特征的位置、移动特性、尺寸、颜色和/或形状中的一者或多者来对头像特征(例如,1132)进行建模(1123)。根据确定面部的一个或多个物理特征的变化包括面部的第三物理特征(例如,明确识别到的用户面部特征,诸如虹膜或眼睑、单个面部肌肉(例如,眼轮匝肌)或相关面部肌肉的集合(例如,控制眼睑移动的一组肌肉,包括眼轮匝肌))的变化,电子设备基于第三物理特征的变化修改第二头像特征。基于第三物理特征的变化修改第二头像特征为用户提供了用于控制对虚拟头像的一部分的修改的选项,而不需要显示的用户界面控制(例如,触摸控制)元素。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,第一头像特征(例如,1133)在解剖学上与第一物理特征(例如,1122)和第二物理特征(例如,1120)中的至少一者不同,并且第二头像特征(例如,1132)在解剖学上与第三物理特征(例如,1123)相对应。换句话讲,第一头像特征在解剖学上/生理学上不与第一物理特征(例如,1122)或第二物理特征(例如,1120)相对应。在一些实施方案中,第一头像特征是基于动物的虚拟头像(例如,1100)的耳朵(例如,1133),第一物理特征是眉毛(例如,1122),并且第二物理特征是嘴巴(例如,1120)。在一些示例中,第二头像特征是在解剖学上/生理学上与第三物理特征(例如,用户眼睛1123)相对应的头像眼睛(例如,1132)。在一些实施方案中,第一头像特征(例如,头像耳朵1133)在解剖学上与第四物理特征(例如,用户耳朵)相对应。在一些实施方案中,尽管第一头像特征(例如,头像耳朵1133)在解剖学上与第四物理特征(例如,用户耳朵)相对应,但第一头像特征不对第四物理特征的变化作出反应(例如,不反应)。例如,第一头像特征可以是头像耳朵(例如,1133),其对用户的嘴巴(例如,1120)和眉毛(例如,1122)的变化作出反应,但是不对用户耳朵的移动作出反应。
在一些实施方案中,基于第三物理特征(例如,1123)的变化修改第二头像特征(例如,1132)包括基于第三物理特征的变化的量值修改第二头像特征。基于第三物理特征的变化的量值修改第二头像特征为用户提供了指示进一步移动相同物理特征将使设备以根据相同物理特征的进一步移动的量值确定的量来改变第二头像特征的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,头像特征的反应的量值与用户的物理特征的变化的量值相对应。在一些实施方案中,物理特征的变化的量值是根据物理特征的可能运动范围来确定的,其中该量值表示物理特征在该物理特征的运动范围(例如,预测或建模运动范围)内的相对位置。在此类实施方案中,头像特征的反应的量值类似地是头像特征在头像特征的运动范围内的相对位置。在一些实施方案中,基于对物理特征变化的起始位置和结束位置的比较或测量(例如,距离)来确定变化的量值。在此类实施方案中,可通过将所测量的物理特征的变化应用于头像特征(例如,直接应用或者作为缩放值或调节值应用)来将物理特征(例如,第一物理特征(例如,1122))的变化转化为对第一头像特征(例如,1133)的修改。
在一些实施方案中,基于第二物理特征(例如,1120)的变化修改虚拟头像(例如,1100)的第二头像特征(例如,1132)包括基于第三物理特征(例如,1123)的姿势变化的方向(例如,旋转方向、物理特征的角度相对于一个或多个相机的视场的变化方向,或平移方向)修改第二头像特征的至少一部分的姿势(例如,旋转取向、显示头像特征的角度,或显示位置)。基于第三物理特征的姿势变化的方向修改第二头像特征的至少一部分的姿势为用户提供了指示第三物理特征在特定方向上进一步移动将使设备基于第三物理特征的进一步移动的方向来改变第二头像特征的姿势的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,对头像特征的修改具有量值分量和方向分量两者。在一些示例中,头像特征的修改的方向分量基于头像特征对其作出反应的一个或多个物理特征的变化的方向分量。在一些示例中,头像特征的变化的方向分量与物理特征的变化的方向分量相同。例如,如图17B的1702D和1712D中所示,当物理特征(例如,嘴巴1720)向下移动时,头像特征(例如,头像嘴巴1730)向下移动。在一些示例中,相对于物理特征的变化的方向分量镜像化头像特征的变化的方向分量。例如,如图17B的1702A/1712A和1702B/1712B中所示,当物理特征(例如,嘴巴1420)向左移动时,头像特征(例如,头像嘴巴1430)向右移动,反之亦然。在一些示例中,诸如在图11A至图11B、图14A至图14D和图17B中所示的示例中,针对沿垂直轴的移动,头像特征的变化的方向分量与物理特征的变化的方向分量相同,并且针对沿水平轴的移动,头像特征的变化的方向分量与物理特征的变化的方向分量成镜像关系,类似于在照镜子时看到的效果。
在一些示例中,物理特征(例如,用户的虹膜(例如,1423A)或眼睑)的相对位置的变化处于根据物理特征的中性静止位置确定的方向上。在一些示例中,将用户虹膜的中性静止位置确定为相对于用户眼球周边的特定位置(例如,居中位置)。在一些示例中,头像特征的反应的方向与用户的物理特征的变化的相对方向相对应(例如,直接相对应或相反地相对应)。在一些示例中,物理特征的变化的相对方向基于物理特征从物理特征的中性静止位置开始的移动的方向来确定。在一些示例中,头像特征的反应的方向与物理特征的变化的相对方向直接相对应(例如,物理特征向上移动,则头像特征向上移动)。在一些示例中,头像特征的反应的方向与物理特征的变化的相对方向相反地相对应(例如,物理特征向上移动,则头像特征向下移动)。
在一些实施方案中,第一头像特征包括头像嘴巴(例如,1430),并且第二头像特征包括头像牙齿(例如,1440)的至少一部分。例如,在图14C所示的实施方案中,头像牙齿(例如,1440)被显示为在头像嘴巴(例如,1430)的周边内的上排牙齿(例如,1440A)和下排牙齿(例如,1440B),并且通过增大或减小头像的上排牙齿和下排牙齿之间的竖直间距(例如,1441)来指示牙齿在竖直方向上的移动(例如,表示头像嘴巴的张开或闭合—而不使头像嘴巴移动),如图14C的1413C中所示。在一些实施方案中,第一物理特征包括用户嘴唇(例如,1420A或1420B)的至少一部分,第三物理特征包括用户嘴巴(例如,1420C和1420D)的至少一部分,第一物理特征的变化包括用户嘴唇的至少一部分从第一位置(例如,1401A)到第二位置(例如,1403A)的位移,并且基于第一物理特征的变化来修改虚拟头像的第一头像特征包括基于用户嘴唇的至少一部分的第二位置来修改头像嘴巴(例如,1430)的形状。例如,头像嘴巴(例如,1430)不在竖直方向上移动(例如,张开或闭合)。相反,通过改变头像嘴巴的形状(例如,以指示与头像嘴巴形状相关联的表情)来指示头像嘴巴(例如,1430)的变化,其中头像嘴巴的形状变化由用户嘴唇(例如,1420A和1420B)的变化驱动。
在一些示例中,嘴巴形成梯形形状(例如,如1413A或1413B中所示)以指示皱眉或微笑。例如,当梯形的顶部边缘(例如,1430U)比梯形的底部边缘(例如,1430L)长时,梯形形状与微笑(例如,1413A)相对应,并且当梯形的顶部边缘比梯形的底部边缘短时,梯形形状与皱眉(例如,1413B)相对应。在一些示例中,嘴巴形成圆形形状(例如,1414D中的1430)以指示嘟嘴表情或惊讶表情。
在一些实施方案中,诸如在图14C中所示的实施方案中,第三物理特征的变化包括使用户嘴巴的至少一部分张开或闭合,并且基于第三物理特征的变化来修改第二头像特征包括修改头像牙齿的第一部分(例如,上排牙齿1440A)和头像牙齿的第二部分(例如,下排牙齿1440B)之间的竖直间距(例如,1441),其中,竖直间距的量值基于用户嘴巴的至少一部分张开或闭合的量值(例如,1420C和1420D)。在一些实施方案中,上排牙齿和下排牙齿之间的竖直间距1441指示头像的上排牙齿与头像的下排牙齿之间的张开程度,而不用调整头像嘴巴1430的形状。在一些示例中,上部牙齿和下部牙齿之间的间距可以用于模拟虚拟头像的说话动作(例如,当虚拟头像是机器人1400时)。
在一些实施方案中,电子设备(例如,100、300、500、600)基于第一物理特征的变化修改虚拟头像(例如,1100)的第一头像特征(例如,1133)包括基于第一物理特征的变化的量值(例如,第一物理特征(例如,1122)的位置的变化程度)来修改第一头像特征,并且基于第二物理特征(例如,1120)的变化修改第一头像特征包括基于第二物理特征的变化的量值来修改第一头像特征。在一些实施方案中,变化的量值基于物理特征(例如,1122或1120)的起始位置和结束位置来确定。在一些实施方案中,将变化的量值确定为最大变化范围内的变化百分比。
在一些实施方案中,基于第一物理特征(例如,1122)的变化修改虚拟头像(例如,1100)的第一头像特征(例如,1133)包括基于第一物理特征的姿势变化的方向(例如,旋转方向、物理特征的角度相对于一个或多个相机的视场的变化方向,或平移方向)修改第一头像特征的至少一部分的姿势(例如,旋转取向、显示头像特征的角度,或显示位置)。基于第一物理特征的姿势变化的方向修改第一头像特征的至少一部分的姿势为用户提供了指示第一物理特征在特定方向上进一步移动将使设备基于第一物理特征的进一步移动的方向来改变第一头像特征的姿势的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,基于第二物理特征(例如,1120)的变化修改虚拟头像的第一头像特征(例如,1133)包括基于第二物理特征的姿势变化的方向(例如,旋转方向、物理特征的角度相对于一个或多个相机的视场的变化方向,或平移方向)修改第一头像特征的至少一部分的姿势(例如,旋转取向、显示头像特征的角度,或显示位置)。基于第二物理特征的姿势变化的方向修改第一头像特征的至少一部分的姿势为用户提供了指示第二物理特征在特定方向上进一步移动将使设备基于第二物理特征的进一步移动的方向来改变第一头像特征的姿势的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过提供指示将使得设备生成预期结果的输出的反馈来帮助用户实现预期结果,并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,面部的一个或多个物理特征的变化包括第一量值的第一物理特征(例如,1122)变化和第二量值的第二物理特征(例如,1120)变化,并且修改虚拟头像(例如,1100)的第一头像特征(例如,1133)包括基于第一量值和第二量值两者以修改量值修改第一头像特征。在1101D和1111D中示出了并且上文相对于图11A更详细地讨论了此类实施方案的一个示例。在一些示例中,修改量值是第一量值和第二量值之和。在一些示例中,修改量值基于第一量值和第二量值的加权和。例如,与第二量值相比,第一物理特征变化的量值可能对修改量值具有更大影响(例如,1X或2X)。
在一些实施方案中,第一头像特征包括头像眼睛(例如,1432B),第一物理特征包括用户眼睛(例如,1423)的至少一部分,第二物理特征包括用户眉毛(例如,1422)的至少一部分,第一物理特征的变化包括用户眼睛的虹膜部分(例如,1423A)的至少一个位移(例如,当用户使他们的眼睛移动以看向特定方向时,凝视的变化或用户虹膜(例如,1423A)的平移,如图14A的1401B和1401C中所示)以及用户眼睛的至少一部分的尺寸的变化(例如,用户眼睛(例如,1423)的可见量变化,如图14B的1402A和1402B中所示)(例如,眼睛张开程度的量值(例如,最大范围的百分比)),并且第二物理特征的变化至少包括用户眉毛(例如,1422)的至少一部分的竖直位移。在此类实施方案中,当第一物理特征的变化包括用户眼睛的虹膜部分(例如,1423A)的位移时(例如,如1401B和1401C中所示),基于第一物理特征的变化来修改第一头像特征包括使头像眼睛的至少一部分平移(例如,头像眼睛(例如,1432A)看向特定方向,如1411B和1411C中所示)。
在一些实施方案中,当第一物理特征的变化包括用户眼睛的至少一部分的尺寸(例如,眼睛张开程度的量值(例如,最大范围的百分比))的变化时,基于第一物理特征的变化来修改第一头像特征包括调整头像眼睛的至少一部分的尺寸(例如,头像眼睛的虹膜部分(例如,1432B)的尺寸随用户眼睛的尺寸(例如,张开程度)变化而增大或减小(例如,如1402A、1402B、1412A和1412B中所示))。在一些示例中,头像是机器人(例如,1400)并且机器人眼睛模仿相机快门,其中,头像眼睛的虹膜(例如,1432B)与相机快门的光圈相对应。在此类实施方案中,头像眼睛的虹膜部分的尺寸的增大/减小是通过以类似于调节相机快门中的光圈的方式增大/减小机器人眼睛中形成的孔口而引起的。
在一些实施方案中,基于第二物理特征的变化修改第一头像特征包括调整头像眼睛(例如,1431)的至少一部分的旋转程度,其中,旋转程度基于用户眉毛(例如,1422)的至少一部分的竖直位移。例如,当头像是机器人(例如,1400)时,头像眼睛包括表示结合到头像眼睛(例如,1432)中的头像假眉毛的线(例如,当头像眼睛处于中性静止位置时的水平线(例如,1431))。在一些示例中,头像眼睛(例如,1432)的旋转由线(例如,1431)的位置的旋转表示,其中,线的旋转位置可以用于指示机器人头像的眉毛位置。在一些示例中,头像眼睛(和线)旋转或倾斜的程度基于用户眉毛的竖直位移的量值来确定。
在一些实施方案中,第一头像特征包括头像鼻子(例如,1736)的至少一部分,第一物理特征包括用户眉毛(例如,1722)的至少一部分,第二物理特征包括用户嘴唇(例如,1720A)的至少一部分,第一物理特征的变化至少包括用户眉毛的至少一部分的竖直位移(例如,1701B中所示),基于第一物理特征的变化修改虚拟头像的第一头像特征包括基于用户眉毛的至少一部分的竖直位移的方向来修改头像鼻子的位置(例如,当眉毛形成冷笑姿势的一部分时,用户眉毛(例如,1722)在向下方向上远离用户头部的顶部移动,如1701B中所示),其中,在基于用户眉毛的至少一部分的竖直位移的方向确定(例如,与其反向相关)的方向上修改头像鼻子的位置。例如,当眉毛在向下方向上移动时,头像鼻子(例如,1736)在向上方向上朝向头像头部(例如,1735)的顶部抬起。在一些实施方案中,第二物理特征的变化包括用户嘴唇的至少一部分的至少一个水平位移(例如,当用户嘴巴或嘴唇在向左或向右方向上移动时(如1702A和1702B中所示))以及用户嘴唇的至少一部分的竖直位移(例如,当用户嘴唇(例如,上嘴唇1720A)抬起为处于冷笑姿势时,如1701B中所示),并且基于第二物理特征的变化修改虚拟头像的第一头像特征包括基于用户嘴唇的至少一部分的水平位移的方向和用户嘴唇的至少一部分的竖直位移的方向中的至少一者来进一步修改头像鼻子的位置,其中,在与用户嘴唇的至少一部分的水平位移的方向相对应的方向上进一步修改头像鼻子的位置。例如,当用户嘴唇(例如,上嘴唇1720A和/或下嘴唇1720B)被拉到用户面部的一侧(例如,如1702A和1702B中所示的左侧或右侧)时,用户嘴唇在向左或向右方向上具有水平位移,并且头像鼻子在与用户嘴唇的向左/向右方向相对应的方向上移动(如1712A和1712B中所示)。在一些示例中,通过在镜像化方向上移动(例如,如果用户嘴唇移动到用户面部的右侧(从视场的视角来看,如1702A中所示),则头像鼻子在朝向头像面部的左侧的方向上移动(如1712A中所示),反之亦然)并且在与用户嘴唇的至少一部分的竖直位移的方向相对应的方向上移动(例如,当用户嘴唇(例如,上嘴唇1720A)抬起为处于冷笑姿势时(如1701B中所示),嘴唇在朝向用户头部的顶部的方向上具有竖直位移,并且头像鼻子也在朝向头像头部1735的顶部的对应方向上移动,如1711B中所示)来使头像鼻子的这种移动与用户嘴唇的水平移动相对应。
在一些实施方案中,第一头像特征包括头像头发特征(例如,鬃毛1552),第一物理特征包括用户眉毛(例如,1522)的至少一部分,第二物理特征包括用户头部(例如,1528)的至少一部分,第一物理特征的变化至少包括用户眉毛的至少一部分的竖直位移(例如,如1501C中所示),并且第二物理特征的变化包括用户头部的姿势的变化(例如,沿x轴的旋转(例如,点头)或沿y轴的旋转(例如,左右摇头))(例如,1501D)。在该实施方案中,基于第一物理特征的变化修改虚拟头像的第一头像特征包括基于用户眉毛的至少一部分的竖直位移的方向使头像头发(例如,鬃毛)特征的至少一部分移位。例如,在1501C中,用户眉毛在向上方向上远离用户头部的底部移动,并且在1511C中,头像鬃毛的一部分(例如,位于头像头部1535的顶部处的1552A)在向上方向上远离头像头部的底部移动。在一些实施方案中,当用户眉毛在向下方向上朝向用户头部的底部移动时,头像鬃毛的一部分(例如,位于头像头部的顶部处)在向下方向上朝向头像头部的底部移动),并且基于第二物理特征的变化修改虚拟头像的第一头像特征包括基于用户头部姿势的变化的方向或量值使头像头发特征(例如,鬃毛1552)的至少一部分旋转(例如,1511D)。
需注意,上文相对于方法1900(例如,图19)所述的过程的详情也以类似的方式适用于上文所述的方法1800以及下文所述的方法。例如,方法1900任选地包括下文参考方法800、900、1800、2000、2100、2200、2300、2400和2500所述的各种方法的特征中的一个或多个特征。例如,根据方法800生成、发送和接收动画头像的方法可以采用根据方法1900生成的虚拟头像(例如,在对用户面部的位置变化作出反应时生成的头像)。类似地,根据方法1900生成和/或修改的虚拟头像和动画效果可以被包括在方法800或900的虚拟头像生成界面(例如,804、904)中的虚拟头像的显示预览中。又如,根据方法1900生成的虚拟头像(例如,在对用户面部的位置变化作出反应时生成的头像)也可根据方法800、900、1800、2000、2100、2200、2300、2400和2500的虚拟头像生成和修改方法生成。例如,根据方法1900生成的虚拟头像可以包括第一头像部分(例如,1535),其根据姿势的变化类型(例如,1810和1812)与第二头像部分(例如,1539)不同地对用户面部的姿势变化作出反应。为简洁起见,排除了其他示例。
图20是示出根据一些实施方案的用于在电子设备处基于由一个或多个相机检测到的面部生成虚拟头像的方法的流程图。在具有一个或多个相机(例如,164、602)和显示装置(例如,112、340、504、601)的电子设备(例如,100、300、500、600)处执行方法2000。方法2000中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下所述,方法2000提供了用于在对用户面部的位置变化作出反应的同时生成虚拟头像的直观方式。该方法减少了用户生成虚拟头像的认知负担,从而创建更有效的人机界面。针对电池驱动的计算设备,使用户能够更快速且更有效地生成期望虚拟头像节省功率并增加电池两次充电之间的时间间隔。方法2000的示例可以在参考图11A至图11C、图13、图14A至图14D、图15A至图15B、图16A至图16B以及图17A至图17B讨论的用户界面和虚拟头像中找到。
电子设备(例如,100、300、500、600)经由显示装置(例如,112、340、504、601)显示(2002)虚拟头像(例如,1100、1300、1400、1500、1600、1700)。在一些示例中,虚拟头像包括(2004)第一头像特征(例如,头像的眉毛(例如,1538)、嘴巴(例如,1130、1330、1430、1730)、脸颊(例如,1633)或非人类等效头像特征(诸如,机器人头像(例如,1400)的一个或多个相机镜头(例如,1431)或天线(例如,1434)的内部部分),该第一头像特征对一个或多个相机的视场内的面部(例如,164、602)的第一物理特征(例如,用户的嘴巴(例如,1120、1320、1420、1720)、眉毛(例如,1422、1522)或脸颊(例如,1628))作出反应。显示具有对一个或多个相机的视场中的面部的第一物理特征的变化作出反应的第一头像特征的虚拟头像为用户提供了用于控制对虚拟头像的第一部分的修改的选项,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
虚拟头像还包括(2006)对第一物理特征的变化作出反应的第二头像特征(例如,头像的耳朵(例如,1133、1433)或鼻子(例如,1736),或非人类等效头像特征,诸如胡须(例如,1342)、鬃毛(例如,1552)、垂冠(例如,1650)或机器人头像(例如,1400)的天线(例如,1434))。显示具有对一个或多个相机的视场中的面部的第一物理特征的变化作出反应的第二头像特征的虚拟头像为用户提供了用于控制对虚拟头像的第二部分的修改的选项,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
虚拟头像还包括(2008)第三头像特征(例如,鼻子(例如,1436)、眉毛(例如,1138、1738)、眼睑(例如,1348)、嘴巴(例如,1530)或非人类等效头像特征,诸如机器人头像(例如,1400)的一个或多个相机镜头(例如,1431)的不主要对第一物理特征的变化作出反应(例如,任选地作出反应)的内部部分)。例如,第三头像特征不是基于面部特征(例如,第一物理特征)的变化而直接修改的,而是可能受头像的对面部特征的变化直接作出反应的其他变化的影响。例如,在一些实施方案中,第三头像特征可包括胡须(例如,1342),其不对第一物理特征诸如用户的嘴巴(例如,1320)的变化作出反应,而是响应于头像嘴巴(例如,1330)的移动而移动,头像嘴巴的移动由第一物理特征(例如,用户的嘴巴1342)的移动驱动。在一些实施方案中,对第一物理特征的变化不作出反应的头像特征(例如,胡须1342)对一个或多个相机的视场内的面部的任何物理特征的变化都不作出反应。在一些实施方案中,对第一物理特征的变化不作出反应的头像特征对一个或多个相机的视场内的面部的与第一物理特征不同的第二物理特征的变化作出反应。例如,在一些实施方案中,第三头像特征可包括眼睑(例如,1348),其不对第一物理特征诸如用户的嘴巴(例如,1320)的变化作出反应,而是对第二物理特征诸如用户的眼睑(例如,1327)的变化作出反应。
在一些实施方案中,第一头像特征(例如,1130、1330、1430、1431、1538、1633、1730)在解剖学上与第一物理特征(例如,1120、1320、1420、1422、1522、1628、1720)相对应(例如,基于物理特征的位置、移动特性、尺寸、颜色和/或形状中的一者或多者对头像特征进行建模),并且第二头像特征(例如,1133、1342、1433、1434、1552、1650、1736)在解剖学上不与第一物理特征相对应(例如,在解剖学上不同或在解剖学上与除第一物理特征之外的物理特征相对应)。例如,第二头像特征与眼睛尺寸相对应,并且第一物理特征与眉毛位置相对应。
在显示虚拟头像(例如,1100、1300、1400、1500、1600、1700)时,电子设备(例如,100、300、500、600)检测(2010)的第一物理特征(例如,用户的嘴巴(例如,1120、1320、1420、1720)、眉毛(例如,1422、1522)或脸颊(例如,1628))的变化。
响应于检测到(2012)第一物理特征(例如,用户的嘴巴(例如,1120、1320、1420、1720)、眉毛(例如,1422、1522)或脸颊(例如,1628))的变化,电子设备(例如,100、300、500、600)基于检测到的第一物理特征的变化修改(2014)第一头像特征(例如,头像的眉毛(例如,1538)、嘴巴(例如,1130、1330、1430、1730)、脸颊(例如,1633)或非人类等效头像特征,诸如机器人头像(例如,1400)的一个或多个相机镜头(例如,1431)的内部部分)。电子设备还基于检测到的第一物理特征的变化修改(2016)第二头像特征(例如,头像的耳朵(例如,1133、1433)或鼻子(例如,1736),或非人类等效头像特征,诸如胡须(例如,1342)、鬃毛(例如,1552)、垂冠(例如,1650)或机器人头像(例如,1400)的天线(例如,1434))。另外,电子设备基于检测到的第一物理特征的变化放弃(2018)修改第三头像特征(例如,鼻子(例如,1436)、眉毛(例如,1138、1738)、眼睑(例如,1348)、嘴巴(例如,1530)或非人类等效头像特征,诸如机器人头像(例如,1400)的一个或多个相机镜头(例如,1431)的内部部分)。
基于检测到的第一物理特征的变化修改第一头像特征和第二头像特征,并且基于第一物理特征的变化放弃修改第三头像特征为用户提供了指示进一步移动或改变相同物理特征将使设备改变第一头像特征和第二头像特征而不改变第三头像特征的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,第三头像特征(例如,眉毛(例如,1138、1738)、眼睑(例如,1348)或嘴巴(例如,1530))对第二物理特征(例如,用户眉毛(例如,1122、1722)、眼睑(例如,1327)或嘴巴(1520))作出反应,并且第三头像特征在解剖学上与第二物理特征相对应。显示具有对一个或多个相机的视场中的面部的第二物理特征的变化作出反应并且在解剖学上与用户的第二物理特征相对应的第三头像特征的虚拟头像为用户提供了直观的选项来控制对虚拟头像的与用户的第二物理特征相对应的第三部分的修改,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在此类实施方案中,在显示虚拟头像时,电子设备(例如,100、300、500、600)检测第二物理特征(例如,用户眉毛(例如,1122、1722)、眼睑(例如,1327)或嘴巴(1520))的变化,并且响应于检测到第二物理特征的变化,基于检测到的第二物理特征的变化修改第三头像特征(例如,眉毛(例如,1138、1738)、眼睑(例如,1348)或嘴巴(例如,1530))。在一些实施方案中,第一头像特征(例如,嘴巴(例如,1130、1330)不主要对第二物理特征的变化作出反应(或任选地不作出反应)。在一些实施方案中,第二头像特征在解剖学上不与第一物理特征或第二物理特征相对应。例如,第二头像特征是对用户的眉毛(例如,1122、1422)和嘴巴(例如,1120、1420)作出反应的头像耳朵(例如,1133、1433)。
在一些实施方案中,第二头像特征(例如,1133、1552、1736)对第二物理特征(例如,1122、1520、1722)的变化作出反应。显示具有对用户的面部的第二物理特征的变化作出反应的第二头像特征的虚拟头像为用户提供了附加的选项来控制对虚拟头像的第二部分的修改,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
例如,第二头像特征(例如,1133、1552、1736)对第二物理特征(例如,1122、1520、1722)的变化作出反应,使得第二头像特征对第一物理特征(例如,1120、1522、1720)和第二物理特征两者的变化都作出反应。因此,可基于检测到第二物理特征的变化独立于对第一头像特征的修改来修改第二头像特征。
在一些实施方案中,第一头像特征(例如,1730)对第二物理特征(例如,1722)的变化作出反应。显示具有对用户的面部的第二物理特征的变化作出反应的第一头像特征的虚拟头像为用户提供了附加的选项来控制对虚拟头像的第一部分的修改,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。例如,第一头像特征对第二物理特征的变化作出反应,使得第一头像特征对第一物理特征和第二物理特征两者的变化都作出反应。
在一些实施方案中,第一物理特征包括用户的嘴唇(例如,1420A、1420B)的至少一部分,第二物理特征包括用户的眉毛(例如,1422)的至少一部分,第一头像特征包括头像嘴巴(例如,1430),并且第二头像特征包括定位在头像头部(例如,1435)的侧部上的头像耳朵(例如,1433)。例如,当头像是机器人(例如,1400)时,头像耳朵(例如,1433)由圆形的板状结构表示。在此类实施方案中,通过从机器人头部(例如,1435)的侧面水平地延伸结构来表示耳朵(例如,1433)的移动。在一些实施方案中,通过从机器人头部(例如,1435)的侧面倾斜结构来表示耳朵(例如,1433)的移动。
在一些实施方案中,第一物理特征的变化包括用户的嘴唇(例如,1420A、1420B)的至少一部分从第一位置(例如,以1401A示出)到第二位置(以1403B示出)的位移。例如,用户的嘴唇在向下弯曲的方向上移动(例如,用户的嘴角向下弯曲)以形成皱眉表情的嘴部。在一些实施方案中,第二物理特征的变化至少包括用户的眉毛的至少一部分的竖直位移。例如,用户的眉毛(例如,1422)在向下方向上移动,如1403B所示。
在一些实施方案中,与眉毛的中立静止位置相比,当用户的眉毛具有朝向用户的鼻子竖直移位的位置时,检测到皱眉。在一些实施方案中,基于检测到的第一物理特征的变化修改第一头像特征包括基于用户的嘴唇(例如,1420A、1420B)的至少一部分的第二位置至少修改头像嘴巴(例如,1430)的形状。例如,头像嘴巴不会以使用户的嘴巴成镜像(例如,在竖直方向上移动、打开和闭合等)的方式移动。相反,在一些实施方案中,通过改变头像嘴巴的形状(例如,以指示与嘴巴形状相关联的表情)来指示头像嘴巴(例如,1430)的变化,其中头像嘴巴的形状变化由用户的嘴唇(例如,1420A/1420B)的变化驱动。在一些示例中,如1413B所示,嘴巴形成梯形形状以指示皱眉(例如,当梯形的顶部边缘1430U短于梯形的底部边缘1430L时,梯形形状与皱眉相对应)。在一些实施方案中,基于检测到的第一物理特征的变化修改第二头像特征包括调节头像耳朵(例如,1433)的倾斜度,其中倾斜度基于用户的嘴唇的至少一部分从第一位置到第二位置的位移的量值和方向中的至少一者。在一些实施方案中,耳朵(例如,1433)倾斜的程度是基于用户的嘴唇(例如,1420A/1420B)从第一位置到第二位置的位移的量值或方向来确定的。
在一些实施方案中,第一物理特征(例如,1120、1320、1420、1422、1522、1628、1720)的变化包括第一量值的变化,基于检测到的第一物理特征的变化修改第一头像特征(例如,1130、1330、1430、1431、1538、1633、1730)包括将第一头像特征修改基于第一量值的第一修改量值,并且基于检测到的第一物理特征的变化修改第二头像特征(例如,1133、1342、1433、1434、1552、1650、1736)包括将第二头像特征修改基于第一量值的第二修改量值,第二修改量值与第一修改量值不同。将第一头像特征修改第一修改量值并且将第二头像特征修改第二修改量值(这些修改量值基于检测到的第一物理特征的变化的第一量值)为用户提供了选项来以不同的量控制不同的头像特征,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,虽然第一头像特征和第二头像特征都对第一物理特征的变化作出反应,但是对头像特征的修改的量值(例如,程度)是不同的。例如,当物理特征的变化包括第一量值的位置偏移(例如,平移变化)(例如,一英寸的位置偏移)时,第一头像特征可被修改为等于第一量值的第一修改量值(例如,第一头像特征也在位置上偏移一英寸),而第二头像特征可被修改与第一修改量值不同的第二修改量值(例如,第二头像特征偏移一英寸以外(例如,大于、小于一英寸)的值)。在一些实施方案中,通过将不同的调节因子(例如,乘数)应用于第一物理特征的变化量值来产生不同的修改量值。在一些实施方案中,变化量值可被表示为给定特征可用的最大变化量的百分比。
在一些实施方案中,第一物理特征(例如,1120、1320、1420、1422、1522、1628、1720)的变化是第一类型的变化(例如,旋转变化、尺寸变化、颜色变化、位置/平移变化),并且基于检测到的第一物理特征的变化修改第一头像特征(例如,1130、1330、1430、1431、1538、1633、1730)包括基于第二类型的变化(例如,旋转变化、尺寸变化、颜色变化、位置/平移变化)修改第一头像特征。在一些实施方案中,第二类型的变化与第一类型的变化相同。在一些实施方案中,基于检测到的第一物理特征的变化修改第二头像特征(例如,1133、1342、1433、1434、1552、1650、1736)包括基于第三类型的变化(例如,旋转变化、尺寸变化、颜色变化、位置/平移变化)修改第二头像特征,第三类型的变化与第二类型的变化不同。在一些实施方案中,第三类型的变化与第一类型的变化相同。基于第二类型的变化修改第一头像特征并且基于与第二类型的变化不同的第三类型的变化修改第二头像特征为用户提供了选项来基于不同类型的用户输入控制头像的不同特征,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,虽然第一头像特征和第二头像特征都对第一物理特征的变化作出反应,但是第一物理特征的变化不同地影响(例如,修改)第一头像特征和第二头像特征。例如,第一物理特征的变化可以是引起第一头像特征的旋转变化(例如,头像眼球的旋转)但引起第二头像特征的平移变化(例如,头像耳朵的位置偏移)的旋转变化。在一些实施方案中,第一头像特征和第二头像特征的变化是相同类型的变化(例如,与物理特征的变化相同类型的变化)。
在一些实施方案中,第一头像特征包括头像嘴巴(例如,1330),第二头像特征包括头像面部毛发(例如,1342)的至少一部分,第一物理特征包括用户嘴巴(例如,1320)的至少一部分,并且第一物理特征的变化包括用户嘴巴的至少一部分的位移(例如,当用户嘴巴是微笑时,用户嘴角在向上方向上移位(相对于处于中立静止位置时的用户嘴角的位置))。在一些此类实施方案中,基于检测到的第一物理特征的变化修改第一头像特征包括基于用户嘴巴的至少一部分的位移修改头像嘴巴的形状(例如,当用户嘴角在向上方向上移位时(相对于处于中立静止位置时的用户嘴角的位置),头像嘴巴被修改为与微笑相对应的形状)。此外,在一些此类实施方案中,基于检测到的第一物理特征的变化修改第二头像特征包括基于用户嘴巴的至少一部分的位移的量值或方向修改头像面部毛发的至少一部分的位置(例如,头像面部毛发的位置基于用户嘴巴的位置或形状的变化而改变)以及头像面部毛发的至少一部分的间隔(例如,头像面部毛发的位置基于用户嘴巴的位置或形状的变化而改变)中的至少一者。在一些实施方案中,通过驱动头像嘴巴和周围连接的面部结构的形状或位置的变化(例如,位移)来实现对头像面部毛发的位置和间隔的修改,进而驱动对位于靠近头像嘴巴的区域中的头像面部毛发的定位、位置或间隔的改变。
在一些实施方案中,第一头像特征包括头像嘴巴(例如,1730),第二头像特征包括头像鼻子(例如,1736),第一物理特征包括用户嘴巴(例如,1720)的至少一部分,并且第一物理特征的变化包括用户嘴巴的至少一部分的位移(例如,当用户嘴巴是微笑时,用户嘴角在向上方向上移位(相对于处于中立静止位置时的用户嘴角的位置))。在一些此类实施方案中,基于检测到的第一物理特征的变化修改第一头像特征包括基于用户嘴巴的至少一部分的位移修改头像嘴巴的形状(例如,当用户嘴角在向上方向上移位时(相对于处于中立静止位置时的用户嘴角的位置),头像嘴巴被修改为与微笑相对应的形状)。此外,在一些此类实施方案中,基于检测到的第一物理特征的变化修改第二头像特征包括基于用户嘴巴的至少一部分的位移的量值或方向修改头像鼻子的位置(例如,头像鼻子基于除用户鼻子之外的物理特征(例如,用户嘴巴1720)的位移而移动)。例如,当用户嘴巴在用户面部上从一侧到另一侧(例如,向左或向右)移动时,用户嘴巴在向左或向右方向上具有水平位移,并且头像鼻子在与用户嘴巴的向左/向右方向相对应的方向上移动。在一些实施方案中,头像鼻子的这种移动通过在镜像方向上移动而与用户嘴巴的水平移动相对应(例如,如果用户嘴巴移动到用户面部的右侧,则头像鼻子在朝向头像面部的左侧的方向上移动,反之亦然)。类似地,当用户嘴巴具有竖直位移(例如,在朝向用户头部的顶部的方向上)时,头像鼻子也在对应的方向上(例如,朝向头像头部的顶部)移动。
在一些实施方案中,虚拟头像(例如,1400)还包括对第一物理特征(例如,1422)的变化作出反应的第四头像特征(例如,1431)。响应于检测到第一物理特征的变化,电子设备(例如,100、300、500、600)基于检测到的第一物理特征(例如,用户眉毛1422)的变化修改第四头像特征。显示具有对用户的面部的第一物理特征的变化作出反应的第四头像特征的虚拟头像为用户提供了附加的选项来控制对虚拟头像的第四部分的修改,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,第一物理特征包括用户眉毛(例如,1422)的至少一部分,第一头像特征包括定位于头像头部(例如,1435)的顶部处的头像天线特征(例如,1434)(例如,响应于用户面部特征(例如,用户眉毛1422)的移动而在竖直方向上移动的定位在头像头部的顶部上的天线(例如,当头像是机器人时))。在一些此类实施方案中,第二头像特征包括定位在头像头部的侧部上的头像耳朵(例如,1433)(例如,当头像是机器人时,头像耳朵由圆形的板状结构表示,其中通过从机器人头部的侧面水平地延伸结构来表示耳朵的移动),并且第四头像特征包括头像眉毛(例如,1431)。例如,当头像是机器人(例如,1400)时,头像眉毛由合并到头像的眼睛1432的结构中的线(例如,当头像眉毛处于中立静止位置时的水平线1431)表示。在一些实施方案中,通过旋转线的位置(其可包括旋转头像眼睛)来表示机器人眉毛的移动,如1412C所示,其中线的旋转位置可以用于指示机器人头像的眉毛位置。在一些实施方案中,线(和头像眼睛)旋转或倾斜的程度是基于用户眉毛的竖直位移的量值来确定的。
在一些实施方案中,第一物理特征的变化包括用户眉毛(例如,1422)的至少一部分的位移(例如,眉毛在竖直方向上朝向或远离用户头部的顶部的移动的量值(例如,最大范围的百分比)),并且基于检测到的第一物理特征的变化修改第一头像特征包括从头像头部(例如,1435)的顶部延伸头像天线特征(例如,1434),其中头像天线特征的延伸位置基于用户眉毛的至少一部分的位移的量值。在一些此类实施方案中,基于检测到的第一物理特征的变化修改第二头像特征包括从头像头部的侧部延伸头像耳朵(例如,1433),其中头像耳朵的延伸位置基于用户眉毛的至少一部分的位移的量值。在一些此类实施方案中,基于检测到的第一物理特征的变化修改第四头像特征包括调节头像眉毛的至少一部分的旋转度,其中旋转度基于用户眉毛的至少一部分的位移的量值。例如,当头像是机器人(例如,1400)时,头像眼睛旋转或倾斜以指示各种面部表情。在一些实施方案中,眼睛旋转或倾斜的程度是基于用户眉毛的竖直位移的量值来确定的。
在一些实施方案中,第一物理特征包括用户眼睑(例如,1327)的至少一部分,第一头像特征包括头像眼睑(例如,1348),第二头像特征包括头像眼睛(例如,1332),并且第一物理特征的变化包括用户眼睑的至少一部分的位移(例如,眼睑在竖直方向上朝向或远离用户头部的顶部的移动的量值(例如,最大范围的百分比))。在一些实施方案中,基于检测到的第一物理特征的变化修改第一头像特征包括包括引入头像眼睑(在一些实施方案中,头像眼睑被引入处于闭合位置)并将头像眼睑朝向闭合位置移动,其中头像眼睑朝向闭合位置的位置基于用户眼睑的至少一部分的位移的量值。在一些实施方案中,直到用户眼睑的位移的量值达到用于引入头像眼睑的阈值大小(例如,大于50%闭合)时才显示头像眼睑。在此类实施方案中,头像眼睑可被显示处于闭合位置,或者从打开位置向闭合位置过渡,其中当头像眼睑过渡到闭合位置时,其瞬时位置是基于用户眼睑的位移的量值来确定的。在一些实施方案中,基于检测到的第一物理特征的变化修改第二头像特征包括基于用户眼睑的至少一部分的位移的量值调节头像眼睛的尺寸。例如,头像眼睛被修改以显示比在检测到第一物理特征的变化之前所显示的更大量的头像眼睛(或增加头像眼睛的尺寸)。
在一些实施方案中,第一物理特征包括用户嘴唇(例如,1420C)的至少一部分,第一头像特征包括头像嘴巴(例如,1430),第二头像特征包括头像鼻子(例如,1436),第一物理特征的变化包括用户嘴唇的至少一部分从第一位置到第二位置的位移。例如,第一位置可以是中立位置,并且第二位置可以是当用户将其嘴唇/嘴巴调节为特定姿势时嘴唇的最终位置。在一些实施方案中,用户嘴唇位置的变化与嘴巴姿势的变化(例如,从皱眉到微笑)和/或用户嘴巴/嘴唇的位移的变化(例如,将用户嘴唇偏移到其面部的一侧(例如,将嘴唇向右偏移))相对应。在一些实施方案中,基于检测到的第一物理特征的变化修改第一头像特征包括基于用户嘴唇的至少一部分的第二位置修改头像嘴巴的形状和水平偏移中的至少一者。例如,头像嘴巴不会以使用户的嘴巴成镜像(例如,在竖直方向上移动、打开和闭合等)的方式移动。相反,通过偏移头像嘴巴的水平位置(例如,沿着x轴平移嘴巴)和/或改变头像嘴巴的形状(例如,以指示与嘴巴形状相关联的表情)来指示头像嘴巴的变化,其中头像嘴巴的偏移和形状变化由用户嘴唇的变化驱动。
在一些实施方案中,嘴巴形成梯形形状以指示皱眉或微笑(例如,当梯形的顶部边缘长于梯形的底部边缘时,梯形形状与微笑相对应;并且当梯形的顶部边缘短于梯形的底部边缘时,梯形形状与皱眉相对应)。在一些实施方案中,嘴巴形成圆形形状以指示嘟嘴表情或惊讶表情。在一些实施方案中,当用户嘴巴的形状变化(用户将其嘴唇从一侧偏移到另一侧)时,头像嘴巴从一侧偏移到另一侧,并且基于检测到的第一物理特征的变化修改第二头像特征包括调节头像鼻子的旋转度,其中旋转度基于用户嘴唇的至少一部分从第一位置到第二位置的位移的量值和方向中的至少一者。在一些实施方案中,鼻子旋转的程度是基于用户嘴唇从第一位置到第二位置的位移的量值或方向来确定的。
在一些实施方案中,第一物理特征包括用户脸颊(例如,1628)的至少一部分,第一头像特征包括头像脸颊(例如,1633),第二头像特征包括远离头像面部(例如,1655)延伸的头像特征(例如,1650)(例如,大象的躯干、鸡的垂冠、鸟的喙部)。例如,当头像是鸡(例如,1600)时,头像包括基于检测到的用户脸颊(例如,1628)的变化移动的垂冠(例如,1650)。第一物理特征的变化包括用户脸颊的至少一部分从第一位置(例如,1601A)到扩展位置(例如,1601B)的位移,其中扩展位置基于用户脸颊的至少一部分从第一位置到扩展位置的位移的量值。例如,第一位置与当脸颊处于放松状态时用户脸颊的位置相对应,并且扩展位置与当用户扩展或鼓起其脸颊时用户脸颊的位置相对应。
在一些实施方案中,基于检测到的第一物理特征的变化修改第一头像特征包括将头像脸颊从初始位置(例如,1611A)修改为扩展位置(例如,1611B中的1633)。例如,头像脸颊从初始位置移动到扩展位置(例如,鼓出或扩展姿势),其中初始位置与当用户脸颊处于放松状态时头像脸颊的位置相对应,并且扩展位置基于用户脸颊从其处于放松状态的位置到其扩展位置的位移的量值。在一些实施方案中,虚拟头像的初始位置是未区分的位置。
在一些实施方案中,基于检测到的第一物理特征的变化修改第二头像特征包括基于用户脸颊的至少一部分从第一位置到扩展位置的位移的量值修改远离头像面部延伸的头像特征的位置。在一些实施方案中,鸡垂冠的移动基于物理模型(例如,惯性模型、重力模型、力传递模型、摩擦模型)。在一些实施方案中,物理模型基于面部或面部的一部分(例如,头像脸颊)的移动的量值和方向以及虚拟头像特征(例如,垂冠)的一个或多个预定义属性(诸如,模拟质量、模拟弹性、模拟摩擦系数或其他模拟物理属性)来指定头像特征的移动的量值和方向。
在一些实施方案中,第一物理特征包括用户脸颊(例如,1428)的至少一部分,并且第一头像特征包括定位在头像头部(例如,1435)的侧部上的头像耳朵(例如,1433)。例如,当头像是机器人(例如,1400)时,头像耳朵(例如,1433)由圆形的板状结构表示。在一些实施方案中,通过从机器人头部的侧面水平地延伸结构来表示耳朵的移动。在一些实施方案中,通过从机器人头部的侧面倾斜结构来表示耳朵的移动。在一些实施方案中,第二头像特征包括位于头像头部的顶部处的头像天线特征(例如,1434)(例如,响应于用户面部特征(例如,用户脸颊)的移动而在竖直方向上移动的定位在头像头部的顶部上的天线(例如,当头像是机器人时))。在一些此类实施方案中,第一物理特征的变化包括用户脸颊的至少一部分从第一位置(例如,1401A)到扩展位置(例如,1404C)的位移(例如,第一位置与当脸颊处于放松状态时用户脸颊的位置相对于,并且扩展位置与当用户扩展或鼓起其脸颊时用户脸颊的位置相对应)。此外,在此类实施方案中,基于检测到的第一物理特征的变化修改第一头像特征包括从头像头部的侧部延伸头像耳朵,其中头像耳朵的延伸位置基于用户脸颊的至少一部分从第一位置到扩展位置的位移的量值,并且基于检测到的第一物理特征的变化修改第二头像特征包括从头像头部的顶部延伸头像天线特征,其中头像天线特征的延伸位置基于用户脸颊的至少一部分从第一位置到扩展位置的位移的量值。
需注意,上文相对于方法2000(例如,图20)所述的过程的详情也以类似的方式适用于上文所述的方法1800和1900以及下文所述的方法。例如,方法2000任选地包括下文参考方法800、900、1800、1900、2100、2200、2300、2400和2500所述的各种方法的特征中的一个或多个特征。例如,根据方法800生成、发送和接收动画头像的方法可以采用根据方法2000生成的虚拟头像(例如,在对用户面部的位置变化作出反应时生成的头像)。类似地,根据方法2000生成和/或修改的虚拟头像和动画效果可以被包括在方法800或900的虚拟头像生成界面(例如,804、904)中的虚拟头像的显示预览中。又如,根据方法2000生成的虚拟头像(例如,在对用户面部的位置变化作出反应时生成的头像)也可根据方法800、900、1800、1900、2100、2200、2300、2400和2500的虚拟头像生成和修改方法生成。例如,根据方法2000生成的虚拟头像可以包括第一头像部分(例如,1535),其根据姿势的变化类型(例如,1810和1812)与第二头像部分(例如,1539)不同地对用户面部的姿势变化作出反应。为简洁起见,排除了其他示例。
图21是示出根据一些实施方案的用于在电子设备处基于由一个或多个相机检测到的面部生成虚拟头像的方法的流程图。在具有一个或多个相机(例如,164、602)和显示装置(例如,112、340、504、601)的电子设备(例如,100、300、500、600)处执行方法2100。方法2100中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下所述,方法2100提供了用于生成可以在物理特征的变化范围内表现出不同行为的虚拟头像的直观方式。该方法减少了用户生成虚拟头像的身体和认知负担,从而创建更有效的人机界面。针对电池驱动的计算设备,使用户能够更快速且更有效地生成期望虚拟头像节省功率并增加电池两次充电之间的时间间隔。方法2100的示例可在参考图12A至图12C讨论的用户界面和虚拟头像中找到。
电子设备(例如,100、300、500、600)经由显示装置(例如,112、340、504、601)显示(2102)包括第一头像特征(例如,1230)的虚拟头像(例如,1200),该第一头像特征对一个或多个相机的视场内的面部的第一物理特征(例如,1220)的变化作出反应(2104)。例如,第一头像特征持续反应,即在检测到的物理特征的可能运动的范围内根据奇异函数(例如,线性函数)作出反应。显示具有对一个或多个相机的视场中的面部的第一物理特征的变化作出反应的第一头像特征的虚拟头像为用户提供了用于控制对虚拟头像的第一部分的修改的选项,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
虚拟头像还包括第二头像特征(例如,1232),该第二头像特征以不同的方式对面部的第二物理特征(例如,1223)的变化作出反应,该方式取决于面部的第二物理特征的变化是发生在第二物理特征的第一变化范围内还是发生在第二物理特征的第二变化范围内,第二物理特征的第二变化范围与第二物理特征的第一变化范围不同(2106)。例如,第二头像特征非持续反应,即在检测到的物理特征的可能运动的范围内根据多重函数作出反应,包括对于检测到的物理特征的可能运动的范围的某些部分是非反应性的。显示具有以不同的方式对面部的第二物理特征的变化作出反应的第二头像特征的虚拟头像,该方式取决于面部的第二物理特征的变化是发生在第二物理特征的第一变化范围内还是发生在第二物理特征的第二变化范围内,第二物理特征的第二变化范围与第二物理特征的第一变化范围不同,为用户提供了选项范围来控制对虚拟头像的第二部分的不同修改,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在显示虚拟头像(例如,1200)时,电子设备(例如,100、300、500、600)检测一个或多个相机的视场内的面部的相应物理特征(例如,1220、1223)的第一变化(2108)。在一些示例中,可将物理特征的变化跟踪为特征的潜在变化的范围内的物理特征值(例如,量值),该范围是基于经验校准或基于根据用户面部的各种特征和/或历史数据进行预测建模来确定的。例如,可将变化评估为在0-10的可能量值范围内具有量值2。
响应于检测到相应物理特征的第一变化,电子设备(例如,100、300、500、600)修改虚拟头像(2110),包括执行以下操作中的一个或多个。根据确定检测到的相应物理特征的第一变化是第一物理特征(例如,1220)的变化,电子设备(例如,100、300、500、600)修改(2112)第一头像特征(例如,1230)以反映第一物理特征的变化。在一些示例中,第一物理特征的变化方式不取决于第一物理特征的变化范围。修改第一头像特征以反映第一物理特征的变化为用户提供了指示进一步移动相同物理特征将使设备基于进一步移动来改变第一头像特征的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
根据确定检测到的第一变化是第二物理特征(例如,1223)的变化并且第二物理特征的变化在第一变化范围内(例如,根据第二物理特征的第二物理特征值满足或超过修改阈值)(例如,在0-10的可能量值范围中具有5或更大的量值),电子设备(例如,100、300、500、600)以第一方式改变(2114)第二头像特征(例如,1232)的外观以反映第二物理特征的变化。当第一变化是第二物理特征的变化并且第二物理特征的变化在第一变化范围内时,以第一方式改变第二头像特征的外观以反映第二物理特征的变化,为用户提供了指示在相同移动范围中进一步移动相同物理特征将使设备以相同方式改变第二头像特征的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,头像特征的可能运动范围具有0-10的可能范围,并且用户物理特征也具有0-10的可能运动范围,修改阈值为5。在一些示例中,导致最终物理特征值满足或超过阈值的物理特征的变化导致在头像特征的整个可能运动范围内进行夸大运动:物理特征从5变为6将导致头像特征的值从0被修改为2,而物理特征从6变为7将导致头像特征从2被修改为4。以这种方式,一旦满足或超过修改阈值,物理特征的变化就可以控制头像特征的整个运动范围。在一些示例中,根据非线性函数对夸大进行建模,使得物理特征从5变为6将引起头像特征在0-10的可能范围内从0转变为8,其中物理特征从6变为10引起头像特征的变化不那么显著(例如,从8变为10)。以这种方式,一旦满足修改阈值,用户的物理特征的变化就可以引起头像特征的极其夸大的初始变化。在一些示例中,至少部分地发生在物理特征的可能运动范围的第一子部分(例如后部分,诸如范围0-10中的6-10)内的物理特征的变化导致修改对应的头像特征。在此类示例中,第一子部分是满足或超过修改阈值的范围部分。
根据确定检测到的第一变化是第二物理特征(例如,1223)的变化并且第二物理特征的变化在第二变化范围内(2116)(例如,第一物理特征值和第二物理特征值不满足或未超过修改阈值),电子设备(例如,100、300、500、600)放弃以第一方式改变第二头像特征的外观以反映第二物理特征的变化。在一些示例中,完全发生在物理特征的可能运动范围的第二子部分(例如初始部分,诸如范围0-10中的0-5)内的物理特征的变化不会导致修改对应的头像特征。在此类实施方案中,第二子部分是不满足或未超过修改阈值的范围部分。
在一些示例中,进一步响应于检测到相应物理特征的第一变化并且根据确定检测到的第一变化是第二物理特征(例如,1223)的变化并且第二物理特征的变化在第二变化范围内,电子设备(例如,100、300、500、600)以第二方式改变第二头像特征(例如,1232)的外观以反映第二物理特征的变化。在一些示例中,第二变化范围表示第二物理特征的可能运动范围中的子集。在一些示例中,子集与运动范围的上限(例如,可能范围0-10内的范围8-10,其中0是没有运动,10是最大可能运动)相对应。在一些示例中,改变第二头像特征的外观的第二方式包括应用于第二头像特征的夸大效果。在一些示例中,该夸大效果包括从第二头像特征延伸的刺突部或突起部。当第一变化是第二物理特征的变化并且第二物理特征的变化在第二变化范围内时,以第二方式改变第二头像特征的外观以反映第二物理特征的变化,为用户提供了指示在相同移动范围中进一步移动相同物理特征将使设备以与当第二物理特征的变化在第一变化范围内时实现的变化的方式不同的相同方式改变第二头像特征的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,改变第二头像特征(例如,1232)的外观的第一方式与改变第二头像特征的外观的第二方式不同。在一些示例中,改变第二头像特征的外观的第一方式包括与第二物理特征的移动相对应的第二头像特征的移动或修改,而改变第二头像特征的外观的第二方式包括应用于第二头像特征的夸大效果。在一些示例中,该夸大效果包括从第二头像特征延伸的刺突部或突起部。
在一些示例中,在检测到相应物理特征的第一变化时显示的虚拟头像基于第一虚拟头像模板(例如,与外星人头像1200相对应的头像模板)。在此类示例中,在响应于检测到相应物理特征的第一变化而基于第一虚拟头像模板修改虚拟头像之后并且在显示基于与第一虚拟头像模板不同的第二虚拟头像模板(例如,与熊头像模板1100相对应的头像模板)的虚拟头像时,电子设备检测第二物理特征(例如,1223)的第二变化。此外,在此类示例中,响应于检测到第二物理特征的第二变化,电子设备(例如,100、300、500、600)修改第二头像特征(例如,眼睛1132、1232)以反映第二物理特征的第二变化,其中以相同的方式改变第二头像特征的外观,而不考虑第二物理特征的变化是在第一变化范围内还是在第二变化范围内。修改第二头像特征以反映第二物理特征的第二变化,使得以相同的方式改变第二头像特征的外观,而不考虑第二物理特征的变化是在第一变化范围内还是在第二变化范围内,为用户提供了指示进一步移动相同物理特征将使设备以独立于变化范围的方式改变第二头像特征的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。在一些示例中,对于不同的虚拟头像模板,第二物理特征的变化引起第二头像特征的平滑变化,而不是取决于第二物理特征的变化是在第一变化范围内还是在第二变化范围内来引起第二头像特征的不同变化。
在一些示例中,进一步响应于检测到相应物理特征的第一变化并且根据确定检测到的第一变化是第二物理特征(例如,1223)的变化并且第二物理特征的变化在第一变化范围内,电子设备(例如,100、300、500、600)放弃以第二方式改变第二头像特征(例如,1232)的外观以反映第二物理特征的变化。
在一些示例中,第二物理特征包括用户眼睑(例如,1223的一部分),第二头像特征包括头像眼睛(例如,1232),并且基于第二物理特征的变化在第二变化范围内(例如,变化在变化范围内高于预定阈值(例如,用户眼睑在用户眼睑可能的变化范围内闭合50%或更大))以第二方式改变第二头像特征的外观包括减小头像眼睛的尺寸。例如,当虚拟头像是外星人(例如,1200)并且用户眼睑闭合50%或更大时,外星人眼睛1232的尺寸开始减小以看起来好像外星人眼睛正朝向闭合位置移动。在一些示例中,当用户眼睑完全闭合(例如,闭合100%)时,头像眼睛由指示头像眼睛完全闭合的形状(例如,线)表示。在一些实施方案中,基于第二物理特征的变化在第一变化范围内(例如,用户眼睑闭合小于用户眼睑可能的变化范围的50%)以第一方式改变第二头像特征的外观不包括减小头像眼睛的尺寸。在一些示例中,阈值量值为第二物理特征(例如,用户眼睑)的可能运动范围的50%。在此类示例中,第一变化范围与0%至小于50%相对应,并且第二变化范围与50%至100%相对应。在此类实施方案中,第二头像特征(例如,虚拟头像眼睛)的对应修改仅在第二物理特征的变化满足或超过第二物理特征的可能运动范围的50%时发生。例如,当用户眼睑移动超过阈值量值(例如,闭合超过50%)时,虚拟头像的眼睛开始朝向闭合位置移动(例如,通过减小尺寸)以反映用户眼睑的瞬时位置。
在一些示例中,第二物理特征包括用户脸颊(例如,1228),第二头像特征包括头像脸颊(例如,1256),基于第二物理特征的变化在第二变化范围内(例如,变化在变化范围内高于预定阈值(例如,变化在变化范围内高于预定阈值(例如,用户脸颊在用户脸颊可能的变化范围内被鼓起或扩展70%或更大))以第二方式改变第二头像特征的外观包括在头像脸颊处引入夸大头像效果(例如,当用户表现出极度脸颊鼓起时从虚拟头像延伸的突起部或刺突部1258),并且基于第二物理特征的变化在第一变化范围内(例如,用户脸颊被鼓起或扩展小于用户脸颊可能的变化范围的70%)以第一方式改变第二头像特征的外观包括基于用户脸颊的变化量值修改头像脸颊。在一些示例中,基于用户脸颊的变化量值修改头像脸颊在不引入夸大头像效果的情况下发生。在一些示例中,阈值量值为第二物理特征(例如,用户脸颊)的可能运动范围的70%。在此类示例中,第一变化范围与0%至小于70%相对应,并且第二变化范围与70%至100%相对应。在此类示例中,在第二头像特征(例如,虚拟头像的脸颊)处引入夸大头像效果(例如,刺突部或突起部)仅在第二物理特征的变化满足或超过预定阈值(诸如,第二物理特征的可能运动范围的70%)时(例如,当用户脸颊移动超过阈值量值(例如,被鼓起70%或更多)时)发生。此外,在此类示例中,当第二物理特征的变化小于第二物理特征的可能运动范围的70%时(例如,当用户脸颊移动小于阈值量值(例如,被鼓起小于70%)时),基于第二物理特征的变化量值修改虚拟头像特征(例如,虚拟头像的脸颊)。
在一些示例中,第二物理特征包括用户眉毛(例如,1222),第二头像特征包括头像头部的上部,基于第二物理特征的变化在第二变化范围内(例如,变化在变化范围内高于预定阈值(例如,变化在变化范围内高于预定阈值(例如,用户眉毛在用户眉毛可能的变化范围内被抬高70%或更大))以第二方式改变第二头像特征的外观包括在头像头部的上部处引入夸大头像效果(例如,当用户表现出极度眉毛抬高时从虚拟头像延伸的突起部或刺突部1254),并且基于第二物理的变化在第一变化范围内(例如,用户眉毛抬高小于用户眉毛的可能变化范围的70%)以第一方式改变第二头像特征的外观不包括在头像头部的上部处引入夸大头像效果。在一些示例中,阈值量值为第二物理特征(例如,用户眉毛)的可能运动范围的70%。在此类示例中,第一变化范围与0%至小于70%相对应,并且第二变化范围与70%至100%相对应。在此类实施方案中,在第二头像特征(例如,虚拟头像的头部)处引入夸大头像效果(例如,刺突部或突起部)仅在第二物理特征的变化满足或超过预定阈值(诸如,第二物理特征的可能运动范围的70%)时(例如,当用户眉毛移动超过阈值量值(例如,被抬高70%或更多)时)发生。此外,在此类示例中,当第二物理特征的变化小于第二物理特征的可能运动范围的70%时(例如,当用户眉毛移动小于阈值量值(例如,被抬高小于70%)时),不在虚拟头像特征(例如,虚拟头像的头部)处引入夸大头像效果。
在一些示例中,修改虚拟头像的第一头像特征以反映第一物理特征(例如,1220)的变化包括基于第一物理特征的变化的量值(例如,第一物理特征的位置的变化程度)修改第一头像特征。基于第一物理特征的变化的量值修改第一头像特征为用户提供了指示进一步移动相同物理特征将使设备基于相同物理特征的移动的量值来修改第一头像特征的反馈。在一些示例中,变化的量值是基于物理特征的起始位置和结束位置来确定的。在一些示例中,变化的量值被确定为最大变化范围内的变化百分比。此外,以第一方式改变第二头像特征(例如,1232)的外观以反映第二物理特征的变化包括基于第二物理特征(例如,1223)的变化的第一量值(例如,第二物理特征的位置的变化程度)来修改第二头像特征。在一些示例中,对于第二物理特征的移动的更大量值,存在以第一方式修改第二头像特征的更大量,并且对于第二物理特征的移动的更小量值,存在以第一方式修改第二头像特征的更小量,反之亦然。在一些示例中,头像特征的反应的量值与用户的物理特征的变化的量值相对应。在一些示例中,物理特征的变化的量值是根据物理特征的可能运动范围来确定的,其中该量值表示物理特征在该物理特征的运动范围(例如,预测或建模运动范围)内的相对位置。在此类实施方案中,头像特征的反应的量值类似地是头像特征在头像特征的运动范围内的相对位置。在一些示例中,变化的量值是通过改变基于物理特征的起始位置和结束位置的比较或测量(例如,距离)来确定的。在此类示例中,可通过将所测量的物理特征的变化应用于头像特征(例如,直接应用或者作为缩放值或调节值应用)来将物理特征(例如,第一物理特征)的变化转化为对第一头像特征的修改。此外,在此类示例中,以第二方式改变第二头像特征的外观以反映第二物理特征的变化包括基于第二物理特征的变化的第二量值修改第二头像特征。例如,对于第二物理特征的移动的更大量值,存在以第二方式修改第二头像特征的更大量,并且对于第二物理特征的移动的更小量值,存在以第二方式修改第二头像特征的更小量,反之亦然。在一些示例中,第二物理特征的变化的第一量值小于第二物理特征的变化的第二量值。在一些示例中,第二物理特征的变化的第一量值大于第二物理特征的变化的第二量值。
在一些示例中,修改虚拟头像的第一头像特征(例如,1230)以反映第一物理特征(例如,1220)的变化包括基于第一物理特征的姿势变化的方向(例如,旋转方向、第一物理特征的角度相对于一个或多个相机的视场的变化方向,或平移方向)修改第一头像特征的至少一部分的姿势(例如,旋转取向、显示头像特征的角度,或显示位置)。此外,在此类示例中,以第一方式改变第二头像特征的外观以反映第二物理特征的变化包括基于第二物理特征的姿势变化的方向(例如,旋转方向、第二物理特征的角度相对于一个或多个相机的视场的变化方向,或平移方向)修改第二头像特征的至少一部分的姿势(例如,旋转取向、显示头像特征的角度,或显示位置)。此外,在此类示例中,以第二方式改变第二头像特征的外观以反映第二物理特征的变化包括基于第二物理特征的姿势变化的方向修改第二头像特征的至少一部分的姿势。
在一些示例中,对头像特征的修改具有量值分量和方向分量两者。在一些示例中,头像特征的修改的方向分量基于头像特征对其作出反应的一个或多个物理特征的变化的方向分量。在一些示例中,头像特征的变化的方向分量与物理特征的变化的方向分量相同。例如,当物理特征(例如,眉毛)向上移动时,头像特征(例如,头像眉毛)向上移动。在一些示例中,相对于物理特征的变化的方向分量镜像化头像特征的变化的方向分量。例如,当物理特征(例如,嘴巴)向左移动时,头像特征(例如,头像嘴巴)向右移动。在一些示例中,针对沿垂直轴的移动,头像特征的变化的方向分量与物理特征的变化的方向分量相同,并且针对沿水平轴的移动,头像特征的变化的方向分量与物理特征的变化的方向分量成镜像关系,类似于在照镜子时看到的效果。在一些示例中,物理特征(例如,用户的虹膜或眼睑)的相对位置的变化处于根据物理特征的中立静止位置确定的方向上。在一些示例中,将用户虹膜的中性静止位置确定为相对于用户眼球周边的特定位置(例如,居中位置)。在一些示例中,头像特征的反应的方向与用户的物理特征的变化的相对方向相对应(例如,直接相对应或相反地相对应)。在一些示例中,物理特征的变化的相对方向基于物理特征从物理特征的中性静止位置开始的移动的方向来确定。在一些示例中,头像特征的反应的方向与物理特征的变化的相对方向直接相对应(例如,物理特征向上移动,则头像特征向上移动)。在一些示例中,头像特征的反应的方向与物理特征的变化的相对方向相反地相对应(例如,物理特征向上移动,则头像特征向下移动)。
在一些示例中,第二物理特征(例如,1223)的第一变化范围和第二物理特征的第二变化范围是第二物理特征的潜在变化范围中的相邻范围(例如,第二物理特征的预测、预映射或可检测变化范围的整个范围),相应物理特征的第一变化包括第二物理特征的变化,该变化包括从第一变化范围内的第一变化部分到第二变化范围内的第二变化部分的转变,并且第二头像特征(例如,1232)在其反映第一变化部分结束时的第二物理特征的变化时的外观基本上类似于第二头像特征在其反映第二变化部分开始时的第二物理特征的变化时的外观。
在一些示例中,根据确定检测到的第一变化是第二物理特征(例如,1223)的变化并且第二物理特征的变化是从第一变化范围到第二变化范围的变化(例如,第二物理特征从修改阈值以上变为修改阈值以下),电子设备(例如,100、300、500、600)基于第二头像特征的预定构型修改第二头像特征(例如,1232)。在一些示例中,第二物理特征(例如,用户眼睑)从修改阈值以上变为修改阈值以下导致将第二头像特征(例如,头像眼睑)修改为预定构型,而不通过与第二物理特征相对应的第二头像特征的中间位置转变第二头像特征。例如,当用户眼睑从修改阈值以上的位置转变为修改阈值以下的位置(例如,从闭合位置转变为略微打开位置)时,头像眼睑从闭合位置转变为完全打开位置,而不穿过虚拟眼睑的中间位置(例如,部分闭合或部分打开位置),即使用户眼睑在其转变为完全打开位置时穿过中间位置。
在一些示例中,第二物理特征(例如,1223)的第一变化范围和第二物理特征的第二变化范围是第二物理特征的可能变化范围中的相邻范围,相应物理特征的第一变化包括第二物理特征的变化,该变化包括从第二变化范围内的第一变化部分到第一变化范围内的第二变化部分的转变,并且当第二物理特征的变化从第二变化范围内的第一变化部分转变为第一变化范围内的第二变化部分时,第二头像特征(例如,1232)的外观从基于第二物理特征的变化量值的第二头像特征的构型变为第二头像特征的预定构型(例如,不基于第二物理特征的变化量值的第二头像特征的构型)。在一些示例中,第二物理特征(例如,用户眼睑)从第二变化范围内的第一变化部分(例如,从闭合位置)变为第一变化范围内的第二变化部分(例如,变为略微打开位置)导致将第二头像特征(例如,头像眼睑)修改为预定构型,而不通过与第二物理特征相对应的第二头像特征的中间位置转变第二头像特征。例如,当用户眼睑从闭合位置转变为略微打开位置时,头像眼睑从闭合位置转变为完全打开位置,而不穿过虚拟眼睑的中间位置(例如,部分闭合或部分打开位置),即使用户眼睑在其转变为完全打开位置时穿过中间位置。
需注意,上文相对于方法2100(例如,图21)所述的过程的详情也以类似的方式适用于上文所述的方法以及下文所述的方法2200、2300、2400和2500。例如,方法2100任选地包括下文所述以及上文参考方法800、900、1800、1900、2000、2200、2300、2400和2500所述的各种方法的特征中的一个或多个特征。例如,根据方法800和900生成、发送和接收动画头像的方法可采用根据方法2100生成的虚拟头像(例如,可以在物理特征的变化范围内表现出不同行为的虚拟头像)。类似地,根据方法2100生成和/或修改的虚拟头像可以被包括在方法800或900的虚拟头像生成界面(例如,804、904)中的虚拟头像的显示预览中。又如,根据方法2100生成的虚拟头像(例如,可以在物理特征的变化范围内表现出不同行为的虚拟头像)也可根据方法800、900、1800、1900、2000、2200、2300、2400和2500的虚拟头像生成和修改方法生成。例如,根据方法2100生成的虚拟头像可包括第一头像部分(例如,1034),其取决于姿势的变化类型与第二头像部分(例如,1036)不同地对用户面部的姿势变化不同地作出反应(例如,1810和1812)。类似地,根据方法2100生成的虚拟头像可以包括对第一物理特征(例如,1122)和第二物理特征(例如,1120A-B)两者的变化作出反应(例如,1904、1910、1914)的头像特征(例如,1133)。为简洁起见,排除了其他示例。
图22是示出根据一些实施方案的用于在电子设备处基于由一个或多个相机检测到的面部生成虚拟头像的方法的流程图。在具有一个或多个相机(例如,164、602)和显示装置(例如,112、340、504、601)的电子设备(例如,100、300、500、600)处执行方法2200。方法2200中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下所述,方法2200提供了用于生成可以根据需要表现出增加的复杂性(例如,具有增加的头像特征)的虚拟头像的直观方式。该方法减少了用户生成虚拟头像的身体和认知负担,从而创建更有效的人机界面。针对电池驱动的计算设备,使用户能够更快速且更有效地生成期望虚拟头像节省功率并增加电池两次充电之间的时间间隔。方法2200的示例可在参考图10A至图10I、图11A至图11C、图12A至图12C、图13、图15A至图15B、图16A至图16B以及图17A至图17B讨论的用户界面和虚拟头像中找到。
电子设备(例如,100、300、500、600)经由显示装置(例如,112、340、504、601)显示(2202)虚拟头像(例如,1000、1100、1200、1300、1500、1600、1700),虚拟头像包括对一个或多个相机的视场内的面部的一个或多个物理特征(例如,1023、1122、1123、1223、1327、1523、1620A、1620B、1723)的变化作出反应的多个头像特征(例如,1032、1132、1232、1332、1532、1630、1732)。
在一些实施方案中,在检测到面部的多个物理特征的变化之前显示的多个头像特征(例如,1032、1132、1232、1332、1532、1630、1732)被显示,而不考虑面部的物理特征(例如,眼睛、鼻子、嘴巴以及在头像可见时始终显示的其他特征)的当前位置。
在显示虚拟头像时,电子设备(例如,100、300、500、600)检测到(2204)的面部的多个物理特征(例如,1022、1020、1122、1123、1222、1223、1228、1323、1327、1522、1523、1620A、1620B、1722、1723)的变化,面部的多个物理特征包括与多个头像特征(例如,头像嘴巴或眼睛)中的一个或多个相对应的第一物理特征(例如,1020、1123、1223、1323、1523、1623、1723)(例如,用户嘴巴或眼睛)以及不与多个头像特征(例如,1032、1132、1232、1332、1532、1633、1732)中的任一个相对应的第二物理特征(例如,1022、1122、1222、1228、1327、1522、1722、1620A、1620B)(例如,用户眉毛、眼睑、脸颊或嘴唇)。在此类示例中,头像最初被显示为没有相应的眉毛、眼睑、嘴唇或脸颊。
响应于检测到面部的多个物理特征(例如,1022、1020、1122、1123、1222、1223、1228、1323、1327、1522、1523、1620A、1620B、1722、1723)的变化(2206),电子设备(例如,100、300、500、600)改变(2208)多个头像特征中的相应头像特征(例如,1032、1030、1132、1232、1332、1532、1630、1732)的外观,其中相应头像特征的变化的量值和/或(例如,包含性“或”)方向基于第一物理特征的变化的量值或方向(量值和方向中的至少一者)。改变相应头像特征的外观使得相应头像特征的变化的量值和/或方向基于第一物理特征的变化的量值或方向,为用户提供了指示进一步移动相同物理特征将使设备基于相同物理特征的进一步移动的变化的方向或量值来修改相应头像特征的外观的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
进一步响应于检测到面部的多个物理特征(例如,1022、1020、1122、1123、1222、1223、1228、1323、1327、1522、1523、1620A、1620B、1722、1723)的变化(2206),电子设备(例如,100、300、500、600)在检测到面部的一个或多个物理特征(例如,1038、1050、1138、1139、1250、1254、1256、1258、1339、1348、1538、1531、1633、1645、1738)的变化之前使虚拟头像的不包括头像特征的一部分变形(2210)(例如,使虚拟头像的眉毛较少的前额区域变形),其中使头像特征的该部分变形的量值和/或方向基于第二物理特征的变化的量值和/或方向。在一些示例中,在检测到面部的多个物理特征的变化之前显示虚拟头像的变形部分(例如,头像头部的顶部和头像眼睛之间的区域变形以在一个或多个物理特征中检测到超过阈值量的眉毛移动时创建眉毛)。响应于检测到多个物理特征的变化而在检测到面部的一个或多个物理特征的变化之前使虚拟头像的不包括头像特征的一部分变形,为用户提供了指示进一步移动相同物理特征将使设备通过使虚拟头像的该部分变形来引入新头像特征的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,一个或多个物理特征包括第三物理特征(例如,1022、1122、1222、1327、1522、1722、1620A、1620B)(例如,用户的眉毛、嘴唇或眼睑)。在此类示例中,在第三物理特征的第一物理特征值低于第一头像特征包括阈值(例如,在可能量值范围0-10内具有1或更大的量值)并且虚拟头像不包括至少部分地对第三物理特征作出反应的第一头像特征(例如,1038、1050、1138、1139、1250、1254、1256、1258、1339、1348、1538、1531、1633、1645、1738)(例如,最初未显示的与相应头像特征不同的头像特征(例如,头像眼睑))时,电子设备(例如,100、300、500、600)检测第三物理特征从第一物理特征值到第二物理特征值的变化。在此类示例中,根据第三物理特征的第二物理特征值满足或超过第一头像特征包括阈值,电子设备(例如,100、300、500、600)修改虚拟头像以包括第一头像特征(例如,1038、1050、1138、1139、1250、1254、1256、1258、1339、1348、1538、1531、1633、1645、1738)(例如,当用户眼睑将位置改变(例如,移动)为等于或大于位置变化阈值的值时,引入先前未显示的头像眼睑)。此外,在此类示例中,根据第三物理特征的第二物理特征值不满足或未超过第一头像特征包括阈值,电子设备(例如,100、300、500、600)放弃修改虚拟头像以包括第一头像特征(例如,继续将头像显示为没有头像眼睑、嘴唇或眉毛)。根据第三物理特征的第二物理特征值满足或超过第一头像特征包括阈值来修改虚拟头像以包括第一头像特征,为用户提供了选项来控制对虚拟头像的特征的修改包括,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,第三物理特征包括用户眼睛(例如,1123)的至少一部分,第一头像特征(例如,1138)包括头像眉毛的至少一部分(例如,在检测到面部的多个物理特征的变化之前未显示的头像眉毛),当用户眼睛的至少一部分的尺寸(例如,眼睛睁开的量值(诸如,最大范围的百分比))大于阈值尺寸值时,满足或超过第一头像特征包括阈值。在此类示例中,修改虚拟头像以包括第一头像特征包括修改虚拟头像以包括头像眉毛的至少一部分(例如,将头像眉毛添加到头像中)。在一些示例中,添加的头像眉毛具有抬高位置。
在一些示例中,第三物理特征包括用户眼睛(例如,1127)的至少一部分,第一头像特征包括头像眉毛或眼睑(例如,1148)的至少一部分(例如,在检测到面部的多个物理特征的变化之前未显示的头像眉毛或眼睑)以及头像脸颊(例如,1139)的至少一部分(例如,在检测到面部的多个物理特征的变化之前未显示的头像颊骨)。在此类示例中,当用户眼睛的至少一部分的尺寸(例如,眼睛睁开的量值(诸如,最大范围的百分比))小于阈值尺寸值时,满足或超过第一头像特征包括阈值。此外,在此类示例中,修改虚拟头像以包括第一头像特征包括修改虚拟头像以包括头像眉毛或眼睑的至少一部分和头像脸颊的至少一部分。例如,如图11C所示,将头像眉毛或眼睑添加到头像中,并且将头像颊骨添加到头像中头像眼睛下方的位置处。在一些示例中,添加的头像眉毛具有降低位置。
在一些示例中,第三物理特征包括用户眉毛(例如,1222)的至少一部分,第一头像特征包括一个或多个突起部(例如,1254),当用户眉毛的至少一部分的竖直位移的量值(例如,眉毛在竖直方向上朝向用户头部的顶部的移动的量值(诸如,最大范围的百分比))大于阈值位移值时,满足或超过第一头像特征包括阈值,并且修改虚拟头像以包括第一头像特征包括修改虚拟头像以包括定位在头像头部的至少上部上的一个或多个突起部。例如,一个或多个刺突部或突起部从头像头部的顶部延伸,如图12B所示。
在一些示例中,第三物理特征包括用户脸颊(例如,1228)的至少一部分,第一头像特征包括一个或多个突起部(例如,1258),当用户脸颊的至少一部分被扩展大于阈值扩展值(例如,脸颊鼓起的量值(诸如,最大范围的百分比))时,满足或超过第一头像特征包括阈值,并且修改虚拟头像以包括第一头像特征包括修改虚拟头像以包括定位在头像脸颊的至少一部分上的一个或多个突起部。例如,一个或多个刺突部或突起部从头像脸颊延伸,如图12B所示。
在一些示例中,第三物理特征包括用户眉毛(例如,1222)的至少一部分,第一头像特征包括虚拟头像的上部(例如,虚拟头像的“面部”或“头部”)围绕虚拟头像的下部(例如,基部或下颈部)的弯曲取向(例如,1240A、1240B),当用户眉毛的至少一部分的竖直位移的量值(例如,眉毛在远离用户头部的顶部的竖直方向上的移动的量值(诸如,最大范围的百分比))大于阈值位移值(例如,阈值位移值是用户眉毛的与用户眉毛中的单个眉毛或用户眉毛中的两者的皱眉姿势相对应的相对位置)时,满足或超过第一头像特征包括阈值,并且修改虚拟头像以包括第一头像特征包括将虚拟头像的上部修改为围绕虚拟头像的下部弯曲(例如,虚拟头像的面部或头部通过具有围绕下部(例如,基部或下颈部)的弯曲取向而下垂)。在一些示例中,一个或多个头像特征(例如,1230、1240A、1240B)具有弯曲取向,使得头像的下垂姿势包括头像特征的下垂。在一些示例中,虚拟头像的上部下垂到虚拟头像的下部以下(例如,虚拟头像的底部边缘的一个或多个角下垂到虚拟头像的面部水平以下)。一个此类示例在图10A的1011C中示出。
在一些示例中,第一物理特征包括用户眼睛(例如,1023、1123、1523、1723)的至少一部分,相应头像特征包括头像眼睛(1032、1132、1532、1732)的至少一部分,并且第二物理特征包括用户眉毛(1022、1122、1522、1722)的至少一部分。在此类实施方案中,检测面部的多个物理特征的变化包括检测用户眼睛的至少一部分睁开较宽(例如,当与用户眼睛睁开并且处于中立静止位置时可见的用户眼睛量相比时,可见更大量的用户眼睛)并且用户眉毛的至少一部分抬高(例如,眉毛具有相对于眉毛的中立静止位置竖直移位(例如,在远离用户眼睛或朝向用户头部的顶部的方向上)的位置)。在一些示例中,对用户眼睛加宽的检测与用户上眼睑的位置相关联。在此类示例中,该确定基于与当用户眼睛睁开时眼睑的中立静止位置相比用户上眼睑是否具有竖直移位的位置。如果眼睑在朝向用户头部的顶部的方向上竖直移位,则认为眼睛加宽或睁开(或在睁开方向上移动)。相反,如果眼睑在朝向用户脸颊的方向上竖直移位,则认为眼睛变窄或闭合(或在闭合方向上移动)。此外,在此类实施方案中,改变相应头像特征的外观包括使头像眼睛的至少一部分睁开较宽(例如,修改头像眼睛以显示比在检测到面部的一个或多个物理特征的变化之前可见的更大量的头像眼睛(或增加头像眼睛的尺寸)),并且在检测到面部的一个或多个物理特征的变化之前使虚拟头像的不包括头像特征的一部分变形包括通过引入头像眉毛特征(例如,1038、1138、1538、1738)使虚拟头像的一部分在头像眼睛的至少一部分上方变形(例如,将头像眉毛添加到头像中与用户眉毛的抬高位置相对应的位置处)。
在一些示例中,第一物理特征包括用户眼睛(例如,1127)的至少一部分,相应头像特征包括头像眼睛(例如,1132)的至少一部分,第二物理特征包括用户眉毛(例如,1122)的至少一部分,检测面部的多个物理特征的变化包括检测用户眼睛的至少一部分变窄(例如,当与用户眼睛睁开并且处于中立静止位置时可见的用户眼睛量相比时,可见更小量的用户眼睛)并且用户眉毛的至少一部分降低(例如,眉毛具有相对于眉毛的中立静止位置竖直移位(例如,在朝向用户眼睛或远离用户头部的顶部的方向上)的位置)。在一些示例中,对用户眼睛变窄的检测与用户上眼睑的位置相关联。在此类示例中,该确定基于与当用户眼睛睁开时眼睑的中立静止位置相比用户上眼睑是否具有竖直移位的位置。如果上眼睑在朝向用户脸颊的方向上竖直移位,则认为眼睛变窄或闭合(或在闭合或变窄方向上移动)。相反,如果上眼睑在朝向用户头部的顶部的方向上竖直移位,则认为眼睛加宽或睁开(或在睁开或加宽方向上移动)。在一些示例中,对用户眼睛变窄的检测与用户下眼睑(或用户上眼睑和下眼睑的组合)的位置相关联。在此类实施方案中,该确定基于与当用户眼睛睁开时眼睑的中立静止位置相比用户下眼睑是否具有竖直移位的位置。如果下眼睑在远离用户脸颊的方向上竖直移位,则认为眼睛变窄或闭合(或在闭合或变窄方向上移动)。在此类实施方案中,改变相应头像特征的外观包括使头像眼睛的至少一部分闭合(例如,修改头像眼睛以显示比在检测到面部的一个或多个物理特征的变化之前可见的更小量的头像眼睛)。在一些示例中,使头像眼睛闭合包括引入头像眼睑,其中头像眼睑处于闭合位置或朝向闭合位置移动。在一些示例中,使头像眼睛闭合包括将所显示的眼睑移动到闭合位置。在一些示例中,使头像眼睛闭合包括减小头像眼睛的尺寸。在此类实施方案中,头像眼睛尺寸的减小可以包括减小头像眼睑的尺寸。此外,在此类实施方案中,在检测到面部的一个或多个物理特征的变化之前使虚拟头像的不包括头像特征的一部分变形包括通过引入头像眉毛或眼睑特征(例如,1148)使虚拟头像的一部分在头像眼睛的至少一部分上方变形(例如,将头像眉毛或眼睑添加到头像中与用户眉毛的降低位置相对应的位置处)并且通过引入头像脸颊特征(例如,1139)使虚拟头像的一部分在头像眼睛的至少一部分下方变形(例如,将头像颊骨添加到头像中头像眼睛下方的位置处)。
在一些示例中,第一物理特征包括用户眼睛(例如,1323)的至少一部分,相应头像特征包括头像眼睛(例如,1332)的至少一部分,第二物理特征包括用户眼睑(例如,1327)的至少一部分,检测面部的多个物理特征的变化包括检测用户眼睛的至少一部分变窄(例如,当与用户眼睛睁开并且处于中立静止位置时可见的用户眼睛量相比时,可见更小量的用户眼睛)并且用户眼睑的至少一部分降低(例如,当与用户眼睛睁开时眼睑的中立静止位置相比,眼睑具有竖直移位的位置)。在一些示例中,对用户眼睛变窄的检测与用户上眼睑的位置相关联。在此类示例中,该确定基于与当用户眼睛睁开时眼睑的中立静止位置相比用户上眼睑是否具有竖直移位的位置。如果上眼睑在朝向用户脸颊的方向上竖直移位,则认为眼睛变窄或闭合(或在闭合或变窄方向上移动)。相反,如果上眼睑在朝向用户头部的顶部的方向上竖直移位,则认为眼睛加宽或睁开(或在睁开或加宽方向上移动)。在一些示例中,对用户眼睛变窄的检测与用户下眼睑(或用户上眼睑和下眼睑的组合)的位置相关联。在此类实施方案中,该确定基于与当用户眼睛睁开时眼睑的中立静止位置相比用户下眼睑是否具有竖直移位的位置。如果下眼睑在远离用户脸颊的方向上竖直移位,则认为眼睛变窄或闭合(或在闭合或变窄方向上移动)。在一些示例中,用户眼睑是上眼睑。在此类实施方案中,如果上眼睑在朝向用户脸颊的方向上竖直移位,则认为眼睛变窄或闭合(或在闭合或变窄方向上移动)。在一些示例中,用户眼睑是下眼睑。在此类示例中,如果下眼睑在远离用户脸颊的方向上竖直移位,则认为眼睛变窄或闭合(或在闭合或变窄方向上移动)。在此类实施方案中,改变相应头像特征的外观包括使头像眼睛的至少一部分闭合(例如,修改头像眼睛以显示比在检测到面部的一个或多个物理特征的变化之前可见的更小量的头像眼睛),并且在检测到面部的一个或多个物理特征的变化之前使虚拟头像的不包括头像特征的一部分变形包括通过引入头像眼睑特征(例如,1348、1339)使头像眼睛的一部分变形(例如,将头像眼睑添加到头像中)。在一些示例中,使头像眼睛闭合包括减小头像眼睛的尺寸。在此类示例中,头像眼睛尺寸的减小可以包括减小头像眼睑的尺寸。在一些示例中,头像眼睑被引入闭合位置处或朝向闭合位置移动。
在一些示例中,第一物理特征包括用户嘴唇(例如,1029、1229、1520A、1520B、1620A、1620B)的至少一部分,相应头像特征包括头像嘴巴(例如,1030、1230、1530、1630)的至少一部分,检测面部的多个物理特征的变化包括检测用户嘴唇的至少一部分具有嘟嘴姿势,并且改变相应头像特征的外观包括修改头像嘴巴的至少一部分以包括具有嘟嘴姿势的一组头像嘴唇(例如,1050、1250、1531、1645)。例如,头像嘴巴转变为具有包括嘟起嘴唇的预定构型的不同头像特征(例如,一组嘴唇)。
在一些示例中,第一物理特征包括用户嘴唇(例如,1620A、1620B)的至少一部分,相应头像特征包括头像喙部(例如,1630)的至少一部分,检测面部的多个物理特征的变化包括检测用户嘴唇的至少一部分具有嘟嘴姿势,并且改变相应头像特征的外观包括修改头像喙部的至少一部分以包括具有嘟嘴姿势的一组头像喙部(例如,1645)。例如,头像喙部的尖端转变为具有包括嘟起嘴唇的预定构型的不同头像特征(例如,一组嘴唇)。
在一些示例中,一个或多个物理特征包括不与多个头像特征(例如,初始头像特征1232、1230)中的任一个相对应的第三物理特征(例如,用户脸颊1228)。在此类示例中,电子设备(例如,100、300、500、600)在检测到面部的一个或多个物理特征的变化之前,使虚拟头像的不包括头像特征的第二部分(例如,脸颊部分1256)变形,其中使头像特征的第二部分变形的量值或方向基于第三物理特征的变化的量值或方向。例如,头像(例如,外星人头像1200)处于其中立状态时不包括与第三物理特征(例如,用户脸颊1228)相对应的头像特征(例如,头像脸颊1256)。在一些示例中,当在第三物理特征中检测到变化(例如,用户扩展其脸颊,并且修改头像以包括扩展的脸颊)时,出现该附加头像特征。在此类实施方案中,虚拟头像能够被修改以引入与多个用户特征相对应的多个头像特征(例如,头像眉毛、头像脸颊等)。在检测到面部的一个或多个物理特征的变化之前使虚拟头像的不包括头像特征的第二部分变形,其中变形的量值或方向基于第三物理特征的变化的量值或方向,为用户提供了指示进一步移动相同物理特征将使设备基于相同物理特征的进一步移动的变化的方向或量值来使头像特征的第二部分变形的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户实现预期结果(通过提供指示将使得设备生成预期结果的输出的反馈)并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些实施方案中,第二物理特征包括用户眼睑(例如,1227)的至少一部分,第三物理特征包括用户脸颊(例如,1228)的至少一部分,并且检测面部的多个物理特征的变化包括检测用户眼睑的至少一部分闭合(例如,眼睑具有闭合位置,其中极少或没有用户眼球部分可见)以及用户脸颊的至少一部分的变化(例如,用户鼓起或扩展其脸颊)。在此类实施方案中,在检测到面部的一个或多个物理特征的变化之前使虚拟头像的不包括头像特征的一部分变形包括通过引入头像眼睑特征(例如,与眼睛1232相关联的眼睑)使虚拟头像的至少一部分变形。例如,将头像眼睑添加到头像中。在一些示例中,头像眼睑被引入闭合位置处(例如,当虚拟头像是外星人时)。此外,在此类实施方案中,在检测到面部的一个或多个物理特征的变化之前使虚拟头像的不包括头像特征的第二部分变形包括通过引入脸颊特征(例如,1256)使虚拟头像的第二部分变形。例如,修改虚拟头像以包括具有鼓出或扩展姿势的头像脸颊,如图12B所示。
在一些示例中,第二物理特征包括用户眉毛(例如,1222)的至少一部分,检测面部的多个物理特征的变化包括检测用户眉毛的至少一部分抬高(例如,眉毛具有相对于眉毛的中立静止位置竖直移位(例如,在远离用户眼睛或朝向用户头部的顶部的方向上)的位置),并且在检测到面部的一个或多个物理特征的变化之前使虚拟头像的不包括头像特征的一部分变形包括通过引入从头像头部的上部延伸的一个或多个突起部(例如,1254)使头像头部的上部(例如,虚拟头像头部的顶部)变形。例如,一个或多个刺突部或突起部1254从头像头部的顶部延伸,如图12B的1212B所示。基于用户眉毛的抬高使头像头部的上部变形以包括一个或多个突起部,为用户提供了有效的控制来引入新头像特征,而不需要额外显示的控件或输入(例如,触摸输入)。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,第一物理特征包括用户脸颊(例如,1228)的至少一部分,相应头像特征包括头像脸颊(例如,1256)的至少一部分,检测面部的多个物理特征的变化包括检测用户脸颊的至少一部分具有扩展姿势(例如,当用户用空气将其脸颊鼓出时,用户脸颊具有扩展姿势),并且改变相应头像特征的外观包括修改头像脸颊的至少一部分以包括从头像脸颊延伸的一个或多个突起部(例如,1258)。例如,一个或多个刺突部或突起部1258从头像脸颊延伸,如图12B的1212D所示。基于用户脸颊的变化修改头像脸颊的至少一部分以包括一个或多个突起部,为用户提供了有效的控制来引入新头像特征,而不需要额外显示的控件或输入(例如,触摸输入)。提供附加控制选项而不由于附加显示的控件使UI杂乱就增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
需注意,上文相对于方法2200(例如,图22)所述的过程的详情也以类似的方式适用于上文所述的方法以及下文所述的方法2300、2400和2500。例如,方法2200任选地包括下文所述以及上文参考方法800、900、1800、1900、2000、2100、2300、2400和2500所述的各种方法的特征中的一个或多个特征。例如,根据方法800和900生成、发送和接收动画头像的方法可采用根据方法2200生成的虚拟头像(例如,可以根据需要表现出增加的复杂性(例如,具有增加的头像特征)的虚拟头像)。类似地,根据方法2200生成和/或修改的虚拟头像可以被包括在方法800或900的虚拟头像生成界面(例如,804、904)中的虚拟头像的显示预览中。又如,根据方法2200生成的虚拟头像(例如,可以根据需要表现出增加的复杂性(例如,具有增加的头像特征)的虚拟头像)也可根据方法800、900、1800、1900、2000、2100、2300、2400和2500的虚拟头像生成和修改方法生成。例如,根据方法2200生成的虚拟头像可包括第一头像部分(例如,1034),其取决于姿势的变化类型与第二头像部分(例如,1036)不同地对用户面部的姿势变化不同地作出反应(例如,1810和1812)。类似地,根据方法2200生成的虚拟头像可以包括对第一物理特征(例如,1122)和第二物理特征(例如,1120A-B)两者的变化作出反应(例如,1904、1910、1914)的头像特征(例如,1133)。为简洁起见,排除了其他示例。
图23是示出根据一些实施方案的用于在电子设备处基于由一个或多个相机检测到的面部生成虚拟头像的方法的流程图。在具有一个或多个相机(例如,164、602)和显示装置(例如,112、340、504、601)的电子设备(例如,100、300、500、600)处执行方法2300。方法2300中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下所述,方法2300提供了用于生成与用户移动相比可以表现出夸大移动的虚拟头像的直观方式。该方法减少了用户生成虚拟头像的身体和认知负担,从而创建更有效的人机界面。针对电池驱动的计算设备,使用户能够更快速且更有效地生成期望虚拟头像节省功率并增加电池两次充电之间的时间间隔。方法2300的示例可在参考图10A至图10I、图12A至图12C、图14A至图14D以及图17A至图17B讨论的用户界面和虚拟头像中找到。
电子设备(例如,100、300、500、600)经由显示装置(例如,112、340、504、601)显示(2302)包括第一头像特征(例如,1030、1232、1430、1430L、1430U、1736)的虚拟头像(例如,1000、1200、1400、1700),该第一头像特征对一个或多个相机的视场内的面部的第一物理特征(例如,1020、1223、1420、1420A、1420B、1720)的变化作出反应。
在显示虚拟头像(例如,1000、1200、1400、1700)时,电子设备(例如,100、300、500、600)检测(2304)具有第一物理特征变化量值的第一物理特征(例如,1020、1223、1420、1420A、1420B、1720)的变化。
响应于检测到第一物理特征的变化,电子设备(例如,100、300、500、600)可以执行以下操作中的一个或多个。根据确定第一物理特征(例如,1020、1223、1420、1420A、1420B、1720)的变化在第一物理特征值范围内,电子设备(例如,100、300、500、600)将第一头像特征(例如,1030、1232、1430、1430L、1430U、1736)改变基于第一物理特征变化量值的第一头像特征变化量值(基于但不一定等于第一物理特征变化量值的头像特征变化程度)(例如,对于第一物理特征的第一变化范围,头像特征的变化以正常或降低的速率改变)。在一些示例中,通过将乘数值应用于物理特征变化量值来获得头像特征变化量值。根据确定第一物理特征(例如,1020、1223、1420、1420A、1420B、1720)的变化在不同于(例如,大于)第一物理特征值范围的第二物理特征值范围内,电子设备(例如,100、300、500、600)将第一头像特征(例如,1030、1232、1430、1430L、1430U、1736)改变不同于(例如,大于)第一头像特征变化量值并且基于第一物理特征变化量值的第二头像特征变化量值(例如,对于第一物理特征的第二变化范围,头像特征的变化以夸大的速率改变)。在一些实施方案中,第一物理特征值范围和第二物理特征值范围是非重叠的。将第一头像特征改变随物理特征值的变化范围而变化的变化量值,为用户提供了关于由电子设备检测到的物理特征变化数据的状态以及该检测到的变化数据在物理特征值的第一范围内还是第二范围内的反馈。为用户提供改进的视觉反馈就增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,第一头像特征是头像嘴唇或嘴巴(例如,1030、1430、1430L、1430U或其部分),面部的第一物理特征是用户嘴唇或嘴巴(例如,1020、1420、1420A、1420B或其部分),第一物理特征值范围包括与用户嘴唇的放松状态相对应的放松状态值(例如,默认值、初始值),第二物理特征值范围包括与用户嘴唇的移位状态(例如,其中嘴唇偏移(或与放松、初始或中立状态相比进一步偏移)的状态)相对应的第一位移状态值(例如,大于放松状态值(例如,可能位移范围中的50%位移)的值),并且第一头像特征变化量值小于第二头像特征变化量值。在一些示例中,放松状态值是潜在移动范围内的最小移动值(例如,0%移动值)。在一些示例中,第一位移状态值是最大位移状态值。在一些示例中,最大位移状态值是在潜在移动范围内的最大移动值(例如,最大预测移动值、最大跟踪移动值)(例如,100%移动值)。
在一些示例中,当物理特征(例如,用户嘴唇)从放松状态变为更接近最大位移状态的状态时,第一头像特征(例如,头像嘴唇)的变化变得更加夸张。因此,当物理特征的变化相对于放松状态增加时,与用户的物理特征的变化相比,头像特征的变化变得更加夸张。在一些示例中,通过将乘数1或更小的乘数应用于第一物理特征变化量值来获得第一头像特征变化量值,并且通过将大于1的乘数应用于第一物理特征变化量值来获得第二头像特征变化量值。在用户嘴巴移动超过放松状态时将虚拟头像的嘴巴改变更大的量值,为用户提供了放大对头像嘴巴的改变的方法。在满足一组条件而不需要进一步的用户输入时执行操作(例如,放大改变头像嘴巴)增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,用户嘴巴(例如,1020、1420、1420A、1420B或其一部分)的放松状态具有第一用户嘴巴形状(例如,由人类嘴巴形成的闭合或大部分闭合的形状),用户嘴巴的移位状态具有第二用户嘴巴形状(例如,由人类嘴巴形成的张开或大部分张开的形状),将第一头像特征(例如,1030、1430、1430L、1430U或其部分)改变第一头像特征改变量值包括改变头像嘴巴(例如,1430、1430L、1430U或其部分)以呈现不与第一用户嘴巴形状(例如,人类微笑、人类皱眉)相对应的一个或多个形状(例如,如图14C和图14D所示的圆形或梯形)。在此类实施方案中,将第一头像特征改变第二头像特征变化量值包括改变头像嘴巴以呈现不与第二用户嘴巴形状相对应的一个或多个形状(例如,梯形或圆形)。在一些示例中,虽然对头像特征的改变的量值基于第一物理特征改变量值(例如,物理特征的改变量值),但是对头像特征的形状的改变不基于(或不完全或不直接基于)对物理特征的形状的改变。在一些此类实施方案中,对头像特征的形状的改变相反基于从头像特征的初始状态(例如,静止状态、中立状态(例如,圆形))转变(例如,逐渐或渐进地转变)为头像特征的移位状态(例如,梯形)。改变虚拟头像的嘴巴的形状以呈现与用户嘴巴不同的形状,为用户提供了影响对图像嘴巴的改变的方法,而不必让用户嘴巴呈现期望的形状并且不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,第一头像特征是头像嘴巴(例如,1030、1430、1430L、1430U或其部分),面部的第一物理特征是用户嘴巴(例如,1020、1420、1420A、1420B或其部分),第一物理特征值范围包括与用户嘴巴的放松状态相对应的放松状态值(例如,默认值、初始值),第二物理特征值范围包括与用户嘴巴的移位状态(例如,其中嘴巴张开(或与放松、初始或中立状态相比张开较宽)的状态)相对应的第一位移状态值(例如,大于放松状态值(例如,可能位移范围中的50%位移)的值),并且第一头像特征变化量值小于第二头像特征变化量值。在一些示例中,放松状态值是潜在移动范围内的最小移动值(例如,0%移动值)。在一些示例中,第一位移状态值是最大位移状态值。在一些示例中,最大位移状态值是在潜在移动范围内的最大移动值(例如,最大预测移动值、最大跟踪移动值)(例如,100%移动值)。在诸如图10B所示的一些示例中,当物理特征(例如,用户嘴巴1020)从放松状态变为更接近最大位移状态的状态时,第一头像特征(例如,头像嘴巴1030)的变化变得更加夸张。因此,当物理特征的变化相对于放松状态增加时,与用户的物理特征的变化相比,头像特征的变化变得更加夸张。在一些示例中,通过将乘数1或更小的乘数应用于第一物理特征变化量值来获得第一头像特征变化量值,并且通过将大于1的乘数应用于第一物理特征变化量值来获得第二头像特征变化量值。在用户嘴巴移动超过放松状态时将虚拟头像的嘴巴改变更大的量值,为用户提供了放大对头像嘴巴的改变的方法。在满足一组条件而不需要进一步的用户输入时执行操作(例如,放大改变头像嘴巴)增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,第一头像特征是头像眼睛(例如,1232),面部的第一物理特征是用户眼睛或眼睑(例如,1223、1227或其部分),第一物理特征值范围包括与用户眼睑的放松状态(例如,当用户眼睑处于睁开位置时)相对应的放松状态值(例如,默认值、初始值),第二物理特征值范围包括与用户眼睑的移位状态(例如,其中眼睑睁开(或与放松、初始或中立状态相比睁开较宽)的状态)相对应的第一位移状态值(例如,大于放松状态值(例如,可能位移范围中的50%位移)的值),并且第一头像特征变化量值小于第二头像特征变化量值。在一些示例中,放松状态值是潜在移动范围内的最小移动值(例如,0%移动值)。在一些示例中,第一位移状态值是最大位移状态值。在一些示例中,最大位移状态值是在潜在移动范围内的最大移动值(例如,最大预测移动值、最大跟踪移动值)(例如,100%移动值)。在诸如图12C所示的一些示例中,当物理特征(例如,用户眼睛或眼睑)从放松状态变为更接近最大位移状态的状态时,第一头像特征(例如,头像眼睛1232)的变化变得更加夸张。因此,当物理特征的变化相对于放松状态增加时,与用户的物理特征的变化相比,头像特征的变化变得更加夸张。在一些示例中,通过将乘数1或更小的乘数应用于第一物理特征变化量值来获得第一头像特征变化量值,并且通过将大于1的乘数应用于第一物理特征变化量值来获得第二头像特征变化量值。在用户眼睑移动超过放松状态时将虚拟头像的眼睛改变更大的量值,为用户提供了放大对头像眼睛的改变的方法。在满足一组条件而不需要进一步的用户输入时执行操作(例如,放大改变头像眼睛)增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,第一头像特征是头像眼睛(例如,1032或1032A),面部的第一物理特征是用户眼睛(例如,1023或其部分),第一物理特征值范围包括与用户眼睛的放松状态相对应的放松状态值(例如,默认值、初始值),第二物理特征值范围包括与用户眼睛的移位状态(例如,其中眼睛偏移(或与放松、初始或中立状态相比进一步偏移)的状态)相对应的第一位移状态值(例如,大于放松状态值(例如,可能位移范围中的50%位移)的值),并且第一头像特征变化量值小于第二头像特征变化量值。在一些示例中,放松状态值是潜在移动范围内的最小移动值(例如,0%移动值)。在一些实施方案中,第一位移状态值是最大位移状态值。在一些示例中,最大位移状态值是在潜在移动范围内的最大移动值(例如,最大预测移动值、最大跟踪移动值)(例如,100%移动值)。在一些示例中,当物理特征(例如,用户眼睛)从放松状态变为更接近最大位移状态的状态时,第一头像特征(例如,头像眼睛)的变化变得更加夸张。因此,当物理特征的变化相对于放松状态增加时,与用户的物理特征的变化相比,头像特征的变化变得更加夸张。在一些示例中,通过将乘数1或更小的乘数应用于第一物理特征变化量值来获得第一头像特征变化量值,并且通过将大于1的乘数应用于第一物理特征变化量值来获得第二头像特征变化量值。在用户眼睛移动超过放松状态时将虚拟头像的眼睛改变更大的量值,为用户提供了放大对头像眼睛的改变的方法。在满足一组条件而不需要进一步的用户输入时执行操作(例如,放大改变头像眼睛)增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,头像特征对面部的在解剖学上或在生理学上不与头像特征相对应的物理特征的变化作出反应。例如,第一头像特征是头像鼻子(例如,1736),面部的第一物理特征是用户嘴唇(例如,1720、1720A或其部分),并且头像鼻子可对用户嘴唇的变化作出反应。在此类实施方案中,第一物理特征值范围包括与用户嘴唇的放松状态相对应的放松状态值(例如,默认值、初始值),第二物理特征值范围包括与用户嘴唇的移位状态(例如,其中嘴唇偏移(或与放松、初始或中立状态相比进一步偏移)的状态)相对应的第一位移状态值(例如,大于放松状态值(例如,可能位移范围中的50%位移)的值),并且第一头像特征变化量值小于第二头像特征变化量值。在一些示例中,放松状态值是潜在移动范围内的最小移动值(例如,0%移动值)。在一些示例中,第一位移状态值是最大位移状态值。在一些示例中,最大位移状态值是在潜在移动范围内的最大移动值(例如,最大预测移动值、最大跟踪移动值)(例如,100%移动值)。在一些示例中,当物理特征(例如,用户嘴唇或嘴巴)从放松状态变为更接近最大位移状态的状态时,第一头像特征(例如,头像鼻子)的变化变得更加夸张。因此,当物理特征的变化相对于放松状态增加时,与用户的物理特征的变化相比,头像特征的变化变得更加夸张。在一些示例中,通过将乘数1或更小的乘数应用于第一物理特征变化量值来获得第一头像特征变化量值,并且通过将大于1的乘数应用于第一物理特征变化量值来获得第二头像特征变化量值。基于用户嘴唇(在解剖学上不与头像鼻子相对应的物理特征)改变虚拟头像的鼻子,为用户提供了输入有效的方法来定义虚拟头像的特性(例如,用户鼻子的移动可能很难)。在满足一组条件(用户嘴唇的移动)而不需要进一步的用户输入时执行操作(例如,改变头像鼻子)增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,第一头像特征(例如,1736)也对一个或多个相机的视场内的面部的第二物理特征(例如,除了1720A之外的1722)的变化作出反应。在此类示例中,在显示虚拟头像(例如,1000、1200、1400、1700)时,电子设备(例如,100、300、500、600)检测具有第二物理特征变化量值的第二物理特征的变化。在此类示例中,响应于检测到第二物理特征的变化,电子设备(例如,100、300、500、600)可以执行以下操作中的一个或多个。根据确定第二物理特征的变化在第三物理特征值范围内,电子设备(例如,100、300、500、600)将第一头像特征改变基于第二物理特征变化量值的第三头像特征变化量值(例如,对于第一物理特征的第一变化范围,头像特征的变化以正常或降低的速率改变)。根据确定第二物理特征的变化在不同于(例如,大于)第三物理特征值范围的第四物理特征值范围内,电子设备(例如,100、300、500、600)将第一头像特征改变不同于(例如,大于)第三头像特征变化量值并且基于第二物理特征变化量值的第四头像特征变化量值(例如,对于第一物理特征的第二变化范围,头像特征的变化以夸大的速率改变)。基于至少两个物理特征改变第一头像特征为用户提供了有效的输入模式来改变头像特征,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,虚拟头像(例如,1000、1200、1400、1700)包括第二头像特征(例如,1030、1430、1430L、1430U)(例如,头像嘴巴),其对相机的视场内的面部的第三物理特征(例如,1020、1420、1420A、1420B)(例如,用户嘴巴)作出反应。在此类示例中,第三物理特征具有基于第三物理特征的预定运动范围(例如,相对于初始(例如,静止)值表示为量值的运动范围)的可能物理特征值范围,第二头像特征具有基于第二头像特征的预定运动范围的可能头像特征值范围,并且第二头像特征的预定运动范围大于第三物理特征的预定运动范围(例如,基于初始或静止量值评估的第一头像特征的运动范围大于对应物理特征的运动范围)。例如,头像嘴部的宽度与其初始尺寸相比可扩展300%,而物理特征的运动范围仅为其初始尺寸的200%。此外,在此类示例中,在第二头像特征具有基于检测到的第三物理特征的第一物理特征值的第二头像特征的第一头像特征值时,电子设备(例如,100、300、500、600)检测第三物理特征从第三物理特征的第一物理特征值到第三物理特征的第二物理特征值的变化。响应于检测到第三物理特征的变化,电子设备(例如,100、300、500、600)将第二头像特征从第二头像特征的第一头像特征值改变为第二头像特征的第二头像特征值,第二头像特征值在第二头像特征的预定运动范围内。此外,在此类示例中,第二头像特征的第二头像特征值基于第三物理特征的第二物理特征值相对于第三物理特征的预定运动范围的相对值。此外,在此类示例中,第二头像特征的第一头像特征值与第二头像特征的第二头像特征值之间的差值大于第三物理特征的第一物理特征值与第三物理特征的第二物理特征值之间的差值。在一些示例中,对基于面部的物理特征(例如,面部的第三物理特征(例如,用户嘴巴))的头像特征(例如,第二头像特征(例如,头像嘴巴))的改变在头像特征和物理特征的相应预定运动范围内被夸大。例如,当用户的嘴巴张开嘴巴可以张开的最大尺寸的50%时,头像的嘴巴张开到头像嘴巴可以张开的最大尺寸的100%。在此类实施方案中,头像特征的这种夸大移动可以允许用户影响对头像特征的最大改变,而不必令人不舒服地改变其面部的对应特征(例如,使头像尽可能宽地张开嘴巴,而不必令人不舒服地尽可能宽地张开用户的嘴巴)。
需注意,上文相对于方法2300(例如,图23)所述的过程的详情也以类似的方式适用于上文所述的方法以及下文所述的方法2400和2500。例如,方法2300任选地包括下文所述以及上文参考方法800、900、1800、1900、2000、2100、2200、2400和2500所述的各种方法的特征中的一个或多个特征。例如,根据方法800和900生成、发送和接收动画头像的方法可采用根据方法2300生成的虚拟头像(例如,与用户移动相比可以表现出夸大移动的虚拟头像)。类似地,根据方法2300生成和/或修改的虚拟头像可以被包括在方法800或900的虚拟头像生成界面(例如,804、904)中的虚拟头像的显示预览中。又如,根据方法2300生成的虚拟头像(例如,与用户移动相比可以表现出夸大移动的虚拟头像)也可根据方法800、900、1800、1900、2000、2100、2200、2400和2500的虚拟头像生成和修改方法生成。例如,根据方法2300生成的虚拟头像可包括第一头像部分(例如,1034),其取决于姿势的变化类型与第二头像部分(例如,1036)不同地对用户面部的姿势变化不同地作出反应(例如,1810和1812)。类似地,根据方法2300生成的虚拟头像可以包括对第一物理特征(例如,1122)和第二物理特征(例如,1120A-B)两者的变化作出反应(例如,1904、1910、1914)的头像特征(例如,1133)。为简洁起见,排除了其他示例。
图24是示出根据一些实施方案的用于在电子设备处基于由一个或多个相机检测到的面部生成虚拟头像的方法的流程图。在具有一个或多个相机(例如,164、602)和显示装置(例如,112、340、504、601)的电子设备(例如,100、300、500、600)处执行方法2400。方法2400中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下所述,方法2400提供了用于在对用户面部的位置变化作出反应的同时生成虚拟头像的直观方式。该方法减少了用户生成虚拟头像的认知负担,从而创建更有效的人机界面。针对电池驱动的计算设备,使用户能够更快速且更有效地生成期望虚拟头像节省功率并增加电池两次充电之间的时间间隔。方法2400的示例可在参考图10A至图10I讨论的用户界面和虚拟头像中找到。
电子设备(例如,100、300、500、600)经由显示装置(例如,112、340、504、601)显示(2402)虚拟头像(例如,1000)。在一些示例中,虚拟头像在参考系(例如,用于确定应如何显示虚拟头像(例如,在电子设备或单独的电子设备处)的参考系)内具有相应空间位置,其中相应空间位置基于一个或多个相机(例如,164、602)的视场内的面部(例如,1003A-C、1004A-D、1005A-D、1006A-D、1007A-B、1008A-D)的位置。虚拟头像在参考系内的这种定位的示例在图10C至图10H的1013A-B、1014A-D、1015A-D、1016A-D、1017A-B、1018A-D中示出。
在显示虚拟头像(例如,1000)时,电子设备(例如,100、300、500、600)检测(2404)一个或多个相机(例如,164、602)的视场内的面部(例如,1003A-B、1004A-D、1005A-D、1006A-D、1007A-B、1008A-D)的位置的相应量的变化。例如,相对于一个或多个相机的视场从面部的第一位置到面部的第二位置,诸如水平平移偏移、竖直平移偏移、相对于一个或多个相机的位置在距离上的平移偏移(例如,沿x轴、y轴或z轴的平移偏移)或者沿视场内的主轴的旋转偏移(例如,沿x轴、y轴或z轴的旋转偏移)。
响应于检测到一个或多个相机(例如,164、602)的视场内的面部(例如,1003A-B、1004A-D、1005A-D、1006A-D、1007A-B、1008A-D)的位置变化(2406),电子设备(例如,100、300、500、600)可以执行以下操作中的一个或多个。根据确定面部的位置变化包括第一方向上的第一变化分量(例如,1003A-B、1004A-D、1005A-D、1006A-D、1007A-B、1008A-D),电子设备(例如,100、300、500、600)基于第一变化分量的量值和第一修改因子(例如,衰减或放大运动的因子,该运动影响虚拟头像相对于在一个或多个相机的视场内检测到的用户面部的运动的位置)修改(2408)虚拟头像(例如,1000)在参考系(例如,1013A-B、1014A-D、1015A-D、1016A-D、1017A-B、1018A-D)内的空间位置。
根据确定位置变化包括在与第一方向不同的第二方向上的第二变化分量(例如,1003A-B、1004A-D、1005A-D、1006A-D、1007A-B、1008A-D),电子设备(例如,100、300、500、600)基于第二变化分量的量值和与第一修改因子不同的第二修改因子修改(2410)虚拟头像(例如,1000)在参考系(例如,1013A-B、1014A-D、1015A-D、1016A-D、1017A-B、1018A-D)内的空间位置。在一些示例中,根据检测到的运动的性质,将检测到的用户面部的运动不同地转变为虚拟头像的衰减运动。例如,当设备被取向成使得视场在水平方向上比在竖直方向上更窄时,通过使用50%的修改因子可将水平(例如,x轴)方向上的平移移动衰减一半,而通过使用25%的修改因子仅可将竖直(例如,y轴)方向上的平移移动衰减仅四分之一。在一些示例中,使用不同的修改因子可有助于用户保持在期望的参考系内,同时仍然对用户的物理重新定位作出响应。因此,基于第二变化分量(例如,平移变化分量)的量值和不同于第一修改因子的第二修改因子来修改虚拟头像在参考系内的空间位置,有助于在变化分量原本将导致虚拟头像从参考系偏移出去时将虚拟头像维持在参考系内。减少执行操作(将虚拟头像维持在参考系内)所需的输入增强了设备的可操作性,使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,检测一个或多个相机(例如,164、602)的视场内的面部位置的变化包括检测包括第一变化分量的面部位置的变化,第一变化分量是相对于一个或多个相机的视场的水平变化分量(例如,1006A-D),并且第一修改因子是衰减因子(例如,当应用于第一变化分量的量值时导致较小的修改量值的分数修改数)。在此类示例中,修改虚拟头像在参考系内的空间位置包括将空间位置在水平方向上修改小于第一变化分量(例如,1016A-D)的量值的量值。在一些示例中,变化量值被确定为一个或多个相机的视场内(例如,对于面部)或者空间参考系内(例如,对于虚拟头像)的位置变化百分比。例如,面部的空间位置可在水平方向上偏移一个或多个相机的视场的整个水平宽度的60%。在一些此类实施方案中,应用50%的衰减因子将导致虚拟头像的空间位置偏移参考系(例如,指定用于显示虚拟头像的显示区域)的整个水平宽度的30%(例如,60%*0.5)。在参考系内在水平方向上对虚拟头像的空间位置的衰减修改有助于在变化分量原本将导致虚拟头像从参考系偏移出去时维持虚拟头像在参考系内水平对齐。减少执行操作(将虚拟头像的水平位置维持在参考系内)所需的输入增强了设备的可操作性,使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,检测一个或多个相机(例如,164、602)的视场内的面部位置的变化包括检测包括第一变化分量的面部位置的变化,第一变化分量是相对于一个或多个相机的视场的竖直变化分量(例如,1008A-B),并且第一修改因子是衰减因子(例如,当应用于第一变化分量的量值时导致较小的修改量值的分数修改数)。在此类示例中,修改虚拟头像(例如,1000)在参考系内的空间位置包括将空间位置在竖直方向上修改小于第一变化分量(例如,1018A-B)的量值的量值。在一些示例中,变化量值被确定为一个或多个相机的视场内(例如,对于面部)或者空间参考系内(例如,对于虚拟头像)的位置变化百分比。例如,面部的空间位置可在竖直方向上偏移一个或多个相机的视场的整个竖直长度的60%。在一些此类实施方案中,应用50%的衰减因子将导致虚拟头像的空间位置偏移参考系(例如,指定用于显示虚拟头像的显示区域)的整个竖直长度的30%(例如,60%*0.5)。在参考系内在竖直方向上对虚拟头像的空间位置的衰减修改有助于在变化分量原本将导致虚拟头像从参考系偏移出去时维持虚拟头像在参考系内竖直对齐。减少执行操作(将虚拟头像的竖直位置维持在参考系内)所需的输入增强了设备的可操作性,使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,检测一个或多个相机(例如,164、602)的视场内的面部位置的变化包括检测包括第一变化分量的面部位置的变化,第一变化分量是相对于一个或多个相机的视场的深度有关变化分量(例如,1008C-D)(例如,沿垂直于一个或多个相机的视场的平面的轴的变化(例如,偏移)、沿z轴的变化、相对于一个或多个相机的视场的平面向内或向外的变化),并且第一修改因子是衰减因子(例如,当应用于第一变化分量的量值时导致较小的修改量值的分数修改数)。在此类示例中,修改虚拟头像(例如,1000)在参考系内的空间位置包括将空间位置在深度有关方向上修改小于第一变化分量(例如,1018C-D)的量值的量值。在一些示例中,变化量值被确定为由一个或多个相机(例如,能够评估深度的一个或多个相机)确定的绝对值(例如,距离)。例如,面部的空间位置可远离一个或多个相机移动6英尺。在一些此类实施方案中,应用50%的衰减因子将导致虚拟头像的空间位置相对于虚拟头像的初始位置偏移3英尺远(例如,由以较小尺寸呈现的虚拟头像表示,该较小尺寸指示移开3英尺的距离)。在参考系内在深度特定方向上对虚拟头像的空间位置的衰减修改有助于在变化分量原本将导致虚拟头像变为次优尺寸时维持虚拟头像在参考系内尺寸适当。减少执行操作(维持虚拟头像的最优尺寸)所需的输入增强了设备的可操作性,使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,检测一个或多个相机(例如,164、602)的视场内的面部位置的变化包括检测包括第一变化分量的面部位置的变化,第一变化分量包括面部围绕相对于一个或多个相机的视场(例如,1004A-D)的竖直轴(例如,平行于显示器的竖直轴)的旋转(例如,存在包括沿竖直轴(例如,y轴)旋转的面部的面部姿势变化,使得面部的不同侧面变得对一个或多个相机暴露/可见),并且第一修改因子是中立修改因子(例如,不影响第一变化分量的量值的修改因子,即乘数为1)或放大修改因子(例如,非衰减修改因子,或当应用于第一变化分量的量值时增加量值的修改因子,即乘数大于1)。在此类示例中,修改虚拟头像(例如,1000)在参考系内的空间位置包括使虚拟头像的空间位置围绕竖直轴旋转的量值至少等于第一变化分量(1014A-D)的量值。当用户面部的位置变化是围绕竖直轴的旋转变化时,修改虚拟头像的空间位置而不衰减修改,为用户提供了用于选项来改变虚拟头像的空间位置(例如,围绕竖直轴的旋转取向),而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,检测一个或多个相机(例如,164、602)的视场内的面部位置的变化包括检测包括第一变化分量的面部位置的变化,第一变化分量包括面部围绕相对于一个或多个相机的视场(例如,1003A-B)的水平轴(例如,平行于显示器的水平轴)的倾斜。例如,存在包括沿水平轴(例如,x轴)倾斜的面部的面部姿势变化,使得面部或头部的顶部或底部的先前未暴露于一个或多个相机的部分变为暴露于一个或多个相机,诸如当用户在面对一个或多个相机点头时发生。此外,在此类实施方案中,第一修改因子是中立修改因子(例如,不影响第一变化分量的量值的修改因子,即乘数为1)或放大修改因子(例如,非衰减修改因子,或当应用于第一变化分量的量值时增加量值的修改因子,即乘数大于1)。在此类示例中,修改虚拟头像(例如,1000)在参考系内的空间位置包括使虚拟头像的空间位置围绕水平轴倾斜的量值至少等于第一变化分量(例如,1013A-B)的量值。当用户面部的位置变化是围绕水平轴的倾斜变化时,修改虚拟头像的空间位置而不衰减修改,为用户提供了用于选项来改变虚拟头像的空间位置(例如,围绕水平轴的倾斜取向),而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,检测一个或多个相机(例如,164、602)的视场内的面部位置的变化包括检测包括第一变化分量的面部位置的变化,第一变化分量包括面部围绕相对于一个或多个相机的视场(例如,1005A-B)的模拟z轴(例如,垂直于显示器的轴)的旋转。例如,存在包括围绕垂直轴(例如,z轴)旋转的面部的面部姿势变化,诸如当用户在面对一个或多个相机倾斜其头部时发生。此外,在此类实施方案中,第一修改因子是中立修改因子(例如,不影响第一变化分量的量值的修改因子,即乘数为1)或放大修改因子(例如,非衰减修改因子,或当应用于第一变化分量的量值时增加量值的修改因子,即乘数大于1)。在此类示例中,修改虚拟头像(例如,1000)在参考系内的空间位置包括使虚拟头像的空间位置围绕模拟z轴(例如,垂直于显示器的轴)旋转的量值至少等于第一变化分量(例如,1015A-B)的量值。当用户面部的位置变化是围绕z轴的旋转变化时,修改虚拟头像的空间位置而不衰减修改,为用户提供了用于选项来改变虚拟头像的空间位置(例如,围绕z轴的旋转取向),而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,检测一个或多个相机(例如,164、602)的视场内的面部位置的变化包括检测包括第一变化分量(例如,1006A-D、1007A-B、1008A-D)的面部位置的变化,并且第一修改因子是应用于第一变化分量的量值的乘数,该乘数的值小于1。在此类示例中,修改虚拟头像(例如,1000)在参考系内的空间位置包括将虚拟头像的空间位置修改小于第一变化分量(例如,1016A-D、1017A-D、1018A-D)的量值的量值。在此类示例中,变化量值被确定为一个或多个相机的视场内(例如,对于面部)或者空间参考系内(例如,对于虚拟头像)的位置变化百分比。例如,面部的空间位置可在竖直方向上偏移一个或多个相机的视场的整个竖直长度的60%。在一些此类实施方案中,应用50%的衰减因子将导致虚拟头像的空间位置偏移参考系(例如,指定用于显示虚拟头像的显示区域)的整个竖直长度的30%(例如,60%*0.5)。通过使用乘数修改虚拟头像的空间位置为用户提供了选项来放大对虚拟头像的空间位置的改变,而不需要显示的用户界面控制(例如,触摸控制)元素或检测到的物理特征的更剧烈变化。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在此类示例中,检测一个或多个相机(例如,164、602)的视场内的面部位置的变化包括超过阈值的面部位置的变化(例如,1006C-D)。在此类示例中,电子设备(例如,100、300、500、600)响应于检测到超过阈值的面部位置的变化,放弃基于一个或多个相机的视场内的面部位置的变化(例如,1016C-D)修改虚拟头像(例如,1000)在参考系内的空间位置。在一些示例中,超过阈值的面部位置的变化(例如,面部的竖直位置、水平位置或深度位置的变化)不会导致虚拟头像的空间位置的修改(例如,改变)。在一些此类实施方案中,基于面部向上的位置变化修改虚拟头像的空间位置,直到面部位置的变化超过阈值的点(例如,面部的位置移动到有效区域之外)(例如,一个或多个相机的视场之外,或一个或多个相机的视场内的指定区域之外))。在面部位置的变化超过阈值之后,不再基于面部位置的变化来修改虚拟头像的空间位置(例如,虚拟头像不再跟踪或反映面部的运动)。当面部位置的变化超过阈值时放弃对虚拟头像在参考系内的空间位置进行修改(例如,维持虚拟头像的现有空间位置),防止了虚拟头像离开参考系。在满足一组条件而不需要进一步的用户输入时执行操作(例如,维持虚拟头像的位置)增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,检测一个或多个相机(例如,164、602)的视场内的面部位置的变化包括检测包括第一变化分量和第二变化分量的面部位置的变化,第一变化分量包括面部在一个或多个相机的视场(例如,1006A-D、1008A-D)内沿平移轴的移动(例如,沿x轴、y轴或z轴,面部沿轴的偏移或平移),第二变化分量包括面部在一个或多个相机的视场(例如,1003A-B、1004A-D、1005A-B)内围绕旋转轴的旋转(例如,围绕x轴、y轴或z轴,面部围绕轴的旋转(诸如,由用户头部的扭转或倾斜引起)),第一修改因子是衰减因子(例如,当应用于第一变化分量的量值时导致较小的修改量值的分数修改数),并且第二修改因子不是衰减因子。在此类示例中,基于第一变化分量的量值和第一修改因子修改虚拟头像(例如,1000)在参考系内的空间位置包括将空间位置沿着平移轴修改小于第一变化分量(例如,1013A-B、1014A-D、1015A-B)的量值的量值。此外,在此类示例中,基于第二变化分量的量值和第二修改因子修改虚拟头像在参考系内的空间位置包括将空间位置围绕旋转轴修改至少等于第二变化分量(例如,1013A-B、1014A-D、1015A-B)的量值的量值。在一些示例中,面部位置的平移(例如,沿轴偏移)变化被衰减(如应用于虚拟头像),而面部位置的旋转变化不被衰减。这样做可降低平移变化将导致虚拟头像移动到期望的参考系之外的可能性。相反,旋转变化不需要被衰减,因为它们通常不会导致虚拟头像移动到期望的参照系之外。修改虚拟头像在不同地用于面部的旋转变化(与面部的平移变化相比)的参考系内的空间位置,为用户提供了输入有效的方法来衰减可导致虚拟头像在参考系内次优定位的变化,同时影响对虚拟头像在参考系内的定位具有较小破坏性的旋转变化。在一组条件已经被满足而不需要进一步的用户输入时执行操作增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
需注意,上文相对于方法2400(例如,图24)所述的过程的详情也以类似的方式适用于上文所述的方法以及下文所述的方法2500。例如,方法2400任选地包括下文参考方法800、900、1800、1900、2000、2100、2200、2300和2500所述的各种方法的特征中的一个或多个特征。例如,根据方法800生成、发送和接收动画头像的方法可以采用根据方法2400生成的虚拟头像(例如,在对用户面部的位置变化作出反应时生成的头像)。类似地,根据方法2400生成和/或修改的虚拟头像和动画效果可以被包括在方法800或900的虚拟头像生成界面(例如,804、904)中的虚拟头像的显示预览中。又如,根据方法2400生成的虚拟头像(例如,在对用户面部的位置变化作出反应时生成的头像)也可根据方法800、900、1800、1900、2000、2100、2200、2300和2500的虚拟头像生成和修改方法生成。例如,根据方法2400生成的虚拟头像可包括第一头像部分(例如,1034),其取决于姿势的变化类型与第二头像部分(例如,1036)不同地对用户面部的姿势变化不同地作出反应(例如,1810和1812)。类似地,根据方法2400生成的虚拟头像可以包括对第一物理特征(例如,1122)和第二物理特征(例如,1120A-B)两者的变化作出反应(例如,1904、1910、1914)的头像特征(例如,1133)。为简洁起见,排除了其他示例。
图25是示出根据一些实施方案的用于在电子设备处基于由一个或多个相机检测到的面部生成虚拟头像的方法的流程图。在具有一个或多个相机(例如,164、602)和显示装置(例如,112、340、504、601)的电子设备(例如,100、300、500、600)处执行方法2500。方法2500中的一些操作任选地被组合,一些操作的次序任选地被改变,并且一些操作任选地被省略。
如下所述,方法2500提供了用于生成虚拟头像(例如,具有动画效果的虚拟头像)的直观方式。该方法减少了用户生成虚拟头像的认知负担,从而创建更有效的人机界面。针对电池驱动的计算设备,使用户能够更快速且更有效地生成期望虚拟头像节省功率并增加电池两次充电之间的时间间隔。方法2500的示例可在参考图11A至图11C、图12A至图12C、图14A至图14D、图15A至图15B以及图16A至图16B讨论的用户界面和虚拟头像中找到。
电子设备(例如,100、300、500、600)经由显示装置(例如,112、340、504、601)显示(2502)虚拟头像(例如,1100、1200、1400、1500、1600)。在一些示例中,虚拟头像对一个或多个相机(例如,164、602)的视场内的面部的一个或多个物理特征(例如,1120A-B、1122、1123、1229、1225、1420C-D、1427、1520A-B、1527、1620A-B、1627)的变化作出反应。
在显示虚拟头像(例如,1100、1200、1400、1500、1600)时,电子设备(例如,100、300、500、600)检测(2504)面部的一个或多个物理特征(例如,1120A-B、1122、1123、1229、1225、1420C-D、1427、1520A-B、1527、1620A-B、1627)的第一构型(例如,由用户面部的多个跟踪物理特征形成的面部构型(例如,表情,即有关面部肌肉(例如,控制眉毛移动的一组肌肉,包括皱眉肌和额肌)的集合的特有构型))。在一些示例中,该构型是嘴唇的嘟起、皱眉、冷笑、咧嘴笑或怒视。
在一些示例中,虚拟头像包括一个或多个头像特征,并且响应于检测到面部的一个或多个物理特征的第一构型,电子设备基于面部的一个或多个物理特征的第一构型修改一个或多个头像特征中的至少一个。
在检测面部的一个或多个物理特征(例如,1120A-B、1122、1123、1229、1225、1420C-D、1427、1520A-B、1527、1620A-B、1627)的第一构型时(2506),电子设备(例如,100、300、500、600)可以执行以下操作中的一个或多个。根据确定一个或多个物理特征的第一构型满足动画标准,该动画标准包括将第一构型保持至少第一阈值时间量(例如,将面部表情基本保持一段时间(例如,0.5秒、0.6秒、1秒、2秒)以便满足动画标准)的要求,电子设备修改(2508)虚拟头像(例如,1100、1200、1400、1500、1600)以包括第一动画效果。此类动画效果可包括视觉效果,诸如从头像嘴唇发射的动画心形(例如,1252、1452、1555、1652)(例如,当构型是嘴唇的嘟起时)、位于头像上方的暴风云(例如,1142、1144)(例如,当构型是皱眉时)、从头像眼睛发射的激光束(例如,1146)(例如,当构型是怒视时)或从头像眼睛发射的泪滴(例如,1140)(例如,当构型是悲伤表情时)。根据一个或多个物理特征的第一构型不满足动画标准,电子设备放弃(2510)修改虚拟头像以包括第一动画效果。基于使用用户的物理特征满足动画标准修改虚拟头像以包括第一动画效果,为用户提供了选项来控制虚拟头像中动画效果的生成,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,第一动画效果(例如,1140、1142、1144、1146、1252、1452、1555、1652)包括电子设备(例如,100、300、500、600)在视觉上引入(例如,新近或最初显示)与所显示的虚拟头像(例如,1100、1200、1400、1500、1600)不同的一个或多个虚拟对象(例如,心形、暴风云、闪电、眼泪、激光)(例如,这些虚拟对象不与虚拟头像的解剖特征相对应)。基于使用用户的物理特征满足动画标准,在视觉上引入与所显示的虚拟头像不同的一个或多个虚拟对象,为用户提供了有效的输入模式来将不同虚拟对象添加到现有虚拟头像中,而不需要多个输入(例如,触摸输入)。减少执行操作所需的输入增强了设备的可操作性,使用户设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),从而通过使用户能够更快速且高效地使用设备进一步减少了电力使用并且延长了设备的电池寿命。在一些示例中,虚拟对象是从头像嘴唇发射的动画心形(例如,当构型是嘴唇的嘟起时)。在一些示例中,虚拟对象是任选地具有位于头像上方的闪电的暴风云(例如,当构型是皱眉时)。在一些示例中,虚拟对象是从头像眼睛发射的激光束(例如,当构型是怒视时)。在一些示例中,虚拟对象是从头像眼睛发射的眼泪(例如,当构型是悲伤表情时)。在一些示例中,虚拟对象在解剖学上或在生理学上不与一个或多个相机的视场内的面部的任何特征相对应。在一些例子中,逐渐引入一个或多个虚拟对象(例如,一个或多个虚拟对象随时间隔开出现,一个或多个对象开始时相对较小,然后随时间变大,并且/或者一个或多个对象开始时相对透明,随时间逐渐增加不透明度)。
在一些示例中,修改虚拟头像(例如,1100、1200、1400、1500、1600)以包括第一动画效果(例如,1140、1252、1452、1555、1652)还包括电子设备(例如,100、300、500、600)显示一个或多个虚拟对象(例如,1140、1252、1452、1555、1652)相对于虚拟头像移动的动画。在一些示例中,一个或多个对象的移动相对于其他虚拟对象随机化或以其他方式变化(例如,根据预定模式)。
在一些示例中,一个或多个虚拟对象(例如,1140、1252、1452、1555、1652)相对于虚拟头像移动的动画包括电子设备(例如,100、300、500、600)显示一个或多个虚拟对象从原始位置(例如,头像的嘴唇)到目标位置的动画移动。在一些示例中,对于一个或多个虚拟对象中的每一个,基于分布函数(例如,随机地或伪随机地选择一个或多个虚拟对象的目的地的算法)为目标位置分配相对于虚拟头像的位置。
在一些示例中,一个或多个虚拟对象(例如,1252、1452、1555、1652)相对于虚拟头像(例如,1100、1200、1400、1500、1600)移动的动画包括其方向基于所显示的虚拟头像的取向的移动。例如,如果虚拟头像面向左侧,则对象移动到头像的左侧;如果虚拟头像面向右侧,则对象移动到头像的右侧。基于所显示的虚拟头像的取向移动虚拟对象为用户提供了关于用户的取向(例如,控制头像的取向)(当设备正在检测对其进行检测时)的反馈。为用户提供改进的视觉反馈增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这另外通过使用户能够更快速且有效地使用设备而减少了电力使用并且改善了设备的电池寿命。
在一些示例中,一个或多个虚拟对象(例如,1140、1252、1452、1555、1652)是以基于分布函数(例如,随机地或伪随机地选择一个或多个虚拟对象的外观的时间的算法)选择的以时间间隔发射的多个虚拟对象。
在一些示例中,当一个或多个物理特征(例如,1120A-B、1122、1123、1229、1225、1420C-D、1427、1520A-B、1527、1620A-B、1627)的第一构型包括来自面部的物理特征中的两个或更多个的一组预定相对空间定位的面部的物理特征中的两个或更多个的第一预定相对空间定位(例如,通过跟踪多个面部特征的相对空间定位而识别的第一预定面部表情)时,一个或多个物理特征的第一构型满足动画标准。基于根据两个或更多个物理特征的相对空间定位满足动画标准修改虚拟头像以包括第一动画效果,为用户提供了低错误选项来控制虚拟头像中动画效果的生成,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些示例中,一个或多个虚拟对象(例如,1140、1142、1146、1252、1452、1555、1652)是基于第一预定相对空间定位来确定的。在一些示例中,动画效果包括显示基于特定识别的面部表情而选择的虚拟对象。
在一些示例中,面部的物理特征中的两个或更多个的第一预定相对空间定位与由至少面部的上嘴唇和下嘴唇的嘟起以及面部的闭合下巴形成的嘟嘴表情(例如,1229和1225、1420C-D和1427、1502A-B和1527、1620A-B和1627)相对应(例如,在解剖学上与该嘟嘴表情相对应或被确定为(例如,经由模式匹配)该嘟嘴表情),并且一个或多个虚拟对象包括一个或多个心形(例如,1252、1452、1555、1652)。
在一些示例中,面部的物理特征中的两个或更多个的第一预定相对空间定位与由至少嘴巴的低于嘴巴的中间部分的第一角部和第二角部形成的悲伤表情(例如,1120A-B)相对应,并且其中一个或多个虚拟对象包括一滴或多滴眼泪(例如,1140)。
在一些示例中,面部的物理特征中的两个或更多个的第一预定相对空间定位与由至少面部的具有降低位置的两个眉毛形成的皱眉(例如,1120A-B和1122)相对应(例如,当与眉毛的中立静止位置相比,用户的眉毛具有朝向用户的鼻子竖直移位的位置时,检测到皱眉),并且其中一个或多个虚拟对象包括一个或多个暴风云(例如,1142),其可任选地包括间歇的闪电雷击(例如,1144)。
在一些示例中,面部的物理特征中的两个或更多个的第一预定相对空间定位与由至少面部的两个眼睛的变窄形成的怒视(例如,1103A-B)相对应(例如,用户眼睛的上眼睑和下眼睑朝向闭合位置略微移动而实际不闭合眼睛),并且其中一个或多个虚拟对象包括一个或多个激光束(例如,1146)。在一些示例中,检测怒视还可包括检测用户的脸颊肌肉(例如,颧肌)的抬高位置。
在一些示例中,虚拟头像(例如,1100、1200、1400、1500、1600)与多个虚拟头像模板(例如,狗、猫、熊、机器人、独角兽、外星人、便便)中的第一虚拟头像模板(例如,头像1100、1200、1400、1500、1600的模板)相对应。例如,虚拟头像模板可包括定义虚拟头像的核心特性(诸如,包括(或排除)头像特征、头像尺寸、头像颜色等等)的虚拟头像模型(例如,可包括或可不包括一个或多个变型的基本模型)。在一些示例中,第一动画效果的视觉特性基于第一虚拟头像模板。换句话讲,第一动画效果的视觉特性根据头像模板而变化,使得动画效果取决于头像模板以不同的方式出现。在一些示例中,头像模板与机器人相对应,并且动画效果包括显示具有金属外观的虚拟对象(例如,心形1452)。在一些示例中,头像模板与独角兽相对应,并且动画效果包括显示具有基于彩虹的外观的虚拟对象(例如,心形1555)。在一些示例中,头像模板与外星人相对应,并且动画效果包括显示具有粘滑外观和纹理的虚拟对象(例如,心形1252)。将虚拟头像基于头像模板(例如,定义核心特性的模板)为用户提供了输入有效的方法来定义虚拟头像的特性。在满足一组条件(选择模板)而不需要进一步的用户输入时执行操作(例如,定义虚拟头像的特性)增强了设备的可操作性,并且使用户-设备界面更有效(例如,通过帮助用户提供合适的输入并减少操作设备/与设备进行交互时的用户错误),这又通过使用户能够更快速且有效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在一些例子中,在修改虚拟头像(例如,1100、1200、1400、1500、1600)以包括第一动画效果(例如,1140、1252、1452、1555、1652)之后,并且根据确定一个或多个物理特征的第一构型满足附加动画标准,附加动画标准包括在修改虚拟头像以包括第一动画效果之后将第一构型保持至少第二阈值时间量(例如,在修改虚拟头像以包括第一动画效果(例如,生成动画心形、暴风云、激光束等)之后将面部表情基本保持一段时间(例如,0.3秒、0.6秒、1秒等)以便满足附加动画标准)的要求,电子设备修改虚拟头像以包括第二动画效果(例如,可以基于第一动画效果的第二动画效果)。在一些示例中,第二动画效果包括维持或重复第一动画效果。在一些示例中,第二动画效果是第一动画效果的变型(例如,作为第一动画效果的一部分显示的虚拟对象的更大或更频繁版本)。基于使用用户的物理特征满足附加动画标准修改虚拟头像以包括第二动画效果,为用户提供了选项来控制虚拟头像中附加动画效果的生成,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
在其中一个或多个物理特征(例如,1520A-B和1527)的第一构型满足动画标准并且修改头像以包括第一动画效果的一些示例中,在检测到面部的一个或多个物理特征的第一构型时,电子设备检测面部的第一物理特征(例如,该物理特征不是作为一个或多个物理特征的第一构型的一部分的物理特征)的变化。在一些示例中,响应于检测到满足动画标准的面部的第一物理特征的变化,电子设备基于面部的第一物理特征(例如,1522)的变化修改第一头像特征(例如,1538)。在一些示例中,动画标准包括基于少于用户面部的所有跟踪特征的评估。例如,动画标准可仅基于用户嘴巴和眼睛的一部分。因此,即使未由动画特征评估的物理特征(例如,用户的眉毛)移动(例如,未保持在适当位置),也可满足动画标准。上文参考方法1800、1900、2000、2100、2200、2300和2400更详细地描述了基于面部的物理特征的变化的头像特征的示例修改。为用户提供选项来基于第一物理特征的变化修改第一头像特征,同时满足动画标准以包括第一动画效果(例如,使用一组不同的物理特征),为用户提供了选项来控制虚拟头像的生成,而不需要显示的用户界面控制(例如,触摸控制)元素。提供附加控制选项而不由于附加的控件使用户界面杂乱增强了设备的可操作性,并且使用户-设备界面更高效(例如,通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误),这又通过使用户能够更快速且高效地使用设备而减少了电力使用并且延长了设备的电池寿命。
需注意,上文参考方法2500(例如,图25)所述的过程的详情也以类似的方式适用于上文所述的方法。例如,方法2500任选地包括下文参考方法800、900、1800、1900、2000、2100、2200、2300和2400所述的各种方法的特征中的一个或多个特征。例如,根据方法800和900生成、发送和接收动画头像的方法可采用根据方法2500生成的虚拟头像和动画效果。类似地,根据方法2500生成和/或修改的虚拟头像和动画效果可被包括在方法800或900的虚拟头像生成界面(例如,804、904)中的虚拟头像的显示预览中。又如,根据方法2500生成的虚拟头像(例如,具有动画效果)也可进一步根据方法800、900、1800、1900、2000、2100、2200的虚拟头像生成和修改方法生成。例如,根据方法2500生成的虚拟头像可包括第一头像部分(例如,1034),其取决于姿势的变化类型与第二头像部分(例如,1036)不同地对用户面部的姿势变化不同地作出反应(例如,1810和1812)。类似地,根据方法2500生成的虚拟头像可包括对第一物理特征(例如,1122)和第二物理特征(例如,1120A-B)两者的变化作出反应(例如,1904、1910、1914)的头像特征(例如,1133)。为简洁起见,排除了其他示例。
示例性方法、非暂态计算机可读存储介质、系统和电子设备在以下项目中给出:
1.一种方法,包括:
在具有相机和显示器的电子设备处:
显示虚拟头像生成界面;
在所述虚拟头像生成界面中显示虚拟头像的预览,其中所述虚拟头像的所述预览对处于所述相机的视场中的面部的外观变化作出反应;
在显示所述虚拟头像的所述预览时,检测所述虚拟头像生成界面中的输入;
响应于检测到所述虚拟头像生成界面中的所述输入:
根据确定所述输入在所述虚拟头像的所述预览上开始,生成表示相应时间处所述相机的所述视场中的所述面部的表情的静态虚拟头像,其中所述相应时间基于所述输入的定时来确定;并且
根据确定所述输入包括对所述虚拟头像生成界面中的录制示能表示的激活,生成表示一时间段内所述相机的所述视场中的所述面部的所述表情的变化序列的动画虚拟头像,其中所述时间段基于所述输入的定时来确定。
2.根据项目1所述的方法,还包括:
显示包括消息区域的消息传送界面,其中所述消息区域包括来自通信的两个或更多参与者的消息,所述虚拟头像生成界面与所述消息传送界面同时显示。
3.根据项目2所述的方法,其中显示所述虚拟头像生成界面包括用所述虚拟头像生成界面的显示替换所述消息传送界面的虚拟键盘的显示。
4.根据项目2至3中任一项所述的方法,其中所述消息传送界面包括消息编写区域并且所述输入是对所述虚拟头像的所述预览的轻击,所述方法还包括:
响应于检测到所述虚拟头像生成界面中的所述输入,在所述消息编写区域中显示所述静态虚拟头像。
5.根据项目1至4中任一项所述的方法,其中所述头像生成界面包括静态虚拟头像区域,所述静态虚拟头像区域包括一个或多个先前生成的虚拟头像的集合,所述方法还包括:
响应于用户输入,将所生成的虚拟头像添加到所述一个或多个先前生成的虚拟头像的集合中。
6.根据项目5所述的方法,在将所述虚拟头像添加到所述虚拟头像的集合之后,从所述用户接收与第二用户共享所述虚拟头像的集合的请求,并且作为响应,将所述虚拟头像的集合发送给所述第二用户。
7.根据项目2至6中任一项所述的方法,其中所述输入在所述虚拟头像的所述预览上开始并且在所述消息区域内的位置处结束,所述方法还包括:
将所述静态虚拟头像发送给与所述通信相关联的参与者。
8.根据项目7所述的方法,其中所述静态虚拟头像具有基于在所述虚拟头像的所述预览上检测到输入时所述相机的所述视场中的所述面部的所述表情确定的外观。
9.根据项目7所述的方法,还包括:
响应于检测到所述输入在所述虚拟头像的所述预览上的所述开始,所述虚拟头像的所述预览停止对处于所述相机的所述视场中的面部的外观变化作出反应。
10.根据项目1至6中任一项所述的方法,还包括:
响应于用于生成所述动画虚拟头像的所述时间段到期,显示发送示能表示以代替所述录制示能表示;
响应于接收到选择所述发送示能表示的输入,将所生成的动画虚拟头像发送给远程用户。
11.根据项目2至6中任一项所述的方法,还包括:
响应于用于生成所述动画虚拟头像的所述时间段到期,显示确认示能表示以代替所述录制示能表示;
响应于接收到选择所述发送示能表示的输入,在所述消息传送界面的消息编写区域中显示所述动画虚拟头像的表示。
12.根据项目1至11中任一项所述的方法,其中所述时间段基于预定时间量,所述方法还包括:
在生成所述动画虚拟头像之后,停止显示所述虚拟头像的所述预览并显示所述动画虚拟头像的循环版本,其中显示所述动画虚拟头像的所述循环版本包括显示所述动画序列两次或更多次。
13.根据项目12所述的方法,其中使用第一虚拟头像模板来显示所述动画虚拟头像的所述循环版本,并且所述方法还包括:
显示包括第二虚拟头像模板的表示的多个其他虚拟头像模板的表示,其中所述第二虚拟头像模板不同于所述第一虚拟头像模板;
在开始显示所述动画虚拟头像的所述循环版本之后并且响应于接收到选择所述第一虚拟头像模板表示的用户输入,更新所述动画虚拟头像的所述循环版本的所述显示以反映所述第二虚拟头像模板。
14.根据项目1至13中任一项所述的方法,其中响应于启动所述虚拟头像生成界面自动显示所述虚拟头像的所述预览。
15.根据项目1至14中任一项所述的方法,还包括:
响应于检测到所述相机的所述视场中的所述面部的第一物理特征的特性,基于所检测到的特性来更新所显示的所述虚拟头像的预览的第一物理特征,其中所述面部的所述第一物理特征的类型与所显示的预览的所述第一物理特征的类型相同。
16.根据项目1至15中任一项所述的方法,还包括:
响应于检测到所述相机的所述视场中的所述面部的第二物理特征的特性,基于所检测到的特性来更新所显示的所述虚拟头像的预览的第二物理特征,其中所述面部的所述第二物理特征的类型与所显示的预览的所述第二物理特征的类型不同。
17.根据项目1至16中任一项所述的方法,还包括:
响应于检测到所述相机的所述视场中的所述面部的移动,基于用于所述虚拟头像和所检测到的移动的物理模型来更新所显示的所述虚拟头像的预览的第三物理特征。
18.根据项目1至17中任一项所述的方法,其中所述虚拟头像的所述预览基于预定义虚拟头像模板,所述方法还包括:
基于与所述预定义虚拟头像模板相关联的一个或多个预定义行为来更新所述虚拟头像的所述预览。
19.根据项目1至18中任一项所述的方法,还包括:
响应于确定在所述相机的所述视场中不再检测到所述面部,逐渐淡出所述虚拟头像的所述预览的所述显示。
20.根据项目1至19中任一项所述的方法,还包括:
响应于确定在所述相机的所述视场中不再检测到所述面部,显示指示所述相机不再正确地检测到所述面部的消息。
21.根据项目1至20中任一项所述的方法,还包括:
响应于确定在所述相机的所述视场中不再检测到所述面部,基于在所述视场中不再检测到所述面部之前的时间段期间正在发生的所述面部的外观变化来更新所述虚拟头像的所述预览的所述显示。
22.根据项目21所述的方法,其中基于在所述相机的所述视场中不再检测到所述面部之前的时间段期间正在发生的所述面部的外观变化来更新所述虚拟头像的所述预览的所述显示包括随时间推移逐渐减慢所述虚拟头像的所述预览的所述更新,使得所述虚拟头像的所述更新逐渐停止。
23.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有显示器和相机的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目1至22中任一项所述的方法的指令。
24.一种电子设备,包括:
显示器;
相机;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目1至22中任一项所述的方法的指令。
25.一种电子设备,包括:
显示器;
相机;和
用于执行根据项目1至22中任一项所述的方法的装置。
26.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有显示器和触敏表面的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
显示虚拟头像生成界面;
在所述虚拟头像生成界面中显示虚拟头像的预览,其中所述虚拟头像的所述预览对处于所述相机的视场中的面部的外观变化作出反应;
在显示所述虚拟头像的所述预览时,检测所述虚拟头像生成界面中的输入;
响应于检测到所述虚拟头像生成界面中的所述输入:
根据确定所述输入在所述虚拟头像的所述预览上开始,生成表示相应时间处所述相机的所述视场中的所述面部的表情的静态虚拟头像,其中所述相应时间基于所述输入的定时来确定;并且
根据确定所述输入包括对所述虚拟头像生成界面中的录制示能表示的激活,生成表示一时间段内所述相机的所述视场中的所述面部的所述表情的变化序列的动画虚拟头像,其中所述时间段基于所述输入的定时来确定。
27.一种电子设备,包括:
显示器;
相机;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
显示虚拟头像生成界面;
在所述虚拟头像生成界面中显示虚拟头像的预览,其中所述虚拟头像的所述预览对处于所述相机的视场中的面部的外观变化作出反应;
在显示所述虚拟头像的所述预览时,检测所述虚拟头像生成界面中的输入;
响应于检测到所述虚拟头像生成界面中的所述输入:
根据确定所述输入在所述虚拟头像的所述预览上开始,生成表示相应时间处所述相机的所述视场中的所述面部的表情的静态虚拟头像,其中所述相应时间基于所述输入的定时来确定;并且
根据确定所述输入包括对所述虚拟头像生成界面中的录制示能表示的激活,生成表示一时间段内所述相机的所述视场中的所述面部的所述表情的变化序列的动画虚拟头像,其中所述时间段基于所述输入的定时来确定。
28.一种电子设备,包括:
显示器,所述显示器用于显示虚拟头像生成界面并且在所述虚拟头像生成界面中显示虚拟头像的预览,其中所述虚拟头像的所述预览对处于所述相机的视场中的面部的外观变化作出反应;
相机;
用于以下操作的装置:在显示所述虚拟头像的所述预览时,检测所述虚拟头像生成界面中的输入;和
用于以下操作的装置:响应于检测到所述虚拟头像生成界面中的所述输入:
根据确定所述输入在所述虚拟头像的所述预览上开始,生成表示相应时间处所述相机的所述视场中的所述面部的表情的静态虚拟头像,其中所述相应时间基于所述输入的定时来确定;并且
根据确定所述输入包括对所述虚拟头像生成界面中的录制示能表示的激活,生成表示一时间段内所述相机的所述视场中的所述面部的所述表情的变化序列的动画虚拟头像,其中所述时间段基于所述输入的定时来确定。
29.一种方法,包括:
在具有相机和显示器的电子设备处:
显示虚拟头像生成界面;
在所述虚拟头像生成界面中显示虚拟头像的预览,其中所述虚拟头像的预览对处于所述相机的视场中的面部的外观变化作出反应;
接收基于改变处于所述相机的所述视场中的所述面部的面部表情来生成动画虚拟头像的请求;
响应于接收到生成所述动画虚拟头像的所述请求,录制所述相机的所述视场中的所述面部的面部表情序列;
在录制处于所述相机的所述视野中的所述面部的所述面部表情之后,基于响应于生成所述动画虚拟头像的所述请求而录制的所述面部表情序列来显示包括动画序列的动画虚拟头像的循环版本,其中显示所述动画虚拟头像的所述循环版本包括显示所述动画序列两次或更多次。
30.根据项目29所述的方法,还包括:
响应于定时器到期而停止所述面部表情序列的所述录制。
31.根据项目29所述的方法,还包括:
响应于接收到用户输入而停止所述面部表情序列的所述录制。
32.根据项目29至31中任一项所述的方法,还包括:
用所述动画虚拟头像的所述循环版本的所述显示替换所述预览的显示。
33.根据项目29至32中任一项所述的方法,其中生成所述动画虚拟头像的所述请求包括对在所述虚拟头像生成界面中显示的录制示能表示的选择,所述方法还包括:
在录制处于所述相机的所述视野中的所述面部的所述面部表情之后,用发送示能表示替换所述录制示能表示的显示。
34.根据项目29至33中任一项所述的方法,其中使用第一虚拟头像模板来显示所述动画虚拟头像的所述循环版本,并且所述方法还包括:
显示包括第二虚拟头像模板的表示的多个其他虚拟头像模板的表示,其中所述第二虚拟头像模板不同于所述第一虚拟头像模板;
在开始显示所述动画虚拟头像的所述循环版本之后并且响应于接收到选择所述第一虚拟头像模板表示的用户输入,更新所述动画虚拟头像的所述循环版本的所述显示以反映所述第二虚拟头像模板。
35.根据项目34中任一项所述的方法,其中所述预览虚拟头像基于第二头像模板,所述方法还包括:
响应于检测到所述相机的所述视场中的所述面部的第一物理特征的第一特性,基于所检测到的第一特性来更新所显示的所述虚拟头像的预览的第一物理特征,其中所显示的预览的所述第一物理特征具有第一特征类型;并且
在接收到与对所述第一图形元素的选择相对应的用户输入并且响应于检测到所述相机的所述视场中的所述面部的所述第一物理特征的第二特性,基于所检测到的第二特性来更新所显示的所述虚拟头像的预览的第二物理特征,其中所显示的预览的所述第二物理特征具有不同于所述第一特征类型的第二特征类型。
36.根据项目29至35中任一项所述的方法,还包括:
显示包括第一虚拟头像模板的表示的虚拟头像模板的多个表示;
响应于接收到与对所述第一虚拟头像模板的所述表示的选择相对应的用户输入,更新所述动画虚拟头像的所述循环版本的所述显示以与所述第一虚拟头像模板相对应。
37.根据项目35或36所述的方法,还包括:
响应于接收到与滚动虚拟头像模板的所述多个表示的请求相对应的用户输入,滚动虚拟头像模板的所述多个表示的所述显示以显示不是虚拟头像模板的所述多个表示的一部分的第二图形元素,其中所述滚动基于与所述请求相对应的所述用户输入的速度。
38.根据项目37所述的方法,还包括:
响应于接收到与所述请求相对应的所述用户输入,生成与从一个虚拟头像模板更改为不同的虚拟头像模板的当前选择的虚拟头像模板相对应的听觉输出和/或触觉输出。
39.根据项目29至38中任一项所述的方法,还包括:
响应于接收到所述动画虚拟头像上的用户输入,所述输入与保存所述动画虚拟头像的请求相对应,将用于所述动画虚拟头像的数据存储到所述电子设备上的数据库。
40.根据项目29至39中任一项所述的方法,其中录制所述面部表情序列包括录制用于预定义虚拟头像模板的离散映射点的值的时间序列。
41.根据项目29至40中任一项所述的方法,还包括:
接收将所述动画虚拟头像发送给远程设备的远程用户的请求;
根据确定所述远程设备满足第一组标准,将所述动画虚拟头像的第一版本发送给所述远程设备的用户;并且
根据确定所述远程设备不满足所述第一组标准,将不同于所述第一版本的所述动画虚拟头像的第二版本发送给所述远程设备的所述用户。
42.根据项目29至41中任一项所述的方法,还包括:
在显示所述动画虚拟头像的所述循环版本时,基于在录制所述面部表情序列时所录制的声音并且基于与预定义头像模板相关联的音频过滤器来播放音频数据。
43.根据项目29至41中任一项所述的方法,还包括:
在显示所述动画虚拟头像的所述循环版本时,基于在录制所述面部表情序列时所录制的声音来播放音频数据;并且
响应于接收到与对静音示能表示的选择相对应的用户输入,停止播放所述音频数据。
44.根据项目29至43中任一项所述的方法,还包括:
响应于接收到将所述动画虚拟头像发送给远程用户的请求:
根据确定在与所述动画虚拟头像的所述循环版本的所述显示相关联的音频数据被静音时接收到将所述动画虚拟头像发送给所述远程用户的所述请求,将表示所述动画虚拟头像的数据发送给所述远程用户,而不发送用于所述动画虚拟头像的所述声音数据;并且
根据确定在与所述动画虚拟头像的所述循环版本的所述显示相关联的音频数据未被静音时接收到将所述动画虚拟头像发送给所述远程用户的所述请求,将表示所述动画虚拟头像的数据连同用于所述动画虚拟头像的声音数据一起发送给所述远程用户。
45.根据项目29至44中任一项所述的方法,还包括:
响应于接收到生成所述动画虚拟头像的所述请求,录制处于所述相机的所述视野中的所述面部的第一面部移动,其中显示所述动画虚拟头像的所述循环版本包括基于用于所述动画虚拟头像和所述第一面部移动的物理模型来对所述虚拟头像动画化。
46.根据项目29至45中任一项所述的方法,还包括:
响应于检测到处于所述相机的所述视野中的所述面部的特定特征在录制所述面部表情序列时在特定姿势中保持超过阈值时间量,向所述动画虚拟头像添加与所述面部的所述特定姿势相对应的预定义动画表达。
47.根据项目29至46中任一项所述的方法,还包括:
在录制所述面部表情序列时,响应于经由与所述相机分开的输入机构接收到用户输入,将第一面部表情添加到所述面部表情序列,其中所述第一面部表情基于经由所述输入机构接收到的所述用户输入。
48.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有显示器和相机的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目29至47中任一项所述的方法的指令。
49.一种电子设备,包括:
显示器;
相机;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目29至47中任一项所述的方法的指令。
50.一种电子设备,包括:
显示器;
相机;和
用于执行根据项目29至47中任一项所述的方法的装置。
51.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有显示器和触敏表面的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
显示虚拟头像生成界面;
在所述虚拟头像生成界面中显示虚拟头像的预览,其中所述虚拟头像的所述预览对处于所述相机的视场中的面部的外观变化作出反应;
接收基于改变处于所述相机的所述视场中的所述面部的面部表情来生成动画虚拟头像的请求;
响应于接收到生成所述动画虚拟头像的所述请求,录制所述相机的所述视场中的所述面部的面部表情序列;
在录制处于所述相机的所述视野中的所述面部的所述面部表情之后,基于响应于生成所述动画虚拟头像的所述请求而录制的所述面部表情序列来显示包括动画序列的动画虚拟头像的循环版本,其中显示所述动画虚拟头像的所述循环版本包括显示所述动画序列两次或更多次。
52.一种电子设备,包括:
显示器;
相机;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
显示虚拟头像生成界面;
在所述虚拟头像生成界面中显示虚拟头像的预览,其中所述虚拟头像的所述预览对处于所述相机的视场中的面部的外观变化作出反应;
接收基于改变处于所述相机的所述视场中的所述面部的面部表情来生成动画虚拟头像的请求;
响应于接收到生成所述动画虚拟头像的所述请求,录制所述相机的所述视场中的所述面部的面部表情序列;
在录制处于所述相机的所述视野中的所述面部的所述面部表情之后,基于响应于生成所述动画虚拟头像的所述请求而录制的所述面部表情序列来显示包括动画序列的动画虚拟头像的循环版本,其中显示所述动画虚拟头像的所述循环版本包括显示所述动画序列两次或更多次。
53.一种电子设备,包括:
显示器,所述显示器用于显示虚拟头像生成界面并且在所述虚拟头像生成界面中显示虚拟头像的预览,其中所述虚拟头像的所述预览对处于所述相机的视场中的面部的外观变化作出反应;
相机;
用于以下操作的装置:接收基于改变处于所述相机的所述视场中的所述面部的面部表情来生成动画虚拟头像的请求;
用于以下操作的装置:响应于接收到生成所述动画虚拟头像的所述请求,录制所述相机的所述视场中的所述面部的面部表情序列;
用于以下操作的装置:在录制处于所述相机的所述视野中的所述面部的所述面部表情之后,使得基于响应于生成所述动画虚拟头像的所述请求而录制的所述面部表情序列来显示包括动画序列的动画虚拟头像的循环版本,其中显示所述动画虚拟头像的所述循环版本包括显示所述动画序列两次或更多次。
54.一种方法,包括:
在具有一个或多个相机和显示装置的电子设备处:
经由所述显示装置显示响应于所述一个或多个相机的视场中的面部变化而改变外观的虚拟头像,其中所述虚拟头像包括:
第一部分,和
不同于所述第一部分的第二部分;
在经由所述显示装置显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的姿势变化;
响应于检测到所述面部的姿势变化,改变所述虚拟头像的外观,包括:
根据确定所述面部的姿势变化包括所述面部的姿势的第一类型变化,改变所述虚拟头像的所述外观包括根据所述面部的姿势的第一类型变化的量值相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第一部分;并且
根据确定所述面部的姿势变化包括所述面部的姿势的第二类型变化,改变所述虚拟头像的所述外观包括基于所述面部的姿势的第二类型变化的量值移动所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分两者。
55.根据项目54所述的方法,其中:
所述第一部分对所述面部的姿势的第一类型变化和所述面部的姿势的第二类型变化作出反应;并且
所述第二部分对所述面部的姿势的第一类型变化具有降低的反应性并且对所述面部的姿势的第二类型变化作出反应。
56.根据项目54所述的方法,其中所述第一部分是所述虚拟头像的上部部分,并且所述第二部分是所述虚拟头像的下部部分。
57.根据项目54和55中任一项所述的方法,其中改变所述虚拟头像的所述外观还包括:
根据确定所述面部的姿势变化包括所述面部的姿势的第一类型变化和所述面部的姿势的第二类型变化两者,改变所述虚拟头像的所述外观包括:
基于所述面部的姿势的第一类型变化的量值相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第一部分;并且
基于所述面部的姿势的第二类型变化的量值移动所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分两者。
58.根据项目56至57中任一项所述的方法,其中所述面部的姿势变化仅包括所述第一类型变化,并且其中基于所述面部的姿势的第一类型变化的所述量值相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第一部分包括移动所述虚拟头像的所述第一部分而不移动所述虚拟头像的所述第二部分。
59.根据项目56至57中任一项所述的方法,其中所述虚拟头像还包括不同于所述第一部分和所述第二部分的第三部分,还根据确定所述面部的姿势变化包括所述面部的姿势的第一类型变化,相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第三部分,其中所述第三部分相对于所述第二部分的所述移动小于所述第一部分相对于所述第二部分的所述移动。
60.根据项目56至57中任一项所述的方法,其中所述面部的姿势变化仅包括所述第二类型变化,并且其中基于所述面部的姿势的第二类型变化的所述量值移动所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分两者包括保持所述虚拟头像的所述第一部分相对于所述虚拟头像的所述第二部分的位置的相对位置。
61.根据项目59所述的方法,其中所述虚拟头像的所述第三部分定位在所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分之间。
62.根据项目61所述的方法,其中相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第三部分包括围绕在所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分之间延伸的轴移动所述虚拟头像的所述第三部分。
63.根据项目54至62中任一项所述的方法,其中在检测到所述一个或多个相机的所述视场内的所述面部的姿势变化之前,所述虚拟头像的所述第一部分在视觉上不与所述虚拟头像的所述第二部分划分开。
64.根据项目54至63中任一项所述的方法,其中所述虚拟头像的所述第一部分是所述虚拟头像的头部特征的至少一部分,并且所述虚拟头像的所述第二部分是所述虚拟头像的颈部特征的至少一部分。
65.根据项目54所述的方法,其中:
在检测到所述一个或多个相机的所述视场内的所述面部的姿势变化之前,所述面部相对于所述一个或多个相机的所述视场以第一取向取向;并且
在检测到所述一个或多个相机的所述视场内的所述面部的姿势变化之前,所述虚拟头像以不同于所述第一取向的第二取向显示。
66.根据项目54所述的方法,其中所述虚拟头像的所述第一部分的移动或所述虚拟的所述第二部分的移动根据一个或多个物理模型发生。
67.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目54至66中任一项所述的方法的指令。
68.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目54至66中任一项所述的方法的指令。
69.一种电子设备,包括:
一个或多个相机;
显示装置;和
用于执行根据项目54至66中任一项所述的方法的装置。
70.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示响应于所述一个或多个相机的视场中的面部变化而改变外观的虚拟头像,其中所述虚拟头像包括:
第一部分,和
不同于所述第一部分的第二部分;
在经由所述显示装置显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的姿势变化;
响应于检测到所述面部的姿势变化,改变所述虚拟头像的外观,包括:
根据确定所述面部的姿势变化包括所述面部的姿势的第一类型变化,改变所述虚拟头像的所述外观包括根据所述面部的姿势的第一类型变化的量值相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第一部分;并且
根据确定所述面部的姿势变化包括所述面部的姿势的第二类型变化,改变所述虚拟头像的所述外观包括基于所述面部的姿势的第二类型变化的量值移动所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分两者。
71.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示响应于所述一个或多个相机的视场中的面部变化而改变外观的虚拟头像,其中所述虚拟头像包括:
第一部分,和
不同于所述第一部分的第二部分;
在经由所述显示装置显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的姿势变化;
响应于检测到所述面部的姿势变化,改变所述虚拟头像的外观,包括:
根据确定所述面部的姿势变化包括所述面部的姿势的第一类型变化,改变所述虚拟头像的所述外观包括根据所述面部的姿势的第一类型变化的量值相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第一部分;并且
根据确定所述面部的姿势变化包括所述面部的姿势的第二类型变化,改变所述虚拟头像的所述外观包括基于所述面部的姿势的第二类型变化的量值移动所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分两者。
72.一种电子设备,包括:
一个或多个相机;
显示装置;
用于以下操作的装置:经由所述显示装置显示响应于所述一个或多个相机的视场中的面部变化而改变外观的虚拟头像,其中所述虚拟头像包括:
第一部分,和
不同于所述第一部分的第二部分;
用于以下操作的装置:在经由所述显示装置显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的姿势变化;
用于以下操作的装置:响应于检测到所述面部的姿势变化,改变所述虚拟头像的外观,包括:
根据确定所述面部的姿势变化包括所述面部的姿势的第一类型变化,改变所述虚拟头像的所述外观包括根据所述面部的姿势的第一类型变化的量值相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第一部分;并且
根据确定所述面部的姿势变化包括所述面部的姿势的第二类型变化,改变所述虚拟头像的所述外观包括基于所述面部的姿势的第二类型变化的量值移动所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分两者。
73.一种方法,包括:
在具有一个或多个相机和显示装置的电子设备处:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的视场内的面部的第一物理特征的变化以及所述一个或多个相机的所述视场内的所述面部的第二物理特征的变化作出反应,和
第二头像特征;
在经由所述显示装置显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的一个或多个物理特征的变化;
根据确定所述变化包括所述第一物理特征的变化:
基于所述第一物理特征的所述变化修改所述虚拟头像的所述第一头像特征,并且
基于所述第一物理特征的所述变化放弃修改所述第二头像特征;并且
根据确定所述变化包括所述第二物理特征的变化:
基于所述第二物理特征的所述变化修改所述第一头像特征,并且
基于所述第二物理特征的所述变化放弃修改所述
第二头像特征。
74.根据项目73所述的方法,其中所述第二头像特征对不同于所述第一物理特征和所述第二物理特征的第三物理特征的变化作出反应,所述方法还包括:
根据确定所述面部的所述一个或多个物理特征的所述变化包括所述面部的所述第三物理特征的变化:
基于所述第三物理特征的所述变化修改所述第二头像特征。
75.根据项目74所述的方法,其中所述第一头像特征在解剖学上不同于所述第一物理特征和所述第二物理特征中的至少一者,并且其中所述第二头像特征在解剖学上与所述第三物理特征相对应。
76.根据项目73至75中任一项所述的方法,其中:
基于所述第一物理特征的所述变化修改所述虚拟头像的所述第一头像特征包括基于所述第一物理特征的所述变化的量值修改所述第一头像特征;并且
基于所述第二物理特征的所述变化修改所述第一头像特征包括基于所述第二物理特征的所述变化的量值修改所述第一头像特征。
77.根据项目74所述的方法,其中:
基于所述第三物理特征的所述变化修改所述第二头像特征包括基于所述第三物理特征的所述变化的量值修改所述第二头像特征。
78.根据项目73至77中任一项所述的方法,其中:
基于所述第一物理特征的所述变化修改所述虚拟头像的所述第一头像特征包括基于所述第一物理特征的姿势变化的方向修改所述第一头像特征的至少一部分的姿势;并且基于所述第二物理特征的所述变化修改所述虚拟头像的所述第一头像特征包括基于所述第二物理特征的姿势变化的方向修改所述第一头像特征的至少一部分的所述姿势。
79.根据项目74或77所述的方法,其中:
基于所述第二物理特征的所述变化修改所述虚拟头像的所述第二头像特征包括基于所述第三物理特征的姿势变化的方向修改所述第二头像特征的至少一部分的姿势。
80.根据项目73至79中任一项所述的方法,其中所述第一物理特征的所述变化包括所述面部的所述第一物理特征的至少竖直位移,并且基于所述第一物理特征的所述变化修改所述第一头像特征包括在包括所述第一头像特征的至少一部分的竖直位移和所述第一头像特征的至少一部分的水平位移中的至少一者的方向上移动所述第一头像特征。
81.根据项目73至79中任一项所述的方法,其中所述第一物理特征的所述变化包括所述面部的所述第一物理特征的至少一种位移,并且基于所述第一物理特征的所述变化修改所述虚拟头像的所述第一头像特征包括旋转所述第一头像特征的至少一部分。
82.根据项目73至81中任一项所述的方法,其中:
所述面部的所述一个或多个物理特征的所述变化包括第一量值的所述第一物理特征的变化和第二量值的所述第二物理特征的变化,并且
修改所述虚拟头像的所述第一头像特征包括基于所述第一量值和所述第二量值两者将所述第一头像特征修改修改量值。83.根据项目81所述的方法,其中:
所述第一头像特征包括头像耳朵;
所述第一物理特征包括用户的嘴巴的至少一个角部区域;
所述第一物理特征的所述变化包括所述用户的嘴巴的所述至少一个角部区域的至少一种位移;并且
基于所述第一物理特征的所述变化修改所述第一头像特征包括基于所述用户的嘴巴的所述至少一个角部区域的所述位移的量值旋转所述头像耳朵的至少一部分。
84.根据项目73至82中任一项所述的方法,其中:
所述第一头像特征包括头像耳朵;
所述第一物理特征包括用户的眉毛的至少一部分;
所述面部的所述一个或多个物理特征的所述变化包括所述用户的眉毛的位置的竖直偏移;并且
基于所述第一物理特征的所述变化修改所述虚拟头像的所述第一头像特征包括使所述头像耳朵的位置水平地偏移。
85.根据项目81所述的方法,其中:
所述第二物理特征包括用户的眉毛的至少一部分;
所述面部的所述一个或多个物理特征的所述变化包括所述用户的眉毛的位置的竖直偏移;并且
基于所述第二物理特征的所述变化修改所述第一头像特征包括使所述头像耳朵的位置竖直地偏移。
86.根据项目73至82中任一项所述的方法,其中:
所述第一头像特征包括头像眼睛;
所述第一物理特征包括用户的眼睛的至少一部分;
所述第二物理特征包括用户的眉毛的至少一部分;
所述第一物理特征的所述变化包括所述用户的眼睛的虹膜部分的位移和所述用户的眼睛的所述至少一部分的尺寸变化中的至少一者;
所述第二物理特征的所述变化至少包括所述用户的眉毛的所述至少一部分的竖直位移;
基于所述第一物理特征的所述变化修改所述第一头像特征包括当所述第一物理特征的所述变化包括所述用户的眼睛的所述虹膜部分的所述位移时平移所述头像眼睛的至少一部分;
基于所述第一物理特征的所述变化修改所述第一头像特征包括当所述第一物理特征的所述变化包括所述用户的眼睛的至少一部分的尺寸变化时调节所述头像眼睛的所述至少一部分的所述尺寸;并且
基于所述第二物理特征的所述变化修改所述第一头像特征包括调节所述头像眼睛的至少一部分的旋转度,其中所述旋转度基于所述用户的眉毛的所述至少一部分的所述竖直位移。
87.根据项目74所述的方法,其中:
所述第一头像特征包括头像嘴巴;
所述第二头像特征包括头像牙齿的至少一部分;
所述第一物理特征包括用户的嘴唇的至少一部分;
所述第三物理特征包括用户的嘴巴的至少一部分;
所述第一物理特征的所述变化包括所述用户的嘴唇的所述至少一部分从第一位置到第二位置的位移;
基于所述第一物理特征的所述变化修改所述虚拟头像的所述第一头像特征包括基于所述用户的嘴唇的所述至少一部分的所述第二位置修改所述头像嘴巴的形状;
所述第三物理特征的所述变化包括打开或关闭所述用户的嘴巴的所述至少一部分;并且
其中基于所述三物理特征的所述变化修改所述第二头像特征包括修改所述头像牙齿的第一部分和所述头像牙齿的第二部分之间的竖直间距,其中所述竖直间距的量值基于所述用户的嘴巴的所述至少一部分的所述打开或闭合的量值。
88.根据项目73至82中任一项所述的方法,其中:
所述第一头像特征包括头像鼻子的至少一部分;
所述第一物理特征包括用户的眉毛的至少一部分;
所述第二物理特征包括用户的嘴唇的至少一部分;
所述第一物理特征的所述变化至少包括所述用户的眉毛的所述至少一部分的竖直位移;
基于所述第一物理特征的所述变化修改所述虚拟头像的所述第一头像特征包括基于所述用户的眉毛的所述至少一部分的所述竖直位移的方向修改所述头像鼻子的位置,其中在基于所述用户的眉毛的所述至少一部分的竖直位移的所述方向确定的方向上修改所述头像鼻子的所述位置;
所述第二物理特征的所述变化包括所述用户的嘴唇的所述至少一部分的水平位移和所述用户的嘴唇的所述至少一部分的竖直位移中的至少一者;并且
基于所述第二物理特征的所述变化修改所述虚拟头像的所述第一头像特征包括基于所述用户的嘴唇的所述至少一部分的所述水平位移的方向并基于所述用户的嘴唇的所述至少一部分的所述竖直位移的方向进一步修改所述头像鼻子的所述位置,其中在与所述用户的嘴唇的所述至少一部分的所述水平位移的所述方向相对应的方向上并在与所述用户的嘴唇的所述至少一部分的所述竖直位移的所述方向相对应的方向上进一步修改所述头像鼻子的所述位置。
89.根据项目73至82中任一项所述的方法,其中:
所述第一头像特征包括头像头发特征;
所述第一物理特征包括用户的眉毛的至少一部分;
所述第二物理特征包括用户的头部的至少一部分;
所述第一物理特征的所述变化至少包括所述用户的眉毛的所述至少一部分的竖直位移;
所述第二物理特征的所述变化包括所述用户的头部的姿势变化;
基于所述第一物理特征的所述变化修改所述虚拟头像的所述第一头像特征包括基于所述用户的眉毛的所述至少一部分的所述竖直位移的方向使所述头像头发特征的至少一部分移位;并且
基于所述第二物理特征的所述变化修改所述虚拟头像的所述第一头像特征包括基于所述用户的头部的所述姿势变化的方向或量值旋转所述头像头发特征的至少一部分。
90.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目73至89中任一项所述的方法的指令。
91.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目73至89中任一项所述的方法的指令。
92.一种电子设备,包括:
一个或多个相机;
显示装置;和
用于执行根据项目73至89中任一项所述的方法的装置。
93.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的视场内的面部的第一物理特征的变化以及所述一个或多个相机的所述视场内的所述面部的第二物理特征的变化作出反应,和
第二头像特征;
在经由所述显示装置显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的一个或多个物理特征的变化;
根据确定所述变化包括所述第一物理特征的变化:
基于所述第一物理特征的所述变化修改所述虚拟头像的所述第一头像特征,并且
基于所述第一物理特征的所述变化放弃修改所述第二头像特征;并且
根据确定所述变化包括所述第二物理特征的变化:
基于所述第二物理特征的所述变化修改所述第一头像特征,并且
基于所述第二物理特征的所述变化放弃修改所述第二头像特征。
94.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的视场内的面部的第一物理特征的变化以及所述一个或多个相机的所述视场内的所述面部的第二物理特征的变化作出反应,和
第二头像特征;
在经由所述显示装置显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的一个或多个物理特征的变化;
根据确定所述变化包括所述第一物理特征的变化:
基于所述第一物理特征的所述变化修改所述虚拟头像的所述第一头像特征,并且
基于所述第一物理特征的所述变化放弃修改所述第二头像特征;并且
根据确定所述变化包括所述第二物理特征的变化:
基于所述第二物理特征的所述变化修改所述第一头像特征,并且
基于所述第二物理特征的所述变化放弃修改所述第二头像特征。
95.一种电子设备,包括:
一个或多个相机;
显示装置;
用于以下操作的装置:经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的视场内的面部的第一物理特征的变化以及所述一个或多个相机的所述视场内的所述面部的第二物理特征的变化作出反应,和
第二头像特征;
用于以下操作的装置:在经由所述显示装置显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的一个或多个物理特征的变化;
用于以下操作的装置:根据确定所述变化包括所述第一物理特征的变化:
基于所述第一物理特征的所述变化修改所述虚拟头像的所述第一头像特征,并且
基于所述第一物理特征的所述变化放弃修改所述第二头像特征;和
用于以下操作的装置:根据确定所述变化包括所述第二物理特征的变化:
基于所述第二物理特征的所述变化修改所述第一头像特征,并且
基于所述第二物理特征的所述变化放弃修改所述第二头像特征。
96.一种方法,包括:
在具有一个或多个相机和显示装置的电子设备处:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
第二头像特征,所述第二头像特征对所述第一物理特征的变化作出反应;和
第三头像特征,所述第三头像特征不主要对所述第一物理特征的变化作出反应;在显示所述虚拟头像时,检测所述第一物理特征的变化;并且
响应于检测到所述第一物理特征的所述变化:
基于所检测到的所述第一物理特征的变化修改所述第一头像特征;
基于所检测到的所述第一物理特征的变化修改所述第二头像特征;并且
基于所检测到的所述第一物理特征的变化放弃修改所述第三头像特征。
97.根据项目96所述的方法,其中所述第一头像特征在解剖学上与所述第一物理特征相对应,并且其中所述第二头像特征在解剖学上不与所述第一物理特征相对应。
98.根据项目96至97中任一项所述的方法,其中所述第三头像特征对所述第二物理特征的变化作出反应,其中所述第三头像特征在解剖学上与所述第二物理特征相对应,所述方法还包括:
在显示所述虚拟头像时,检测所述第二物理特征的变化;并且
响应于检测到所述第二物理特征的所述变化:
基于所检测到的所述第二物理特征的变化修改所述第三头像特征。
99.根据项目98所述的方法,其中所述第二头像特征对所述第二物理特征的变化作出反应。
100.根据项目98所述的方法,其中所述第一头像特征对所述第二物理特征的变化作出反应。
101.根据项目96所述的方法,其中:
所述第一物理特征包括用户的嘴唇的至少一部分;
所述第二物理特征包括用户的眉毛的至少一部分;
所述第一头像特征包括头像嘴巴;
所述第二头像特征包括定位在头像头部的侧部上的头像耳朵;
所述第一物理特征的所述变化包括所述用户的嘴唇的所述至少一部分从第一位置到第二位置的位移;
所述第二物理特征的所述变化至少包括所述用户的眉毛的所述至少一部分的竖直位移;
基于所检测到的所述第一物理特征的变化修改所述第一头像特征包括基于所述用户的嘴唇的所述至少一部分的所述第二位置至少修改所述头像嘴巴的形状;并且
基于所检测到的所述第一物理特征的变化修改所述第二头像特征包括调节所述头像耳朵的倾斜度,其中所述倾斜度基于所述用户的嘴唇的所述至少一部分从所述第一位置到所述第二位置的所述位移的量值和方向中的至少一者。
102.根据项目96至101中任一项所述的方法,其中:
所述第一物理特征的所述变化包括第一量值的变化,
基于所检测到的所述第一物理特征的变化修改所述第一头像特征包括基于所述第一量值将所述第一头像特征修改第一修改量值,并且
基于所检测到的所述第一物理特征的变化修改所述第二头像特征包括基于所述第一量值将所述第二头像特征修改第二修改量值,所述第二修改量值不同于所述第一修改量值。
103.根据项目96至102中任一项所述的方法,其中:
所述第一物理特征的所述变化是第一类型的变化,
基于所检测到的所述第一物理特征的变化修改所述第一头像特征包括基于第二类型的变化修改所述第一头像特征,并且基于所检测到的所述第一物理特征的变化修改所述第二头像特征包括基于第三类型的变化修改所述第一头像特征,所述第三类型的变化不同于所述第二类型的变化。
104.根据项目96至103中任一项所述的方法,其中:
所述第一头像特征包括头像嘴巴;
所述第二头像特征包括头像面部毛发的至少一部分;
所述第一物理特征包括用户的嘴巴的至少一部分;
所述第一物理特征的所述变化包括所述用户的嘴巴的所述至少一部分的位移;
基于所检测到的所述第一物理特征的变化修改所述第一头像特征包括基于所述用户的嘴巴的所述至少一部分的所述位移修改所述头像嘴巴的形状;并且
基于所检测到的所述第一物理特征的变化修改所述第二头像特征包括基于所述用户的嘴巴的所述至少一部分的所述位移的量值或方向修改以下中的至少一者:
头像面部毛发的所述至少一部分的位置,和
所述头像面部毛发的所述至少一部分的间距。
105.根据项目96至103中任一项所述的方法,其中:
所述第一头像特征包括头像嘴巴;
所述第二头像特征包括头像鼻子;
所述第一物理特征包括用户的嘴巴的至少一部分;
所述第一物理特征的所述变化包括所述用户的嘴巴的所述至少一部分的位移;
基于所检测到的所述第一物理特征的变化修改所述第一头像特征包括基于所述用户的嘴巴的所述至少一部分的所述位移修改所述头像嘴巴的形状;并且
基于所检测到的所述第一物理特征的变化修改所述第二头像特征包括基于所述用户的嘴巴的所述至少一部分的所述位移的量值或方向修改所述头像鼻子的位置。
106.根据项目96至103中任一项所述的方法,其中所述虚拟头像还包括对所述第一物理特征的变化作出反应的第四头像特征,所述方法还包括:
响应于检测到所述第一物理特征的所述变化:
基于所检测到的所述第一物理特征的变化修改所述第四头像特征。
107.根据项目106所述的方法,其中:
所述第一物理特征包括用户的眉毛的至少一部分;
所述第一头像特征包括定位于头像头部的顶部处的头像天线特征;
所述第二头像特征包括定位在所述头像头部的侧部上的头像耳朵;
所述第四头像特征包括头像眉毛;
所述第一物理特征的所述变化包括所述用户的眉毛的所述至少一部分的位移;
基于所检测到的所述第一物理特征的变化修改所述第一头像特征包括从所述头像头部的所述顶部延伸所述头像天线特征,其中所述头像天线特征的延伸位置基于所述用户的眉毛的所述至少一部分的所述位移的量值;
基于所检测到的所述第一物理特征的变化修改所述第二头像特征包括从所述头像头部的所述侧部延伸所述头像耳朵,其中所述头像耳朵的延伸位置基于所述用户的眉毛的所述至少一部分的所述位移的所述量值;并且
基于所检测到的所述第一物理特征的变化修改所述第四头像特征包括调节所述头像眉毛的至少一部分的旋转度,其中所述旋转度基于所述用户的眉毛的所述至少一部分的所述位移的所述量值。
108.根据项目96至106中任一项所述的方法,其中:
所述第一物理特征包括所述用户的眼睑的至少一部分;
所述第一头像特征包括头像眼睑;
所述第二头像特征包括头像眼睛;
所述第一物理特征的所述变化包括所述用户的眼睑的所述至少一部分的位移;
基于所检测到的所述第一物理特征的变化修改所述第一头像特征包括引入所述头像眼睑并将所述头像眼睑朝向闭合位置移动,其中所述头像眼睑朝向所述闭合位置的位置基于所述用户的眼睑的所述至少一部分的所述位移的量值;并且
基于所检测到的所述第一物理特征的变化修改所述第二头像特征包括基于所述用户的眼睑的所述至少一部分的所述位移的所述量值调节所述头像眼睛的尺寸。
109.根据项目96所述的方法,其中:
所述第一物理特征包括用户的嘴唇的至少一部分;
所述第一头像特征包括头像嘴巴;
所述第二头像特征包括头像鼻子;
所述第一物理特征的所述变化包括所述用户的嘴唇的所述至少一部分从第一位置到第二位置的位移;
基于所检测到的所述第一物理特征的变化修改所述第一头像特征包括基于所述用户的嘴唇的所述至少一部分的所述第二位置修改所述头像嘴巴的形状和水平偏移中的至少一者;并且基于所检测到的所述第一物理特征的变化修改所述第二头像特征包括调节所述头像鼻子的旋转度,其中所述旋转度基于所述用户的嘴唇的所述至少一部分从所述第一位置到所述第二位置的所述位移的量值和方向中的至少一者。
110.根据项目96至97中任一项所述的方法,其中:
所述第一物理特征包括所述用户的脸颊的至少一部分;
所述第一头像特征包括头像脸颊;
所述第二头像特征包括远离所述头像的面部延伸的头像特征;
所述第一物理特征的所述变化包括所述用户的脸颊的所述至少一部分从第一位置到扩展位置的位移;
基于所检测到的所述第一物理特征的变化修改所述第一头像特征包括将所述头像脸颊从初始位置修改为扩展位置,其中所述扩展位置基于所述用户的脸颊的所述至少一部分从所述第一位置到所述扩展位置的所述位移的量值;并且
基于所检测到的所述第一物理特征的变化修改所述第二头像特征包括基于所述用户的脸颊的所述至少一部分从所述第一位置到所述扩展位置的所述位移的所述量值修改远离所述头像的面部延伸的所述头像特征的位置。
111.根据项目96所述的方法,其中:
所述第一物理特征包括所述用户的脸颊的至少一部分;
所述第一头像特征包括定位在头像头部的侧部上的头像耳朵;
所述第二头像特征包括定位于所述头像头部的顶部处的头像天线特征;
所述第一物理特征的所述变化包括所述用户的脸颊的所述至少一部分从第一位置到扩展位置的位移;
基于所检测到的所述第一物理特征的变化修改所述第一头像特征包括从所述头像头部的所述侧部延伸所述头像耳朵,其中所述头像耳朵的延伸位置基于所述用户的脸颊的所述至少一部分从所述第一位置到所述扩展位置的所述位移的量值;并且基于所检测到的所述第一物理特征的变化修改所述第二头像特征包括从所述头像头部的所述顶部延伸所述头像天线特征,其中所述头像天线特征的延伸位置基于所述用户的脸颊的所述至少一部分从所述第一位置到所述扩展位置的所述位移的所述量值。
112.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目96至111中任一项所述的方法的指令。
113.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目96至111中任一项所述的方法的指令。
114.一种电子设备,包括:
一个或多个相机;
显示装置;和
用于执行根据项目96至111中任一项所述的方法的装置。115.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
第二头像特征,所述第二头像特征对所述第一物理特征的变化作出反应;和
第三头像特征,所述第三头像特征不主要对所述第一物理特征的变化作出反应;
在显示所述虚拟头像时,检测所述第一物理特征的变化;并且
响应于检测到所述第一物理特征的所述变化:
基于所检测到的所述第一物理特征的变化修改所述第一头像特征;
基于所检测到的所述第一物理特征的变化修改所述第二头像特征;并且
基于所检测到的所述第一物理特征的变化放弃修改所述第三头像特征。
116.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
第二头像特征,所述第二头像特征对所述第一物理特征的变化作出反应;和
第三头像特征,所述第三头像特征不主要对所述第一物理特征的变化作出反应;
在显示所述虚拟头像时,检测所述第一物理特征的变化;并且
响应于检测到所述第一物理特征的所述变化:
基于所检测到的所述第一物理特征的变化修改所述第一头像特征;
基于所检测到的所述第一物理特征的变化修改所述第二头像特征;并且
基于所检测到的所述第一物理特征的变化放弃修改所述第三头像特征。
117.一种电子设备,包括:
一个或多个相机;
显示装置;
用于以下操作的装置:经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
第二头像特征,所述第二头像特征对所述第一物理特征的变化作出反应;和
第三头像特征,所述第三头像特征不主要对所述第一物理特征的变化作出反应;
用于以下操作的装置:在显示所述虚拟头像时,检测所述第一物理特征的变化;和
用于以下操作的装置:响应于检测到所述第一物理特征的所述变化:
基于所检测到的所述第一物理特征的变化修改所述第一头像特征;
基于所检测到的所述第一物理特征的变化修改所述第二头像特征;并且
基于所检测到的所述第一物理特征的变化放弃修改所述第三头像特征。
118.一种方法,包括:
在具有一个或多个相机和显示装置的电子设备处:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
第二头像特征,所述第二头像特征以不同的方式对所述面部的第二物理特征的变化作出反应,所述方式取决于所述面部的所述第二物理特征的所述变化是发生在所述第二物理特征的第一变化范围内还是发生在所述第二物理特征的第二变化范围内,所述第二物理特征的所述第二变化范围与所述第二物理特征的所述第一变化范围不同;
在显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的相应物理特征的第一变化;并且
响应于检测到所述相应物理特征的所述第一变化,修改所述虚拟头像,包括:
根据确定所检测到的所述相应物理特征的第一变化是所述第一物理特征的变化,修改所述第一头像特征以反映所述第一物理特征的所述变化;
根据确定所检测到的第一变化是所述第二物理特征的变化并且所述第二物理特征的所述变化在所述第一变化范围内,以第一方式改变所述第二头像特征的外观以反映所述第二物理特征的所述变化;并且
根据确定所检测到的第一变化是所述第二物理特征的变化并且所述第二物理特征的所述变化在所述第二变化范围内,放弃以所述第一方式改变所述第二头像特征的所述外观以反映所述第二物理特征的所述变化。
119.根据项目118所述的方法,进一步响应于检测到所述相应物理特征的所述第一变化:
根据所述确定检测到第一变化是所述第二物理特征的变化并且所述第二物理特征的所述变化在所述第二变化范围内,以第二方式改变所述第二头像特征的外观以反映所述第二物理特征的所述变化。
120.根据项目119所述的方法,进一步响应于所检测到的所述相应物理特征的所述第一变化:
根据所述确定所检测到的第一变化是所述第二物理特征的变化并且所述第二物理特征的所述变化在所述第一变化范围内,放弃以所述第二方式改变所述第二头像特征的外观以反映所述第二物理特征的所述变化。
121.根据项目118至120中任一项所述的方法,其中:
修改所述虚拟头像的所述第一头像特征以反映所述第一物理特征的所述变化包括基于所述第一物理特征的所述变化的量值修改所述第一头像特征;
以所述第一方式改变所述第二头像特征的所述外观以反映所述第二物理特征的所述变化包括基于所述第二物理特征的所述变化的第一量值修改所述第二头像特征;并且
以所述第二方式改变所述第二头像特征的所述外观以反映所述第二物理特征的所述变化包括基于所述第二物理特征的所述变化的第二量值修改所述第二头像特征。
122.根据项目118至121中任一项所述的方法,其中:
修改所述虚拟头像的所述第一头像特征以反映所述第一物理特征的所述变化包括基于所述第一物理特征的姿势变化的方向修改所述第一头像特征的至少一部分的姿势;
以所述第一方式改变所述第二头像特征的所述外观以反映所述第二物理特征的所述变化包括基于所述第二物理特征的姿势变化的方向修改所述第二头像特征的至少一部分的姿势;并且
以所述第二方式改变所述第二头像特征的所述外观以反映所述第二物理特征的所述变化包括基于所述第二物理特征的所述姿势变化的所述方向修改所述第二头像特征的至少一部分的所述姿势。
123.根据项目120所述的方法,其中:
所述第二物理特征包括用户的眼睑;
所述第二头像特征包括头像眼睛;
基于所述第二物理特征的所述变化在所述第二变化范围内以所述第二方式改变所述第二头像特征的所述外观包括减小所述头像眼睛的尺寸;并且
基于所述第二物理特征的所述变化在所述第一变化范围内以所述第一方式改变所述第二头像特征的所述外观不包括减小所述头像眼睛的所述尺寸。
124.根据项目120所述的方法,其中:
所述第二物理特征包括用户的脸颊;
所述第二头像包括头像脸颊;
基于所述第二物理特征的所述变化在所述第二变化范围内以所述第二方式改变所述第二头像特征的所述外观包括在所述头像脸颊处引入夸大头像效果;并且
基于所述第二物理特征的所述变化在所述第一变化范围内以所述第一方式改变所述第二头像特征的所述外观包括基于所述用户的脸颊的变化量值修改所述头像脸颊。
125.根据项目120所述的方法,其中:
所述第二物理特征包括用户的眉毛;
所述第二头像特征包括所述头像的头部的上部部分;
基于所述第二物理特征的所述变化在所述第二变化范围内以所述第二方式改变所述第二头像特征的所述外观包括在所述头像的头部的所述上部部分处引入夸大头像效果;并且
基于所述第二物理特征的所述变化在所述第一变化范围内以所述第一方式改变所述第二头像特征的所述外观不包括在所述头像的头部的所述上部部分处引入所述夸大头像效果。
126.根据项目118至125中任一项所述的方法,其中:
所述第二物理特征的所述第一变化范围和所述第二物理特征的所述第二变化范围是所述第二物理特征的潜在变化范围中的相邻范围;
所述相应物理特征的所述第一变化包括所述第二物理特征的变化,所述变化包括从所述第一变化范围内的第一变化部分到所述第二变化范围内的第二部分变化的转换;并且
所述第二头像特征在所述第一部分变化结束时反映所述第二物理特征的所述变化时的外观基本上类似于所述第二头像特征在所述第二部分变化开始时反映所述第二物理特征的所述变化时的外观。
127.根据项目119至126中任一项所述的方法,其中改变所述第二头像特征的所述外观的所述第一方式不同于改变所述第二头像特征的所述外观的所述第二方式。
128.根据项目119至126中任一项所述的方法,其中:
在检测到所述相应物理特征的所述第一变化时显示的所述虚拟头像基于第一虚拟头像模板;并且
所述方法包括在基于所述第一虚拟头像模板修改所述虚拟头像之后,响应于检测到所述相应物理特征的所述第一变化:
在显示基于不同于所述第一虚拟头像模板的第二虚拟头像模板的虚拟头像时,检测所述第二物理特征的第二变化;并且
响应于检测到所述第二物理特征的所述第二变化,修改所述第二头像特征以反映所述第二物理特征的所述第二变化,其中以相同的方式改变所述第二头像特征的所述外观,而不考虑所述第二物理特征的所述变化是在所述第一变化范围内还是在所述第二变化范围内。
129.根据项目118至128中任一项所述的方法,还包括:
根据确定所检测到的第一变化是所述第二物理特征的变化并且所述第二物理特征的所述变化是从所述第一变化范围到所述第二变化范围的变化,基于所述第二头像特征的预定构型修改所述第二头像特征。
130.根据项目118至128中任一项所述的方法,其中:
所述第二物理特征的所述第一变化范围和所述第二物理特征的所述第二变化范围是所述第二物理特征的可能变化范围中的相邻范围;
所述相应物理特征的所述第一变化包括所述第二物理特征的变化,所述变化包括从所述第二变化范围内的第一变化部分到所述第一变化范围内的第二部分变化的转换;并且
当所述第二物理特征的所述变化从所述第二变化范围内的所述第一变化部分转换到所述第一变化范围内的所述第二变化部分时,所述第二头像特征的外观从基于所述第二物理特征的变化的量值的所述第二头像特征的构型改变为所述第二头像特征的预定构型。
131.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目118至130中任一项所述的方法的指令。
132.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目118至130中任一项所述的方法的指令。
133.一种电子设备,包括:
一个或多个相机;
显示装置;和
用于执行根据项目118至130中任一项所述的方法的装置。
134.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
第二头像特征,所述第二头像特征以不同的方式对所述面部的第二物理特征的变化作出反应,所述方式取决于所述面部的所述第二物理特征的所述变化是发生在所述第二物理特征的第一变化范围内还是发生在所述第二物理特征的第二变化范围内,所述第二物理特征的所述第二变化范围与所述第二物理特征的所述第一变化范围不同;
在显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的相应物理特征的第一变化;并且
响应于检测到所述相应物理特征的所述第一变化,修改所述虚拟头像,包括:
根据确定所检测到的所述相应物理特征的第一变化是所述第一物理特征的变化,修改所述第一头像特征以反映所述第一物理特征的所述变化;
根据确定所检测到的第一变化是所述第二物理特征的变化并且所述第二物理特征的所述变化在所述第一变化范围内,以第一方式改变所述第二头像特征的外观以反映所述第二物理特征的所述变化;并且
根据确定所检测到的第一变化是所述第二物理特征的变化并且所述第二物理特征的所述变化在所述第二变化范围内,放弃以所述第一方式改变所述第二头像特征的所述外观以反映所述第二物理特征的所述变化。
135.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
第二头像特征,所述第二头像特征以不同的方式对所述面部的第二物理特征的变化作出反应,所述方式取决于所述面部的所述第二物理特征的所述变化是发生在所述第二物理特征的第一变化范围内还是发生在所述第二物理特征的第二变化范围内,所述第二物理特征的所述第二变化范围与所述第二物理特征的所述第一变化范围不同;
在显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的相应物理特征的第一变化;并且
响应于检测到所述相应物理特征的所述第一变化,修改所述虚拟头像,包括:
根据确定所检测到的所述相应物理特征的第一变化是所述第一物理特征的变化,修改所述第一头像特征以反映所述第一物理特征的所述变化;
根据确定所检测到的第一变化是所述第二物理特征的变化并且所述第二物理特征的所述变化在所述第一变化范围内,以第一方式改变所述第二头像特征的外观以反映所述第二物理特征的所述变化;并且
根据确定所检测到的第一变化是所述第二物理特征的变化并且所述第二物理特征的所述变化在所述第二变化范围内,放弃以所述第一方式改变所述第二头像特征的所述外观以反映所述第二物理特征的所述变化。
136.一种电子设备,包括:
一个或多个相机;
显示装置;
用于以下操作的装置:经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
第二头像特征,所述第二头像特征以不同的方式对所述面部的第二物理特征的变化作出反应,所述方式取决于所述面部的所述第二物理特征的所述变化是发生在所述第二物理特征的第一变化范围内还是发生在所述第二物理特征的第二变化范围内,所述第二物理特征的所述第二变化范围与所述第二物理特征的所述第一变化范围不同;
用于以下操作的装置:在显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的相应物理特征的第一变化;和
用于以下操作的装置:响应于检测到所述相应物理特征的所述第一变化,修改所述虚拟头像,包括:
根据确定所检测到的所述相应物理特征的第一变化是所述第一物理特征的变化,修改所述第一头像特征以反映所述第一物理特征的所述变化;
根据确定所检测到的第一变化是所述第二物理特征的变化并且所述第二物理特征的所述变化在所述第一变化范围内,以第一方式改变所述第二头像特征的外观以反映所述第二物理特征的所述变化;并且
根据确定所检测到的第一变化是所述第二物理特征的变化并且所述第二物理特征的所述变化在所述第二变化范围内,放弃以所述第一方式改变所述第二头像特征的所述外观以反映所述第二物理特征的所述变化。
137.一种方法,包括:
在具有一个或多个相机和显示装置的电子设备处:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括多个头像特征,所述多个头像特征对所述一个或多个相机的所述视场内的面部的一个或多个物理特征的变化作出反应;
在显示所述虚拟头像时,检测所述面部的多个物理特征的变化,所述面部的所述多个物理特征包括与所述多个头像特征中的一者或多者相对应的第一物理特征以及不与所述多个头像特征中的任一者相对应的第二物理特征;并且
响应于检测到所述面部的所述多个物理特征的所述变化:
改变所述多个头像特征中的相应头像特征的外观,其中所述相应头像特征的变化的量值和/或方向基于所述第一物理特征的变化的量值或方向;并且
在检测到所述面部的所述一个或多个物理特征的所述变化之前,使所述虚拟头像的不包括头像特征的部分变形,其中使所述头像特征的所述部分变形的量值和/或方向基于所述第二物理特征的变化的量值和/或方向。
138.根据项目137所述的方法,其中在检测到所述面部的所述多个物理特征的所述变化之前显示的所述多个头像特征在不考虑所述面部的所述物理特征的当前位置的情况下被显示。
139.根据项目137所述的方法,其中所述一个或多个物理特征包括第三物理特征,所述方法还包括:
在所述第三物理特征的第一物理特征值低于第一头像特征包括阈值并且所述虚拟头像不包括至少部分地对所述第三物理特征作出反应的第一头像特征时,检测所述第三物理特征从所述第一物理特征值到第二物理特征值的变化;
根据所述第三物理特征的所述第二物理特征值满足或超过所述第一头像特征包括阈值,修改所述虚拟头像以包括所述第一头像特征;并且
根据所述第三物理特征的所述第二物理特征值不满足或未超过所述第一头像特征包括阈值,放弃修改所述虚拟头像以包括所述第一头像特征。
140.根据项目137至139中任一项所述的方法,其中:
所述第一物理特征包括用户的眼睛的至少一部分;
所述相应头像特征包括头像眼睛的至少一部分;
所述第二物理特征包括用户的眉毛的至少一部分;
检测所述面部的所述多个物理特征的所述变化包括检测所述用户的眼睛的所述至少一部分睁开较宽以及所述用户的眉毛的所述至少一部分抬高;
改变所述相应头像特征的外观包括使所述头像眼睛的所述至少一部分睁开较宽;并且
在检测到所述面部的所述一个或多个物理特征的所述变化之前使所述虚拟头像的不包括头像特征的一部分变形包括通过引入头像眉毛特征使所述虚拟头像的一部分在所述头像眼睛的所述至少一部分上方变形。
141.根据项目139所述的方法,其中:
所述第三物理特征包括用户的眼睛的至少一部分;
所述第一头像特征包括头像眉毛的至少一部分;
当所述用户的眼睛的所述至少一部分的尺寸大于阈值尺寸值时,满足或超过所述第一头像特征包括阈值;并且
修改所述虚拟头像以包括所述第一头像特征包括修改所述虚拟头像以包括所述头像眉毛的所述至少一部分。
142.根据项目137至139中任一项所述的方法,其中:
所述第一物理特征包括用户的眼睛的至少一部分;
所述相应头像特征包括头像眼睛的至少一部分;
所述第二物理特征包括用户的眉毛的至少一部分;
检测所述面部的所述多个物理特征的所述变化包括检测所述用户的眼睛的所述至少一部分变窄以及所述用户的眉毛的所述至少一部分降低;
改变所述相应头像特征的外观包括使所述头像眼睛的所述至少一部分闭合;并且
在检测到所述面部的所述一个或多个物理特征的所述变化之前使所述虚拟头像的不包括头像特征的一部分变形包括通过引入头像眉毛特征使所述虚拟头像的一部分在所述头像眼睛的所述至少一部分上方变形并且通过引入头像脸颊特征使所述虚拟头像的一部分在所述头像眼睛的所述至少一部分下方变形。
143.根据项目139所述的方法,其中:
所述第三物理特征包括用户的眼睛的至少一部分;
所述第一头像特征包括头像眉毛的至少一部分和头像脸颊的至少一部分;
当所述用户的眼睛的所述至少一部分的尺寸小于阈值尺寸值时,满足或超过所述第一头像特征包括阈值;并且
修改所述虚拟头像以包括所述第一头像特征包括修改所述虚拟头像以包括所述头像眉毛的所述至少一部分和所述头像脸颊的所述至少一部分。
144.根据项目137所述的方法,其中:
所述第一物理特征包括用户的眼睛的至少一部分;
所述相应头像特征包括头像眼睛的至少一部分;
所述第二物理特征包括所述用户的眼睑的至少一部分;
检测所述面部的所述多个物理特征的所述变化包括检测所述用户的眼睛的所述至少一部分变窄以及所述用户的眼睑的所述至少一部分降低;
改变所述相应头像特征的外观包括使所述头像眼睛的所述至少一部分闭合;并且
在检测到所述面部的所述一个或多个物理特征的所述变化之前使所述虚拟头像的不包括头像特征的一部分变形包括通过引入头像眼睑特征使所述头像眼睛的一部分变形。
145.根据项目137所述的方法,其中:
所述第一物理特征包括用户的嘴唇的至少一部分;
所述相应头像特征包括头像嘴巴的至少一部分;
检测所述面部的所述多个物理特征的所述变化包括检测所述用户的嘴唇的所述至少一部分具有嘟嘴姿势;并且
改变所述相应头像特征的外观包括修改所述头像嘴巴的所述至少一部分以包括具有嘟嘴姿势的一组头像嘴唇。
146.根据项目137所述的方法,其中:
所述第一物理特征包括用户的嘴唇的至少一部分;
所述相应头像特征包括头像喙部的至少一部分;
检测所述面部的所述多个物理特征的所述变化包括检测所述用户的嘴唇的所述至少一部分具有嘟嘴姿势;并且
改变所述相应头像特征的外观包括修改所述头像喙部的所述至少一部分以包括具有嘟嘴姿势的一组头像嘴唇。
147.根据项目137所述的方法,其中所述一个或多个物理特征包括不与所述多个头像特征中的任一者相对应的第三物理特征,所述方法还包括:
在检测到所述面部的所述一个或多个物理特征的所述变化之前,使所述虚拟头像的不包括头像特征的第二部分变形,其中使所述头像特征的所述第二部分变形的量值或方向基于所述第三物理特征的变化的量值或方向。
148.根据项目147所述的方法,其中:
所述第二物理特征包括所述用户的眼睑的至少一部分;
所述第三物理特征包括所述用户的脸颊的至少一部分;
检测所述面部的所述多个物理特征的所述变化包括检测所述用户的眼睑的所述至少一部分闭合以及所述用户的脸颊的所述至少一部分的变化;
在检测到所述面部的所述一个或多个物理特征的所述变化之前使所述虚拟头像的不包括头像特征的一部分变形包括通过引入头像眼睑特征使所述虚拟头像的至少一部分变形;并且
在检测到所述面部的所述一个或多个物理特征的所述变化之前使所述虚拟头像的不包括头像特征的第二部分变形包括通过引入脸颊特征使所述虚拟头像的所述第二部分变形。
149.根据项目137所述的方法,其中:
所述第二物理特征包括用户的眉毛的至少一部分;
检测所述面部的所述多个物理特征的所述变化包括检测所述用户的眉毛的所述至少一部分抬高;并且
在检测到所述面部的所述一个或多个物理特征的所述变化之前使所述虚拟头像的不包括头像特征的一部分变形包括通过引入从头像头部的上部部分延伸的一个或多个突起部使所述头像头部的所述上部部分变形。
150.根据项目139所述的方法,其中:
所述第三物理特征包括用户的眉毛的至少一部分;
所述第一头像特征包括一个或多个突起部;
当所述用户的眉毛的所述至少一部分的竖直位移的量值大于阈值位移值时,满足或超过所述第一头像特征包括阈值;并且
修改所述虚拟头像以包括所述第一头像特征包括修改所述虚拟头像以包括定位在头像的头部的至少上部部分上的所述一个或多个突起部。
151.根据项目137所述的方法,其中:
所述第一物理特征包括所述用户的脸颊的至少一部分;
所述相应头像特征包括头像脸颊的至少一部分;
检测所述面部的所述多个物理特征的所述变化包括检测所述用户的脸颊的所述至少一部分具有扩展姿势;并且
改变所述相应头像特征的外观包括修改所述头像脸颊的所述至少一部分以包括从所述头像脸颊延伸的一个或多个突起部。
152.根据项目139所述的方法,其中:
所述第三物理特征包括所述用户的脸颊的至少一部分;
所述第一头像特征包括一个或多个突起部;
当所述用户的脸颊的所述至少一部分被扩展大于阈值扩展值时,满足或超过所述第一头像特征包括阈值;并且
修改所述虚拟头像以包括所述第一头像特征包括修改所述虚拟头像以包括定位在头像脸颊的至少一部分上的所述一个或多个突起部。
153.根据项目139所述的方法,其中:
所述第三物理特征包括用户的眉毛的至少一部分;
所述第一头像特征包括所述虚拟头像的上部部分围绕所述虚拟头像的下部部分的弯曲取向;
当所述用户的眉毛的所述至少一部分的竖直位移的量值大于阈值位移值时,满足或超过所述第一头像特征包括阈值;并且
修改所述虚拟头像以包括所述第一头像特征包括修改所述虚拟头像的所述上部部分以围绕所述虚拟头像的所述下部部分弯曲。
154.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目137至153中任一项所述的方法的指令。
155.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目137至153中任一项所述的方法的指令。
156.一种电子设备,包括:
一个或多个相机;
显示装置;和
用于执行根据项目137至153中任一项所述的方法的装置。
157.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括多个头像特征,所述多个头像特征对所述一个或多个相机的所述视场内的面部的一个或多个物理特征的变化作出反应;
在显示所述虚拟头像时,检测所述面部的多个物理特征的变化,所述面部的所述多个物理特征包括与所述多个头像特征中的一者或多者相对应的第一物理特征以及不与所述多个头像特征中的任一者相对应的第二物理特征;并且
响应于检测到所述面部的所述多个物理特征的所述变化:
改变所述多个头像特征中的相应头像特征的外观,其中所述相应头像特征的变化的量值和/或方向基于所述第一物理特征的变化的量值或方向;并且
在检测到所述面部的所述一个或多个物理特征的所述变化之前,使所述虚拟头像的不包括头像特征的部分变形,其中使所述头像特征的所述部分变形的量值和/或方向基于所述第二物理特征的变化的量值和/或方向。
158.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括多个头像特征,所述多个头像特征对所述一个或多个相机的所述视场内的面部的一个或多个物理特征的变化作出反应;
在显示所述虚拟头像时,检测所述面部的多个物理特征的变化,所述面部的所述多个物理特征包括与所述多个头像特征中的一者或多者相对应的第一物理特征以及不与所述多个头像特征中的任一者相对应的第二物理特征;并且
响应于检测到所述面部的所述多个物理特征的所述变化:
改变所述多个头像特征中的相应头像特征的外观,其中所述相应头像特征的变化的量值和/或方向基于所述第一物理特征的变化的量值或方向;并且
在检测到所述面部的所述一个或多个物理特征的所述变化之前,使所述虚拟头像的不包括头像特征的部分变形,其中使所述头像特征的所述部分变形的量值和/或方向基于所述第二物理特征的变化的量值和/或方向。
159.一种电子设备,包括:
一个或多个相机;
显示装置;
用于以下操作的装置:经由所述显示装置显示虚拟头像,其中所述虚拟头像包括多个头像特征,所述多个头像特征对所述一个或多个相机的所述视场内的面部的一个或多个物理特征的变化作出反应;
用于以下操作的装置:在显示所述虚拟头像时,检测所述面部的多个物理特征的变化,所述面部的所述多个物理特征包括与所述多个头像特征中的一者或多者相对应的第一物理特征以及不与所述多个头像特征中的任一者相对应的第二物理特征;和
用于以下操作的装置:响应于检测到所述面部的所述多个物理特征的所述变化:
改变所述多个头像特征中的相应头像特征的外观,其中所述相应头像特征的变化的量值和/或方向基于所述第一物理特征的变化的量值或方向;并且
在检测到所述面部的所述一个或多个物理特征的所述变化之前,使所述虚拟头像的不包括头像特征的部分变形,其中使所述头像特征的所述部分变形的量值和/或方向基于所述第二物理特征的变化的量值和/或方向。
160.一种方法,包括:
在具有一个或多个相机和显示装置的电子设备处:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
在显示所述虚拟头像时,检测具有第一物理特征变化量值的所述第一物理特征的变化;
响应于检测到所述第一物理特征的所述变化:
根据确定所述第一物理特征的所述变化在第一物理特征值范围内,将所述第一头像特征改变基于所述第一物理特征变化量值的第一头像特征变化量值;并且
根据确定所述第一物理特征的所述变化在与所述第一物理特征值范围不同的第二物理特征值范围内,将所述第一头像特征改变第二头像特征变化量值,所述第二头像特征变化量值与所述第一头像特征变化量值不同且基于所述第一物理特征变化量值。
161.根据项目160所述的方法,其中:
所述第一头像特征是头像嘴唇;
所述面部的所述第一物理特征是用户嘴唇;
所述第一物理特征值范围包括与所述用户嘴唇的放松状态相对应的放松状态值;
所述第二物理特征值范围包括与所述用户嘴唇的移位状态相对应的第一位移状态值;并且
所述第一头像特征变化量值小于所述第二头像特征变化量值。
162.根据项目160所述的方法,其中:
所述第一头像特征是头像嘴巴;
所述面部的所述第一物理特征是用户嘴巴;
所述第一物理特征值范围包括与所述用户嘴巴的放松状态相对应的放松状态值;
所述第二物理特征值范围包括与所述用户嘴巴的移位状态相对应的第一位移状态值;并且
所述第一头像特征变化量值小于所述第二头像特征变化量值。
163.根据项目160所述的方法,其中:
所述第一头像特征是头像眼睛;
所述面部的所述第一物理特征是用户眼睑;
所述第一物理特征值范围包括与所述用户眼睑的放松状态相对应的放松状态值;
所述第二物理特征值范围包括与所述用户眼睑的移位状态相对应的第一位移状态值;并且
所述第一头像特征变化量值小于所述第二头像特征变化量值。
164.根据项目160所述的方法,其中:
所述第一头像特征是头像眼睛;
所述面部的所述第一物理特征是用户眼睛;
所述第一物理特征值范围包括与所述用户眼睛的放松状态相对应的放松状态值;
所述第二物理特征值范围包括与所述用户眼睛的移位状态相对应的第一位移状态值;并且
所述第一头像特征变化量值小于所述第二头像特征变化量值。
165.根据项目160所述的方法,其中:
所述第一头像特征是头像鼻子;
所述面部的所述第一物理特征是用户嘴唇;
所述第一物理特征值范围包括与所述用户嘴唇的放松状态相对应的放松状态值;
所述第二物理特征值范围包括与所述用户嘴唇的移位状态相对应的第一位移状态值;并且
所述第一头像特征变化量值小于所述第二头像特征变化量值。
166.根据项目165所述的方法,其中:
所述第一头像特征还对所述一个或多个相机的所述视场内的所述面部的第二物理特征的变化作出反应,所述方法还包括:
在显示所述虚拟头像时,检测具有第二物理特征变化量值的所述第二物理特征的变化;并且
响应于检测到所述第二物理特征的所述变化:
根据确定所述第二物理特征的所述变化在第三物理特征值范围内,将所述第一头像特征改变基于所述第二物理特征变化量值的第三头像特征变化量值;并且
根据确定所述第二物理特征的所述变化在与所述第三物理特征值范围不同的第四物理特征值范围内,将所述第一头像特征改变第四头像特征变化量值,所述第四头像特征变化量值与所述第三头像特征变化量值不同且基于所述第二物理特征变化量值。
167.根据项目161所述的方法,其中:
所述用户嘴巴的所述放松状态具有第一用户嘴巴形状;
所述用户嘴巴的所述移位状态具有第二用户嘴巴形状;
将所述第一头像特征改变第一头像特征变化量值包括改变所述头像嘴巴以呈现不与所述第一用户嘴巴形状相对应的一个或多个形状;并且
将所述第一头像特征改变第二头像特征变化量值包括改变所述头像嘴巴以呈现不与所述第二用户嘴巴形状相对应的一个或多个形状。
168.根据项目160至167中任一项所述的方法,其中:
所述虚拟头像包括对所述相机的所述视场内的所述面部的第三物理特征的变化作出反应的第二头像特征,其中:
所述第三物理特征具有基于所述第三物理特征的预定运动范围的可能的物理特征值范围;
所述第二头像特征具有基于所述第二头像特征的预定运动范围的可能的头像特征值范围;并且
所述第二头像特征的所述预定运动范围大于所述第三物理特征的所述预定运动范围;并且
所述方法包括:
在所述第二头像特征具有基于检测到的所述第三物理特征的第一物理特征值的所述第二头像特征的第一头像特征值时,检测所述第三物理特征从所述第三物理特征的所述第一物理特征值到所述第三物理特征的第二物理特征值的变化;并且
响应于检测到所述第三物理特征的所述变化,将所述第二头像特征从所述第二头像特征的所述第一头像特征值改变为所述第二头像特征的第二头像特征值,所述第二头像特征值在所述第二头像特征的所述预定运动范围内,
其中所述第二头像特征的所述第二头像特征值基于所述第三物理特征的所述第二物理特征值相对于所述第三物理特征的所述预定运动范围的相对值,并且
其中所述第二头像特征的所述第一头像特征值与所述第二头像特征的所述第二头像特征值之间的差值大于所述第三物理特征的所述第一物理特征值与所述第三物理特征的所述第二物理特征值之间的差值。
169.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目160至168中任一项所述的方法的指令。
170.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目160至168中任一项所述的方法的指令。
171.一种电子设备,包括:
一个或多个相机;
显示装置;和
用于执行根据项目160至168中任一项所述的方法的装置。
172.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
在显示所述虚拟头像时,检测具有第一物理特征变化量值的所述第一物理特征的变化;
响应于检测到所述第一物理特征的所述变化:
根据确定所述第一物理特征的所述变化在第一物理特征值范围内,将所述第一头像特征改变基于所述第一物理特征变化量值的第一头像特征变化量值;并且
根据确定所述第一物理特征的所述变化在与所述第一物理特征值范围不同的第二物理特征值范围内,将所述第一头像特征改变第二头像特征变化量值,所述第二头像特征变化量值与所述第一头像特征变化量值不同且基于所述第一物理特征变化量值。
173.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
在显示所述虚拟头像时,检测具有第一物理特征变化量值的所述第一物理特征的变化;
响应于检测到所述第一物理特征的所述变化:
根据确定所述第一物理特征的所述变化在第一物理特征值范围内,将所述第一头像特征改变基于所述第一物理特征变化量值的第一头像特征变化量值;并且
根据确定所述第一物理特征的所述变化在与所述第一物理特征值范围不同的第二物理特征值范围内,将所述第一头像特征改变第二头像特征变化量值,所述第二头像特征变化量值与所述第一头像特征变化量值不同且基于所述第一物理特征变化量值。
174.一种电子设备,包括:
一个或多个相机;
显示装置;
用于以下操作的装置:经由所述显示装置显示虚拟头像,其中所述虚拟头像包括:
第一头像特征,所述第一头像特征对所述一个或多个相机的所述视场内的面部的第一物理特征的变化作出反应;
用于以下操作的装置:在显示所述虚拟头像时,检测具有第一物理特征变化量值的所述第一物理特征的变化;
用于以下操作的装置:响应于检测到所述第一物理特征的所述变化:
根据确定所述第一物理特征的所述变化在第一物理特征值范围内,将所述第一头像特征改变基于所述第一物理特征变化量值的第一头像特征变化量值;并且
根据确定所述第一物理特征的所述变化在与所述第一物理特征值范围不同的第二物理特征值范围内,将所述第一头像特征改变第二头像特征变化量值,所述第二头像特征变化量值与所述第一头像特征变化量值不同且基于所述第一物理特征变化量值。
175.一种方法,包括:
在具有一个或多个相机和显示装置的电子设备处:
经由所述显示装置显示虚拟头像,其中所述虚拟头像在参考系内具有相应空间位置,其中所述相应空间位置基于所述一个或多个相机的视场内的面部的位置;
在显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的位置的相应量的变化;
响应于检测到所述一个或多个相机的所述视场内的所述面部的所述位置变化:
根据确定所述面部的所述位置变化包括在第一方向上的第一变化分量,基于所述第一变化分量的量值和第一修改因子修改所述虚拟头像在所述参考系内的所述空间位置;并且
根据确定所述位置变化包括在与所述第一方向不同的第二方向上的第二变化分量,基于所述第二变化分量的量值和与所述第一修改因子不同的第二修改因子修改所述虚拟头像在所述参考系内的所述空间位置。
176.根据项目175所述的方法,其中:
检测所述一个或多个相机的所述视场内的所述面部的所述位置变化包括检测所述面部的包括所述第一变化分量的位置变化;
所述第一变化分量是相对于所述一个或多个相机的所述视场的水平变化分量;
所述第一修改因子是衰减因子;并且
修改所述虚拟头像在所述参考系内的所述空间位置包括将所述空间位置在水平方向上修改小于所述第一变化分量的量值的量值。
177.根据项目175所述的方法,其中:
检测所述一个或多个相机的所述视场内的所述面部的所述位置变化包括检测所述面部的包括所述第一变化分量的位置变化;
所述第一变化分量是相对于所述一个或多个相机的所述视场的竖直变化分量;
所述第一修改因子是衰减因子;并且
修改所述虚拟头像在所述参考系内的所述空间位置包括将所述空间位置在竖直方向上修改小于所述第一变化分量的量值的量值。
178.根据项目175所述的方法,其中:
检测所述一个或多个相机的所述视场内的所述面部的所述位置变化包括检测所述面部的包括所述第一变化分量的位置变化;
所述第一变化分量是相对于所述一个或多个相机的所述视场的深度有关变化分量;
所述第一修改因子是衰减因子;并且
修改所述虚拟头像在所述参考系内的所述空间位置包括将所述空间位置在深度有关方向上修改小于所述第一变化分量的量值的量值。
179.根据项目175所述的方法,其中:
检测所述一个或多个相机的所述视场内的所述面部的所述位置变化包括检测所述面部的包括所述第一变化分量的位置变化;
所述第一变化分量包括所述面部围绕相对于所述一个或多个相机的所述视场的竖直轴的旋转;
所述第一修改因子是中立修改因子或放大修改因子;并且修改所述虚拟头像在所述参考系内的所述空间位置包括使所述虚拟头像的所述空间位置围绕所述竖直轴旋转的量值至少等于所述第一变化分量的所述量值。
180.根据项目175所述的方法,其中:
检测所述一个或多个相机的所述视场内的所述面部的所述位置变化包括检测所述面部的包括所述第一变化分量的位置变化;
所述第一变化分量包括所述面部围绕相对于所述一个或多个相机的所述视场的水平轴的倾斜;
所述第一修改因子是中立修改因子或放大修改因子;并且修改所述虚拟头像在所述参考系内的所述空间位置包括使所述虚拟头像的所述空间位置围绕所述水平轴倾斜的量值至少等于所述第一变化分量的所述量值。
181.根据项目175所述的方法,其中:
检测所述一个或多个相机的所述视场内的所述面部的所述位置变化包括检测所述面部的包括所述第一变化分量的位置变化;
所述第一变化分量包括所述面部围绕相对于所述一个或多个相机的所述视场的模拟z轴的旋转;
所述第一修改因子是中立修改因子或放大修改因子;并且修改所述虚拟头像在所述参考系内的所述空间位置包括使所述虚拟头像的所述空间位置围绕所述模拟z轴旋转的量值至少等于所述第一变化分量的所述量值。
182.根据项目175至178中任一项所述的方法,其中:
检测所述一个或多个相机的所述视场内的所述面部的所述位置变化包括检测所述面部的包括所述第一变化分量的位置变化;
所述第一修改因子是应用于所述第一变化分量的所述量值的乘数,所述乘数的值小于1;并且
修改所述虚拟头像在所述参考系内的所述空间位置包括将所述虚拟头像的所述空间位置修改小于所述第一变化分量的量值的量值。
183.根据项目175至181中任一项所述的方法,其中检测所述一个或多个相机的所述视场内的所述面部的所述位置变化包括检测所述面部的超过阈值的位置变化,所述方法还包括:
响应于检测到所述面部的超过所述阈值的所述位置变化,放弃基于所述一个或多个相机的所述视场内的所述面部的所述位置变化修改所述虚拟头像在所述参考系内的所述空间位置。
184.根据项目175至182中任一项所述的方法,其中:
检测所述一个或多个相机的所述视场内的所述面部的所述位置变化包括检测所述面部的包括所述第一变化分量和所述第二变化分量的位置变化;
所述第一变化分量包括所述面部沿着所述一个或多个相机的所述视场内的平移轴的移动;
所述第二变化分量包括所述面部围绕所述一个或多个相机的所述视场内的旋转轴的旋转;
所述第一修改因子是衰减因子;
所述第二修改因子不是衰减因子;
基于所述第一变化分量的量值和第一修改因子修改所述虚拟头像在所述参考系内的所述空间位置包括将所述空间位置沿着所述平移轴修改小于所述第一变化分量的量值的量值;并且
基于所述第二变化分量的量值和第二修改因子修改所述虚拟头像在所述参考系内的所述空间位置包括将所述空间位置围绕所述旋转轴修改至少等于所述第二变化分量的量值的量值。
185.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目175至184中任一项所述的方法的指令。
186.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目175至184中任一项所述的方法的指令。
187.一种电子设备,包括:
一个或多个相机;
显示装置;和
用于执行根据项目175至184中任一项所述的方法的装置。
188.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像在参考系内具有相应空间位置,其中所述相应空间位置基于所述一个或多个相机的视场内的面部的位置;
在显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的位置的相应量的变化;
响应于检测到所述一个或多个相机的所述视场内的所述面部的所述位置变化:
根据确定所述面部的所述位置变化包括在第一方向上的第一变化分量,基于所述第一变化分量的量值和第一修改因子修改所述虚拟头像在所述参考系内的所述空间位置;并且
根据确定所述位置变化包括在与所述第一方向不同的第二方向上的第二变化分量,基于所述第二变化分量的量值和与所述第一修改因子不同的第二修改因子修改所述虚拟头像在所述参考系内的所述空间位置。
189.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像在参考系内具有相应空间位置,其中所述相应空间位置基于所述一个或多个相机的视场内的面部的位置;
在显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的位置的相应量的变化;
响应于检测到所述一个或多个相机的所述视场内的所述面部的所述位置变化:
根据确定所述面部的所述位置变化包括在第一方向上的第一变化分量,基于所述第一变化分量的量值和第一修改因子修改所述虚拟头像在所述参考系内的所述空间位置;并且
根据确定所述位置变化包括在与所述第一方向不同的第二方向上的第二变化分量,基于所述第二变化分量的量值和与所述第一修改因子不同的第二修改因子修改所述虚拟头像在所述参考系内的所述空间位置。
190.一种电子设备,包括:
一个或多个相机;
显示装置;
用于以下操作的装置:经由所述显示装置显示虚拟头像,其中所述虚拟头像在参考系内具有相应空间位置,其中所述相应空间位置基于所述一个或多个相机的视场内的面部的位置;
用于以下操作的装置:在显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的位置的相应量的变化;
用于以下操作的装置:响应于检测到所述一个或多个相机的所述视场内的所述面部的所述位置变化:
根据确定所述面部的所述位置变化包括在第一方向上的第一变化分量,基于所述第一变化分量的量值和第一修改因子修改所述虚拟头像在所述参考系内的所述空间位置;并且
根据确定所述位置变化包括在与所述第一方向不同的第二方向上的第二变化分量,基于所述第二变化分量的量值和与所述第一修改因子不同的第二修改因子修改所述虚拟头像在所述参考系内的所述空间位置。
191.一种方法,包括:
在具有一个或多个相机和显示装置的电子设备处:
经由所述显示装置显示虚拟头像,其中所述虚拟头像对所述一个或多个相机的视场内的面部的一个或多个物理特征的变化作出反应;
在显示所述虚拟头像时,检测所述面部的一个或多个物理特征的第一构型;
在检测到所述面部的一个或多个物理特征的所述第一构型时:
根据确定一个或多个物理特征的所述第一构型满足动画标准,所述动画标准包括将所述第一构型保持至少第一阈值时间量以便满足所述动画标准的要求,修改所述虚拟头像以包括第一动画效果;并且
根据一个或多个物理特征的所述第一构型不满足所述动画标准,放弃修改所述虚拟头像以包括所述第一动画效果。
192.根据项目191所述的方法,其中所述虚拟头像包括一个或多个头像特征,所述方法还包括:
响应于检测到所述面部的一个或多个物理特征的所述第一构型,基于所述面部的所述一个或多个物理特征的所述第一构型修改所述一个或多个头像特征中的至少一个。
193.根据项目191所述的方法,其中所述第一动画效果包括在视觉上引入与所显示的虚拟头像不同的一个或多个虚拟对象。
194.根据项目193所述的方法,其中当一个或多个物理特征的所述第一构型包括来自所述面部的所述物理特征中的两个或更多个的一组预定相对空间定位的所述面部的所述物理特征中的两个或更多个的第一预定相对空间定位时,一个或多个物理特征的所述第一构型满足所述动画标准,并且其中基于所述第一预定相对空间定位确定所述一个或多个虚拟对象。
195.根据项目194所述的方法,其中所述面部的所述物理特征中的两个或更多个的所述第一预定相对空间定位与由至少所述面部的上嘴唇和下嘴唇的嘟起以及所述面部的闭合下巴形成的嘟嘴表情相对应,并且其中所述一个或多个虚拟对象包括一个或多个心形。
196.根据项目194所述的方法,其中所述面部的所述物理特征中的两个或更多个的所述第一预定相对空间定位与由至少所述嘴巴的低于所述嘴巴的中间部分的第一角部和第二角部形成的悲伤表情相对应,并且其中所述一个或多个虚拟对象包括一滴或多滴眼泪。
197.根据项目194所述的方法,其中所述面部的所述物理特征中的两个或更多个的所述第一预定相对空间定位与由至少所述面部的具有降低位置的两个眉毛形成的皱眉相对应,并且其中所述一个或多个虚拟对象包括一个或多个暴风云。
198.根据项目194所述的方法,其中所述面部的所述物理特征中的两个或更多个的所述第一预定相对空间定位与由至少所述面部的两个眼睛的变窄形成的怒视相对应,并且其中所述一个或多个虚拟对象包括一个或多个激光束。
199.根据项目193至198中任一项所述的方法,其中修改所述虚拟头像以包括所述第一动画效果还包括显示所述一个或多个虚拟对象相对于所述虚拟头像移动的动画。
200.根据项目199所述的方法,其中所述一个或多个虚拟对象相对于所述虚拟头像移动的动画包括显示所述一个或多个虚拟对象从原始位置到目标位置的动画移动,其中对于所述一个或多个虚拟对象中的每一个,基于分布函数为所述目标位置分配相对于所述虚拟头像的位置。
201.根据项目199所述的方法,其中所述一个或多个虚拟对象相对于所述虚拟头像移动的所述动画包括具有基于所显示的所述虚拟头像的取向的方向的移动。
202.根据项目193至201中任一项所述的方法,其中所述一个或多个虚拟对象是以基于分布函数所选择的时间间隔发射的多个虚拟对象。
203.根据项目191至202中任一项所述的方法,其中所述虚拟头像与多个虚拟头像模板中的第一虚拟头像模板相对应,并且其中所述第一动画效果的视觉特性基于所述第一虚拟头像模板。
204.根据项目191至203中任一项所述的方法,还包括:
在修改所述虚拟头像以包括所述第一动画效果之后:
根据确定一个或多个物理特征的所述第一构型满足附加动画标准,所述附加动画标准包括在修改所述虚拟头像以包括所述第一动画效果之后将所述第一构型保持至少第二阈值时间量以便满足所述附加动画标准的要求,修改所述虚拟头像以包括第二动画效果。
205.根据项目191至204中任一项所述的方法,其中一个或多个物理特征的所述第一构型满足动画标准,并且其中所述头像被修改以包括所述第一动画效果,所述方法还包括:
在检测到所述面部的一个或多个物理特征的所述第一构型时,检测所述面部的第一物理特征的变化;并且
响应于检测到满足所述动画标准的所述面部的所述第一物理特征的所述变化,基于所述面部的所述第一物理特征的所述变化修改第一头像特征。
206.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目191至205中任一项所述的方法的指令。
207.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据项目191至205中任一项所述的方法的指令。
208.一种电子设备,包括:
一个或多个相机;
显示装置;和
用于执行根据项目191至205中任一项所述的方法的装置。
209.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像对所述一个或多个相机的视场内的面部的一个或多个物理特征的变化作出反应;
在显示所述虚拟头像时,检测所述面部的一个或多个物理特征的第一构型;
在检测到所述面部的一个或多个物理特征的所述第一构型时:
根据确定一个或多个物理特征的所述第一构型满足动画标准,所述动画标准包括将所述第一构型保持至少第一阈值时间量以便满足所述动画标准的要求,修改所述虚拟头像以包括第一动画效果;并且
根据一个或多个物理特征的所述第一构型不满足所述动画标准,放弃修改所述虚拟头像以包括所述第一动画效果。
210.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行以下操作的指令:
经由所述显示装置显示虚拟头像,其中所述虚拟头像对所述一个或多个相机的视场内的面部的一个或多个物理特征的变化作出反应;
在显示所述虚拟头像时,检测所述面部的一个或多个物理特征的第一构型;
在检测到所述面部的一个或多个物理特征的所述第一构型时:
根据确定一个或多个物理特征的所述第一构型满足动画标准,所述动画标准包括将所述第一构型保持至少第一阈值时间量以便满足所述动画标准的要求,修改所述虚拟头像以包括第一动画效果;并且
根据一个或多个物理特征的所述第一构型不满足所述动画标准,放弃修改所述虚拟头像以包括所述第一动画效果。
211.一种电子设备,包括:
一个或多个相机;
显示装置;
用于以下操作的装置:经由所述显示装置显示虚拟头像,其中所述虚拟头像对所述一个或多个相机的视场内的面部的一个或多个物理特征的变化作出反应;
用于以下操作的装置:在显示所述虚拟头像时,检测所述面部的一个或多个物理特征的第一构型;
用于以下操作的装置:在检测到所述面部的一个或多个物理特征的所述第一构型时:
根据确定一个或多个物理特征的所述第一构型满足动画标准,所述动画标准包括将所述第一构型保持至少第一阈值时间量以便满足所述动画标准的要求,修改所述虚拟头像以包括第一动画效果;并且
根据一个或多个物理特征的所述第一构型不满足所述动画标准,放弃修改所述虚拟头像以包括所述第一动画效果。
出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择并描述这些实施方案是为了最好地解释这些技术的原理及其实际应用程序。本领域的其他技术人员由此能够最好地利用这些技术以及具有适合于所预期的特定用途的各种修改的各种实施方案。
虽然参照附图对本公开以及示例进行了全面的描述,但应当注意,各种变化和修改对于本领域内的技术人员而言将变得显而易见。此类变化和修改应被理解为包括在由项目所限定的本公开和示例的范围内。

Claims (19)

1.一种方法(1800),包括:
在具有一个或多个相机和显示装置的电子设备处:
经由所述显示装置显示(1802)响应于所述一个或多个相机的视场中的面部变化而改变外观的虚拟头像,其中所述虚拟头像包括:
第一部分,和
不同于所述第一部分的第二部分;
在经由所述显示装置显示所述虚拟头像时,检测(1806)所述一个或多个相机的所述视场内的所述面部的姿势变化;
响应于检测到所述面部的姿势变化,改变(1808)所述虚拟头像的外观,包括:
根据确定所述面部的姿势变化包括所述面部的姿势的第一类型变化,改变(1810)所述虚拟头像的所述外观包括根据所述面部的姿势的第一类型变化的量值相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第一部分;并且
根据确定所述面部的姿势变化包括所述面部的姿势的第二类型变化,改变(1812)所述虚拟头像的所述外观包括基于所述面部的姿势的第二类型变化的量值移动所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分两者。
2.根据权利要求1所述的方法,其中:
所述第一部分对所述面部的姿势的第一类型变化和所述面部的姿势的第二类型变化作出反应;并且
所述第二部分对所述面部的姿势的第一类型变化具有降低的反应性并且对所述面部的姿势的第二类型变化作出反应。
3.根据权利要求1所述的方法,其中所述第一部分是所述虚拟头像的上部部分,并且所述第二部分是所述虚拟头像的下部部分。
4.根据权利要求1和2中任一项所述的方法,其中改变所述虚拟头像的所述外观还包括:
根据确定所述面部的姿势变化包括所述面部的姿势的第一类型变化和所述面部的姿势的第二类型变化两者,改变所述虚拟头像的所述外观包括:
基于所述面部的姿势的第一类型变化的量值相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第一部分;并且
基于所述面部的姿势的第二类型变化的量值移动所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分两者。
5.根据权利要求3至4中任一项所述的方法,其中所述面部的姿势变化仅包括所述第一类型变化,并且其中基于所述面部的姿势的第一类型变化的所述量值相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第一部分包括移动所述虚拟头像的所述第一部分而不移动所述虚拟头像的所述第二部分。
6.根据权利要求3至4中任一项所述的方法,其中所述虚拟头像还包括不同于所述第一部分和所述第二部分的第三部分,还根据确定所述面部的姿势变化包括所述面部的姿势的第一类型变化,相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第三部分,其中所述第三部分相对于所述第二部分的移动小于所述第一部分相对于所述第二部分的移动。
7.根据权利要求3至4中任一项所述的方法,其中所述面部的姿势变化仅包括所述第二类型变化,并且其中基于所述面部的姿势的第二类型变化的量值移动所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分两者包括保持所述虚拟头像的所述第一部分相对于所述虚拟头像的所述第二部分的位置的相对位置。
8.根据权利要求6所述的方法,其中所述虚拟头像的所述第三部分定位在所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分之间。
9.根据权利要求8所述的方法,其中相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第三部分包括围绕在所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分之间延伸的轴移动所述虚拟头像的所述第三部分。
10.根据权利要求1至9中任一项所述的方法,其中在检测到所述一个或多个相机的所述视场内的所述面部的姿势变化之前,所述虚拟头像的所述第一部分在视觉上不与所述虚拟头像的所述第二部分划分开。
11.根据权利要求1至10中任一项所述的方法,其中所述虚拟头像的所述第一部分是所述虚拟头像的头部特征的至少一部分,并且所述虚拟头像的所述第二部分是所述虚拟头像的颈部特征的至少一部分。
12.根据权利要求1所述的方法,其中:
在检测到所述一个或多个相机的所述视场内的所述面部的姿势变化之前,所述面部相对于所述一个或多个相机的所述视场以第一取向来取向;并且
在检测到所述一个或多个相机的所述视场内的所述面部的姿势变化之前,所述虚拟头像以不同于所述第一取向的第二取向显示。
13.根据权利要求1-12中任一项所述的方法,其中所述虚拟头像的所述第一部分的移动或所述虚拟头像的所述第二部分的移动根据一个或多个物理模型发生。
14.根据权利要求1-13中任一项所述的方法,还包括:
在显示所述虚拟头像时,检测所述一个或多个相机的所述视场内的所述面部的第二姿势变化;
响应于检测到所述面部的第二姿势变化,改变所述虚拟头像的外观,包括:
根据确定所述面部的第二姿势变化包括所述面部的姿势的第三类型变化,改变所述虚拟头像的所述外观包括根据所述面部的姿势的第三类型变化的量值相对于所述虚拟头像的所述第二部分移动所述虚拟头像的所述第一部分;并且
根据确定所述面部的第二姿势变化包括所述面部的姿势的第四类型变化,改变所述虚拟头像的所述外观包括基于所述面部的姿势的第四类型变化的量值移动所述虚拟头像的所述第一部分和所述虚拟头像的所述第二部分两者。
15.根据权利要求14所述的方法,其中所述面部的姿势的第三类型变化是所述面部的姿势的第一类型变化,并且所述面部的姿势的第四类型变化是所述面部的姿势的第二类型变化。
16.根据权利要求1-15中任一项所述的方法,还包括:进一步响应于检测到所述面部的姿势变化:确定所述面部的姿势变化是否包括所述面部的姿势的第一类型变化;以及确定所述面部的姿势变化是否包括与所述面部的姿势的第一类型变化不同的所述面部的姿势的第二类型变化,其中所述面部的姿势的第一类型变化在所述一个或多个相机的视场内,并且其中所述面部的姿势的第二类型变化在所述一个或多个相机的视场内。
17.根据权利要求1-16中任一项所述的方法,其中:
所述面部的姿势的第一类型变化包括所述一个或多个相机的视场中的所述面部的取向的变化;以及
所述面部的姿势的第二类型变化包括所述一个或多个相机的视场中的所述面部的位置的变化。
18.一种计算机可读存储介质,所述计算机可读存储介质存储被配置为由具有一个或多个相机和显示装置的电子设备的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至17中任一项所述的方法的指令。
19.一种电子设备,包括:
一个或多个相机;
显示装置;
一个或多个处理器;和
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至17中任一项所述的方法的指令。
CN201910692958.4A 2017-05-16 2018-01-23 表情符号录制和发送 Active CN110490093B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201762507177P 2017-05-16 2017-05-16
US62/507,177 2017-05-16
DKPA201770393A DK201770393A1 (en) 2017-05-16 2017-05-29 Emoji recording and sending
DKPA201770393 2017-05-29
US201762556412P 2017-09-09 2017-09-09
US62/556,412 2017-09-09
US201762557121P 2017-09-11 2017-09-11
US62/557,121 2017-09-11
DKPA201770721A DK179867B1 (en) 2017-05-16 2017-09-22 RECORDING AND SENDING EMOJI
DKPA201770721 2017-09-22
DKPA201770720A DK179948B1 (en) 2017-05-16 2017-09-22 Recording and sending Emoji
DKPA201770720 2017-09-22
CN201880004632.1A CN110036412A (zh) 2017-05-16 2018-01-23 表情符号录制和发送

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880004632.1A Division CN110036412A (zh) 2017-05-16 2018-01-23 表情符号录制和发送

Publications (2)

Publication Number Publication Date
CN110490093A true CN110490093A (zh) 2019-11-22
CN110490093B CN110490093B (zh) 2020-10-16

Family

ID=61749889

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201910692958.4A Active CN110490093B (zh) 2017-05-16 2018-01-23 表情符号录制和发送
CN201880004632.1A Pending CN110036412A (zh) 2017-05-16 2018-01-23 表情符号录制和发送
CN201910563974.3A Active CN110378987B (zh) 2017-05-16 2018-01-23 表情符号录制和发送

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201880004632.1A Pending CN110036412A (zh) 2017-05-16 2018-01-23 表情符号录制和发送
CN201910563974.3A Active CN110378987B (zh) 2017-05-16 2018-01-23 表情符号录制和发送

Country Status (3)

Country Link
EP (2) EP3570251A1 (zh)
CN (3) CN110490093B (zh)
WO (2) WO2018212802A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
KR102637122B1 (ko) * 2018-05-07 2024-02-16 애플 인크. 크리에이티브 카메라
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
KR102591686B1 (ko) * 2018-12-04 2023-10-19 삼성전자주식회사 증강 현실 이모지를 생성하기 위한 전자 장치 및 그에 관한 방법
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
EP3700190A1 (en) 2019-02-19 2020-08-26 Samsung Electronics Co., Ltd. Electronic device for providing shooting mode based on virtual character and operation method thereof
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
KR20210012724A (ko) * 2019-07-26 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11960792B2 (en) 2020-10-14 2024-04-16 Sumitomo Electric Industries, Ltd. Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
CN113840158A (zh) * 2021-10-11 2021-12-24 深圳追一科技有限公司 虚拟形象的生成方法、装置、服务器及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930284A (zh) * 2009-06-23 2010-12-29 腾讯科技(深圳)有限公司 一种实现视频和虚拟网络场景交互的方法、装置和系统
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
CN102999934A (zh) * 2011-09-19 2013-03-27 上海威塔数字科技有限公司 计算机三维动画系统及动画方法
WO2013097139A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Communication using avatar
WO2013152453A1 (en) * 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
KR100595917B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
WO2013152455A1 (en) * 2012-04-09 2013-10-17 Intel Corporation System and method for avatar generation, rendering and animation
CN104170358B (zh) * 2012-04-09 2016-05-11 英特尔公司 用于化身管理和选择的系统和方法
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
EP3435220B1 (en) 2012-12-29 2020-09-16 Apple Inc. Device, method and graphical user interface for transitioning between touch input to display output relationships
CN105374055B (zh) * 2014-08-20 2018-07-03 腾讯科技(深圳)有限公司 图像处理方法及装置
CN105139438B (zh) * 2014-09-19 2018-01-12 电子科技大学 视频人脸卡通动画生成方法
US9830728B2 (en) * 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930284A (zh) * 2009-06-23 2010-12-29 腾讯科技(深圳)有限公司 一种实现视频和虚拟网络场景交互的方法、装置和系统
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
CN102999934A (zh) * 2011-09-19 2013-03-27 上海威塔数字科技有限公司 计算机三维动画系统及动画方法
WO2013097139A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Communication using avatar
WO2013152453A1 (en) * 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars

Also Published As

Publication number Publication date
EP3570251A1 (en) 2019-11-20
CN110490093B (zh) 2020-10-16
CN110036412A (zh) 2019-07-19
EP3529779A1 (en) 2019-08-28
WO2018212802A1 (en) 2018-11-22
WO2018213500A1 (en) 2018-11-22
CN110378987B (zh) 2021-08-31
CN110378987A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110490093A (zh) 表情符号录制和发送
KR102549029B1 (ko) 이모지 레코딩 및 전송
DK179867B1 (en) RECORDING AND SENDING EMOJI
CN110520901A (zh) 表情符号录制和发送
CN110457092A (zh) 头像创建用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant