JP2022023907A - 絵文字の記録及び送信 - Google Patents
絵文字の記録及び送信 Download PDFInfo
- Publication number
- JP2022023907A JP2022023907A JP2021173713A JP2021173713A JP2022023907A JP 2022023907 A JP2022023907 A JP 2022023907A JP 2021173713 A JP2021173713 A JP 2021173713A JP 2021173713 A JP2021173713 A JP 2021173713A JP 2022023907 A JP2022023907 A JP 2022023907A
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- change
- feature
- face
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 claims abstract description 1625
- 238000000034 method Methods 0.000 claims abstract description 590
- 230000004044 response Effects 0.000 claims abstract description 301
- 238000001514 detection method Methods 0.000 claims abstract description 257
- 230000001131 transforming effect Effects 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims description 475
- 210000001508 eye Anatomy 0.000 claims description 429
- 210000004709 eyebrow Anatomy 0.000 claims description 347
- 210000003128 head Anatomy 0.000 claims description 312
- 230000001815 facial effect Effects 0.000 claims description 303
- 230000008921 facial expression Effects 0.000 claims description 266
- 230000007935 neutral effect Effects 0.000 claims description 203
- 238000006073 displacement reaction Methods 0.000 claims description 182
- 210000000744 eyelid Anatomy 0.000 claims description 150
- 210000005069 ears Anatomy 0.000 claims description 99
- 230000000694 effects Effects 0.000 claims description 98
- 238000003860 storage Methods 0.000 claims description 78
- 230000000007 visual effect Effects 0.000 claims description 74
- 230000015654 memory Effects 0.000 claims description 66
- 238000004891 communication Methods 0.000 claims description 63
- 230000009471 action Effects 0.000 claims description 47
- 230000007704 transition Effects 0.000 claims description 42
- 230000003068 static effect Effects 0.000 claims description 39
- 230000014509 gene expression Effects 0.000 claims description 38
- 230000004048 modification Effects 0.000 claims description 38
- 238000012986 modification Methods 0.000 claims description 38
- 239000000203 mixture Substances 0.000 claims description 30
- 230000009467 reduction Effects 0.000 claims description 24
- 230000007423 decrease Effects 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 18
- 210000004209 hair Anatomy 0.000 claims description 14
- 238000012790 confirmation Methods 0.000 claims description 11
- 230000003213 activating effect Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 210000003323 beak Anatomy 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000036961 partial effect Effects 0.000 claims description 3
- 206010052128 Glare Diseases 0.000 claims description 2
- 238000005562 fading Methods 0.000 claims description 2
- 230000004313 glare Effects 0.000 claims description 2
- 206010000210 abortion Diseases 0.000 claims 2
- 238000013016 damping Methods 0.000 claims 1
- 230000004043 responsiveness Effects 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 210000000214 mouth Anatomy 0.000 description 520
- 210000003467 cheek Anatomy 0.000 description 137
- 210000001331 nose Anatomy 0.000 description 119
- 241000377209 Unicorn Species 0.000 description 100
- 230000001976 improved effect Effects 0.000 description 93
- 230000003287 optical effect Effects 0.000 description 61
- 241000287828 Gallus gallus Species 0.000 description 44
- 235000013330 chicken meat Nutrition 0.000 description 44
- 241000283973 Oryctolagus cuniculus Species 0.000 description 42
- 230000008569 process Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 35
- 210000003205 muscle Anatomy 0.000 description 32
- 230000000284 resting effect Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 19
- 230000002093 peripheral effect Effects 0.000 description 19
- 239000002184 metal Substances 0.000 description 16
- 210000000216 zygoma Anatomy 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 14
- 210000000887 face Anatomy 0.000 description 14
- 238000003825 pressing Methods 0.000 description 14
- 230000001149 cognitive effect Effects 0.000 description 13
- 238000007726 management method Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 11
- 241000699666 Mus <mouse, genus> Species 0.000 description 10
- 230000002238 attenuated effect Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 210000000051 wattle Anatomy 0.000 description 10
- 210000001747 pupil Anatomy 0.000 description 9
- 241000282693 Cercopithecidae Species 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 238000002715 modification method Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 7
- 210000001097 facial muscle Anatomy 0.000 description 7
- 238000009499 grossing Methods 0.000 description 7
- 210000000554 iris Anatomy 0.000 description 7
- 238000007665 sagging Methods 0.000 description 7
- 235000006894 Primula auricula Nutrition 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 6
- 230000008451 emotion Effects 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 230000003278 mimic effect Effects 0.000 description 6
- 241000750142 Auricula Species 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008034 disappearance Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 239000003607 modifier Substances 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 241000699670 Mus sp. Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000021317 sensory perception Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 241000293841 Antirrhinum cyathiferum Species 0.000 description 2
- 235000005809 Carpobrotus aequilaterus Nutrition 0.000 description 2
- 244000040944 Carpobrotus aequilaterus Species 0.000 description 2
- 235000004550 Disphyma australe Nutrition 0.000 description 2
- 241000282898 Sus scrofa Species 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 210000000088 lip Anatomy 0.000 description 2
- 239000010813 municipal solid waste Substances 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000009257 reactivity Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009987 spinning Methods 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 241001023788 Cyttus traversi Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 244000232720 Siderasis fuscata Species 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 241000385223 Villosa iris Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000003716 rejuvenation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000012056 semi-solid material Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/08—Annexed information, e.g. attachments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/58—Message adaptation for wireless communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/12—Messaging; Mailboxes; Announcements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
- Control Of El Displays (AREA)
- Saccharide Compounds (AREA)
- Studio Devices (AREA)
- Telephone Function (AREA)
- Information Transfer Between Computers (AREA)
Abstract
【課題】絵文字及び仮想アバターを送受信するためのより高速でより効率的な方法及びインタフェースを有する電子デバイスを提供する。【解決手段】電子デバイスにおいて、仮想アバターを生成及び変更する方法は、ディスプレイ装置を介して、仮想アバターを表示することと、仮想アバターを表示しながら、顔の複数の物理的特徴の変化を検出することと、顔の第１の物理的特徴の変化の検出に応じて、複数のアバター特徴の１つ以上に対応する１つ以上のカメラの視野内に、複数のアバター特徴のそれぞれのアバター特徴の外観を変化させることと、顔の第２の物理的特徴の変化の検出に応じて、複数のアバター特徴の何れにも対応しない前記１つ以上のカメラの視野内に、顔の１つ以上の物理的特徴の変化を検出する前に、アバター特徴を含まない仮想アバターの一部を変形することと、を含む。【選択図】図１９
Description
本開示は、一般に、コンピュータユーザインタフェースに関し、より具体的には、絵文字及び仮想アバターを生成、記録、及び送信するための技術に関する。
（関連出願の相互参照）
この出願は、以下の優先権を主張する：２０１７年５月１６日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国仮特許出願第６２／５０７，１７７号；２０１７年９月９日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国仮特許出願第６２／５５６，４１２号；２０１７年９月１１日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国仮特許出願第６２／５５７，１２１号；２０１８年５月１５日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国仮特許出願第６２／６７１，９７９号；２０１８年１月１２日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国特許出願第１５／８７０，１９５号；２０１８年３月２９日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国特許出願第１５／９４０，０１７号；２０１８年３月２９日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国特許出願第１５／９４０，２３２号；２０１７年５月２９日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称のデンマーク特許出願第ＰＡ２０１７７０３９３号；２０１７年９月２２日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称のデンマーク特許出願第ＰＡ２０１７７０７２０号；及び２０１７年９月２２日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称のデンマーク特許出願第ＰＡ２０１７７０７２１号。これらの出願の内容は、全体が、参照により本明細書に組み込まれる。
この出願は、以下の優先権を主張する：２０１７年５月１６日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国仮特許出願第６２／５０７，１７７号；２０１７年９月９日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国仮特許出願第６２／５５６，４１２号；２０１７年９月１１日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国仮特許出願第６２／５５７，１２１号；２０１８年５月１５日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国仮特許出願第６２／６７１，９７９号；２０１８年１月１２日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国特許出願第１５／８７０，１９５号；２０１８年３月２９日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国特許出願第１５／９４０，０１７号；２０１８年３月２９日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称の米国特許出願第１５／９４０，２３２号；２０１７年５月２９日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称のデンマーク特許出願第ＰＡ２０１７７０３９３号；２０１７年９月２２日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称のデンマーク特許出願第ＰＡ２０１７７０７２０号；及び２０１７年９月２２日に出願された「Ｅｍｏｊｉ Ｒｅｃｏｒｄｉｎｇ ａｎｄ Ｓｅｎｄｉｎｇ」という名称のデンマーク特許出願第ＰＡ２０１７７０７２１号。これらの出願の内容は、全体が、参照により本明細書に組み込まれる。
絵文字や仮想アバターなどのマルチメディアコンテンツは、メッセージング通信の一部として送信される場合がある。絵文字及び仮想アバターは、様々な所定の人物、対象、アクション、及び／又は他のものを表す。一部のメッセージングアプリケーションは、ユーザが他のコンテンツ（例えば、他のマルチメディア及び／又はテキストコンテンツ）を含むことができるメッセージの一部として送信される絵文字及び仮想アバターの所定のライブラリから選択することを可能にする。ステッカーは、メッセージングアプリケーションによって送信されることがある他の種類のマルチメディアコンテンツである。いくつかの点で、ステッカーは、人、対象、アクション、及び／又は他のものを表すことができるという点で、絵文字や仮想アバターに類似している。一部のステッカー及び／又はメッセージングアプリケーションは、ステッカーを以前に送信又は受信したメッセージに関連付けられることを可能にする。
ただし、電子デバイスを使用して絵文字や仮想アバターを生成、送信、及び受信するためのいくつかの技術は、一般に面倒で非効率的である。例えば、一部の既存の技術では、複数回のキー押下又は打鍵を含む場合がある、複雑かつ時間のかかるユーザインタフェースが使用されている。他のいくつかの既存の技術は、絵文字と仮想アバターを操作及び生成するために複雑で時間のかかる方法を使用し、これは、所望の絵文字（例えば、所望のアニメーション絵文字又は動的絵文字）を実現するためにユーザに多数の入力を要求することを含む場合がある。既存の技術は、必要以上の時間を要し、ユーザの時間及びデバイスのエネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
したがって、本技術は、絵文字及び仮想アバターを送受信するためのより高速でより効率的な方法及びインタフェースを有する電子デバイスを提供する。そのような方法及びインタフェースは、任意選択的に絵文字を送受信する他の方法を補完する又は置き換える。そのような方法及びインタフェースは、ユーザにかかる認識的負担を低減させ、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、電池充電の間隔を長くする。
いくつかの実施形態によれば、ディスプレイ及びカメラを備える電子デバイスで実行される方法が記載される。本方法は、仮想アバター生成インタフェースを表示することと、仮想アバター生成インタフェースに仮想アバターのプレビューを表示することであって、仮想アバターのプレビューが、カメラの視野内にある顔の外観の変化に反応する、ことと、仮想アバターのプレビューを表示しながら、仮想アバター生成インタフェースにおける入力を検出することと、仮想アバター生成インタフェースにおける入力の検出に応じて：入力が仮想アバターのプレビューから開始するという判定に従って、それぞれの時間においてカメラの視野内の顔の表情を表す静的仮想アバターを生成することであって、それぞれの時間が入力のタイミングに基づいて判定される、ことと、入力が仮想アバター生成インタフェースにおける記録アフォーダンスのアクティブ化を含むという判定に従って、所定期間にわたってカメラの視野内の顔の表情の変化のシーケンスを表すアニメーション化された仮想アバターを生成することであって、所定期間が入力のタイミングに基づいて判定される、こととを含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、ディスプレイ及びカメラを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムが、仮想アバター生成インタフェースを表示し、仮想アバター生成インタフェースに仮想アバターのプレビューであって、仮想アバターのプレビューが、カメラの視野内にある顔の外観の変化に反応する、仮想アバターのプレビューを表示し、仮想アバターのプレビューを表示しながら、仮想アバター生成インタフェースにおける入力を検出し、仮想アバター生成インタフェースにおける入力の検出に応じて：入力が仮想アバターのプレビューから開始するという判定に従って、それぞれの時間であって、それぞれの時間が入力のタイミングに基づいて判定される、それぞれの時間においてカメラの視野内の顔の表情を表す静的仮想アバターを生成し入力が仮想アバター生成インタフェースにおける記録アフォーダンスのアクティブ化を含むという判定に従って判定に従って、所定期間であって、所定期間が入力のタイミングに基づいて判定される、所定期間にわたってカメラの視野内の顔の表情の変化のシーケンスを表すアニメーション化された仮想アバターを生成する、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、ディスプレイ及びカメラを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムが、仮想アバター生成インタフェースを表示し、仮想アバター生成インタフェースに仮想アバターのプレビューであって、仮想アバターのプレビューが、カメラの視野内にある顔の外観の変化に反応する、仮想アバターのプレビューを表示し、仮想アバターのプレビューを表示しながら、仮想アバター生成インタフェースにおける入力を検出し、仮想アバター生成インタフェースにおける入力の検出に応じて：入力が仮想アバターのプレビューから開始するという判定に従って、それぞれの時間であって、それぞれの時間が入力のタイミングに基づいて判定される、それぞれの時間においてカメラの視野内の顔の表情を表す静的仮想アバターを生成し、入力が仮想アバター生成インタフェースにおける記録アフォーダンスのアクティブ化を含むという判定に従って、所定期間であって、所定期間が入力のタイミングに基づいて判定される、所定期間にわたってカメラの視野内の顔の表情の変化のシーケンスを表すアニメーション化された仮想アバターを生成する、命令を含む。
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、ディスプレイと、カメラと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、１つ以上のプログラムが、仮想アバター生成インタフェースを表示し、仮想アバター生成インタフェースに仮想アバターのプレビューであって、仮想アバターのプレビューが、カメラの視野内にある顔の外観の変化に反応する、仮想アバターのプレビューを表示し、仮想アバターのプレビューを表示しながら、仮想アバター生成インタフェースにおける入力を検出し、仮想アバター生成インタフェースにおける入力の検出に応じて：入力が仮想アバターのプレビューから開始するという判定に従って、それぞれの時間であて、それぞれの時間が入力のタイミングに基づいて判定される、それぞれの時間においてカメラの視野内の顔の表情を表す静的仮想アバターを生成し、入力が仮想アバター生成インタフェースにおける記録アフォーダンスのアクティブ化を含むという判定に従って、所定期間であって、所定期間が入力のタイミングに基づいて判定される、所定期間にわたってカメラの視野内の顔の表情の変化のシーケンスを表すアニメーション化された仮想アバターを生成する、命令を含む。
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、カメラと、仮想アバター生成インタフェースを表示し、仮想アバター生成インタフェースにおいて仮想アバターのプレビューを表示するディスプレイであって、仮想アバターのプレビューが、カメラの視野内にある顔の外観の変化に反応するディスプレイと、仮想アバターのプレビューを表示しながら、仮想アバター生成インタフェースにおける入力を検出する手段と、仮想アバター生成インタフェースにおける入力の検出に応じて：入力が仮想アバターのプレビューから開始するという判定に従って、それぞれの時間においてカメラの視野内の顔の表情を表す静的仮想アバターを生成し、それぞれの時間が入力のタイミングに基づいて判定され、入力が仮想アバター生成インタフェースにおける記録アフォーダンスのアクティブ化を含むという判定に従って、所定期間にわたってカメラの視野内の顔の表情の変化のシーケンスを表すアニメーション化された仮想アバターを生成し、所定期間が入力のタイミングに基づいて判定される手段とを備える。
いくつかの実施形態によれば、ディスプレイ及びカメラを備える電子デバイスで実行される方法が記載される。本方法は、仮想アバター生成インタフェースを表示することと、仮想アバター生成インタフェースにおいて仮想アバターのプレビューを表示することであって、仮想アバターのプレビューが、カメラの視野内にある顔の外観の変化に反応することと、カメラの視野内にある顔の顔面表情の変化に基づいて、アニメーション化された仮想アバターを生成する要求を受信することと、アニメーション化された仮想アバターを生成する要求の受信に応じて、カメラの視野における顔の顔面表情のシーケンスを記録することと、カメラのビューにある顔の顔面表情を記録した後、アニメーション化された仮想アバターの生成する要求に応じて記録された顔面表情のシーケンスに基づくアニメーションシーケンスを含むアニメーション化された仮想アバターのループバージョンを表示することであって、アニメーション化された仮想アバターのループバージョンの表示は、アニメーションシーケンスの２回以上の表示を含むこととを含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、ディスプレイ及びカメラを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムが、仮想アバター生成インタフェースを表示し、仮想アバター生成インタフェースに仮想アバターのプレビューを表示し、仮想アバターがカメラの視野内にある顔の外観の変化に反応する場合にプレビューし、カメラの視野内にある顔の顔面表情の変化に基づいて、アニメーション化された仮想アバターを生成する要求を受信し、アニメーション化された仮想アバターを生成する要求の受信に応じて、カメラの視野における顔の顔面表情のシーケンスを記録し、カメラのビューにある顔の顔面表情を記録した後、アニメーション化された仮想アバターの生成する要求に応じて記録された顔面表情のシーケンスに基づくアニメーションシーケンスを含むアニメーション化された仮想アバターのループバージョンであって、アニメーション化された仮想アバターのループバージョンの表示は、アニメーションシーケンスの２回以上の表示を含む、アニメーション化された仮想アバターのループバージョンを表示する、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が記載される。非一時的コンピュータ可読記憶媒体は、ディスプレイ及びカメラを有する電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムが、仮想アバター生成インタフェースを表示し、仮想アバター生成インタフェースに仮想アバターのプレビューを表示し、仮想アバターがカメラの視野内にある顔の外観の変化に反応する場合にプレビューし、カメラの視野内にある顔の顔面表情の変化に基づいて、アニメーション化された仮想アバターを生成する要求を受信し、アニメーション化された仮想アバターを生成する要求の受信に応じて、カメラの視野における顔の顔面表情のシーケンスを記録し、カメラのビューにある顔の顔面表情を記録した後、アニメーション化された仮想アバターの生成する要求に応じて記録された顔面表情のシーケンスに基づくアニメーションシーケンスを含むアニメーション化された仮想アバターのループバージョンであって、アニメーション化された仮想アバターのループバージョンの表示は、アニメーションシーケンスの２回以上の表示を含む、アニメーション化された仮想アバターのループバージョンを表示する、命令を含む。
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、仮想アバター生成インタフェースを表示することと、仮想アバター生成インタフェースに仮想アバターのプレビューを表示し、仮想アバターがカメラの視野内にある顔の外観の変化に反応する場合にプレビューすることと、カメラの視野内にある顔の顔面表情の変化に基づいて、アニメーション化された仮想アバターを生成する要求を受信することと、アニメーション化された仮想アバターを生成する要求の受信に応じて、カメラの視野における顔の顔面表情のシーケンスを記録することと、カメラのビューにある顔の顔面表情を記録した後、アニメーション化された仮想アバターの生成する要求に応じて記録された顔面表情のシーケンスに基づくアニメーションシーケンスを含むアニメーション化された仮想アバターのループバージョンを表示し、アニメーション化された仮想アバターのループバージョンの表示は、アニメーションシーケンスの２回以上の表示を含むこととを含む。
いくつかの実施形態によれば、電子デバイスが記載される。電子デバイスは、カメラと、仮想アバター生成インタフェースを表示し、仮想アバター生成インタフェースにおいて仮想アバターのプレビューを表示するディスプレイであって、仮想アバターのプレビューが、カメラの視野内にある顔の外観の変化に反応するディスプレイと、カメラの視野内にある顔の顔面表情の変化に基づいて、アニメーション化された仮想アバターを生成する要求を受信する手段と、アニメーション化された仮想アバターを生成する要求の受信に応じて、カメラの視野における顔の顔面表情のシーケンスを記録する手段と、カメラのビューにある顔の顔面表情を記録した後、アニメーション化された仮想アバターの生成する要求に応じて記録された顔面表情のシーケンスに基づくアニメーションシーケンスを含むアニメーション化された仮想アバターのループバージョンを表示する手段であって、アニメーション化された仮想アバターのループバージョンの表示が、アニメーションシーケンスの２回以上の表示を含む手段とを備える。
いくつかの実施形態では、方法は、カメラ及びディスプレイを有する電子デバイスにおいて、仮想アバター生成インタフェースを表示することと、仮想アバター生成インタフェースに仮想アバターのプレビューを表示することであって、仮想アバターのプレビューが、カメラの視野内にある顔の外観の変化に反応する、ことと、仮想アバターのプレビューを表示しながら、仮想アバター生成インタフェースにおける入力を検出することと、仮想アバター生成インタフェースにおける入力の検出に応じて：入力が仮想アバターのプレビューから開始するという判定に従って、それぞれの時間においてカメラの視野内の顔の表情を表す静的仮想アバターを生成することであって、それぞれの時間が入力のタイミングに基づいて判定される、ことと、入力が仮想アバター生成インタフェースにおける記録アフォーダンスのアクティブ化を含むという判定に従って、所定期間にわたってカメラの視野内の顔の表情の変化のシーケンスを表すアニメーション化された仮想アバターを生成することであって、所定期間が入力のタイミングに基づいて判定される、こととを含む。
いくつかの実施形態では、本方法は、カメラ及びディスプレイを有する電子デバイスにおいて、仮想アバター生成インタフェースを表示することと、仮想アバター生成インタフェースに仮想アバターのプレビューを表示することであって、仮想アバターがカメラの視野内にある顔の外観の変化に反応する場合にプレビューする、ことと、カメラの視野内にある顔の顔面表情の変化に基づいて、アニメーション化された仮想アバターを生成する要求を受信することと、アニメーション化された仮想アバターを生成する要求の受信に応じて、カメラの視野における顔の顔面表情のシーケンスを記録することと、カメラのビューにある顔の顔面表情を記録した後、アニメーション化された仮想アバターの生成する要求に応じて記録された顔面表情のシーケンスに基づくアニメーションシーケンスを含むアニメーション化された仮想アバターのループバージョンを表示することであって、アニメーション化された仮想アバターのループバージョンの表示は、アニメーションシーケンスの２回以上の表示を含む、こととを含む。
いくつかの実施形態では、本方法は、１つ以上のカメラ及びディスプレイ装置を有する電子デバイスにおいて、ディスプレイ装置を介して、１つ以上のカメラの視野内の顔の変化に応じて外観を変化させる仮想アバターを表示することであって、仮想アバターが、第１の部分と、第１の部分とは異なる第２の部分とを含む、ことと、ディスプレイ装置を介して、仮想アバターを表示しながら、１つ以上のカメラの視野内での顔のポーズの変化を検出することと、顔のポーズの変化の検出に応じて、顔のポーズの変化が顔のポーズの第１のタイプの変化を含むという判定に従って、仮想アバターの外観を変化させることであって、仮想アバターの外観を変化させることが、顔のポーズの第１のタイプの変化の大きさに応じて仮想アバターの第２の部分に対する仮想アバターの第１の部分を移動させることを含むことと、顔のポーズの変化が顔のポーズの第２のタイプの変化を含むという判定に従って、仮想アバターの外観を変化させることが、顔のポーズの第２のタイプの変化の大きさに基づいて、仮想アバターの第１の部分及び仮想アバターの第２の部分の両方を移動させることと、を含む、ことと、を含む。
いくつかの実施形態では、本方法は、１つ以上のカメラ及びディスプレイ装置を有する電子デバイスにおいて、ディスプレイ装置を介して、仮想アバターを表示することであって、仮想アバターが、１つ以上のカメラの視野内の顔の第１の物理的特徴及び１つ以上のカメラの視野内の顔の第２の物理的特徴の変化に反応する第１のアバター特徴と、第２のアバター特徴とを含むことと、ディスプレイ装置を介して、仮想アバターを表示しながら、１つ以上のカメラの視野内で顔の１つ以上の物理的特徴の変化を検出することと、変化が第１の物理的特徴の変化を含むという判定に従って、第１の物理的特徴の変化に基づいて仮想アバターの第１のアバター特徴を変更することと、第１の物理的特徴の変化に基づいて第２のアバター特徴を変更することを取り止めることと、変化が第２の物理的特徴の変化を含むという判定に従って、第２の物理的特徴の変化に基づいて第１のアバター特徴を変更することと、第２の物理的特徴の変化に基づいて第２のアバター特徴を変更することを取り止めることとを含む。
いくつかの実施形態では、本方法は、１つ以上のカメラ及びディスプレイ装置を有する電子デバイスにおいて、ディスプレイ装置を介して、仮想アバターを表示することであって、仮想アバターが、１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴と、第１の物理的特徴の変化に反応する第２のアバター特徴と、第１の物理的特徴の変化に主に反応しない第３のアバター特徴とを含む、ことと、仮想アバターを表示しながら、第１の物理的特徴の変化を検出することと、第１の物理的特徴の変化の検出に応じて、第１の物理的特徴の検出された変化に基づいて第１のアバター特徴を変更することと、第１の物理的特徴の検出された変化に基づいて第２のアバター特徴を変更することと、第１の物理的特徴の検出された変化に基づいて第３のアバター特徴の変更を取り止めることと、を含む。
いくつかの実施形態では、本方法は、１つ以上のカメラ及びディスプレイ装置を有する電子デバイスにおいて、ディスプレイ装置を介して、仮想アバターを表示することであって、仮想アバターが、１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴と、顔の第２の物理的特徴の変化が、第２の物理的特徴の第１の変化の範囲で起こるか、顔の第２の物理的特徴の第１の変化の範囲とは異なる第２の物理的特徴の第２の変化の範囲で起こるかに依存して、顔の第２の物理的特徴の変化に対して異なる方法で反応する第２のアバター特徴とを含む、ことと、仮想アバターを表示しながら、１つ以上のカメラの視野内で顔のそれぞれの物理的特徴の第１の変化を検出することと、それぞれの物理的特徴の第１の変化の検出に応じて、それぞれの物理的特徴の検出された第１の変化が第１の物理的特徴の変化であるという判定に従って、第１の物理的特徴の変化を反映するように第１のアバター特徴を変更することと、検出された第１の変化が第２の物理的特徴の変化でありかつ第２の物理的特徴の変化が第１の変化の範囲内であるという判定に従って、第２の物理的特徴の変化を反映するように第２のアバター特徴の外観を第１の方法で変化させることとを含む仮想アバターを変更することと、検出された第１の変化が第２の物理的特徴の変化であり、第２の物理的特徴の変化が第２の変化の範囲内であるという判定に従って、第２のアバター特徴の外観を第１の方法で変化させて第２の物理的特徴の変化を反映することを取り止めることとを含む。
いくつかの実施形態では、本方法は、１つ以上のカメラ及びディスプレイ装置を有する電子デバイスにおいて、ディスプレイ装置を介して、仮想アバターを表示することであって、仮想アバターが、１つ以上のカメラの視野内の顔の１つ以上の物理的特徴の変化に反応する複数のアバター特徴を含む、ことと、仮想アバターを表示しながら、顔の複数の物理的特徴の変化を検出することであって、顔の複数の物理的特徴が、複数のアバター特徴の１つ以上に対応する第１の物理的特徴と、複数のアバター特徴のいずれにも対応しない第２の物理的特徴とを含む、ことと、顔の複数の物理的特徴の変化の検出に応じて、複数のアバター特徴のそれぞれのアバター特徴の外観を変化させることであって、それぞれのアバター特徴の変化の大きさ及び／又は方向が、第１の物理的特徴の変化の大きさ又は方向に基づく、ことと、顔の１つ以上の物理的特徴の変化を検出する前に、アバター特徴を含まなかった仮想アバターの一部を変形することであって、アバター特徴の一部を変形する大きさ及び／又は方向が、第２の物理的特徴の変化の大きさ及び／又は方向に基づく、こととを含む。
いくつかの実施形態では、本方法は、１つ以上のカメラ及びディスプレイ装置を有する電子デバイスにおいて、ディスプレイ装置を介して、仮想アバターを表示することであって、仮想アバターが、１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴と、仮想アバターを表示しながら、第１の物理的特徴の変化の大きさを有する第１の物理的特徴の変化を検出することと、第１の物理的特徴の変化の検出に応じて、第１の物理的特徴の変化が物理的特徴値の第１の範囲内にあるという判定に従って、第１の物理的特徴の変化の大きさに基づく第１のアバター特徴の変化の大きさだけ第１のアバター特徴を変化させることと、第１の物理的特徴の変化が物理的特徴値の第１の範囲とは異なる物理的特徴値の第２の範囲内にあるという判定に従って、第１のアバター特徴の変化の大きさとは異なりかつ第１の物理的特徴の変化の大きさに基づく第２のアバター特徴の変化の大きさだけ第１のアバター特徴を変化させることとを含む。
いくつかの実施形態では、本方法は、１つ以上のカメラ及びディスプレイ装置を有する電子デバイスにおいて、ディスプレイ装置を介して、仮想アバターを表示することであって、仮想アバターが基準フレーム内にそれぞれの空間位置を有し、それぞれの空間位置が、１つ以上のカメラの視野内の顔の位置に基づいている、ことと、仮想アバターを表示しながら、１つ以上のカメラの視野内の顔の位置の変化をそれぞれの量だけ検出することと、１つ以上のカメラの視野内での顔の位置の変化の検出に応じて、顔の位置の変化が第１の方向の変化の第１の成分を含むという判定に従って、変化の第１の成分の大きさ及び第１の変更係数に基づく基準フレーム内の仮想アバターの空間位置を変更することと、位置の変化が第１の方向とは異なる第２の方向の第２の変化の成分を含むという判定に従って、第２の変化の成分の大きさ及び第１の変更係数とは異なる第２の変更係数に基づいて基準フレーム内の仮想アバターの空間位置を変更することとを含む。
いくつかの実施形態では、本方法は、１つ以上のカメラ及びディスプレイ装置を有する電子デバイスにおいて、ディスプレイ装置を介して、仮想アバターを表示することであって、仮想アバターが、１つ以上のカメラの視野内での顔の１つ以上の物理的特徴の変化に反応することを含む、ことと、仮想アバターを表示しながら、顔の１つ以上の物理的特徴の第１の構成を検出することと、顔の１つ以上の物理的特徴の第１の構成を検出しながら、１つ以上の物理的特徴の第１の構成がアニメーション基準を満たしているという判定に従って、アニメーション基準が満たされるために少なくとも第１の閾値時間だけ第１の構成が維持されるという要件をアニメーション基準が含むことと、仮想アバターを変更して第１のアニメーション効果を含めることと、アニメーション基準を満たさない１つ以上の物理的特徴の第１の構成に従って、第１のアニメーション効果を含めるように仮想アバターの変更を取り止めることとを含む。
方法が説明される。本方法は、ディスプレイ装置及び１つ以上の入力デバイスを有する電子デバイスにおいて実行される。本方法は、ディスプレイ装置を介して、１つ以上のカメラの視野内の顔のポーズの検出された変化に応じて外観を変化させる複数のアバター特徴を有する仮想アバターを表示することであって、顔が、第１の顔の特徴を含む複数の検出された顔の特徴を含む、ことと、ポーズの第１の変化であって、ポーズの第１の変化が第１の顔の特徴の変化を含む、ポーズの第１の変化を伴う１つ以上のカメラの視野で顔が検出された後、１つ以上のカメラの視野内での顔の追跡が失敗したことを判定することと、１つ以上のカメラの視野内での顔の追跡が失敗したと判定したことに応じて、顔の追跡が失敗した後に複数のアバター特徴の第１のアバター特徴の外観を更新することとを含み、顔の追跡が失敗したと判定する前に検出された第１の顔の特徴の変化特性に基づいて、第１のアバター特徴が更新され、第１のアバター特徴の外観を更新することが、第１の顔の特徴が顔の追跡が失敗したことを検出する前の第１の変化特性を有したという判定に従って、仮想アバターの第１のアバター特徴の外観を、顔の追跡が失敗したときのアバターの外観とは異なる第１の外観に更新することと、第１の顔の特徴が顔の追跡が失敗したことを検出する前の第１の変化特性とは異なる第２の変化特性を有したという判定に従って、仮想アバターの第１のアバター特徴の外観を、顔の追跡が失敗したときのアバターの外観とは異なりかつ第１の外観とは異なる第２の外観に更新することとを含む。
非一時的コンピュータ可読記憶媒体が説明される。非一時的コンピュータ可読記憶媒体は、ディスプレイ装置及び１つ以上のカメラを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ディスプレイ装置を介して、１つ以上のカメラの視野内の顔であって、顔が、第１の顔の特徴を含む複数の検出された顔の特徴を含む、顔のポーズの検出された変化に応じて外観を変化させる複数のアバター特徴を有する仮想アバターを表示し、ポーズであって、ポーズの第１の変化が第１の顔の特徴の変化を含む、ポーズの第１の変化を伴う１つ以上のカメラの視野で顔が検出された後、１つ以上のカメラの視野内での顔の追跡が失敗したことを判定し、１つ以上のカメラの視野内での顔の追跡が失敗したと判定したことに応じて、顔の追跡が失敗した後に複数のアバター特徴の第１のアバター特徴の外観を更新する命令を含み、顔の追跡が失敗したと判定する前に検出された第１の顔の特徴の変化特性に基づいて、第１のアバター特徴が更新され、第１のアバター特徴の外観を更新することが、第１の顔の特徴が顔の追跡が失敗したことを検出する前の第１の変化特性を有したという判定に従って、仮想アバターの第１のアバター特徴の外観を、顔の追跡が失敗したときのアバターの外観とは異なる第１の外観に更新することと、第１の顔の特徴が顔の追跡が失敗したことを検出する前の第１の変化特性とは異なる第２の変化特性を有したという判定に従って、仮想アバターの第１のアバター特徴の外観を、顔の追跡が失敗したときのアバターの外観とは異なりかつ第１の外観とは異なる第２の外観に更新することとを含む。
一時的コンピュータ可読記憶媒体が説明される。一時的コンピュータ可読記憶媒体は、ディスプレイ装置及び１つ以上のカメラを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ディスプレイ装置を介して、１つ以上のカメラの視野内の顔であって、顔が、第１の顔の特徴を含む複数の検出された顔の特徴を含み、顔のポーズの検出された変化に応じて外観を変化させる複数のアバター特徴を有する仮想アバターを表示し、ポーズであって、ポーズの第１の変化が第１の顔の特徴の変化を含む、ポーズの第１の変化を伴う１つ以上のカメラの視野で顔が検出された後、１つ以上のカメラの視野内での顔の追跡が失敗したことを判定し、１つ以上のカメラの視野内での顔の追跡が失敗したと判定したことに応じて、顔の追跡が失敗した後に複数のアバター特徴の第１のアバター特徴の外観を更新する命令を含み、顔の追跡が失敗したと判定する前に検出された第１の顔の特徴の変化特性に基づいて、第１のアバター特徴が更新され、第１のアバター特徴の外観を更新することが、第１の顔の特徴が顔の追跡が失敗したことを検出する前の第１の変化特性を有したという判定に従って、仮想アバターの第１のアバター特徴の外観を、顔の追跡が失敗したときのアバターの外観とは異なる第１の外観に更新することと、第１の顔の特徴が顔の追跡が失敗したことを検出する前の第１の変化特性とは異なる第２の変化特性を有したという判定に従って、仮想アバターの第１のアバター特徴の外観を、顔の追跡が失敗したときのアバターの外観とは異なりかつ第１の外観とは異なる第２の外観に更新することとを含む。
電子デバイスが説明される。この電子デバイスは、表示装置と、１つ以上のカメラと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を備え、これらの１つ以上のプログラムが、ディスプレイ装置を介して、１つ以上のカメラの視野内の顔であって、顔が、第１の顔の特徴を含む複数の検出された顔の特徴を含む、顔のポーズにおいて検出された変化に応じて外観を変化させる、複数のアバター特徴を有する仮想アバターを表示し、ポーズの第１の変化を伴う１つ以上のカメラの視野で顔が検出された後、ポーズの第１の変化が第１の顔の特徴の変化を含み、１つ以上のカメラの視野内での顔の追跡が失敗したことを判定し、１つ以上のカメラの視野内での顔の追跡が失敗したと判定したことに応じて、顔の追跡が失敗した後に複数のアバター特徴の第１のアバター特徴の外観を更新する命令を含み、顔の追跡が失敗したと判定する前に検出された第１の顔の特徴の変化特性に基づいて、第１のアバター特徴が更新され、第１のアバター特徴の外観を更新することが、第１の顔の特徴が顔の追跡が失敗したことを検出する前の第１の変化特性を有したという判定に従って、仮想アバターの第１のアバター特徴の外観を、顔の追跡が失敗したときのアバターの外観とは異なる第１の外観に更新することと、第１の顔の特徴が顔の追跡が失敗したことを検出する前の第１の変化特性とは異なる第２の変化特性を有したという判定に従って、仮想アバターの第１のアバター特徴の外観を、顔の追跡が失敗したときのアバターの外観とは異なりかつ第１の外観とは異なる第２の外観に更新することとを含む。
電子デバイスが説明される。この電子デバイスは、表示装置と、１つ以上のカメラと、ディスプレイ装置を介して、１つ以上のカメラの視野内の顔のポーズの検出された変化に応じて外観を変化させる複数のアバター特徴を有する仮想アバターを表示する手段であって、顔が、第１の顔の特徴を含む複数の検出された顔の特徴を含む、手段と、ポーズの第１の変化を伴う１つ以上のカメラの視野で顔が検出された後、１つ以上のカメラの視野内の顔の追跡が失敗したことを判定する手段であって、ポーズの第１の変化が第１の顔の特徴の変化を含む、手段と、１つ以上のカメラの視野内での顔の追跡が失敗したと判定したことに応じて、顔の追跡が失敗した後に複数のアバター特徴の第１のアバター特徴の外観を更新する手段であって、顔の追跡が失敗したと判定する前に検出された第１の顔の特徴の変化特性に基づいて、第１のアバター特徴が更新され、第１のアバター特徴の外観を更新することが、第１の顔の特徴が顔の追跡が失敗したことを検出する前の第１の変化特性を有したという判定に従って、仮想アバターの第１のアバター特徴の外観を、顔の追跡が失敗したときのアバターの外観とは異なる第１の外観に更新し、第１の顔の特徴が顔の追跡が失敗したことを検出する前の第１の変化特性とは異なる第２の変化特性を有したという判定に従って、仮想アバターの第１のアバター特徴の外観を、顔の追跡が失敗したときのアバターの外観とは異なりかつ第１の外観とは異なる第２の外観に更新する、手段とを備える。
これらの機能を実行する実行可能な命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を実行する実行可能な命令は、任意選択的に、１つ以上のプロセッサによって実行されるように構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
このため、絵文字を生成、送信、及び受信するための、より速く、より効率的な方法及びインタフェースがデバイスに提供され、それによって、このようなデバイスの有効性、効率、及びユーザ満足度が増す。そのような方法及びインタフェースは、絵文字を送受信する他の方法を補完する又は置き換えることができる。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図のすべてを通じて、対応する部分を指す。
以下の説明は、例示的な方法、パラメータなどについて記載する。しかしながら、そのような説明は、本開示の範囲に対する限定として意図されるものではなく、代わりに例示的な実施形態の説明として提供されることを認識されたい。
テキストコンテンツを含む、又はテキストコンテンツの代わりにマルチメディアコンテンツを含むメッセージを送信すると、送信者のメッセージをより適切に伝達できる可能性がある。例えば、仮想アバター（例えば、アニメーション又は静的な絵文字やステッカー）などのマルチメディアコンテンツは、テキスト単独で通信するのが面倒な又は不可能なコンテキスト及び／又はトーン（例えば、「非言語コミュニケーション」と呼ばれるもの）を提供することができる。一部の場合には、所定の仮想アバターを使用して、このコンテキスト及び／又はトーンの一部を提供することができる。しかしながら、所定のコンテンツは、すべての状況をカバーすることができないか、又は微調整されたコンテキスト若しくはトーンを提供することができない。したがって、メッセージの一部として仮想アバターを生成、送信、及び受信するための効率的な方法及びインタフェースを提供する電子デバイスが必要である。そのような技術は、メッセージを送受信するユーザの認識的負担を軽減し、それにより、生産性を向上させることができる。更に、このような技法は、普通なら冗長なユーザ入力に浪費されるプロセッサ及び電池の電力を低減させることができる。
以下、図１Ａ～図１Ｂ、図２、図３、図４Ａ～図４Ｂ、及び図５Ａ～図５Ｂは、仮想アバターを生成、送信、及び受信するための技術を実行するための例示的なデバイスの説明を提供する。図６Ａ～図６ＭＭ及び図７Ａ～図７Ｊは、仮想アバターを受信、生成、変更、及び送信するための例示的なユーザインタフェースを示している。図８Ａ～図８Ｂ及び図９Ａ～図９Ｂは、仮想アバターを受信、生成、変更、及び送信するための例示的な方法を示すフロー図である。図６Ａ～図６ＭＭ及び図７Ａ～図７Ｊのユーザインタフェースは、図８Ａ～図８Ｂ及び図９Ａ～図９Ｂのプロセスを含む後述するプロセスを示すために使用される。図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、図１７Ａ～図１７Ｂ、及び図２６Ａ～図２６Ｈは、いくつかの実施形態による、仮想アバターを生成及び変更するための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図１８Ａ、図１８Ｂ、図１９、図２０、図２１、図２２、図２３、図２４、図２５、及び図２７におけるプロセスを含む、以下で説明するプロセスを例示するために使用される。図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、図１７Ａ～図１７Ｂ、及び図２６Ａ～図２６Ｈのユーザインタフェース、並びに図１８Ａ、図１８Ｂ、図１９、図２０、図２１、図２２、図２３、図２４、図２５、及び図２７のプロセスを使用して、図６Ａ～図６ＭＭ及び図７Ａ～図７Ｊのインタフェース並びに図８Ａ～図８Ｂ及び図９Ａ～図９Ｂのプロセスで使用するための仮想アバターを生成することができる。
以下の説明では、様々な要素について説明するために、「第１の」、「第２の」などの用語を使用するが、これらの要素は、それらの用語によって限定されるべきではない。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、記載する様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと呼ぶこともでき、同様に第２のタッチを第１のタッチと呼ぶこともできる。第１のタッチ及び第２のタッチはどちらもタッチであるが、これらは同じタッチではない。
本明細書に記載する様々な実施形態の説明で使用される術語は、特定の実施形態を説明することのみを目的とし、限定的であることは意図されていない。記載する様々な実施形態の説明及び添付の特許請求の範囲では、単数形の「ａ（１つ、一）」、「ａｎ（１つ、一）」、及び「ｔｈｅ（その、この）」は、文脈上別途明白に記載しない限り、複数形も同様に含むことが意図される。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及びすべての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用する場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことが更に理解されるであろう。
「～の場合（if）」という用語は、任意選択的に、文脈に応じて、「～とき（when）」若しくは「～とき（upon）」、又は「～と判定したことに応じて（in response to determining）」若しくは「～を検出したことに応じて（in response to detecting）」を意味すると解釈される。同様に、「～と判定された場合（if it is determined）」又は「［記載の状態又はイベント］が検出された場合（if [a stated condition or event] is detected）」という語句は、任意選択的に、文脈に応じて、「～と判定したとき（upon determining）」若しくは「～と判定したことに応じて（in response to determining）」、又は「［記載の状態又はイベント］を検出したとき（upon detecting [the stated condition or event]）」若しくは「［記載の状態又はイベント］を検出したことに応じて（in response to detecting [the stated condition or event]）」を意味すると解釈される。
電子デバイス、そのようなデバイス用のユーザインタフェース、及びそのようなデバイスを使用する関連するプロセスの実施形態が説明される。いくつかの実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、携帯電話などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）のデバイスが挙げられるが、これらに限定されない。任意選択的に、タッチ感知面を有するラップトップ又はタブレットコンピュータ（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）などの他のポータブル電子デバイスも使用される。また、いくつかの実施形態では、デバイスはポータブル通信デバイスではなく、タッチ感知面を有するデスクトップコンピュータ（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）であることも理解されたい。
以下の論考では、ディスプレイ及びタッチ感知面を含む電子デバイスについて説明する。しかしながら、電子デバイスは、任意選択的に、物理キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理ユーザインタフェースデバイスを含むことを理解されたい。
このデバイスは、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの任意の１つ以上などの、様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理ユーザインタフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調節及び／又は変更される。このように、デバイスの共通の物理アーキテクチャ（タッチ感知面など）は、任意選択的に、ユーザにとって直観的かつ分かり易いユーザインタフェースを備える様々なアプリケーションをサポートする。
ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、いくつかの実施形態によるタッチ感知ディスプレイシステム１１２を有するポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれることがあり、「タッチ感知ディスプレイシステム」として知られている又は呼ばれることがある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力コントロールデバイス１１６、及び外部ポート１２４を含む。デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。デバイス１００は、任意選択的に、デバイス１００上の接触の強度を検出する１つ以上の接触強度センサ１６５（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）を含む。デバイス１００は、任意選択的に、デバイス１００上で触知出力を生成する（例えばデバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上で触知出力を生成する）１つ以上の触知出力生成器１６７を含む。これらの構成要素は、任意選択的に、１つ以上の通信バス又は信号ライン１０３を介して通信する。
本明細書及び特許請求の範囲では、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指の接触）の力若しくは圧力（単位面積当たりの力）、又はタッチ感知面上の接触の力若しくは圧力に対する代理（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、数百の（例えば、少なくとも２５６の）別個の値を含む、値の範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組合せを使用して、特定（又は測定）される。例えば、タッチ感知面の下又はそれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々なポイントにおける力を測定するために使用される。いくつかの実装形態では、複数の力センサからの力測定値は、接触の推定される力を判定するために組み合わされる（例えば、加重平均）。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を特定するために使用される。あるいは、タッチ感知面上で検出される接触エリアのサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化は、任意選択的に、タッチ感知面上の接触の力又は圧力の代替物として使用される。いくつかの実装形態では、接触の力又は圧力のための代替測定値は、強度閾値を超えているかどうかを判定するために直接使用される（例えば、強度閾値は、代替測定値に対応する単位で記述される）。いくつかの実装形態では、接触力又は圧力に対する代理測定は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超過したかどうかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定される圧力閾値である）。接触の強度をユーザ入力の属性として使用することにより、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するための、及び／又は、ユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又は、ノブ若しくはボタンなどの物理的／機械的制御部を介して）受信するための面積が制限されている、低減されたサイズのデバイス上で、通常であればユーザによってアクセスすることが不可能であり得る追加のデバイス機能への、ユーザのアクセスが可能となる。
本明細書及び特許請求の範囲で使用されるように、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するそのデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、そのデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又は、デバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況では、物理的変位によって生成された触知出力は、そのデバイス又はデバイスの構成要素の物理的特性の認識される変化に相当する触感として、ユーザによって解釈されることになる。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として、任意選択的に解釈される。いくつかの場合、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じる。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、任意選択的に、示されているものよりも多くの構成要素又は少ない構成要素を有するものであり、任意選択的に、２つ以上の構成要素を組合せるものであり、又は、任意選択的に、それらの構成要素の異なる構成若しくは配置を有するものであることを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの両方の組合せで実施される。
メモリ１０２は、任意選択的に、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリを含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。
周辺機器インタフェース１１８は、デバイスの入力及び出力周辺機器をＣＰＵ１２０及びメモリ１０２に結合するために使用することができる。１つ以上のプロセッサ１２０は、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行して、デバイス１００のための様々な機能を実行し、データを処理する。いくつかの実施形態では、周辺機器インタフェース１１８、ＣＰＵ１２０、及びメモリコントローラ１２２は、任意選択的に、チップ１０４などの単一のチップ上で実施される。いくつかの他の実施形態では、それらは別々のチップ上に任意選択的に実装される。
ＲＦ（radio frequency）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、任意選択的に、これらの機能を実行するための周知の回路を含み、それらの回路としては、限定するものではないが、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリなどが挙げられる。ＲＦ回路１０８は、任意選択的に、ワールドワイドウェブ（World Wide Web、ＷＷＷ）とも呼ばれるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（local area network、ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（metropolitan area network、ＭＡＮ）などの無線ネットワークなどのネットワークと、また他のデバイスと、無線通信によって通信する。ＲＦ回路１０８は、任意選択的に、短距離通信無線機などによって近距離通信（near field communication、ＮＦＣ）フィールドを検出するよく知られている回路を含む。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム（ＧＳＭ（登録商標））、拡張データＧＳＭ環境（ＥＤＧＥ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ）、エボリューション、Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（ＬＴＥ）、近距離無線通信（ＮＦＣ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（登録商標）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／又はＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（ＩＭＡＰ）及び／又はポストオフィスプロトコル（ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（ＸＭＰＰ）、インスタントメッセージング及びプレゼンレバレッジ拡張のためのセッション開始プロトコル（ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（ＩＭＰＳ））、及び／又はショートメッセージサービス（ＳＭＳ）、又は本文書の出願日現在までにまだ開発されていない通信プロトコルを含む任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に伝送する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。また、オーディオ回路１１０は、マイクロフォン１１３によって音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に伝送する。オーディオデータは、任意選択的に、周辺機器インタフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、かつ／又はメモリ１０２及び／若しくはＲＦ回路１０８に伝送される。いくつかの実施形態では、オーディオ回路１１０はまた、ヘッドセットジャック（例えば、図２の２１２）を含む。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば片耳又は両耳用のヘッドホン）及び入力（例えばマイクロフォン）の両方を有するヘッドセットなどの着脱可能なオーディオ入出力周辺機器との間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチスクリーン１１２及び他の入力コントロールデバイス１１６などのデバイス１００上の入出力周辺機器を、周辺機器インタフェース１１８に結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、深度カメラコントローラ１６９、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び、他の入力デバイス若しくは制御デバイス用の１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、他の入力コントロールデバイス１１６からの電気信号の受信／他の入力コントロールデバイス１１６への電気信号の送信を行う。他の入力コントロールデバイス１１６は、任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替実施形態では、入力コントローラ１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又はいずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、任意選択的に、スピーカ１１１及び／又はマイクロフォン１１３の音量コントロールのための上下ボタンを含む。１つ以上のボタンは、任意選択的に、プッシュボタン（例えば、図２の２０６）を含む。
全体として参照により本明細書に組み込まれている、２００５年１２月２３日出願の米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」、米国特許第７，６５７，８４９号に記載されているように、プッシュボタンの素早い押下は、任意選択的に、タッチスクリーン１１２のロックを係合解除し、又は任意選択的に、タッチスクリーン上のジェスチャを使用してデバイスをアンロックするプロセスを開始する。プッシュボタン（例えば、２０６）のより長い押下は、任意選択的に、デバイス１００への電力をオン又はオフにする。ボタンのうちの１つ以上の機能性は、任意選択的に、ユーザによってカスタマイズ可能である。タッチスクリーン１１２は、仮想又はソフトボタン及び１つ以上のソフトキーボードを実施するために使用される。
タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチスクリーン１１２からの電気信号の受信及び／又はタッチスクリーン１１２への電気信号の送信を行う。タッチスクリーン１１２は、ユーザに対して視覚出力を表示する。この視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びそれらの任意の組合せ（総称して「グラフィック」）を任意選択的に含む。いくつかの実施形態では、視覚出力の一部又はすべては、任意選択的に、ユーザインタフェースオブジェクトに対応する。
タッチスクリーン１１２は、触覚及び／又は触知接触に基づいてユーザからの入力を受信するタッチ感知面、センサ、又は１組のセンサを有する。タッチスクリーン１１２及びディスプレイコントローラ１５６は（あらゆる関連モジュール及び／又はメモリ１０２内の命令セットとともに）、タッチスクリーン１１２上の接触（及び接触のあらゆる動き又は中断）を検出し、検出した接触を、タッチスクリーン１１２上に表示されるユーザインタフェースオブジェクトとの対話（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。
タッチスクリーン１１２は、任意選択的に、ＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術、又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術も使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、任意選択的に、それだけに限定されるものではないが、容量性、抵抗性、赤外線、及び表面音波の技術、並びにタッチスクリーン１１２との１つ以上の接触点を判定する他の近接センサアレイ又は他の要素を含む、現在知られている又は今後開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びそのあらゆる動き又は中断を検出する。例示的な実施形態では、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）に見られるものなどの、投影型相互静電容量感知技術が使用される。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、任意選択的に、それぞれ全体として参照により本明細書に組み込まれている、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／若しくは第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／又は米国特許公報第２００２／００１５０２４Ａ１号という米国特許に記載されているマルチタッチ感知タッチパッドに類似している。しかしながら、タッチスクリーン１１２はデバイス１００からの視覚出力を表示するのに対して、タッチ感知タッチパッドは視覚出力を提供しない。
タッチスクリーン１１２のいくつかの実施形態におけるタッチ感知ディスプレイは、（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の米国特許出願第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の米国特許出願第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の米国特許出願第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の米国特許出願第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の米国特許出願第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の米国特許出願第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の米国特許出願第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の米国特許出願第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」という出願に記載されている。これらの出願はすべて、全体として参照により本明細書に組み込まれている。
タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。いくつかの実施形態では、タッチスクリーンは、約１６０ｄｐｉのビデオ解像度を有する。ユーザは、任意選択的に、スタイラス、指などの任意の適した物体又は付属物を使用して、タッチスクリーン１１２に接触する。いくつかの実施形態では、ユーザインタフェースは、指ベースの接触及びジェスチャを主に扱うように設計されるが、これは、タッチスクリーン上の指の接触面積がより大きいため、スタイラスベースの入力ほど精密でない可能性がある。いくつかの実施形態では、デバイスは、指に基づく粗い入力を、ユーザによって所望されているアクションを実行するための、正確なポインタ／カーソルの位置又はコマンドに変換する。
いくつかの実施形態では、タッチスクリーンに加えて、デバイス１００は、任意選択的に、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを含む。いくつかの実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、装置のタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２又はタッチスクリーンによって形成されるタッチ感知面の拡張部とは別個のタッチ感知面である。
デバイス１００は、また、様々なコンポーネントに電力を供給する電力システム１６２を含む。電力システム１６２は、任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
また、デバイス１００は、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、任意選択的に、電荷結合デバイス（charge-coupled device、ＣＣＤ）又は相補的金属酸化膜半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）フォトトランジスタを含む。光センサ１６４は、１つ以上のレンズを通って投影された環境からの光を受信し、その光を、画像を表すデータに変換する。光センサ１６４は、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連動して、任意選択的に、静止画像又はビデオをキャプチャする。いくつかの実施形態では、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対に、デバイス１００の裏面に位置し、したがってタッチスクリーンディスプレイは、静止画像及び／又はビデオ画像の取得のためのビューファインダとして使用することが有効である。いくつかの実施形態では、光センサは、デバイスの前面には位置し、したがってユーザの画像が、任意選択的に、テレビ会議のために入手され、ユーザは、他のテレビ会議参加者をタッチスクリーンディスプレイ上で見る。いくつかの実施形態では、光センサ１６４の位置は、ユーザによって（例えば、デバイスハウジング内でレンズ及びセンサを回転させることによって）変更することができ、したがって単一の光センサ１６４が、タッチスクリーンディスプレイとともに、テレビ会議にも静止画像及び／又はビデオ画像の取得にも使用される。
デバイス１００はまた、任意選択的に、１つ以上の深度カメラセンサ１７５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の深度カメラコントローラ１６９に結合された深度カメラセンサを示す。深度カメラセンサ１７５は、環境からデータを受信して、視点（例えば、深度カメラセンサ）からのシーン内の対象物（例えば、顔面）の３次元モデルを作成する。いくつかの実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれるもの）と連携して、深度カメラセンサ１７５は、任意選択的に、撮像モジュール１４３によってキャプチャされた画像の種々の部分の深度マップを決定するために使用される。いくつかの実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ている間に、深度情報を有するユーザの画像が、任意選択的に、テレビ会議のために取得されるように、及び、深度マップデータを有する自撮り画像をキャプチャするように、デバイス１００の前面に深度カメラセンサが配置されている。いくつかの実施形態では、深度カメラセンサ１７５は、デバイスの背面に、あるいはデバイス１００の背面及び前面に配置されている。いくつかの実施形態では、深度カメラセンサ１７５の位置は、ユーザによって（例えば、機器筐体内のレンズ及びセンサを回転させることによって）変更することができ、それにより、深度カメラセンサ１７５は、タッチスクリーンディスプレイとともに、テレビ会議並びに静止画像及び／又はビデオ画像の取得の双方のために使用される。
一部の実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ、光センサ、深度カメラセンサ）からのシーン内の対象物の距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが位置している、その視点のＺ軸における位置を定義するものである。一部の実施形態では、深度マップはピクセルで構成されており、各ピクセルは、値（例えば、０～２５５）によって定義される。例えば、値「０」は、「３次元」シーン内で最も遠い場所に位置しているピクセルを表し、値「２５５」は、その「３次元」シーン内で視点（例えば、カメラ、光センサ、深度カメラセンサ）の最も近くに位置しているピクセルを表す。他の実施形態では、深度マップは、シーン内の対象物と視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラから見た、関心対象物の様々な特徴部の相対深度（例えば、ユーザの顔面の目、鼻、口、耳の相対深度）に関する情報を含む。一部の実施形態では、深度マップは、ｚ方向での関心対象物の輪郭をデバイスが決定することを可能にする、情報を含む。
また、デバイス１００は、任意選択的に、１つ以上の接触強度センサ１６５を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された、接触強度センサを示す。接触強度センサ１６５は、任意選択的に、１つ以上のピエゾ抵抗歪みゲージ、容量性力センサ、電気力センサ、圧電力センサ、光学力センサ、容量性タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（若しくは圧力）を測定するために使用されるセンサ）を含む。接触強度センサ１６５は、接触強度情報（例えば、圧力情報又は圧力情報に対するプロキシ）を環境から受信する。いくつかの実施形態では、少なくとも１つの接触強度センサは、タッチ感知面（例えばタッチ感知ディスプレイシステム１１２）と並置される、又はそれに近接している。いくつかの実施形態では、少なくとも１つの接触強度センサは、デバイス１００の前面に位置するタッチスクリーンディスプレイ１１２とは反対に、デバイス１００の裏面に位置する。
また、デバイス１００は、任意選択的に、１つ以上の近接センサ１６６を含む。図１Ａは、周辺機器インタフェース１１８と結合された近接センサ１６６を示す。代わりに、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、任意選択的に、全体として参照により本明細書に組み込まれている、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように機能するものであり、これらの出願は、全体が参照により本明細書に組み込まれる。いくつかの実施形態では、近接センサは、多機能デバイスがユーザの耳付近に配置されたとき（例えば、ユーザが電話をかけているとき）、タッチスクリーン１１２をオフにして無効化する。
また、デバイス１００は、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された、触知出力生成器を示す。触知出力生成器１６７は、任意選択的に、スピーカ若しくは他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などのエネルギを直線の動きに変換する電気機械デバイスを含む。接触強度センサ１６５は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザが感知することが可能な触知出力をデバイス１００上に生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。いくつかの実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面に位置するタッチスクリーンディスプレイ１１２とは反対に、デバイス１００の裏面に位置する。
また、デバイス１００は、任意選択的に、１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インタフェース１１８に結合された加速度計１６８を示す。代わりに、加速度計１６８は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。加速度計１６８は、任意選択的に、どちらも全体として参照により本明細書に組み込まれている、米国特許公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び米国特許公開第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」に記載されているように機能する。いくつかの実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、ポートレートビュー又はランドスケープビューでタッチスクリーンディスプレイ上に表示される。デバイス１００は、加速度計（単数又は複数）１６８に加えて、磁気計並びにデバイス１００の位置及び向き（例えば、縦方向又は横方向）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信機を任意選択的に含む。
いくつかの実施形態では、メモリ１０２内に記憶されているソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、図１Ａ及び図３に示すように、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、現在アクティブ状態のアプリケーションがある場合に、どのアプリケーションがアクティブであるかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占有しているかを示すディスプレイ状態、デバイスの様々なセンサ及び入力コントロールデバイス１１６から入手した情報を含むセンサ状態、並びにデバイスの場所及び／又は姿勢に関する場所情報のうちの１つ以上を含む。
オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込み型オペレーティングシステム）は、通常のシステムタスク（例えば、メモリ管理、記憶デバイスの制御、電力管理など）を制御及び管理する様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェアとソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えばユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えばインターネット、無線ＬＡＮなど）を介して間接的に、他のデバイスに連結するように適合されている。いくつかの実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じ若しくは類似であり、かつ／又はそれに適合しているマルチピン（例えば、３０ピン）コネクタである。
接触／動きモジュール１３０は、任意選択的に、タッチスクリーン１１２（ディスプレイコントローラ１５６と連動して）及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が生じたかを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替物）を判定すること、接触の移動が存在するかを判定し、タッチ感知面を横断する移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が停止したかを判定すること（例えば、指を上げるイベント又は接触の中断を検出すること）などの、接触の検出に関する様々な動作を実行する、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データによって表される、接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。いくつかの実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。
いくつかの実施形態では、接触／動きモジュール１３０は、１つ以上の強度閾値のセットを使用して、ユーザによって操作が実行されたかどうかを判定する（例えば、ユーザがアイコン上で「クリック」したかどうかを判定する）。いくつかの実施形態では、強度閾値の少なくとも１つのサブセットが、ソフトウェアパラメータに従って判定される（例えば、強度閾値は、特定の物理アクチュエータのアクティブ化閾値によって判定されるのではなく、デバイス１００の物理ハードウェアを変化させることなく調整することができる）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値は、トラックパッド又はタッチスクリーンディスプレイハードウェアを変化させることなく、広範囲の所定の閾値のうちのいずれかに設定することができる。加えて、いくつかの実装形態では、デバイスのユーザは、１組の強度閾値の１つ以上を調整するソフトウェア設定が提供される（例えば、システムレベルのクリック「強度」パラメータによって、個々の強度閾値を調整すること、及び／又は複数の強度閾値を一度に調整することによる）。
接触／動きモジュール１３０は、任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターンを有する（例えば検出される接触の動き、タイミング、及び／又は強度が異なる）。したがって、ジェスチャは、任意選択的に、特定の接触パターンを検出することによって検出される。例えば、指タップジェスチャを検出することは、指ダウンイベントを検出し、それに続いて指ダウンイベントと同じ位置（又は実質上同じ位置）（例えば、アイコンの位置）で指アップ（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上で指スワイプジェスチャを検出することは、指ダウンイベントを検出し、それに続いて１つ以上の指ドラッグイベントを検出し、その後それに続いて指アップ（リフトオフ）イベントを検出することを含む。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的な影響（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚的特性）を変化させる構成要素を含めて、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリング及び表示する様々な知られているソフトウェア構成要素を含む。本明細書では、「グラフィック」という用語は、それだけに限定されるものではないが、文字、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどを含む、ユーザに表示することができる任意のオブジェクトを含む。
いくつかの実施形態では、グラフィックモジュール１３２は、使用されることになるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データとともに、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力するスクリーンの画像データを生成する。
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ対話に応じて、デバイス１００上の１つ以上の場所で触知出力を生成するために、触知出力生成器（単数又は複数）１６７によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は任意選択的に、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）においてテキストを入力するための、ソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判定し、この情報を様々なアプリケーションで使用するために（例えば、位置に基づくダイヤル発呼で使用するために電話１３８へ、画像／ビデオのメタデータとしてカメラ１４３へ、並びに、気象ウィジェット、地域のイエローページウィジェット、及び地図／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）提供する。
アプリケーション１３６は、任意選択的に、以下のモジュール（又は命令セット）又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと称されることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Instant messaging）（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを統合した、ビデオ及びミュージックプレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、及び／又は
●オンラインビデオモジュール１５５。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと称されることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（Instant messaging）（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダモジュール１４８、
●気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５、及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェットクリエータモジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを統合した、ビデオ及びミュージックプレーヤモジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、及び／又は
●オンラインビデオモジュール１５５。
任意選択的にメモリ１０２に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、連絡先モジュール１３７は、任意選択的に、アドレス帳に名前（単数又は複数）を追加すること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前に関連付けること、画像を名前に関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始及び／又は促進することなどを含めて、アドレス帳又は連絡先リスト（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２内に記憶される）を管理するために使用される。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、電話モジュール１３８は、任意選択的に、電話番号に対応する文字シーケンスの入力、連絡先モジュール１３７内の１つ以上の電話番号へのアクセス、入力された電話番号の修正、それぞれの電話番号のダイヤル、会話の実施、会話が終了したときの通話停止又はハングアップのために使用される。前述したように、無線通信は、任意選択的に、複数の通信規格、プロトコル、及び技術のうちのいずれかを使用する。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連動して、テレビ会議モジュール１３９は、ユーザ命令に従ってユーザと１人以上の他の参加者との間のテレビ会議を開始、実行、及び終了するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、電子メールクライアントモジュール１４０は、ユーザ命令に応じて電子メールを作成、送信、受信、及び管理するための実行可能な命令を含む。画像管理モジュール１４４と連動して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールの作成及び送信を非常に容易にする。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字シーケンスの入力、以前に入力された文字の修正、それぞれのインスタントメッセージの送信（例えば、電話通信ベースのインスタントメッセージ向けのショートメッセージサービス（Short Message Service、ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service、ＭＭＳ）プロトコル、又はインターネットベースのインスタントメッセージ向けのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用する）、インスタントメッセージの受信、及び受信したインスタントメッセージの閲覧のための実行可能な命令を含む。いくつかの実施形態では、送信及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるグラフィック、写真、オーディオファイル、ビデオファイル、及び／又は他の添付ファイルを含む。本明細書では、「インスタントメッセージング」とは、電話通信ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）と、インターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）との両方を指す。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及び音楽プレーヤモジュールと連動して、トレーニングサポートモジュール１４２は、トレーニング（例えば、時間、距離、及び／又はカロリー燃焼目標を有する）の作成、トレーニングセンサ（スポーツデバイス）との通信、トレーニングセンサデータの受信、トレーニングをモニタするために使用されるセンサの較正、トレーニングのための音楽の選択及び再生、並びに、トレーニングデータの表示、記憶、及び送信のための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連動して、カメラモジュール１４３は、静止画像若しくはビデオ（ビデオストリームを含む）のキャプチャ及びメモリ１０２内への記憶、静止画像若しくはビデオの特性の修正、又はメモリ１０２からの静止画像若しくはビデオの削除のための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と連動して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像の配置、修正（例えば、編集）、あるいはその他の操作、ラベル付け、削除、提示（例えば、デジタルスライドショー又はアルバムにおける）、及び記憶のための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、ブラウザモジュール１４７は、ウェブページ又はその一部分、並びにウェブページにリンクされた添付ファイル及び他のファイルの検索、リンク、受信、及び表示を含めて、ユーザ命令に従ってインターネットをブラウジングするための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連動して、カレンダモジュール１４８は、ユーザ命令に従ってカレンダ及びカレンダに関連付けられたデータ（例えば、カレンダ入力、やることリストなど）を作成、表示、修正、及び記憶するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連動して、ウィジェットモジュール１４９は、任意選択的にユーザによってダウンロード及び使用されるミニアプリケーション（例えば、気象ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。いくつかの実施形態では、ウィジェットは、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ；ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ；カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイルを含む。いくつかの実施形態では、ウィジェットは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ：拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連動して、ウィジェットクリエータモジュール１５０は、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットにする）ために、ユーザによって使用される。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、検索モジュール１５１は、ユーザ命令に従って１つ以上の検索基準（例えば、１つ以上のユーザ指定検索語）に一致するメモリ１０２内の文字、音楽、サウンド、画像、ビデオ、及び／又は他のファイルを検索するための実行可能な命令を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と連動して、ビデオ及び音楽プレーヤモジュール１５２は、ユーザがＭＰ３若しくはＡＡＣファイルなどの１つ以上のファイル形式で記憶されている記録された音楽及び他のサウンドファイルをダウンロード及び再生することを可能にする実行可能な命令、並びにビデオを表示、提示、又は他の方法で（例えば、タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部ディスプレイ上に）再生するための実行可能な命令を含む。いくつかの実施形態では、デバイス１００は、任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ社の商標）などのＭＰ３プレーヤの機能を含む。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連動して、メモモジュール１５３は、ユーザ命令に従ってメモ、やることリストなどを作成及び管理するための実行可能な命令を含む。
ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連動して、地図モジュール１５４は、任意選択的に、ユーザ命令に従って、地図及び地図に関連付けられたデータ（例えば、運転方向、特定の場所又はその付近の店舗及び他の対象地点に関するデータ、並びに他の場所ベースのデータ）を受信、表示、修正、及び記憶するために使用される。
タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連動して、オンラインビデオモジュール１５５は、ユーザが特定のオンラインビデオへのアクセス、特定のオンラインビデオのブラウジング、受信（例えば、ストリーミング及び／又はダウンロードによる）、再生（例えば、タッチスクリーン上又は外部ポート１２４を介して接続された外部ディスプレイ上）、特定のオンラインビデオへのリンクを有する電子メールの送信、並びにＨ．２６４などの１つ以上のファイル形式のオンラインビデオの他の管理を行うことを可能にする命令を含む。いくつかの実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションについての追加の説明は、その内容が全体として参照により本明細書に組み込まれている、２００７年６月２０日出願の米国仮特許出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日出願の米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」において見ることができる。
上記で特定したモジュール及びアプリケーションはそれぞれ、前述した１つ以上の機能及び本出願に記載する方法（例えば、本明細書に記載するコンピュータにより実施される方法及び他の情報処理方法）を実行する１組の実行可能な命令に対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットが、任意選択的に、組み合わされ、又は他の形で再構成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わされて、単一のモジュール（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）にされる。いくつかの実施形態では、メモリ１０２は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ１０２は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
いくつかの実施形態では、デバイス１００は、そのデバイスにおける所定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドのみを通じて実行されるデバイスである。デバイス１００が動作するための主要な入力コントロールデバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、任意選択的に、デバイス１００上の物理的な入力コントロールデバイス（プッシュボタン、ダイヤルなど）の数が削減される。
タッチスクリーン及び／又はタッチパッドを通じてのみ実行される所定の機能のセットは、任意選択的に、ユーザインタフェース間のナビゲーションを含む。いくつかの実施形態では、タッチパッドは、ユーザによってタッチされたときに、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。このような実施形態では、「メニューボタン」は、タッチパッドを使用して実装される。いくつかの他の実施形態では、メニューボタンは、タッチパッドではなく、物理プッシュボタン又はその他の物理入力コントロールデバイスである。
図１Ｂは、いくつかの実施形態によるイベント処理のための例示的な構成要素を示すブロック図である。いくつかの実施形態では、メモリ１０２（図１Ａ）又は３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）と、それぞれのアプリケーション１３６－１（例えば、前述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれか）とを含む。
イベントソータ１７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション１３６－１及びアプリケーション１３６－１のアプリケーションビュー１９１を判定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。いくつかの実施形態では、アプリケーション１３６－１は、アプリケーションがアクティブ又は実行中であるときにタッチ感知ディスプレイ１１２上に表示される現在のアプリケーションビューを示すアプリケーション内部状態１９２を含む。いくつかの実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーション（単数又は複数）が現在アクティブであるかを判定するためにイベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を決定するためにイベントソータ１７０によって使用される。
いくつかの実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用される再開情報、アプリケーション１３６－１によって表示されている又は表示される準備ができている情報を示すユーザインタフェース状態情報、ユーザがアプリケーション１３６－１の以前の状態又はビューに戻ることを可能にする状態待ち行列、及びユーザが行った以前のアクションのリドゥ／アンドゥ待ち行列のうちの１つ以上などの追加の情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としてのタッチ感知ディスプレイ１１２上のユーザタッチ）に関する情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介した）マイクロフォン１１３などのセンサから受信する情報を伝送する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。
いくつかの実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。それに応じて、周辺機器インタフェース１１８は、イベント情報を伝送する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回る及び／又は所定の持続時間を超える入力の受信）があるときのみイベント情報を送信する。
いくつかの実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が２つ以上のビューを表示するとき、サブイベントが１つ以上のビュー内のどこで行われたかを判定するソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる制御装置及び他の要素から構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書ではアプリケーションビュー又はユーザインタフェースウィンドウと呼ばれることもあるビューのセットであり、その中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、任意選択的に、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに対応する。例えば、タッチが検出される最下位レベルビューは、任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは、任意選択的に、タッチによるジェスチャを開始する初期タッチのヒットビューに少なくとも部分的に基づいて決定される。
ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層状に構成された複数のビューを有するときには、ヒットビュー判定モジュール１７２は、サブイベントを処理すべき階層内の最下位のビューとして、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、開始サブイベント（例えば、イベント又は潜在的イベントを形成するサブイベントシーケンス内の第１のサブイベント）が行われる最も低いレベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定された後、このヒットビューは、典型的には、ヒットビューとして特定されたのと同じタッチ又は入力ソースに関係するすべてのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。いくつかの実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含むすべてのビューがアクティブに関わりがあるビューであると判定し、したがって、すべてのアクティブに関わりがあるビューが、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連するエリアに完全に限定された場合でも、階層内の上位のビューは、依然としてアクティブに関わりがあるビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えばイベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態において、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部１８２によって取得されるイベント情報をイベント待ち行列に記憶する。
いくつかの実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。代替として、アプリケーション１３６－１がイベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュール、又は接触／動きモジュール１３０などの、メモリ１０２に記憶された別のモジュールの一部である。
いくつかの実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベントハンドラ１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。典型的には、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの任意の１つ以上は、ユーザインタフェースキット、又は、アプリケーション１３６－１が方法及び他の属性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。いくつかの実施形態では、対応するイベントハンドラ１９０は、データアップデータ１７６、オブジェクトアップデータ１７７、ＧＵＩアップデータ１７８及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベントハンドラ１９０は、任意選択的に、データアップデータ１７６、オブジェクトアップデータ１７７、又はＧＵＩアップデータ１７８を利用し又は呼び出して、アプリケーション内部状態１９２を更新する。別法として、アプリケーションビュー１９１のうちの１つ以上が、１つ以上のそれぞれのイベントハンドラ１９０を含む。また、いくつかの実施形態では、データアップデータ１７６、オブジェクトアップデータ１７７及びＧＵＩアップデータ１７８のうちの１つ以上は、対応するアプリケーションビュー１９１に含まれる。
それぞれのイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、このイベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。いくつかの実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。
イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。いくつかの実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへ、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ぶ）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を、定義済みのイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定するか、あるいはイベント又はサブイベントの状態を判定若しくは更新する。いくつかの実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えばイベント１（１８７－１）及びイベント２（１８７－２）などのイベント（例えば所定のサブイベントのシーケンス）の定義を含む。いくつかの実施形態では、イベント（１８７）内のサブイベントは、例えば、タッチの開始、タッチの終了、タッチの動き、タッチの取り消し、及び複数のタッチを含む。一例では、イベント１（１８７－１）についての定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、所定の段階に対する表示オブジェクト上の第１のタッチ（タッチ開始）、所定の段階に対する第１のリフトオフ（タッチ終了）、所定の段階に対する表示オブジェクト上の第２のタッチ（タッチ開始）、及び所定の段階に対する第２のリフトオフ（タッチ終了）を含む。別の例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグである。ドラッグは、例えば、所定の段階に対する表示オブジェクトのタッチ（又は接触）、タッチ感知ディスプレイ１１２におけるタッチの動き、及びタッチのリフトオフ（タッチ終了）を含む。いくつかの実施形態では、イベントはまた、１つ以上の関連付けられたイベントハンドラ１９０に関する情報を含む。
いくつかの実施形態では、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトについてのイベントの定義を含む。いくつかの実施形態では、イベント比較部１８４は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するヒットテストを実行する。例えば、タッチ感知ディスプレイ１１２上に、３つのユーザインタフェースオブジェクトが表示されているアプリケーションビューでは、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、３つのユーザインタフェースオブジェクトのうちのいずれが、そのタッチ（サブイベント）と関連付けられているかを判定するために、ヒットテストを実行する。表示された各オブジェクトが、対応するイベントハンドラ１９０に関連付けられている場合、イベント比較部は、ヒットテストの結果を用いて、どのイベントハンドラ１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、ヒットテストをトリガするサブイベント及びオブジェクトと関連付けられたイベントハンドラを選択する。
いくつかの実施形態では、それぞれのイベント（１８７）に対する定義はまた、サブイベントシーケンスがイベント認識部のイベントタイプに対応するか否かが判定される後までイベント情報の伝送を遅延する遅延アクションを含む。
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のいずれのイベントとも一致しないと判断した場合には、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態になり、その後は、タッチによるジェスチャの後続のサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部があれば、そのイベント認識部は、進行中のタッチによるジェスチャのサブイベントの追跡及び処理を続行する。
いくつかの実施形態では、対応するイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を実行すべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ、及び／又はリストを有するメタデータ１８３を含む。いくつかの実施形態では、メタデータ１８３は、イベント認識部が互いにどのように対話するか、又はイベント認識部が互いにどのように対話することができるようになっているかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。いくつかの実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す構成可能なプロパティ、フラグ、及び／又はリストを含む。
いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベントハンドラ１９０をアクティブ化する。いくつかの実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報をイベントハンドラ１９０に配信する。イベントハンドラ１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。いくつかの実施形態では、イベント認識部１８０は、認識したイベントと関連付けられたフラグを投入し、そのフラグと関連付けられたイベントハンドラ１９０は、そのフラグを捕らえ、既定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令１８８は、イベントハンドラをアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベントハンドラに、又はアクティブに関与しているビューにイベント情報を配信する。一連のサブイベント又はアクティブに関与しているビューと関連付けられたイベントハンドラは、イベント情報を受信し、所定の処理を実行する。
いくつかの実施形態では、データアップデータ１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データアップデータ１７６は、連絡先モジュール１３７で使用される電話番号を更新する、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。いくつかの実施形態では、オブジェクトアップデータ１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクトアップデータ１７７は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩアップデータ１７８は、ＧＵＩを更新する。例えば、ＧＵＩアップデータ１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。
いくつかの実施形態では、イベントハンドラ（単数又は複数）１９０は、データアップデータ１７６、オブジェクトアップデータ１７７、及びＧＵＩアップデータ１７８を含むか又はそれらへのアクセスを有する。いくつかの実施形態では、データアップデータ１７６、オブジェクトアップデータ１７７、及びＧＵＩアップデータ１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上のユーザタッチのイベント処理に関する上記の論考は、入力デバイスを有する多機能デバイス１００を動作させるためのユーザ入力の他の形態にも当てはまり、それらのユーザ入力は、必ずしもすべてがタッチスクリーン上で開始されるとは限らないことが理解されよう。例えば、キーボードの単一又は複数の押圧若しくは保持と任意選択的に連携される、マウスの移動及びマウスボタンの押圧、タッチパッド上のタップ、ドラッグ、スクロールなどの接触の動き、ペンスタイラス入力、デバイスの移動、口頭による命令、検出された目の動き、バイオメトリック入力、並びに／又はそれらの任意の組合せを、任意選択的に、認識するイベントを定義するサブイベントに対応する入力として利用する。
図２は、いくつかの実施形態によるタッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、任意選択的に、ユーザインタフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを表示する。本実施形態、並びに以下で説明される他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には正確な縮尺では描かれていない）又は１つ以上のスタイラス２０３（図には正確な縮尺では描かれていない）を使用して、グラフィック上でジェスチャを実施することによって、それらのグラフィックのうちの１つ以上を選択することが可能となる。いくつかの実施形態では、１つ以上のグラフィックの選択は、ユーザが、その１つ以上のグラフィックとの接触を中断する場合に実施される。いくつかの実施形態では、ジェスチャは、任意選択的に、１つ以上のタップ、１つ以上のスワイプ（左から右、右から左、上向き、及び／若しくは下向き）、並びに／又はデバイス１００と接触した指のロール（右から左、左から右、上向き、及び／若しくは下向き）を含む。いくつかの実装形態又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、任意選択的に、対応するアプリケーションを選択するものではない。
デバイス１００はまた、任意選択的に、「ホーム」ボタン又はメニューボタン２０４などの１つ以上の物理ボタンを含む。前述したように、メニューボタン２０４は、任意選択的に、任意選択的にデバイス１００上で実行される１組のアプリケーション内の任意のアプリケーション１３６へナビゲートするために使用される。別法として、いくつかの実施形態では、メニューボタンは、タッチスクリーン１１２上に表示されるＧＵＩ内のソフトキーとして実施される。
いくつかの実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスの電源をオン／オフにしてデバイスをロックするプッシュボタン２０６、音量調整ボタン２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、所定の期間にわたってボタンを押し下げた状態に保持することによって、デバイスの電源をオン／オフするため、ボタンを押し下げて、所定の期間が経過する前にボタンを解放することによって、デバイスをロックするため、及び／又はデバイスをロック解除する、若しくはロック解除プロセスを開始するために、使用される。代替的実施形態では、デバイス１００はまた、マイクロフォン１１３を介して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力も受け入れる。デバイス１００はまた、任意選択的に、タッチスクリーン１１２上の接触の強度を検出する１つ以上の接触強度センサ１６５、及び／又はデバイス１００のユーザに対する触知出力を生成する１つ以上の触知出力生成器１６７を含む。
図３は、いくつかの実施形態によるディスプレイ及びタッチ感知面を有する例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。いくつかの実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク又は他の通信インタフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続する１つ以上の通信バス３２０を含む。通信バス３２０は、任意選択的に、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることもある）を含む。デバイス３００は、ディスプレイ３４０を備える入出力（Ｉ／Ｏ）インタフェース３３０を含み、ディスプレイ３４０は、典型的には、タッチスクリーンディスプレイである。Ｉ／Ｏインタフェース３３０はまた、任意選択的に、キーボード及び／又はマウス（若しくは他のポインティングデバイス）３５０と、タッチパッド３５５と、デバイス３００上に触知出力を生成する触知出力生成器３５７（例えば、図１Ａを参照して前述した触知出力生成器１６７に類似している）と、センサ３５９（例えば、図１Ａを参照して前述した接触強度センサ１６５に類似している光、加速度、近接、タッチ感知、及び／又は接触強度センサ）とを含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３７０は、ＣＰＵ３１０からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。いくつかの実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２内に記憶されているプログラム、モジュール、及びデータ構造に類似したプログラム、モジュール、及びデータ構造、又はそのサブセットを記憶する。更に、メモリ３７０は任意選択で、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、任意選択的に、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を記憶するのに対して、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、任意選択的に、これらのモジュールを記憶しない。
図３の上記で特定した要素はそれぞれ、任意選択的に、前述したメモリデバイスのうちの１つ以上の中に記憶される。上記で特定したモジュールはそれぞれ、前述した機能を実行する１組の命令に対応する。上記で特定したモジュール又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施する必要はなく、したがって様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に、組み合わされ、又は他の形で再構成される。いくつかの実施形態では、メモリ３７０は、任意選択的に、上記で特定したモジュール及びデータ構造のサブセットを記憶する。更に、メモリ３７０は、上記で説明されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
次に、任意選択的に例えばポータブル多機能デバイス１００上で実施されるユーザインタフェースの実施形態に注意を向ける。
図４Ａは、いくつかの実施形態によるポータブル多機能デバイス１００上のアプリケーションのメニューの例示的なユーザインタフェースを示す。同様のユーザインタフェースは、デバイス３００上に任意選択的に実装される。いくつかの実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー信号及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）に関する信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ４０５、
●バッテリ状態インジケータ４０６、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレイ４０８、
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２のアイコン４２２、及び
●下記などの、その他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９－２のアイコン４３４、
○「地図」のラベル付けされた、地図モジュール１５４のためのアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に対する設定へのアクセスを提供する「設定」のラベル付きの設定アプリケーション又はモジュールのためのアイコン４４６。
●セルラー信号及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）に関する信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈ（登録商標）インジケータ４０５、
●バッテリ状態インジケータ４０６、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレイ４０８、
○不在着信又はボイスメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２のアイコン４２２、及び
●下記などの、その他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１のアイコン４２４、
○「カレンダ」とラベル付けされた、カレンダモジュール１４８のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９－２のアイコン４３４、
○「地図」のラベル付けされた、地図モジュール１５４のためのアイコン４３６、
○「天気」とラベル付けされた、気象ウィジェット１４９－１のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に対する設定へのアクセスを提供する「設定」のラベル付きの設定アプリケーション又はモジュールのためのアイコン４４６。
図４Ａに示すアイコンラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２のためのアイコン４２２は、「音楽」又は「音楽プレーヤ」と表示される、他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。いくつかの実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。いくつかの実施形態では、特定のアプリケーションアイコンのラベルは、その特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を有するデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。デバイス３００はまた、任意選択的に、タッチ感知面４５１上の接触の強度を検出する１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）、及び／又はデバイス３００のユーザに対する触知出力を生成する１つ以上の触知出力生成器３５７を含む。
以下の例のうちのいくつかは、タッチスクリーンディスプレイ１１２（タッチ感知面及びディスプレイが組み合わされている）上の入力を参照して与えられるが、いくつかの実施形態では、デバイスは、図４Ｂに示すディスプレイとは別個のタッチ感知面上の入力を検出する。いくつかの実施形態では、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の１次軸（例えば、図４Ｂの４５３）に対応する１次軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの場所に対応する場所（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）で、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このようにして、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにこれらの動き）は、タッチ感知面がディスプレイとは別個であるとき、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
加えて、以下の例は、主に指入力（例えば、指接触、指タップジェスチャ、指スワイプジェスチャ）を参照して与えられるが、いくつかの実施形態では、指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスベースの入力又はスタイラス入力）に置き換えられることを理解されたい。例えば、スワイプジェスチャは、（例えば、接触の代わりの）マウスクリックに続けた、（例えば、接触の移動の代わりの）スワイプの経路に沿ったカーソルの移動によって、任意選択的に置き換えられる。別の例として、タップジェスチャは、任意選択的に、カーソルがタップジェスチャの位置の上に位置する間はマウスクリックと置き換えられる（例えば、接触を検出して、それに続いて接触の検出を停止する代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが、任意選択的に、同時に使用され、又はマウス及び指の接触が、任意選択的に、同時に使用されることを理解されたい。
図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。いくつかの実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ～４Ｂ）に関して説明する特徴のうちのいくつか又はすべてを含むことができる。いくつかの実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４、以下タッチスクリーン５０４を有する。タッチスクリーン５０４に対する別法又は追加として、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及び３００と同様に、いくつかの実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出する１つ以上の強度センサを含む。タッチスクリーン５０４（又はタッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインタフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインタフェース動作を呼び出すことができることを意味する。
タッチ強度を検出及び処理する例示的な技法は、例えば、それぞれ全体として参照により本明細書に組み込まれている、国際特許第ＷＯ／２０１３／１６９８４９号として公開された、２０１３年５月８日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」、及び国際特許第ＷＯ／２０１４／１０５２７６号として公開された、２０１３年１１月１１日出願の国際特許出願第ＰＣＴ／ＵＳ２０１３／０６９４８３号、「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」という関連出願に見られる。
いくつかの実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれる場合、物理的機構とすることができる。物理的入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。いくつかの実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。そのようなアタッチメント機構は、含まれる場合、例えば帽子、アイウェア、イアリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計のバンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどにデバイス５００を取り付けることを可能にすることができる。これらのアタッチメント機構は、ユーザがデバイス５００を着用することを可能にする。
図５Ｂは、例示的なパーソナル電子デバイス５００を示す。いくつかの実施形態では、デバイス５００は、図１Ａ、図１Ｂ、及び図３に関して説明した構成要素のうちのいくつか又はすべてを含むことができる。デバイス５００は、Ｉ／Ｏセクション５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏセクション５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に強度センサ５２４（例えば、接触強度センサ）とを有することができる。加えて、Ｉ／Ｏセクション５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー、及び／又は他の無線通信技法を使用してアプリケーション及びオペレーティングシステムデータを受信する通信ユニット５３０に接続することができる。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば回転可能入力デバイス又は押下可能及び回転可能入力デバイスである。いくつかの例では、入力機構５０８は、任意選択的にボタンである。
いくつかの例では、入力機構５０８は、任意選択的にマイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はこれらの組合せなどの様々なセンサを含み、これらのセンサはすべて、Ｉ／Ｏセクション５１４に動作可能に接続することができる。
パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、プロセス８００、９００、１８００、１９００、２０００、２１００、２２００、２３００、２４００、２５００、及び２７００（それぞれ、図８Ａ～図８Ｂ、図９Ａ～図９Ｂ、図１８Ａ、図１８Ｂ、図１９、図２０、図２１、図２２、図２３、図２４、図２５、及び図２７）を含む、以下に説明する技術を実行させることができる。コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用するための、又は命令実行システム、装置、又はデバイスに接続されているコンピュータ実行可能命令を、有形に含み又は記憶することができる任意の媒体とすることができる。いくつかの例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。いくつかの例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体は、それだけに限定されるものではないが、磁気、光学、及び／又は半導体記憶装置を含むことができる。そのような記憶装置の例としては、磁気ディスク、ＣＤ、ＤＶＤ、又はＢｌｕ－ｒａｙ（登録商標）技術に基づく光学ディスク、並びにフラッシュ、ソリッドステートドライブなどの常駐ソリッドステートメモリなどが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の又は追加の構成要素を複数の構成で含むことができる。
本明細書では、「アフォーダンス」という用語は、任意選択的にデバイス１００、３００、及び／又は５００（図１Ａ、図３、及び図５Ａ～５Ｂ）のディスプレイスクリーン上に表示されるユーザ対話グラフィカルユーザインタフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン、及び文字（例えば、ハイパーリンク）はそれぞれ、意選択的に、アフォーダンスを構成する。
本明細書で使用される「フォーカスセレクタ」という用語は、ユーザが対話しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他の場所マーカを含むいくつかの実装形態では、カーソルが「フォーカスセレクタ」として作用し、したがってカーソルが特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の上に位置する間に、タッチ感知面（例えば、図３のタッチパッド３５５又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接対話を有効化するタッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２又は図４Ａのタッチスクリーン１１２）を含むいくつかの実装形態では、タッチスクリーン上の検出された接触が「フォーカスセレクタ」として作用し、したがってタッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウインドウ、スライダ、又は他のユーザインタフェース要素）の場所で入力（例えば、接触による押下入力）が検出されたとき、特定のユーザインタフェース要素が、検出された入力に従って調整される。いくつかの実装形態では、タッチスクリーンディスプレイ上の対応するカーソルの動き又は接触の動き（例えば、フォーカスを１つのボタンから別のボタンへ動かすためにタブキー又は矢印キーを使用することによる）なく、フォーカスがユーザインタフェースの１つの領域からユーザインタフェースの別の領域へ動かされ、これらの実装形態では、フォーカスセレクタは、ユーザインタフェースの種々の領域間でのフォーカスの移動に従って移動する。フォーカスセレクタがとる特有の形態に関わらず、フォーカスセレクタは、概して、ユーザインタフェース要素（又はタッチスクリーンディスプレイ上の接触）であり、ユーザの意図する対話をユーザインタフェースによって通信するように、ユーザによって制御される（例えば、ユーザが対話することを意図しているユーザインタフェースの要素をデバイスに示すことによる）。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出されている間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の位置は、その対応のボタンを（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）アクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲で使用される、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく、その接触の特性を指す。いくつかの実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、任意選択的に、既定の数の強度サンプル、すなわち、既定のイベント（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増大を検出する前若しくは後、及び／又は、接触の強度の減少を検出する前若しくは後の）に関連する既定の期間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）の間に収集された強度サンプルのセットに基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均（mean）値、接触の強度の平均（average）値、接触の強度の上位１０パーセンタイル値、接触の強度の最大の２分の１の値、接触の強度の最大の９０パーセントの値などのうちの１つ以上に基づいている。いくつかの実施形態では、特性強度を特定する際に（例えば、特性強度が経時的な接触の強度の平均であるときに）、接触の持続期間が使用される。いくつかの実施形態では、特性強度は、ユーザによって操作が実行されたかどうかを判定するために、１つ以上の強度閾値のセットと比較される。例えば、１組の１つ以上の強度閾値は、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この例では、第１の閾値を超過しない特性強度を有する接触は、第１の動作をもたらし、第１の強度閾値を超過するが第２の強度閾値を超過しない特性強度を有する接触は、第２の動作をもたらし、第２の閾値を超過する特性強度を有する接触は、第３の動作をもたらす。いくつかの実施形態では、特性強度と１つ以上の閾値との間の比較は、第１の動作を実行するべきか、それとも第２の動作を実行するべきかを判定するために使用されるのではなく、１つ以上の動作を実行するべきか否か（例えば、それぞれの動作を実行するべきか、それともそれぞれの動作を実行するのを取り止めるべきか）を判定するために使用される。
いくつかの実施形態では、特性強度を特定する目的のために、ジェスチャの一部分が識別される。例えば、タッチ感知面は、任意選択的に、開始場所から遷移して終了場所に到達する連続するスワイプ接触を受信し、その時点で接触の強度が増大する。この例では、終了場所での接触の特性強度は、任意選択的に、スワイプ接触全体ではなく、連続するスワイプ接触の一部分のみ（例えば、スワイプ接触のうち終了場所の部分のみ）に基づいている。いくつかの実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムがスワイプ接触の強度に適用される。例えば、平滑化アルゴリズムは、任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。いくつかの状況では、これらの平滑化アルゴリズムは、特性強度を特定する目的のために、スワイプ接触の強度の小幅な上昇又は降下を排除する。
タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押下の強度閾値、深い押下の強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けられる。いくつかの実施形態では、軽い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作をデバイスが実行する強度に相当する。いくつかの実施形態では、深い押圧強度閾値は、通常、物理マウスのボタン又はトラックパッドをクリックすることに関連付けられた動作とは異なる動作をデバイスが実行する強度に相当する。いくつかの実施形態では、軽い押下の強度閾値を下回る（例えば、それを下回ると接触が検出されなくなる公称接触検出強度閾値を上回る）特性強度を有する接触が検出されたとき、デバイスは、軽い押下の強度閾値又は深い押下の強度閾値に関連付けられた動作を実行することなく、タッチ感知面上の接触の動きに従ってフォーカスセレクタを動かす。一般に、特に明記しない限り、これらの強度閾値は、ユーザインタフェース図の様々なセットの間で一貫している。
軽い押下の強度閾値を下回る強度から、軽い押下の強度閾値と深い押下の強度閾値との間の強度への、接触の特性強度の増大は、「軽い押下」の入力と呼ばれることがある。深い押下の強度閾値を下回る強度から、深い押下の強度閾値を上回る強度への、接触の特性強度の増大は、「深い押下」の入力と呼ばれることがある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押下の強度閾値との間の強度への、接触の特性強度の増大は、タッチ面上の接触の検出と呼ばれることがある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への、接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれることがある。いくつかの実施形態では、接触検出強度閾値はゼロである。いくつかの実施形態では、接触検出強度閾値は、ゼロより大きい。
本明細書に記載するいくつかの実施形態では、それぞれの押下入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（若しくは複数の接触）によって実行されたそれぞれの押下入力を検出したことに応じて、１つ以上の動作が実行され、それぞれの押下入力は、押下入力強度閾値を上回る接触（又は複数の接触）の強度の増大を検出したことに少なくとも部分的に基づいて検出される。いくつかの実施形態では、それぞれの動作は、押下入力強度閾値を上回るそれぞれの接触の強度の増大（例えば、それぞれの押下入力の「ダウンストローク」）を検出したことに応じて実行される。いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続く押下入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押下入力の「アップストローク」）を検出したことに応じて実行される。
いくつかの実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある偶発的な入力を回避するために強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との既定の関係を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりも低いＸ強度単位であり、又はヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％、若しくは何らかの妥当な割合である）。したがって、いくつかの実施形態では、押下入力は、押下入力強度閾値を上回るそれぞれの接触の強度の増大、及びそれに続く押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、それに続くヒステリシス強度閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押下入力の「アップストローク」）を検出したことに応じて実行される。同様に、いくつかの実施形態では、押下入力は、デバイスが、ヒステリシス強度閾値以下の強度から押下入力強度閾値以上の強度への接触の強度の増大、及び任意選択的に、その後のヒステリシス強度以下の強度への接触の強度の減少を検出するときにのみ検出され、それぞれの動作は、押下入力（例えば、状況に応じて、接触の強度の増大又は接触の強度の減少）を検出したことに応じて実行される。
説明を容易にするために、押下入力強度閾値に関連付けられた押下入力、又は押下入力を含むジェスチャに応じて実行される動作の説明は、任意選択的に、押下入力強度閾値を上回る接触の強度の増大、ヒステリシス強度閾値を下回る強度から押下入力強度閾値を上回る強度への接触の強度の増大、押下入力強度閾値を下回る接触の強度の減少、及び／又は押下入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じてトリガされる。更に、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて実行されるように動作が記載される例では、動作は、任意選択的に、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る接触の強度の減少を検出したことに応じて実行される。
次に、ポータブル多機能デバイス１００、デバイス３００、又はデバイス５００などの電子デバイス上で実施されるユーザインタフェース（「ＵＩ」）及び関連プロセスの実施形態に注意を向ける。
図６Ａ～図６ＭＭは、いくつかの実施形態による、仮想アバターを生成及び送信するための例示的なユーザインタフェースを示す。これらの図中のユーザインタフェースは、図８Ａ～図８Ｂ及び図９Ａ～図９Ｂでのプロセスを含めた、以下で説明されるプロセスを例示するために使用される。図７Ａ～図７Ｊは、いくつかの実施形態による、仮想アバターを受信及び再生するための例示的なユーザインタフェースを示す。図６Ａ～図６ＭＭ及び図７Ａ～図７Ｊは、仮想アバターの具体例として仮想アバターを使用する。
図６Ａは、一部の場合にはタッチ感知ディスプレイであるディスプレイ６０１と、少なくともスペクトルの一部（例えば可視光、赤外線、又は紫外線）を表すデータを取り込むことができる画像センサを少なくとも含むカメラ６０２とを有するデバイス６００を示す。いくつかの実施形態では、カメラ６０２は、複数の画像センサ及び／又はその他の種類のセンサを含む。いくつかの実施形態では、感知された光を表すデータをキャプチャすることに加えて、カメラ６０２は、深度データなどの他の種類のデータをキャプチャすることができる。例えば、いくつかの実施形態では、カメラ６０２は、スペックル、飛行時間、視差、又はフォーカスに基づく技術も使用して、深度データをキャプチャする。カメラ６０２を使用してデバイス６００がキャプチャする画像データは、カメラの視野内のシーンについての光スペクトルの一部に対応するデータを含む。また、いくつかの実施形態では、キャプチャされた画像データは、光データに関する深度データも含む。いくつかの他の実施形態では、キャプチャされた画像データは、光スペクトルの一部のデータに関する深度データを決定又は生成するのに十分なデータを含む。いくつかの実施形態では、デバイス６００は、デバイス１００、デバイス３００、又はデバイス５００の１つ以上の特徴を含む。
いくつかの例では、電子デバイス６００は、赤外線カメラ、サーモグラフィカメラ、又はこれらの組み合わせなどの深度カメラを含む。いくつかの実施例では、デバイスは、ＩＲフラッド光、構造化光プロジェクタ、又はそれらの組み合わせなどの発光デバイス（例えば、光プロジェクタ）を更に含む。発光デバイスは、任意選択的に、可視光カメラ及び深度カメラ（例えば、ＩＲカメラ）によって画像のキャプチャ中に対象を照らすために使用され、深度カメラ及び可視光カメラからの情報は、可視光カメラによってキャプチャされた対象の異なる部分の深さマップを判定するために使用される。いくつかの実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ）からのシーン内のオブジェクトの距離に関連する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが位置している、その視点のＺ軸における位置を定義するものである。いくつかの例では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されているピクセルから成る。例えば、「０」の値は、「３次元」シーン内の最も遠い場所に配置されているピクセルを表し、「２５５」の値は、「三次元」シーン内の視点（例えば、カメラ）の最も近くに配置されているピクセルを表す。他の例では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラから見た、関心対象物の様々な特徴部の相対深度（例えば、ユーザの顔面の目、鼻、口、耳の相対深度）に関する情報を含む。一部の実施形態では、深度マップは、ｚ方向での関心対象物の輪郭をデバイスが決定することを可能にする、情報を含む。いくつかの実施形態では、本明細書に記載する照明作用は、後ろ向きの画像に対する２つのカメラ（例えば、２つの可視光カメラ）からの不一致情報、及び前向きの画像（例えば、セルフィ画像）に対する可視光カメラからの画像データと組み合わせた深度カメラからの深さ情報を使用して表示される。いくつかの実施形態では、２つの可視光カメラを使用して深さ情報を判定するときと、深度カメラを使用して深さ情報を判定するときに、同じユーザインタフェースが使用され、照明作用を生成するときに使用される情報を判定するために劇的に異なる技術を使用したときでも、一貫したエクスペリエンスをユーザに提供する。いくつかの実施形態では、照明作用のうちの１つが適用された状態でカメラユーザインタフェースを表示しながら、デバイスは、カメラ切替えアフォーダンスの選択を検出し、前向きのカメラ（例えば、深度カメラ及び可視光カメラ）から後ろ向きのカメラ（例えば、互いから隔置された２つの可視光カメラ）へ切り替え（又は逆も同様である）、照明作用を適用するためのユーザインタフェース制御の表示を維持しながら、前向きのカメラの視野から後ろ向きのカメラの視野へ表示を置き換える（又は逆も同様である）。
図６Ａでは、デバイス６００は、メッセージングアプリケーション用のアイコン６０３を含む様々なアプリケーション用の複数のアイコンを備えたホーム画面インタフェースを表示している。アイコン６０３上のジェスチャ（例えば、タップジェスチャ６０４）に応じて、デバイス６００は、アイコン６０３に関連付けられたメッセージングアプリケーションに対応する図６Ｂにおいてユーザインタフェースを表示する。
図６Ｂでは、デバイス６００は、メッセージングインタフェース６０８を表示している。要素６０５－１から６０５－６は、以前のメッセージング通信に対応している。各要素６０５－１から６０５－６は、それぞれが自分の電子デバイスに関連付けられた１人以上のリモートユーザとの１つの通信を表す。特定の要素に対するジェスチャ（例えば、タップジェスチャ６０６）に応じて、デバイス６００は、図６Ｃに示すように、リモートユーザ又は通信の一部であるユーザとの以前のメッセージング通信の一部を表示するためにメッセージングインタフェース６０８を更新する。
図６Ｃでは、デバイス６００は、「ジョン」と呼ばれる（及び「ＪＡ」のイニシャル又はモノグラムを有する）リモートユーザとのメッセージング通信のためのメッセージングインタフェース６０８を表示している。メッセージングインタフェース６０８は、４つの以前に交換されたメッセージ６１０－１から６１０－３を含むメッセージエリア６０９を含む（メッセージ６１０－３は、デバイス６００のユーザから「ジョン」に送信されるとともに、他の２つのメッセージは、デバイス６００によって「ジョン」から受信された）。メッセージングインタフェース６０８はまた、メッセージ作成エリア６１２と、メッセージ作成エリア６１２の左側に（例えば、メッセージのステッカー及び／又は他のマルチメディア要素を選択するためのインタフェースにアクセスする）アイコン６１４を含むメッセージオプションアイコンも含む。いくつかの実施形態では、メッセージオプションアイコンは、写真、絵文字、ステッカー、及び以下で説明するものなどの他の形式の非テキストメッセージを含む様々なタイプのメッセージの送信を可能にする。
デバイス６００がメッセージ作成エリア６１２の選択を検出することに応じて（例えば、図６Ｃのタップジェスチャ６１６を介して）、メッセージングインタフェース６０８は、図６Ｄに示すように更新される。例えば、図６Ｄでは、メッセージオプションアイコンは、隠されており（しかし、ボタン６１８を選択することにより再び表示することができる）、提案されたメッセージ応答６２０が表示され、仮想キーボード６２２が表示される。一部の場合には、仮想キーボード６２２を使用して新たなメッセージを入力し、リモートユーザに送信する。
図６Ｅでは、メッセージ作成エリア６１２は、例えば、仮想キーボード６２２又は音声入力などの他の方法を介して入力される「遅れています」というテキストを含む。送信ボタン６２１の選択に応じて、デバイス６００は、メッセージ６０９の通信に関連付けられた１人以上の参加者にメッセージの一部としてテキストを送信する。図６Ｅの場合、デバイス６００は、「ジョン」と呼ばれるメッセージをユーザに送信する。図６Ｆでは、デバイス６００は、メッセージエリア６１２を更新してメッセージ６１０－４を含めることによってメッセージの送信を反映するようにメッセージエリア６０９を更新している。
一部の場合には、メッセージオプションアイコンにアクセスして、（例えば、テキスト以外のコンテンツをメッセージに追加することにより）新たなメッセージを追加又は作成する。例えば、デバイス６００がアフォーダンス６１８の選択を検出することに応じて（例えば、図６Ｆのタップジェスチャ６２４を介して）、図６Ｇに示すように、アイコン６１４を含むメッセージオプションアイコンが再び表示される。アイコン６１４の選択に応じて（例えば、図６Ｈのタップジェスチャ６２６などのジェスチャを介して）、デバイス６００は、図６Ｉに示すように、以前に送信されたマルチメディアアイテム（例えば、図６Ｉにおけるステッカー６３０－１から６３０－４であるが、音声、アニメーション、又はビデオなどの他のタイプのマルチメディアアイテムも含まれることができる）を含む最近のアイテムメニュー６２９（最近のアイテムの「トレイ」として知られることがある）を現在表示しているマルチメディアアイテムインタフェース６２８に仮想キーボード６２２を置き換えることにより、メッセージングインタフェース６０８を更新する。このインタフェースを使用して、ユーザは、以前に送信したマルチメディアアイテムを選択して再送信することができる。例えば、ユーザは、選択されたステッカーのタップジェスチャを介して図６Ｉの最近のアイテムメニュー６２９におけるステッカーのうちの１つを選択することができる。そのような選択に応じて、デバイス６００は、メッセージ作成エリア６１２にステッカーを配置するか、又は選択されたステッカーをメッセージエリア６０９に表される通信に関与する１人以上のリモートユーザに送信する。いくつかの実施形態では、タップ及びドラッグジェスチャを使用して、選択されたステッカー（又は他のマルチメディアアイテム）をメッセージ作成エリア６１２又はメッセージエリア６０９（及び一部の場合には特定のメッセージ）に配置する。例えば、特定のステッカーは、タップジェスチャを介して選択される。タッチ感知ディスプレイ６０１との接触を解除することなく、ステッカーは、ドラッグジェスチャを介してメッセージ作成エリア６１２又はメッセージエリア６０９のいずれかにドラッグされる。ステッカーの所望の位置に到達すると、タッチ感知ディスプレイ６０１との接触が停止され、ステッカーは、接触の最後の場所に配置される。接触の最後の場所がメッセージエリア６０９にある場合、ステッカーは、メッセージエリア６０９で表される通信に関連付けられた１人以上のリモートユーザに送信される。任意選択的に、ステッカーは、ステッカーを特定のメッセージに関連付けるデータとともにリモートユーザに送信される（例えば、ステッカーは、ステッカーが「スタック」している特定のメッセージの特定の場所を示すデータとともに送信される）。これらの技術は、ステッカーの選択及び送信に固有のものではない。また、最近のアイテムメニュー６２９又は他の場所から選択可能な他のタイプのマルチメディアアイテムにも適用することができる。
図６Ｉでは、マルチメディアアイテムインタフェース６２８はまた、（利用可能なメニューに対応するボタン又は他の選択可能なアイテムの表示を介して最近のアイテムメニュー６２９以外のメニュー又はインタフェースが選択されることを可能にする）メニュー選択ボタン６３２及び（マルチメディアアイテムインタフェース６２８がディスプレイ（又はディスプレイ全体）のより多くに拡張することを可能にする）フルスクリーンボタン６３４を含む。フルスクリーンボタン６３４については、以下で更に説明する。
メニュー選択ボタン６３２を使用してメニュー又はインタフェースを切り替えることに加えて、任意選択的にジェスチャを使用してメニューを切り替えることもできる。例えば、スワイプジェスチャ（例えば、図６Ｊ及び図６Ｋに示すように、マルチメディアアイテムインタフェース６２８を横切る接触６３６の移動によって表されるスワイプ）に応じて、デバイスは、マルチメディアアイテムインタフェース６２８を更新して最近のアイテムメニュー６２９の表示を仮想アバターメニュー６３８に置き換える。最近のアイテムメニュー６２９が仮想アバターメニュー６３８に置き換えられている間、スクロールインジケータ６３９は、マルチメディアアイテムインタフェース６２８において利用可能な他のメニューの数に関するフィードバックを提供する。
図６Ｌでは、仮想アバターメニュー６３８は、最近のアイテムメニュー６２９の表示を完全に置き換えている。デバイス６００が継続アフォーダンス６４０の選択を検出することに応じて（例えば、図６Ｍのタップジェスチャ６４２などのジェスチャを介して）、図６Ｎに示すように、仮想アバターインタフェース６４３が表示される。このインタフェースは、以下で更に説明するように、ユーザがユーザの顔の動きと表情を反映する新たな仮想アバターを生成することを可能にする。いくつかの実施形態では、仮想アバターメニュー６３８は、全く表示されない。代わりに、仮想アバターメニュー６３８を最初に表示することなく、仮想アバターインタフェース６４３が表示される。
図６Ｎの仮想アバターインタフェース６４３は、異なるアバターフレームワーク（例えば、異なる外観及び挙動を有するアバターキャラクター）に対応するアバターテンプレート表現６４４－１から６４４－７を含む。各アバターテンプレートは、検出された顔の動きと表情をマッピングすることができるアバターフレームワークを表す。インジケータ６４５は、現在選択されているアバターテンプレートに対応する。仮想アバタープレビュー６４６は、ユーザの現在の顔の動きと表情を反映するように更新されるという点で、仮想アバターの「ライブ」プレビューである。例えば、いくつかの実施形態では、カメラ６０２を使用して、デバイス６００は、カメラ６０２から画像データを連続的にキャプチャする。キャプチャされた画像データは、可視光データ及び深度データを含む。デバイス６００は、キャプチャされた画像データを分析して、顔の動き（例えば、筋肉の動き、頭の向き、視線方向など）及び／又は顔面表情（例えば、笑顔、眉毛をひそめる、怒りの表情、悲しい表情、混乱した表情など）を識別する。そして、デバイス６００は、仮想アバタープレビュー６４６に現在関連付けられたアバターフレームワークのパラメータに応じて、ユーザの検出された特性を反映するようにアバタープレビュー６４６を更新する。いくつかの実施形態では、デバイス６００は、仮想アバターインタフェース６４３が最初に実行又は表示されたことに応じて、仮想アバタープレビュー６４６を自動的に連続的に更新し始める。異なるアバターテンプレートの表現の選択を検出すると、デバイス６００に、新たに選択されたアバターテンプレートに基づいて仮想アバタープレビュー６４６を更新させる。
図６Ｏは、キャプチャされた画像データ６５０－１から６５０－５及び仮想アバターのプレビューに対する対応する更新６５１－１から６５１－５におけるユーザの顔のいくつかの例を示す。これらは、ユーザの顔の動き、表情、及びポーズを反映するために絵文字プレビュー６４６を更新するデバイス６００の例である。キャプチャされた画像データ６５０－１において、デバイス６００は、（例えば、顔の特徴、筋肉、動き、及び／又は表情に基づいて）ユーザがまっすぐ見ている、笑っている及び／又は幸せであることを検出する。それに応じて、デバイス６００は、更新６５１－１に示されるように、まっすぐ見るように仮想アバタープレビューの目を更新することに加えて、仮想アバタープレビューを更新してユーザの笑顔及び／又は幸せな表情を反映する。キャプチャされた画像データにおいてユーザの検出された物理的特徴は、仮想アバターがユーザを反映するように更新される仮想アバターの同じ物理的特徴である場合があるが、他の場合、ユーザの物理的特徴の検出された変化は、仮想アバターの異なるタイプの物理的特徴の更新をもたらす。例えば、図６Ｏでは、６５０－２及び６５１－２によって示されるように、猿には眉毛がないため、ユーザの眉毛の変化は、猿の耳（又は他の特徴）にマッピングされる。この例では、ユーザの口と目が猿の口と目にマッピングされている。画像データ６５０－３及び更新６５１－３の例では、ユーザの不満な表情及び／又は眉毛をひそめたものが、仮想アバタープレビューの対応する特徴に反映される。いくつかの実施形態では、画像６５０－３及び６５０－４によって示されるように、ユーザが顔面表情又は顔のポーズを保持する場合、仮想アバタープレビューは、更新６５１－４の場合の涙などの追加の特徴によって更新される。このタイプの所定の更新はまた、検出された動きの欠如に応じて発生することもできる。いくつかの実施形態では、更新はまた、画像データにおいて検出されたユーザの動きにも基づいている。例えば、デバイス６００は、ユーザの頭の回転を検出すると、仮想アバタープレビューを同様に回転させる更新をもたらす。いくつかの実施形態では、更新はまた、仮想アバター特徴の物理モデルにも基づいている。例えば、画像データ６５０－５では、デバイス６００は、ユーザの頭が揺れていることを検出する。それに応じて、デバイス６００は、頭の揺れを反映するために更新６５１－５を生成する。更に、更新６５１－５では、子犬の耳に物理モデルが適用された結果として、子犬の耳も突き出ている。
図６Ｐでは、デバイス６００は、ジェスチャ（例えば、接触６５３によって表されるタップジェスチャ）を介して記録ボタン６５２の選択を検出する。それに応じて、仮想アバターインタフェース６４３が更新され、図６Ｑに示すように、アニメーション化された仮想アバターが生成されていることを示す。例えば、記録ボタン６５２は、停止ボタン６５４に置き換えられ、アバターテンプレート表現６４４－１から６４４－７は、もはや表示されず、アニメーション絵文字が記録された時間と仮想アバターがなおも記録されることができる相対的な時間量とを示す記録進度インジケータ６５６が表示される。記録は、所定の時間量（例えば、１５秒）の満了又は停止ボタン６５４の選択など、任意の数の方法で停止することができる。いくつかの実施形態では、記録中、デバイス６００は、アニメーション化された仮想アバターを作成するために使用される一連のデータポイントを検出及び／又は記憶している。例えば、いくつかの実施形態では、デバイス６００は、顔の動き及び／又は顔面表情の時系列を記録し（例えば、可能な値の範囲の値として、可能な値の範囲の各値は、所定の動き又は表情に対応する）、その後にアバターテンプレート上にマッピングされてアニメーション化された仮想アバターを作成する。あるいは、デバイス６００は、デバイス６００が仮想アバタープレビューを更新してユーザの顔の動き及び／又は表情を反映するときに仮想アバタープレビューのビデオ記録を作成することにより、アニメーション化された仮想アバターを記録する。いくつかの実施形態では、デバイス６００はまた、記録されたアニメーション化仮想アバターが仮想アバターの記録アニメーションとともに再生できる音を含むように、デバイス６００のマイクロフォンでキャプチャされた音を記録する。
図６Ｒは、アニメーション化された仮想アバターの記録中のより遅い時点を示している。仮想アバタープレビュー６４６は、新たに検出された顔の動き及び／又はユーザからの表情を反映するように更新されている。インジケータ６５６もまた更新され、アニメーション化された仮想アバターの記録のさらなる進捗を反映する。
図６ＲＡは、アバター記録中に、ユーザがデバイスに対して自分の位置を変更したことをデバイス６００が検出することを示している。具体的には、図６ＲＡに対応する時点で、ユーザの顔は、もはやカメラの視野内にない。それに応じて、デバイス６００は、アバターインタフェース６４３の端部（例えば、ユーザの顔の最後に検出された位置に対応する端部）に仮想アバターを表示し、仮想アバターの周囲にフレーミングコーナー６５３を表示し、メッセージ６５５Ａ（「顔をビューに持ち込む」）を表示してデバイスに対して位置調整するようにユーザを促す。いくつかの実施形態では、ユーザの顔は検出されないときに仮想アバターは静止している（又は所定のポーズ（例えば、中立ポーズ）を仮定する）が、カメラの視野内にユーザの顔が検出されなくなった後であっても、仮想アバターの記録は継続する。
図６ＲＢは、ユーザが所定の閾値時間よりも長くカメラの視野外に留まった後のデバイス６００を示している。ユーザが所定の時間よりも長い間カメラの視野外に留まったことを検出したことに応じて、デバイス６００は、仮想アバターの記録を休止する。図６ＲＢに示されるように、デバイス６００は、記録の休止に応じて、停止ボタン６５４を記録ボタン６４８に置き換えている。デバイス６００はまた、記録が休止されたことをユーザに示すメッセージ６５５Ｂ（「タップして再開」）も表示する。図６ＲＣに示すものなどのいくつかの実施形態では、ユーザは、図６ＲＤに示すように記録を再開する記録ボタン６４８をタップすることを含む、アバターインタフェース６４３の任意の場所をタップ（例えば、タップジェスチャ６５７）することにより記録を再開することができる。ユーザが所定の閾値時間を超えてカメラの視野外に留まった場合に仮想アバターの記録を一時停止し、記録を再開するために他の入力を必要とすることで、バッテリ電力で動作するデバイスの電池寿命を延ばしかつ深度カメラの寿命を延ばすエネルギ使用量と深度カメラの使用量を削減する。
図６Ｓは、アニメーション化された仮想アバターの記録中の更に後の時点を示している。仮想アバタープレビュー６４６は、ユーザから新たに検出された顔の動き及び／又は表情を反映するように更に更新されている。インジケータ６５６もまた更新され、アニメーション化された仮想アバターの記録のさらなる進捗を反映する。
図６Ｓでは、アニメーション化された仮想アバターの記録を停止することを要求するジェスチャ（例えば、接触６５８によって表されるタップジェスチャ）が受信される。それに応じて、デバイス６００は、アニメーション化された仮想アバターの記録を停止し、図６Ｔに示すように仮想アバターインタフェースを更新する。他の場合には、デバイス６００は、アニメーション化された仮想アバターの記録を停止し、所定の期間（例えば、１５秒）の満了に応じて図６Ｔに示されるように仮想アバターインタフェースを更新する。
図６ＳＡから図６ＳＣは、仮想アバターを記録（例えば、生成）している間の仮想アバターインタフェース６４３の他の実施形態を示す。図６ＳＡに示すように、デバイス６００は、現在のアバター記録セッション（例えば、記録ボタン６４８をアクティブ化することにより開始されるセッション）に残っている時間を示すタイマー６５９（例えば、残り１０秒を示す）を表示する。図６ＳＢでは、同じ記録セッションが４秒間進行し、タイマー６５９は、ここではアバター記録セッションに残っている６秒を表示している。図６ＳＣでは、記録セッションは終了している（すなわち、図６ＳＣは、図６ＳＡよりも１０秒後の時点である）。記録セッションの終了に応じて、デバイス６００は、タイマー６５９を、完了した記録セッションを破棄するために（例えば、タップジェスチャによって）アクティブにされることができるゴミ箱アフォーダンス６６０－１に置き換える。いくつかの実施形態では、ゴミ箱アフォーダンス６６０－１は、図６Ｔ及び図６Ｕから図６ＵＡのアフォーダンス６６０を破棄するのと同様に機能することができる。
図６Ｔでは、仮想アバターインタフェース６４３は、ここでは、アニメーション化された仮想アバター６５９の再生の３つのスナップショットによって示されるように、仮想アバタープレビューを表示する代わりに、記録されたアニメーション化された仮想アバター６５９を再生する。いくつかの実施形態では、記録されたアニメーション化された仮想アバターは、ループで再生される（例えば、図６Ｔの矢印によって示されるように、ユーザ入力なしで少なくとも２回再生される）。仮想アバターインタフェース６４３はまた、破棄ボタン６６０、ミュートボタン６６２、及び確認ボタン６６４（記録ボタン６５２の代わりに表示される）を含む。破棄ボタン６６０は、表示された記録されたアニメーション化された仮想アバターを保存せずかつリモートユーザに送信せずに破棄する。ミュートボタン６６２は、ユーザが記録されたアニメーション化された仮想アバターからの音声の再生をミュートすることを可能にする。確認ボタン６６４は、記録されたアニメーション化された仮想アバターをリモートユーザに送信することを可能にする（例えば、ユーザがメッセージを送信する前に確認ボタン６６４のアクティブ化に応じてメッセージエリア６０９に表示される又はメッセージ作成エリア６１２に移動される通信に関連付けられた１人以上のユーザに直接送信する）。デバイス６００が確認ボタン６６４の選択を検出した後、仮想アバターインタフェース６４３が更新され、図６Ｎに関して説明された状態に戻る。いくつかの実施形態では、確認ボタン６６４は、確認ボタン６６４を選択することによって記録されたアニメーション化された仮想アバターがリモートユーザに送信されることができることを示すようにメッセージ構成領域にあるメッセージを送信するための送信ボタンに表示される送信グリフ又はアイコン（例えば、図６Ｖの６７０）と同様の又は同じグリフ又はアイコンを含む。
アニメーション化された仮想アバター６５９の再生中に、現在選択されているテンプレートとは異なるアバターテンプレートの表現に対するタップジェスチャ６６５に応じて、アニメーション化された仮想アバターが更新され、アニメーション化された仮想アバターを再記録する必要なく新たなアバターテンプレートを反映する。これは、アニメーション化された仮想アバター６６６に置き換えられたアニメーション化された仮想アバター６５９を示す図６Ｕに示されている。図６Ｔのアニメーション化された仮想アバター６５９を生成するために使用される記録された顔の筋肉、動き、特徴、及び表現は、図６Ｕにおける新たに選択されたアバターテンプレートに再適用される。
図６ＵＡでは、アニメーション化されたアバター６６６が再生されている間、デバイス６００は、破棄アフォーダンス６６０の選択に対応するタップジェスチャ６６１を検出する。それに応じて、デバイス６００は、キャプチャされたアニメーション化されたアバターデータを破棄し（例えば、アニメーション化されたアバターをメッセージ作成エリア６１２に追加することを取り止める）、図６ＵＢのインタフェースに遷移する。図６ＵＢでは、デバイス６００は、（例えば、記録ボタンを含む）図６Ｐに見られるものと同様の事前記録アバターインタフェース６４３を表示する。図６Ｐと対照的に、アバターテンプレートは、猿の仮想アバター６５９に戻るのではなく、ロボット（例えば、仮想アバター６６６）のテンプレートのままである。すなわち、図６Ｔ及び図６Ｕに示されている再生中のアバター６５９からアバター６６６への変化の検出が保持される。
図６Ｔに戻ると、ジェスチャ（例えば、接触６６７によって表されるタップジェスチャ）に応じて、デバイス６００は、記録されたアニメーション化仮想アバター６６８をメッセージ作成エリア６１２（図６Ｖを参照）に追加し、仮想アバターインタフェース６４３を図６Ｎに記載された状態に戻す（図６Ｖを参照）。そして、ユーザは、デバイス６００がメッセージを送信する前に（例えば、図６Ｗに示すように、送信アフォーダンス６７０に対する接触６７２によって表されるタップジェスチャに応じて）メッセージにメッセージコンテンツ（例えば、テキスト又は他のマルチメディアアイテム）を追加することができる（図６Ｖを参照）。あるいは、デバイス６００が確認ボタン６６４の選択を検出すると、デバイス６００は、記録されたアニメーション化仮想アバターを、メッセージエリア６０９に表示される通信に関連付けられた１人以上のリモートユーザに送信し、その後、図６Ｘに示すように、アニメーション化仮想アバター６６８がメッセージエリア６０９に含まれる通信に関連付けられた１人以上のユーザに送信されたことを反映するように更新される。
図６Ｙ～図６ＢＢは、アバターテンプレートのリストをスクロールするユーザ入力に対する仮想アバターインタフェース６４３の応答を示している。例えば、スワイプジェスチャ（例えば、図６Ｙ～図６ＡＡに示されるように、アバターテンプレートを垂直に横切る接触６７６の動きによる表現）に応じて、デバイス６００は、アバターテンプレートをスクロールし、現在選択されているアバターテンプレートを変更する。アバターテンプレートインジケータ６４５内に存在するアバターテンプレートは、スワイプジェスチャに基づいて更新される。選択された新たなアバターテンプレートの検出に応じて、デバイス６００は、仮想アバタープレビューを更新する。例えば、図６Ｚでは、デバイス６００がアバターテンプレート表現６４４－５の選択を検出すると、（表現６４４－５に対応するアバターテンプレートに基づく）仮想アバタープレビュー６７８が表示され、図６ＡＡでは、アバターテンプレート表現６４４－８が選択されると、（表現６４４－８に対応するアバターテンプレートに基づく）仮想アバタープレビュー６８０が表示される。
アニメーション化されたパペット絵文字の記録を生成することに加えて、絵文字インタフェース６４３はまた、静的仮想アバター（例えば、仮想アバターの状態に基づいて決定される表現／外観を備えたステッカー）を生成することも可能にする。例えば、図６ＣＣでは、仮想アバタープレビュー６８０上のユーザ入力（例えば、接触６８２により表されるタップアンドホールドジェスチャ）に応じて、デバイス６００は、ユーザ入力に関連付けられた時間（例えば、入力が受信されたとき、終了したとき、又はユーザ入力に関連付けられた何らかの他の時間）における仮想アバタープレビュー６８０の状態に対応するステッカーを生成する。実施形態では、デバイス６００は、ステッカーが生成されたこと及び／又はユーザがステッカーを配置することができることを示すために、仮想アバタープレビュー６８０から剥がされたステッカー６８３（図６ＤＤ及び図６ＥＥ）を表示する。
デバイス６００がステッカーを生成した後、ユーザは、任意選択的に、ステッカーに対するいくつかの操作から選択する。例えば、ユーザは、デバイス６００に、最近のメニュー又は後の使用を可能にする他の同様のインタフェースにステッカーを配置させることができる。ユーザはまた、デバイス６００がステッカーを含むメッセージを送信する前に、デバイス６００にメッセージ作成エリア６１２にステッカーを配置させることもでき、ユーザは、デバイス６００にメッセージエリア６０９の通信に参加している１人以上のユーザにステッカーを送信させるために、特定のメッセージに対してメッセージエリア６０９に（及び任意選択的に）ステッカーを配置することができる。
例えば、図６ＦＦでは、デバイス６００は、接触が依然として仮想アバタープレビュー６８０上にある間に接触６８２のリフトオフを検出している。これに応じて、デバイス６００は、ステッカーが最近のアイテムメニュー６２９を介して又はデバイス６００の他のインタフェースを介して任意選択的に選択可能であるように、生成されたステッカーを、最近のアイテムメニュー６２９（図６Ｉ）によってアクセス可能なデバイス６００のメモリ内のデータベース又はライブラリなどのデバイス６００に保存している。デバイス６００は、図６ＦＦ～図６ＧＧに示すように、メニュー選択ボタン６３２に向かって移動する、異なるグラフィカルバージョン６８４及び６８６を備えたアニメーションを介してステッカーがローカルに保存されていることを任意選択的に示す。
他の例として、図６ＨＨ～図６ＫＫは、生成されたステッカーをメッセージエリア６０９に表される通信に参加する１人以上のユーザに送信するデバイス６００の例を示す。図６ＩＩでは、デバイス６００は、仮想アバタープレビュー６８０上のユーザ入力（例えば、仮想アバタープレビュー６８０で始まる図６ＨＨ～図６ＪＪの接触６８８によって表されるタップアンドドラッグジェスチャ）を検出する。デバイス６００がステッカー表現をメッセージエリア６０９にドラッグするユーザを検出すると、ステッカー表現６９０は、接触６８８にしたがう。デバイス６００がメッセージエリア６０９において接触６８８のリフトオフを検出すると、デバイス６００は、図６ＫＫに示すように、メッセージエリア６０９に表される通信の参加者である１人以上のリモートユーザにステッカー６９１を送信する。
図６ＬＬでは、デバイス６００は、フルスクリーンボタン６３４の選択に応じて（例えば、図６ＬＬの接触６９２によって表されるタップジェスチャを介して）仮想アバターインタフェース６４３を更新して、より多くのスクリーン（又はフルスクリーンモード）を表示する。図６ＭＭは、ディスプレイ６０１を更に使用するために拡大された後の仮想アバターインタフェース６４３を示す。ボタン６９２は、選択されると、デバイス６００に仮想アバターインタフェース６４３をその以前の構成に戻させる。
図７Ａ～図７Ｊは、リモートユーザからアニメーション化された絵文字を受信した後のメッセージングインタフェース６０８を示している。図７Ａ～図７Ｊは、一例として図６Ａ～図６ＭＭのデバイス６００を使用し、図７Ａ～図７Ｊに示されたユーザインタフェース及び機能性はまた、以前にステッカー又はアニメーション化された仮想アバターを送信したことがないデバイスを含む他のデバイス（例えば、デバイス１００、３００、又は５００）にも適用される。
図７Ａは、アニメーション化された仮想アバターを再生する直前に、「ジョン」という名前の（及びイニシャル又はモノグラム「ＪＡ」を有する）リモートユーザからアニメーション化された仮想アバター７００を受信した後のメッセージインタフェース６０８を示す。いくつかの実施形態では、デバイス６００は、それを受信した後、アニメーション化された仮想アバター７００を自動的に再生する。ミュートボタン７０２は、選択されると、デバイス６００に、アニメーション化された仮想アバター７００に関連付けられた任意の音をミュートさせる。いくつかの実施形態では、アニメーション化された仮想アバターがディスプレイからスクロールされると、音声もミュートされる。いくつかの実施形態では、仮想アバターインタフェース６４３は、図６Ａ～図６ＭＭに関して説明されるように表示される（例えば、仮想アバターインタフェース６４３は、検出された顔の動き／表情及び選択されたアバターテンプレートに基づくプレビュー仮想アバターを含む）。
図７Ｂでは、アニメーション化された仮想アバター７００が１回再生される（例えば、開始から終了まで１回再生される）ことに応じて、アニメーション化された仮想アバター７００の静止フレーム７０３がアニメーション化された仮想アバター７００の代わりに表示される。リプレイボタン７０４はまた、メッセージエリア６０９にも表示され、例えば、図７Ｃの接触７０６によって表されるタップ特徴によって、アニメーション化された仮想アバター７００が再び再生されることを可能にする。図７Ｄは、アニメーション化された仮想アバター７００を再び再生するデバイス６００を示す（アニメーション化された絵文字の再生は、図７Ａに関して説明される）。
いくつかの実施形態では、アニメーション化された仮想アバター７００の再生中に、デバイス６００がミュートボタン７０２に対するユーザ入力（例えば、図７Ｅの接触７０８によって表されるタップジェスチャ）を受信すると、デバイス６００は、アニメーション化された仮想アバター７００の再生を継続しながら、アニメーション化された仮想アバター７００に関連付けられた音の再生を停止する（例えば、アニメーション化された仮想アバター７００は、なおも音なしで移動する）。いくつかの実施形態では、ミュートボタン７０２の選択に応じて（又は、デバイス６００で音がオフにされるか若しくはデバイス６００がアクセシビリティ機能を有効にした場合）、複写ボタン７１４が図７Ｈに示すように表示される。複写ボタン７１４の選択に応じて（例えば、図７Ｇの接触７１６によって表されるタップジェスチャを介して）、図７Ｈに示されるように、アニメーション化された仮想アバター７００の音の複写７１８が表示される。複写７１８のコンテンツは、デバイス６００に対してローカルに又はリモートで（例えば、リモートサーバコンピューティングリソースを使用して）生成される。
アニメーション化された仮想アバター７００に対するユーザ入力（例えば、図７Ｉの接触７２０によって表されるタップアンドホールドジェスチャ）に応じて、デバイス６００は、図７Ｊに示されるように、アニメーション化された仮想アバター７００に関連するオプションのメニューを表示する。例えば、メニュー７２２は、デバイス６００がメッセージエリア６０９に表される通信に参加している１人以上のリモートユーザに送信することができるいくつかの応答ボタン７２３－１から７２３－６を含む。更に、コピーボタン７２６、保存ボタン７２８、及びその他のボタン７３０を有するメニュー７２４も表示される。コピーボタン７２６は、アニメーション化された仮想アバター７００をデバイス６００のクリップボードにコピーする。保存ボタン７２８は、アニメーション化された仮想アバター７００をデバイス６００に（例えば、デバイス６００にインストールされたアプリケーションによって後にアクセスできるデータベース又はライブラリに）保存する。その他のボタン７３０は、アニメーション化された仮想アバター７００に関して実行できる追加の操作を表示する。
図８Ａ～図８Ｂは、いくつかの実施形態による、電子デバイスを使用した８００のための方法を示すフロー図である。方法８００は、ディスプレイ及びカメラを備えたデバイス（例えば、１００、３００、５００、６００）にて実行される。方法８００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下で説明するように、方法８００は、仮想アバターなどの絵文字を生成及び送信するための直感的な方法を提供する。本方法は、絵文字を生成及び送信する際のユーザの認識的負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが絵文字を生成及び送信することを可能にすることは、より高速にかつより効率的に節電し、バッテリ充電の間隔を長くする。
カメラ（例えば、６０２）（例えば、可視光、ＩＲ光、深度データなどを表すデータをキャプチャするための１つ以上のセンサを備えて構成される）及びディスプレイ（例えば、６０１）を有する電子デバイス（例えば、６００）は、（例えば、絵文字（アニメーション又は静的）の選択、静的ステッカーの生成、及び／又はアニメーション化された仮想アバターの記録のための）仮想アバター生成インタフェース（例えば、図６Ｎの６４３）を表示する（８０２）。電子デバイスは、仮想アバター生成インタフェース（例えば、複数の異なる利用可能な仮想アバターテンプレートから選択されたアニメーション化された仮想アバター）に仮想アバターのプレビュー（例えば、図６Ｎの６４６）（例えば、一部の場合には感情又は反応などの非言語メッセージを伝達することを意図した２Ｄ又は３Ｄコンピュータ生成グラフィカルオブジェクト）を表示する（８０４）。仮想アバターのプレビューは、カメラの視野内にある顔の外観の変化に反応する（例えば、図６Ｏ）（例えば、アニメーション化された仮想アバターは、カメラの１つ以上の画像センサからの画像データで検出されたユーザの頭の動き、顔面表情、及び向きを反映する）。仮想アバターのプレビューを表示している間、電子デバイスは、仮想アバター生成インタフェースで入力（例えば、接触６５２、６８２、又は６９０）を検出する（８０６）。仮想アバター生成インタフェースでの入力の検出に応じて（８０８）、仮想アバターのプレビュー（例えば６８２又は６９０）で入力が開始されるという判定に従って（例えば、アニメーション化された仮想アバターに対するタッチアンドホールド入力又はカーソルを制御するトラックパッド入力）、電子デバイスは、それぞれの時点でのカメラの視野内の顔の表情を表す静的仮想アバターステッカー（例えば、６８３又は６９１）（例えば、メッセージエリア内の特定の場所に「貼り付け可能な」アニメーション絵文字の静止画像）を生成する（８１０）。いくつかの実施形態では、それぞれの時間は、入力のタイミング（例えば、入力が最初に受信されたとき、入力が終了したとき、入力に対応するジェスチャがタッチセンシティブ面を横切って移動を開始したとき、又は入力に関連する任意の他の時間）に基づいて判定される。入力が仮想アバター生成インタフェースにおける記録アフォーダンス（例えば、６４８）のアクティブ化（例えば、記録アフォーダンスのタップ）を含むという判定に従って、電子デバイスは、（例えば、図６Ｑ～図６Ｓに示すように）所定期間にわたるカメラの視野内の顔の表情の変化のシーケンスを表すアニメーション化された仮想アバター（例えば、６６８）を生成する（８１２）。いくつかの実施形態では、期間は、入力のタイミングに基づいて判定される（例えば、期間は、入力の開始が検出されたとき、入力の終了が検出されたとき、入力がタッチセンシティブ面上のジェスチャである場合などの入力のいくつかの種類の動きが検出されたとき、又は入力に基づく何らかの他の期間に開始する）。いくつかの実施形態では、仮想アバターは、３次元である。いくつかの実施形態では、仮想アバター（例えば、６４６）又はアニメーション化された仮想アバター（例えば、６５９）のプレビューが３Ｄで表示される。２つの可能な通信スタイル（例えば、アニメーション化された仮想アバターと静的仮想アバター）の間でユーザ入力を明確にすることで、各タイプのメッセージコンテンツを生成するための別個のインタフェースの必要性を回避する。所望のメッセージの通信に必要な入力数を減らすと、デバイスの操作性が向上し、（例えば、単一のインタフェースから複数のタイプのマルチメディア通信を可能にすることによってユーザが意図した通信を達成することを支援することにより）ユーザとデバイスのインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、メッセージエリア（例えば、６０９）を含むメッセージングインタフェース（例えば、インタフェース６０８）（例えば、アップルのメッセージなどのメッセージングアプリケーション）を表示する（８１４）。メッセージエリアは、通信（例えば、図６Ｎのメッセージエリア６０９での通信）（例えば、メッセージングスレッド）の２人以上の参加者（例えば、図６Ｃ、リモートユーザ「ジョン」及びデバイス６００のユーザ）からのメッセージ（例えば、６１０－１から６１０－４）（例えば、電子デバイスのユーザから送信されたメッセージ及び異なる電子デバイスのリモートユーザから受信したメッセージ）を含む。仮想アバター生成インタフェースは、メッセージングインタフェース（例えば、図６Ｎ）と同時に表示される（例えば、仮想アバター生成インタフェースは、メッセージングインタフェースの下半分に表示される）。いくつかの実施形態では、仮想アバターのプレビュー（例えば、６４６）は、仮想アバター生成インタフェースの初期表示の一部として自動的に表示される。
いくつかの実施形態では、メッセージングインタフェースは、メッセージ作成エリア（例えば、６１２）（例えば、メッセージを受信者に送信する前にテキスト、絵文字、及び他のコンテンツを入力するためのメッセージ入力エリア）を含み、入力は、仮想アバターのプレビュー（例えば、６４６）に対するタップである。電子デバイスは、仮想アバター生成インタフェースでの入力の検出に応じて、メッセージ作成エリアに静的仮想アバター（例えば、６８３又は６９１）を表示する。いくつかの実施形態では、仮想アバター生成インタフェースを表示することは、メッセージングインタフェースの仮想キーボード（例えば、６２２）の表示を仮想アバター生成インタフェースの表示（例えば、図６Ｈから図６Ｎへの遷移、介在図なし）に置き換えることを含む。メッセージを送信する前にメッセージのマルチメディアコンテンツを表示すると、エラーメッセージの可能性を低減し、ユーザがメッセージを送信する前に（例えば、テキスト又は他のコンテンツを介して）より多くのコンテンツを追加することを可能にする。所望のメッセージの通信に必要なメッセージの数を減らすと、デバイスの操作性が向上し、（例えば、ユーザが通信に必要なメッセージの数を減らしながら意図した通信を達成することを支援することにより）ユーザとデバイスのインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、アバター生成インタフェースは、１つ以上の以前に生成された仮想アバター（例えば、６３０－１から６３０－４）のコレクションを含む静的仮想アバター領域（例えば、６２９）（例えば、アバター生成インタフェースの下部部分に表示される以前に生成されたステッカーのトレイ）を含む。ユーザ入力（例えば、図６ＣＣの６８２）に応じて、電子デバイスは、生成された仮想アバターを１つ以上の以前に生成された仮想アバターのコレクションに追加する（６１２）（例えば、仮想アバターのコレクションに含めるためにアバターを送信する、仮想アバターをお気に入りとしてマークする、又は他の方法で仮想アバターをマークする）。いくつかの実施形態では、仮想アバター（例えば、ステッカー）のコレクションは、ユーザ入力（例えば、６２６）（例えば、トレイに新たに生成されたステッカーのミニチュア版を含む）（例えば、アバター生成ユーザインタフェース又はメッセージングユーザインタフェースにおける仮想アバターコレクションアフォーダンスの選択）に応じて表示される。いくつかの実施形態では、以前に生成されたステッカーのトレイは、トレイの表示を要求するユーザから入力（例えば、入力６２６）を受信するまで又はトレイがメッセージインタフェース又はアバター生成インタフェースの現在の状態におそらく関連することを電子デバイスで検出された何らかの他のイベントが示すまで隠される。いくつかの実施形態では、仮想アバターを仮想アバターのコレクションに追加した後、電子デバイスは、ユーザから仮想アバターのコレクションを第２のユーザと共有する要求を受信し、それに応じて、電子デバイスは、仮想アバターのコレクションを第２のユーザに送信する。以前に送信されたメッセージのマルチメディアコンテンツを維持することにより、ユーザは、新たなメッセージに利用可能である場合に以前のコンテンツを追加及び再利用することができる。コンテンツを再作成する必要がなくなると、デバイスの操作性が向上し、（例えば、コンテンツの繰り返し生成をなくすことにより）ユーザとデバイスのインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、入力は、仮想アバター（例えば、６８０）のプレビューで始まり（８１６）、メッセージエリア内の場所で終了する（例えば、図６ＨＨ～図６ＫＫを参照）（例えば、仮想アバターのプレビュー（例えば、６８０）に接触する指によって開始し、メッセージエリアに指をドラッグし続け、メッセージエリアで指を離すと終了するジェスチャ（一部の場合には、ジェスチャは、メッセージエリア内の特定のメッセージで終了することがあり、ステッカーは、その特定のメッセージに関連付けられ、任意選択的に、そのメッセージが会話内で移動するのにともない移動する））。電子デバイスは、通信（例えば、図６ＫＫ）に関連付けられた参加者（例えば、１人以上のリモートユーザ）に静的仮想アバター（例えば、６９１）を送信する（８１８）。いくつかの実施形態では、アニメーションは、仮想アバターのプレビューから剥がされている静的仮想アバターを示すジェスチャに応じて表示される（図６ＣＣ～図６ＦＦ）。
いくつかの実施形態では、静的仮想アバター（例えば、６９１）は、入力（例えば、６８８）が仮想アバターのプレビュー（例えば、６８０）で検出された時点でカメラの視野内の顔の表情に基づいて決定される外観を有する。いくつかの実施形態では、電子デバイスは、仮想アバターのプレビューでの入力の開始の検出に応じて、仮想アバターのプレビューを停止させ（８２０）、カメラの視野内にある顔の外観の変化に反応する。これは、ステッカーが生成されたことをユーザに示し、ユーザに送信することによってメッセージエリア６０９内に表示された通信にステッカーがドラッグされた場合に送信されるステッカーの外観をユーザにプレビューする。これは、ユーザが追加の対話を実行する必要なく又は結果のステッカーを見る前に完全なステッカー生成ジェスチャを完了することなく生成されるステッカーのプレビューを表示することにより、デバイスの操作性を向上させ、改善されかつより効率的なマン－マシンインタフェースを構成する。これは、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、仮想アバターのプレビュー（例えば、６８０）は、入力が仮想アバターから離れた後、変化への反応を再開する（例えば、静的アバターがメッセージ会話に向かってドラッグされるとアニメーションが再開する）。いくつかの実施形態では、仮想アバターのプレビュー（例えば６８０）は、静的アバターをドラッグしている入力が終了するまで顔の外観の変化に反応するのを中止する。仮想アバタープレビューの更新を再開すると、ユーザは、生成されたステッカーの外観を、異なる／追加のステッカーの基礎となる可能性のある仮想アバターの他の可能な外観と比較することができる。これは、デバイスの操作性を向上させ、（例えば、ユーザが生成されたコンテンツを送信する前に生成可能な他のコンテンツに関するフィードバックを提供することにより、ユーザが意図した結果を達成することを支援することにより）ユーザとデバイスのインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、アニメーション化された仮想アバターを生成するための期間の満了（例えば、５、１０、又は１５秒間のタイマーの満了、又は期間を停止するユーザ入力）に応じて、記録アフォーダンスの代わりに送信又は確認アフォーダンス（例えば、６６４）を表示する（例えば、仮想レコードボタンは、もはや表示されず、代わりに仮想送信ボタンが仮想レコードボタンの代わりに表示される）。電子デバイスは、送信アフォーダンス又は確認アフォーダンスを選択する入力（例えば、タッチ感知ディスプレイの送信アフォーダンスに対するタップジェスチャ）の受信に応じて、生成されたアニメーション化された仮想アバターをリモートユーザに送信する（８２４）（例えば、図６Ｖ及び図６Ｗに示すように、最初にアニメーション化された仮想アバターをメッセージ作成エリア６１２に送信しない図６Ｕ及び図６Ｘを参照）（例えば、アニメーション化された仮想アバターは、メッセージ作成エリアなどのメッセージングインタフェースの他のエリアに最初に配置されるアニメーション化された仮想アバターなしでメッセージングスレッド又はセッションに関連付けられたリモートユーザに送信される）。アニメーション化された仮想アバターの記録が完了した後、記録ボタンの代わりに送信又は確認ボタンを表示すると、インタフェースの現在の状態に適用できないボタンのために占有されたエリアを再利用しかつよりコンテキストに関連する機能をユーザに提供することにより、より多くの情報をインタフェースに表示することができる。これは、デバイスの操作性を向上させ、（例えば、ディスプレイに未使用の要素が散らかることなく、より多くの情報／任意選択をディスプレイに表示することにより）ユーザとデバイスのインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、アニメーション化された仮想アバターを生成するための期間の満了に応じて、記録アフォーダンスの代わりに確認アフォーダンス（例えば、６６４）を表示する（８２２）。確認アフォーダンスを選択する入力の受信（例えば、接触６６７を介して）（例えば、タッチ感知ディスプレイの確認アフォーダンスのタップジェスチャ）に応じて、電子デバイスは、メッセージングインタフェース（例えば、図６Ｖ）のメッセージ作成エリア（例えば、６１２）（例えば、キーボードで入力されたテキストを表示するメッセージングインタフェースの領域）内にアニメーション化された仮想アバターの表現（例えば、静的なグラフィカル要素又はアニメーション化された仮想アバター）を表示する。いくつかの実施形態では、期間は、所定の時間量に基づいている（例えば、進度インジケータ６５６によって表される）。電子デバイスは、アニメーション化された仮想アバターを生成した後、仮想アバターのプレビューの表示を停止し、アニメーション化された仮想アバターのループバージョンを表示する（例えば、図６Ｔ）。アニメーション化された仮想アバターのループバージョンの表示は、アニメーションシーケンスを２回以上表示することを含む（例えば、方法９００に関して以下で説明されるように）。アニメーション化された仮想アバターの記録が完了した後、記録ボタンの代わりに送信又は確認ボタンを表示すると、インタフェースの現在の状態に適用できない（又はあまり適用されない）ボタンに占有されているエリアを再利用することで、インタフェースにより多くの情報を表示することができる。これは、デバイスの操作性を向上させ、（例えば、ディスプレイに未使用の要素が散らかることなく、より多くの情報／オプションをディスプレイに表示することにより）ユーザとデバイスのインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、アニメーション化された仮想アバターのループバージョンは、第１の仮想アバターテンプレート（例えば、要素６４４－４、又は図６Ｎのインジケータ６４５により示される他の要素により表される）を使用して表示される。電子デバイスは、第２の仮想アバターテンプレートの表現（例えば、図６Ｚの要素６４４－８）を含む複数の他の仮想アバターテンプレートの表現（例えば、要素６４４－１から６４４－７）（例えば、笑顔、動物、ロボット、又は他の対象物などの異なる仮想アバターテンプレートのミニチュア汎用版）を表示し、第２の仮想アバターテンプレートは、第１の仮想アバターテンプレートとは異なる。いくつかの実施形態では、複数の仮想アバターテンプレート内の仮想アバターテンプレートのうちの任意の１つ以上は、メッセージングアプリケーションを介して送信されるために利用可能な絵文字に基づいている。電子デバイスは、アニメーション化された仮想アバターのループバージョンの表示を開始した後（例えば、図６Ｔ）、第１の仮想アバターテンプレート表現を選択するユーザ入力の受信に応じて（例えば、６６５）、第２の仮想アバターテンプレート（例えば、図６Ｕ）を反映するためにアニメーション化された仮想アバターのループバージョンの表示を更新する（例えば、アニメーション化された仮想アバターは、顔の表情の変化のシーケンスになおも基づいているが、アニメーション化された仮想アバターの外観は、新たな仮想アバターテンプレートを反映するように変化する）。例えば、アニメーション化された仮想アバターは、猿からロボットに変化することができるが、更にカメラの視野内の顔の表情の変化の同じシーケンスを経時的に反映する（例えば、図６Ｔから図６Ｕへの遷移を参照）。新たに選択されたアバターテンプレートに基づくアニメーション化された仮想アバターの更新は、ユーザがアニメーション化された仮想アバターの動きとアクションを記録した後、アニメーション化された仮想アバターのスタイルを選択することを可能にすることにより、意図したメッセージのマルチメディアコンテンツを微調整することを可能にする。新たなアバターテンプレートを試みるためにアニメーション化された仮想アバターコンテンツを再記録する必要がなくなると、デバイスの操作性が向上し、（例えば、コンテンツの繰り返し生成をなくすことにより）ユーザとデバイスのインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、仮想アバター生成インタフェースの起動に応じて、仮想アバターのプレビュー（例えば、６４６）が自動的に表示される。いくつかの実施形態では、仮想アバター生成インタフェースが表示されるとすぐに、仮想アバターのプレビューがユーザ入力なしで表示される。
いくつかの実施形態では、電子デバイスは、カメラの視野内の顔の第１の物理的特徴（例えば、口笑顔、舌の突き出し、耳の揺れ、眉毛上げ、又は他の任意の物理的特徴の他の任意の動き）の特性（例えば、位置、向き、動き）を検出することに応じて、検出された特性に基づいて、仮想アバターの表示されたプレビューの第１の物理的特徴を更新し、顔の第１の物理的特徴のタイプ（例えば、目、眉毛、口、舌、耳）は、表示されたプレビューの第１の物理的特徴のタイプと同じである。いくつかの実施形態では、ユーザの口が開くと、それに応じて仮想アバターの口が開く（例えば、図６Ｏの６５０－１及び６５１－１）。同様の結果は、顔面表情に基づくことができる。例えば、顔の物理的特徴又は特性の１つ以上の動きが検出された場合、電子デバイスは、所定の感情が表示されていると判定することができる。それに応じて、仮想アバターの表示されたプレビューは、対応する物理的特徴又は特性を更新して検出された顔面表情を反映することにより、所定の動きを反映するように更新されることができる。ユーザの物理的特徴を仮想アバターの同様の物理的特徴にマッピングすることにより、ユーザは、面倒な又は時間のかかるタッチやキー入力を必要とせずに、仮想アバター上に直感的にマッピングするシステムへの入力を提供する動き、表情、及びポーズを提供することができる。これは、デバイスの操作性を向上させ、（例えば、デバイスで操作／対話するときに、予測可能な方法で仮想アバターに対してユーザの特徴をマッピングすることによって意図した結果を達成するようにユーザを支援し、ユーザの誤りを減らすことによって）ユーザデバイスインタフェースをより効率的なものとし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、カメラの視野内の顔の第２の物理的特徴の特性の検出に応じて、検出された特性に基づいて仮想アバターの表示されたプレビューの第２の物理的特徴を更新し、顔の第２の物理的特徴のタイプは、表示されたプレビューの第２の物理的特徴のタイプとは異なる（例えば、図６Ｏの６５０－２の眉毛と６５１－２の耳の動き）。いくつかの実施形態では、ユーザが幸せであることを示す笑顔をユーザがしている場合、ユニコーンホーンやロボットのライトなどの仮想アバターの異なる特徴は、笑顔を反映するように変化させることができる。同様の結果は、顔面表情に基づくことができる。例えば、顔の物理的特徴又は特性の１つ以上の動きが検出された場合、電子デバイスは、所定の感情が表示されていると判定することができる。それに応じて、仮想アバターの表示されたプレビューは、任意選択的に、検出された顔面表情を反映するために物理的特徴又は特性の異なるセットを更新することにより、所定の動きを反映するように更新される。ユーザの物理的特徴を仮想アバターの異なる物理的特徴にマッピングすることにより、ユーザは、ユーザが他の方法では簡単に制御することができないアバター特徴にマッピングするシステムへの入力を提供する動き、表情、及びポーズを提供することができる。これは、デバイスの操作性を向上させ、（例えば、デバイスで操作／対話するときに、仮想アバターの追加の特徴が制御されるように仮想アバターに対してユーザの特徴をマッピングすることによって意図した結果を達成するようにユーザを支援し、ユーザの誤りを減らすことによって）ユーザデバイスインタフェースをより効率的なものとし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイス、電子デバイスは、カメラの視野内の顔の動きの検出に応じて、仮想アバターの物理モデル及び検出された動きに基づいて仮想アバターの表示されたプレビューの第３の物理的特徴を更新する（例えば、図６Ｏの６５０－５及び６５１－５）。いくつかの実施形態では、例えば、仮想アバターが子犬の仮想アバターテンプレートに基づいている場合、ユーザの顔が揺れていると検出されると、仮想アバターの顔が揺れ、仮想アバターの耳が突き出て、ユーザの耳が揺れに応じて突き出ていなくても揺れ動きの物理学を反映する。いくつかの実施形態では、仮想アバターの表示されたプレビューの同じ物理的特徴は、カメラの視野内及び物理モデルの対応する顔の特徴の動きに基づいて更新される（例えば、ユーザの耳の動きに基づいて、またフロッピーの子犬の耳の物理モデルにも基づいて耳が動く）。仮想アバターの物理モデルに基づいて仮想アバターを更新することによって、ユーザは、より広い範囲の非言語的情報を伝達できる現実的な対話型の仮想アバターを作成することができる。これによって、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、仮想アバターのより現実的な動きを使用して、意図されたメッセージを伝達するようにユーザを支援することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、仮想アバターのプレビューは、所定の仮想アバターテンプレート（例えば、図６Ｎの表現６４４－４に関連付けられたアバターテンプレート）に基づいている。電子デバイスは、所定の仮想アバターテンプレートに関連付けられた１つ以上の所定の動作に基づいて、仮想アバターのプレビューを更新する。いくつかの実施形態では、カメラの視野内の顔から動き又は顔面表情の変化が検出されない場合（例えば、６５０－３及び６５０－４）、仮想アバターのプレビューは、瞬き、頭の回転、顔面表情の形成、又は他のアクションなどの所定の応答（例えば、６５１－４）を示す。
いくつかの実施形態では、電子デバイスは、カメラの視野内で顔がもはや検出されないという判定に応じて（例えば、顔が視野から外れたために、顔がカメラのビューから見えなくなっているために、又はデバイスがもはや顔の特徴の動きを正確に追跡することができないように顔の位置が変更されているために、顔の追跡が失敗した）、仮想アバターのプレビューの表示を徐々にフェードする（例えば、仮想アバタープレビュー６４６はフェードする）。いくつかの実施形態では、デバイスは、仮想アバタープレビューのサイズ、回転、動きの変化など、デバイスが検出した最後の情報から仮想アバタープレビューを劣化させるなど、もはやユーザの顔を追跡することができなくなったことを示すために、仮想アバタープレビューに他の変更を加える。いくつかの実施形態では、電子デバイスは、カメラの視野内で顔がもはや検出されないという判定に応じて（例えば、顔が視野から外れたために、顔がカメラのビューから見えなくなっているために、又はデバイスがもはや顔の特徴の動きを正確に追跡することができないように顔の位置が変更されているために、顔の追跡が失敗した）、カメラによって顔がもはや適切に検出されなくなったことを示すメッセージを表示する（例えば、図６Ｎの仮想アバター６４３上に、又は図６Ｎの仮想アバタープレビュー６４６の代わりに表示プロンプトが表示される）。いくつかの実施形態では、電子デバイスは、カメラの視野内で顔がもはや検出されないという判定に応じて（例えば、顔が視野から外れたために、顔がカメラのビューから見えなくなっているために、又はデバイスがもはや顔の特徴の動きを正確に追跡することができないように顔の位置が変更されているために、顔の追跡が失敗した）、顔がもはや視野内で検出されなくなる前（例えば、直前又は短時間前）の期間中に発生していた顔の外観の変化に基づいて仮想アバターのプレビューの表示を更新する（例えば、デバイス６００は、笑顔からしかめ面又は目の動きへの遷移を繰り返し表示する）。いくつかの実施形態では、カメラの視野内で顔がもはや検出されなくなる前の期間中に発生していた顔の外観の変化に基づいて仮想アバターのプレビューの表示を更新することは、仮想アバターの更新が徐々に停止するように、経時的に仮想アバターのプレビューの更新を徐々に遅くすることを含む（例えば、ゆっくりと回転しているアバターが回転を停止し、ゆっくりと開閉している目が開閉するのを停止し、ゆっくりと開閉している口が開閉するのを停止する）。仮想アバタープレビューがユーザの顔を追跡しているかどうかに関するフィードバックを表示すると、ユーザは、デバイスが適切に保持されているかどうか及びユーザの顔の検出条件が適切かどうかを判定することができる。デバイスの状態の改善されたフィードバックをユーザに提供することは、デバイスの操作性を向上させ、デバイスがまだユーザの顔をなおも追跡しようとしているという表示を通じてユーザインタフェースのより良好な連続性を提供することにより、ユーザとデバイスのインタフェースをより効率的にする。これは、より優れた直感的なマン－マシンインタフェースを提供し、デバイスがユーザの顔を追跡することができない場合であっても、ユーザがデバイスと対話し続けることをもたらす。
方法８００（例えば、図８Ａ～図８Ｂ）に関して上述したプロセスの詳細は、後述する方法にも同様に当てはまることに留意されたい。例えば、方法９００は、方法８００を参照して上述した様々な方法の特性のうちの任意の１つ以上を任意選択的に含む。例えば、方法８００に関して上述したステッカーの生成は、方法９００に関して以下で説明するユーザインタフェースに任意選択的に組み込まれる。他の例として、方法８００に関して上述したアニメーション化された仮想アバター（例えば、アニメーション化された仮想アバター）を送信する前の音のミュートは、方法９００に関して以下に説明するユーザインタフェースに任意選択的に組み込まれる。簡潔にするために、これらの詳細は、以下で繰り返さない。
上述した情報処理方法での演算は、汎用プロセッサ（例えば、図１Ａ、図３、図５Ａに対して説明したように）又は特定用途向けチップなどの情報処理装置内の１つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図８Ａ及び図８Ｂを参照して上述した動作は、任意選択的に、図１Ａ～図１Ｂに示す構成要素によって実施される。例えば、仮想アバター生成インタフェース（８０６）における入力の検出は、任意選択的に、イベントソータ１７０、イベント認識部１８０、及びイベントハンドラ１９０によって実装される。イベントソータ１７０内のイベントモニタ１７１は、タッチ感知面６０４上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６－１に伝送する。アプリケーション１３６－１のそれぞれのイベント認識部１８０は、イベント情報をそれぞれのイベント定義１８６と比較し、タッチ感知面上の第１の位置での第１の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベントハンドラ１９０をアクティブ化する。イベントハンドラ１９０は、アプリケーション内部状態１９２を更新するために、アップデータ１７６又はオブジェクトアップデータ１７７を、任意選択的に利用又は呼び出す。いくつかの実施形態では、イベントハンドラ１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩアップデータ１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ～図１Ｂに示された構成要素に基づいてどのように実装できるかは明らかであろう。
図９Ａ～図９Ｂは、いくつかの実施形態による、電子デバイスを使用した９００のための方法を示すフロー図である。方法９００は、ディスプレイ及びカメラを備えたデバイス（例えば、１００、３００、５００、６００）にて実行される。方法９００のいくつかの動作は、任意選択的に組み合わされ、いくつかの動作の順序は、任意選択的に変更され、いくつかの動作は、任意選択的に省略される。
以下で説明するように、方法９００は、仮想アバターなどの絵文字を生成及び送信するための直感的な方法を提供する。本方法は、絵文字を生成及び送信する際のユーザの認識的負担を軽減し、それによって、より効率的なヒューマン－マシンインタフェースを作り出す。バッテリ動作式のコンピューティングデバイスの場合には、ユーザが絵文字を生成及び送信することを可能にすることは、より高速にかつより効率的に節電し、バッテリ充電の間隔を長くする。
カメラ（例えば、可視光、ＩＲ光、深度データなどを表すデータをキャプチャするための１つ以上のセンサを備えて構成される）及びディスプレイ（例えば、６０１）を有する電子デバイス（例えば、６００）は、仮想アバター生成インタフェース（例えば、図６Ｎの６４３）を表示する（９０２）（例えば、絵文字の選択、静的絵文字の生成、及びアニメーション化された絵文字の記録）。電子デバイスは、仮想アバター生成インタフェース（例えば、複数の異なる利用可能な絵文字スタイル又はテンプレートから選択される移動絵文字）に仮想アバターのプレビュー（例えば、図６Ｎの６４６）（例えば、一部の場合には感情又は反応などの非言語メッセージを伝達することを意図した２Ｄ又は３Ｄコンピュータ生成グラフィカルオブジェクト）を表示する（９０４）。仮想アバターのプレビューは、カメラの視野内にある顔の外観の変化に反応する（例えば、図６Ｏ）（例えば、アニメーション絵文字は、１つ以上の画像センサからの画像データにおいて検出されるようなユーザの頭の動き、顔面表情、及び向きを反映する）。電子デバイスは、カメラの視野内にある顔の顔面表情の変化に基づいて、アニメーション化された仮想アバターを生成する要求（例えば、接触６５２）を受信する（９０６）。アニメーション化された仮想アバターを生成する要求の受信に応じて、電子デバイスは、カメラの視野内の顔の顔面表情のシーケンスを記録する（９０８）（例えば、図６Ｑ～図６Ｓ）（例えば、シーケンスは、アニメーション化された仮想アバターを生成するために仮想アバターテンプレートに適用できるポイントのマッピングを提供するための一連のデータポイントを含む）。電子装置は、カメラの視野内にある顔の顔面表情を記録した後、アニメーション化された仮想アバターを生成するための要求に応じて記録された顔面表情のシーケンスに基づくアニメーションシーケンスを含むアニメーション化された仮想アバター（例えば、６５９）のループバージョン（例えば、図６Ｔ及び図６Ｕ）を表示する（９１０）（例えば、記録された顔面表情を表す一連のデータポイントを所定のアニメーション化されたバーチャルアバターテンプレートに順次マッピングすることにより、アニメーション化された仮想アバターが表示される）。電子デバイスは、アニメーション化された仮想アバターのループバージョンを２回以上表示する。いくつかの実施形態では、顔の顔面表情のシーケンスを記録することは、所定の仮想アバターテンプレートの離散マッピングポイントの値の時間シーケンスを記録することを含む。アニメーション化された仮想アバターのループバージョンを表示すると、ユーザは、その後、アニメーション化された仮想アバターのコンテンツを確認して、適切なメッセージが伝達されているかどうかを理解することができる。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、エラーの場合を低減し、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、（例えば、進度インジケータ６５６によって表される）タイマー（例えば、５、１０、又は１５秒タイマー）の満了に応じて、顔面表情のシーケンスの記録を停止する。いくつかの実施形態では、電子デバイスは、ユーザ入力（例えば、接触６５８）の受信（例えば、ユーザがディスプレイに表示される仮想ボタンをタップする）に応じて、顔面表情のシーケンスの記録を停止する。アニメーション化された仮想アバターの記録の時間を制限することにより、ユーザは、デバイスのコンピューティングリソース（例えば、記憶装置）への影響を制限しながら、アニメーション化された仮想アバターの記録を作成することができる。これは、デバイスのコンピューティングリソースを保持することにより、デバイスの操作性を向上させる。
いくつかの実施形態では、電子デバイスは、プレビューの表示をアニメーション化された仮想アバターのループバージョンの表示に置き換える（９１２）（例えば、図６Ｓから図６Ｔへの遷移を参照）（例えば、顔面表情のシーケンスの記録が完了するのに応じて、生成されたアニメーション化された仮想アバターがループでユーザに再生される）。記録されたアニメーション絵文字のループバージョンを再生すると、ユーザは、アニメーション絵文字を送信、削除、又は保存するかどうかを決定する前に、アニメーション絵文字を自動的に確認することができる。これは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、ユーザが結果にコミットする前に結果を示すフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、アニメーション化された仮想アバターを生成する要求は、仮想アバター生成インタフェースに表示された記録アフォーダンス（例えば、６４８）の選択を含む。電子デバイスは、カメラの視野内にある顔の顔面表情を記録した後、記録アフォーダンスの表示を送信アフォーダンス又は確認アフォーダンス（例えば、６６４）に置き換える。いくつかの実施形態では、送信アフォーダンスは、方法８００に関して上記で説明したように動作する。記録アフォーダンスの選択に応じてアニメーション化された仮想アバターを記録すると、ユーザは、仮想アバタープレビューを使用して、デバイスがユーザを追跡しておりかつ現在選択されている仮想アバターテンプレートが、ユーザが伝達したいメッセージと一致していることを検証することができる。これは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、ユーザが意図された結果を生成する前に意図された結果のプレビューを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、アニメーション化された仮想アバターのループバージョンは、第１の仮想アバターテンプレート（例えば、要素６４４－４に対応するアバターテンプレート）を使用して表示される（９１８）。電子デバイスは、第２の仮想アバターテンプレートの表現（例えば、図６Ｚの要素６４４－８）を含む複数の他の仮想アバターテンプレートの表現（例えば、要素６４４－１から６４４－７）（例えば、笑顔、動物、ロボット、又は他の対象物などの異なる仮想アバターテンプレートのミニチュア汎用版）を表示する。第２の仮想アバターテンプレートは、第１の仮想アバターテンプレートとは異なる。いくつかの実施形態では、複数の仮想アバターテンプレート内の仮想アバターテンプレートのうちの任意の１つ以上は、メッセージングアプリケーションを介して送信されるために利用可能な絵文字に基づいている。アニメーション化された仮想アバターのループバージョンの表示を開始した後、第１の仮想アバターテンプレート表現を選択するユーザ入力の受信に応じて、電子デバイスは、第２の仮想アバターテンプレートを反映するためにアニメーション化された仮想アバターのループバージョンの表示を更新する（９２２）（例えば、アニメーション化された仮想アバターは、顔の表情の変化のシーケンスになおも基づいているが、アニメーション化された仮想アバターの外観は、新たな仮想アバターテンプレートを反映するように変化する）。例えば、アニメーション化された仮想アバターは、猿からロボットに変化することができるが、更にカメラの視野内の顔の表情の変化の同じシーケンスを経時的に反映する（例えば、図６Ｔから図６Ｕへの遷移を参照）。いくつかの実施形態では、電子デバイスは、第１の仮想アバターテンプレートの表現を含む仮想アバターテンプレートの複数の表現（例えば、笑顔、動物、ロボット、又は他の対象などの異なる仮想アバターテンプレートのミニチュア汎用版）を表示する（９１４）。第１の仮想アバターテンプレートの表現の選択に対応するユーザ入力の受信に応じて、電子デバイスは、第１の仮想アバターテンプレートに対応するようにアニメーション化された仮想アバターのループバージョンの表示を更新する（９１６）（例えば、ユーザがいかなる顔面表情も再記録する必要なく、子犬仮想アバターテンプレートに基づく子犬の代わりにロボット仮想アバターテンプレートに基づくロボットからなるようにアニメーションを変化させる）。新たに選択されたアバターテンプレートに基づくアニメーション化された仮想アバターの更新は、ユーザがアニメーション化された仮想アバターの動きとアクションを記録した後、アニメーション化された仮想アバターのスタイルを選択することを可能にすることにより、意図したメッセージのマルチメディアコンテンツを微調整することを可能にする。新たなアバターテンプレートをプレビューするためにアニメーション化された仮想アバターコンテンツを再記録する必要がなくなると、デバイスの操作性が向上し、（例えば、コンテンツの繰り返し生成をなくすことにより）ユーザとデバイスのインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることで、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、プレビュー仮想アバターは、第２のアバターテンプレートに基づいている。カメラの視野内の顔の第１の物理的特徴（例えば、ユーザの眉毛の動き）の第１の特性の検出に応じて（例えば、図６Ｏの６５０－２）、電子デバイスは、検出された第１の特性に基づく仮想アバターの表示されたプレビューの第１の物理的特徴を更新する（９２０）（例えば、仮想アバターのプレビューにその眉毛を動かさせる）。表示されたプレビューの第１の物理的特徴は、第１の特徴のタイプ（例えば、眉毛）を有する。第１のグラフィカル要素の選択に対応するユーザ入力を受信した後（例えば、アバターテンプレートを子犬から猿に切り替える）、及びカメラの視野内の顔の第１の物理的特徴の第２の特性（例えば、ユーザの眉毛の動き）の検出に応じて、電子デバイスは、検出された第２の特性（例えば、猿の耳の動き）に基づいて仮想アバターの表示されたプレビューの第２の物理的特徴（例えば、図６Ｏの６５１－２）を更新し（９２２）、表示されたプレビューの第２の物理的特徴は、第１の特徴タイプ（例えば、眉毛）とは異なる第２の特徴タイプ（例えば、耳）を有する。ユーザの同じ物理的特徴を異なるアバターテンプレートの異なる物理的特徴にマッピングすると、ユーザは、様々な仮想アバターを生成する同じ入力を有することによってメッセージを通信するための幅広い任意選択を有することができる。これは、デバイスの操作性を向上させ、（例えば、メッセージを伝達するためにより多くの選択を提供することによって意図されたメッセージを達成するようにユーザを支援することにより）ユーザとデバイスのインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、仮想アバターテンプレートの複数の表現をスクロールする要求に対応するユーザ入力（例えば、図６Ｙ～図６ＡＡの接触６７６を介して）の受信に応じて、仮想アバターテンプレートの複数の表現の一部ではない第２のグラフィカル要素を表示するために仮想アバターテンプレートの複数の表現の表示をスクロールする。いくつかの実施形態では、スクロールは、要求に対応するユーザ入力の速度に基づいている。仮想アバターテンプレートをスクロールすると、ユーザは、仮想アバターの異なるオプションを素早く確認することができる。更に、仮想アバターテンプレートの複数の表現の表示をスクロールすることにより、ユーザは、前及び次の仮想アバターテンプレートを確認することができる。これは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、スクロールの速度は、ユーザ入力の終了を検出した後、経時的に徐々に低下する（例えば、仮想アバターの複数の表現が摩擦により徐々に減速された慣性を有するかのようにスクロールが徐々に停止する）。経時的にスクロール速度を徐々に低下させることで、ユーザは、追加の入力を提供する必要なく、異なる仮想アバターテンプレートオプションを引き続き確認することができる。これは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、追加の対話を要求することなく可能な結果のフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、要求に対応するユーザ入力の受信に応じて、１つの仮想アバターテンプレートから異なる仮想アバターテンプレートに変化する現在選択されている仮想アバターテンプレートに対応する可聴出力及び／又は触知出力を生成する。例えば、仮想アバターテンプレートの複数の表現のそれぞれが、現在選択されている仮想アバターテンプレートを示す場所を過ぎてスクロールすると、可聴及び／又は触知出力が生成される。可聴又は触知フィードバックを生成することにより、ユーザは、新たな選択がいつ発生したかを判定することができる。これは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、新たな選択がいつ行われるかを示すフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、アニメーション化された仮想アバターでのユーザ入力、アニメーション化された仮想アバターを保存する要求に対応する入力の受信に応じて、アニメーション化された仮想アバターのデータを電子デバイス上のデータベースに記憶する（例えば、図６ＣＣ～図６ＧＧ）。例えば、電子デバイスは、アニメーション化された仮想アバターを表すデータを、電子デバイスの不揮発性記憶装置のディレクトリ又はライブラリに記憶する。
いくつかの実施形態では、電子デバイスは、アニメーション化された仮想アバターをリモートデバイスのリモートユーザ（例えば、図６ＨＨ～図６ＫＫ）に送信する要求（例えば、接触６８８）を受信する。リモートデバイスが基準の第１のセットを満たしている（例えば、リモートデバイスがアニメーション化された仮想アバターの第１バージョンを再生するために必要なアプリケーションの必要なバージョンを有している）という判定に従って、電子デバイスは、アニメーション化された仮想アバターの第１バージョンをリモートデバイスのユーザに送信する（例えば、リモートデバイスがアニメーション化された仮想アバターを再生することができるように、記録された顔面表情のシーケンスと仮想アバターテンプレートの表示を表す非グラフィカルデータを送信する）。リモートデバイスが第１の基準のセットを満たしていない（例えば、リモートデバイスは、アニメーション化された仮想アバターの第１のバージョンを再生するための適切なメッセージングアプリケーション又はメッセージングアプリケーションのバージョンを有しない）という判定に従って、電子デバイスは、リモートデバイスのユーザに第１のバージョンとは異なるアニメーション化された仮想アバターの第２のバージョンを送信する（例えば、アニメーション化された仮想アバターを表すビデオファイルの送信）。アニメーション化された仮想アバターのどのバージョンをリモートユーザに送信するかを判定すると、最小限度の互換性のある情報のみをリモートユーザに送信することにより、デバイスのリソースが節約される。更に、そうすることで、ユーザがより互換性のある形式で情報を再送信する必要性を低減する（例えば、初期形式が表示できなかったことを示すリモートユーザに応じて）。効率的で有効なデータ転送は、デバイスの操作性を向上させ、更に、ユーザがデバイスをより素早く、効果的に使用することができるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、アニメーション化された仮想アバターのループバージョンを表示しながら、顔面表情のシーケンスを記録している間に記録されたサウンドと所定のアバターテンプレートに関連付けられたオーディオフィルタとに基づいてオーディオデータを再生する（９２４）。いくつかの実施形態では、電子デバイスは、アニメーション化された仮想アバターのループバージョンを表示しながら、顔面表情のシーケンスを記録している間に記録されたサウンドに基づいてオーディオデータを再生する。ミュートアフォーダンスの選択（例えば、図６Ｔ及び図６Ｕの６６２）に対応するユーザ入力の受信に応じて、電子デバイスは、オーディオデータの再生を停止する。仮想アバターのアバターテンプレートに固有のフィルタに基づいてアニメーション化された仮想アバターのフィルタ処理されたオーディオを再生すると、ユーザは、メッセージの通信方法のオプションを増やし、より魅力的なアニメーション化された仮想アバターを提供することで、メッセージをより効果的に伝達することができる。これは、デバイスの操作性を向上させ、（例えば、メッセージが伝達される方法に関するより多くのオプションをユーザに提供することによって意図されたメッセージを達成するようにユーザを支援することにより）ユーザとデバイスのインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、リモートユーザにアニメーション化された仮想アバターを送信する要求の受信に応じて（９２６）、及びアニメーション化された仮想アバターのループバージョンの表示に関連付けられたオーディオデータがミュートされている間に、アニメーション化された仮想アバターをリモートユーザに送信する要求（例えば、接触６６７）が受信されたという判定に従って、アニメーション化された仮想アバターのサウンドデータを送信することなく、アニメーション化された仮想アバターを表すデータをリモートユーザに送信する（９２８）。アニメーション化された仮想アバターのループバージョンの表示に関連付けられたオーディオデータがミュートされなかった間に、電子デバイスは、アニメーション化された仮想アバターをリモートユーザに送信する要求が受信されたという判定に従って、アニメーション化された仮想アバターのサウンドデータとともに、アニメーション化された仮想アバターを表すデータをリモートユーザに送信する（９３０）。ユーザがアニメーション化された仮想アバターの再生で音声をミュートしたときに音声なしのアニメーション化された仮想アバターを送信すると、ユーザは、リモートユーザに送信されるメッセージに音声を含めるかどうかを効率的に選択することができる。これは、デバイスの操作性を向上させ、（例えば、最小限度の対話によって意図された結果を達成するようにユーザを支援することにより）ユーザとデバイスのインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、アニメーション化された仮想アバターを生成する要求（例えば、接触６５２）の受信に応じて、カメラの視野内にある顔の第１の顔の動きを記録し、アニメーション化された仮想アバターのループバージョンの表示は、アニメーション化された仮想アバターの物理モデル及び第１の顔の動きに基づいて仮想アバターをアニメーション化することを含む（例えば、図６Ｏの画像データ６５０－５及び更新６５１－５を参照）。仮想アバターの物理モデルに基づいてアニメーション化された仮想アバターを更新することによって、ユーザは、より広い範囲の非言語的通信を伝達できる現実的な対話型の仮想アバターを作成することができる。これによって、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、仮想アバターのより現実的な動きを使用して、意図されたメッセージを伝達するようにユーザを支援することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、顔面表情のシーケンスを記録している間にカメラの視野内にある顔の特定の特徴が閾値時間を超えて特定のポーズで維持されていることを検出することに応じて（例えば、図６Ｏの６５０－４及び６５０－５を参照）、アニメーション化された仮想アバターに、顔の特定のポーズに対応する所定のアニメーション表現（例えば、図６Ｏの６５１－５を参照）を追加する。例えば、顔が所定期間だけ中立的な表情を有する場合、頭の回転やウィンクなどの所定の動きがアニメーション化された仮想アバターに追加される。他の例として、顔が所定期間怒りの表情を有する場合、怒りを暗示する耳から出る色や蒸気などの１つ以上の追加特徴がアニメーション化された仮想アバターに追加される。ユーザの顔の特徴が特定のポーズで所定時間維持されていることを検出するデバイスに基づいてアニメーション化された仮想アバターを更新すると、ユーザは、顔面表情、特徴、及び動きのみで可能なアクションよりも多くのアクションをアニメーション化された仮想アバターに追加することができる。これは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、容易に達成可能な顔面表情、動き、又は特徴に対応しないアクションを通信するために追加の機構を提供することによってユーザが意図された結果を達成することを支援することにより）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、電子デバイスは、顔面表情のシーケンスを記録しながら、カメラとは別個の他の入力機構を介したユーザ入力の受信に応じて（例えば、タッチセンシティブ面へのタッチ、動きセンサによって検出される電子デバイスの動き、ボタンのアクティブ化、又はその他の入力）、第１の顔面表情を顔面表情のシーケンスに追加する（例えば、幸せな顔面表情、舌を出した顔面表情、又はアニメーション化された仮想アバターに含めるために顔面表情を記録しながらカメラの視野内の顔によって形成された顔面表情として実際に記録されなかった他の顔面表情を記録する）。第１の顔面表情は、入力機構を介して受信したユーザ入力に基づいている。いくつかの実施形態では、アニメーション化された仮想アバターがループしている間に、ユーザは、アニメーション化された仮想アバターがループするにつれて、ユーザが徐々に表現をアニメーション化された仮想アバターに追加することができるように、タッチスクリーンコントロールを使用してアニメーション化された仮想アバターに追加の表現を追加することができ、したがって、アニメーション化された仮想アバターを最初に作成するときに表情の変化がカメラ（例えば、ユーザの顔）の視野内の顔の顔面表情に基づいて記録された表情の変化とは異なる場合であっても、アニメーション化された仮想アバターは、ユーザによって選択された表情の変化を含む。カメラでキャプチャされた以外のユーザ入力に基づいてアニメーション化された仮想アバターを更新すると、ユーザは、顔面表情、特徴、及び動きのみで可能なアクションよりも多くのアクションをアニメーション化された仮想アバターに追加することができる。これは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、容易に達成可能な顔面表情、動き、又は特徴に対応しないアクションを通信するために追加の機構を提供することによってユーザが意図された結果を達成することを支援することにより）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
なお、方法９００に関して上述された処理（例えば、図９Ａ～図９Ｂ）の詳細はまた、以下で説明される方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法９００は、方法８００を参照して上述した様々な方法の特性のうちの任意の１つ以上を任意選択的に含む。例えば、記録された顔の特徴、動き、及び／又は表情のシーケンスに基づいて、及び方法９００に関して説明されたアバターテンプレートに関連付けられたフレームワークに基づいて、アニメーション化された仮想アバタープレビューを表示することは、上記の方法８００に関して説明したステッカー及びアニメーション化された仮想アバターインタフェースに適用することができる。
上述した情報処理方法での演算は、汎用プロセッサ（例えば、図１Ａ、３、及び５Ａに対して説明したように）又は特定用途向けチップなどの情報処理装置内の１つ以上の機能モジュールを実行させることによって、任意選択的に実行される。更に、図９Ａ～図９Ｂを参照して上述した動作は、任意選択的に、図１Ａ～図１Ｂに示す構成要素によって実施される。例えば、アニメーション化された仮想アバター生成する要求を受信すること（９０６）は、イベントソータ１７０、イベント認識部１８０、及びイベントハンドラ１９０によって、任意選択的に実施される。イベントソータ１７０内のイベントモニタ１７１は、タッチ感知面６０４上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６－１に伝送する。アプリケーション１３６－１のそれぞれのイベント認識部１８０は、イベント情報をそれぞれのイベント定義１８６と比較し、タッチ感知面上の第１の位置での第１の接触が、ユーザインタフェース上のオブジェクトの選択などの所定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、そのイベント又はサブイベントの検出に関連付けられたイベントハンドラ１９０をアクティブ化する。イベントハンドラ１９０は、アプリケーション内部状態１９２を更新するために、アップデータ１７６又はオブジェクトアップデータ１７７を、任意選択的に利用又は呼び出す。いくつかの実施形態では、１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩアップデータイベントハンドラ１７８にアクセスする。同様に、当業者にとって、他のプロセスが、図１Ａ～図１Ｂに示す構成要素に基づいて、どのように実施され得るかは明らかであろう。
図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、及び図１７Ａ～図１７Ｂは、いくつかの実施形態による、仮想アバターを生成及び変更するための例示的なユーザインタフェースを示す。これらの図におけるユーザインタフェースは、図１８Ａ、図１８Ｂ、図１９、図２０、図２１、図２２、図２３、図２４、及び図２５におけるプロセスを含む、以下で説明するプロセスを例示するために使用される。
いくつかの実施形態では、仮想アバターは、グラフィカルに描画され得るユーザの表現である。いくつかの実施形態では、仮想アバターは非写実的（例えば、漫画的）である。いくつかの実施形態では、アバターは、定型化された動物（例えば、アバター１１００、１３００、１５００、１６００、及び１７００）、定型化されたロボット（例えば、アバター１４００）、又は通常無生物の定型化（例えば、アバター１０００）などの擬人化構造である。いくつかの実施形態では、仮想アバターは、１つ以上のアバター特徴（例えば、アバター顔の特徴）を有するアバターの顔を含む。いくつかの実施形態では、アバター特徴は、ユーザの物理的特徴の検出された動きが、アバター特徴に影響を与える（例えば、特徴のグラフィック表現に影響を与える）ように、ユーザの顔の１つ以上の物理的特徴に対応する（例えば、マッピングされる）。
いくつかの例では、ユーザは、カメラセンサ（例えば、カメラ６０２）（例えば、カメラモジュール１４３、光センサ１６４、深度カメラセンサ１７５）を使用して、仮想アバターの特性又は特徴を操作することができる。ユーザの物理的特徴（顔の特徴など）及び位置（頭の位置又は頭の傾きなど）が変化したときに、電子デバイスはその変化を検出し、ユーザの物理的特徴及び位置の変化を反映するように仮想アバターの表示された画像を変更する。いくつかの実施形態では、ユーザの物理的特徴及び位置の変化は、様々な表情、感情、文脈、調子、又はその他の非言語的コミュニケーションを示す。いくつかの実施形態では、電子デバイスは、これらの表情、感情、文脈、調子、又はその他の非言語的コミュニケーションを表すように、仮想アバターの表示された画像を変更する。
図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、図１７Ａ～図１７Ｂ、及び図２６Ａ～図２６Ｄは、電子デバイスに表示される例示的なユーザ入力及び例示的な仮想アバター（例えば、プー、クマ、エイリアン、ウサギ、ロボット、ユニコーン、ニワトリ、ブタのアバター）に対する対応する変化を示す。いくつかの実施形態では、電子デバイスは、デバイス１００、３００、及び５００の１つ以上の要素及び／又は特徴を含む。図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、図１７Ａ～図１７Ｂ、図２６Ａ～図２６Ｄの左側の画像は、ユーザが１つ以上のカメラ（例えば、カメラ６０２）（例えば、カメラモジュール１４３、光センサ１６４、深度カメラセンサ１７５）及び／又は他のセンサ（例えば、赤外線センサ）の視野内にいるときに電子デバイスによって検出されたユーザの画像を表す。換言すれば、ユーザの画像は、カメラ（例えば、カメラ６０２）（例えば、カメラモジュール１４３、光センサ１６４、深度カメラセンサ１７５）の視点からのものであり、これは、いくつかの実施形態では、電子デバイス（例えば、デバイス１００、３００、及び５００）に配置されることができ、他の実施形態では、電子デバイス（例えば、データを電子デバイスに渡す外部カメラ又はセンサ）から分離して配置されることができる。いくつかの実施形態では、図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、図１７Ａ～図１７Ｂ、及び図２６Ａ～図２６Ｄの左側の画像の境界は、１つ以上のカメラ（例えば、６０２）（例えば、カメラモジュール１４３、光センサ１６４、深度カメラセンサ１７５）及び／又は他のセンサ（例えば、赤外線センサ）の視野の境界を表す。いくつかの実施形態では、ユーザの画像は、電子デバイスのディスプレイ（例えば、タッチスクリーン１１２、ディスプレイ３４０、ディスプレイ４５０、ディスプレイ５０４）に表示される。いくつかの実施形態では、ユーザの画像は、表示のために外部電子デバイスに送信される。いくつかの実施形態では、外部電子デバイスは、デバイス１００、３００、及び５００の１つ以上の要素及び／又は特徴を含む。いくつかの実施形態では、ユーザの画像データは、デバイスによって収集及び処理されるが、すぐに電子デバイスに表示されたり、外部デバイスに送信されたりすることはない。
図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、及び図１７Ａ～図１７Ｂの右側の画像のそれぞれは、図の左側に配置されたユーザの対応する検出画像に基づいて提示された（例えば、変更後に表示された）状態の仮想アバター（例えば、プーアバター）を示す。いくつかの実施形態では、仮想アバターは、仮想アバターを見ているユーザの視点から示される。いくつかの実施形態では、仮想アバターは、電子デバイスのディスプレイ（例えば、タッチスクリーン１１２、ディスプレイ３４０、ディスプレイ４５０、ディスプレイ５０４）に表示される。いくつかの実施形態では、仮想アバターは、表示のために外部電子デバイスに送信される。いくつかの実施形態では、図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、及び図１７Ａ～図１７Ｂの右側の画像は、電子デバイスのディスプレイ（例えば、タッチスクリーン１１２、ディスプレイ３４０、ディスプレイ４５０、ディスプレイ５０４）の表示領域内の仮想アバターの位置を表し、図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、及び図１７Ａ～図１７Ｂの右側の画像の境界は、仮想アバターを含む表示領域の境界を表す。いくつかの実施形態では、右側に表される表示領域は、上記で説明した仮想アバターインタフェース６４３、メッセージ作成エリア６１２、メッセージエリア６０９（又はその一部）などのアプリケーションユーザインタフェースのアバター表示領域に対応する。
いくつかの実施形態では、アバター特徴（例えば、他のアバター特徴に対して別個に移動又は変更できるアバターの別個の要素）の反応の大きさは、ユーザの物理的特徴（例えば、ユーザの筋肉、筋肉群、又は目などの解剖学的特徴などの検出又は追跡された特徴）の変化の大きさに対応する。例えば、いくつかの実施形態では、物理的特徴の変化の大きさは、物理的特徴の潜在的な動きの範囲に応じて決定され、大きさは、その物理的特徴の動きの範囲（例えば、予測された又はモデル化された動きの範囲）内の物理的特徴の相対位置を表す。そのような実施形態では、アバター特徴の反応の大きさは、同様に、アバター特徴の動きの範囲内のアバター特徴の相対位置である。いくつかの実施形態では、変化の大きさは、変化による物理的特徴の開始位置と終了位置の比較又は測定（例えば、距離）に基づいて決定される。そのような実施形態では、物理的特徴の変化は、物理的特徴の測定された変化をアバター特徴に適用することにより、第１のアバター特徴の変更に変換されることができる（例えば、直接的に又はスケーリング若しくは調整された値として）。
いくつかの実施形態では、アバター特徴に対する変更は、大きさ成分と方向成分の両方を有し、アバター特徴の変更の方向成分は、アバター特徴が反応する物理的特徴のうちの任意の１つ以上の変化の方向成分に基づいている。いくつかの実施形態では、アバター特徴の反応の方向は、ユーザの物理的特徴の変化の相対的な方向に（例えば、直接的に又は逆に）対応し、物理的特徴の変化の相対的な方向は、初期位置（例えば、物理的特徴の中立的な静止位置、又はいくつかの実施形態では、デバイスによって最初に検出される物理的特徴の位置）からの物理的特徴の移動方向に基づいて決定される。いくつかの実施形態では、アバター特徴の反応の方向は、物理的特徴の変化の相対的な方向に直接対応する（例えば、物理的特徴が上に移動し、アバター特徴も上に移動する）。他の実施形態では、アバター特徴の反応の方向は、物理的特徴の変化の相対的な方向に逆に対応する（例えば、物理的特徴が上に移動し、アバター特徴が下に移動する）。
いくつかの実施形態では、アバター特徴の変化の方向成分は、物理的特徴の変化の方向成分に対して鏡映される。例えば、物理的特徴（例えば、ユーザの口）が左に移動すると、アバター特徴（例えば、アバターの口）は右に移動する。いくつかの実施形態では、アバター特徴の変化の方向成分は、鏡で見たときに見られる効果と同様に、縦軸に沿った動きの物理的特徴の変化の方向成分と同じであり、横軸に沿った動きに対して鏡映される。いくつかの実施形態では、ユーザの虹彩の中立的な静止位置は、ユーザの眼球の周辺部に対して特定の位置（例えば、中央）に決定される。
図１０Ａは、ユーザの顔の特徴の変化の検出に応じて、プーアバター１０００を変更する電子デバイスを示す例示的な実施形態を示す。４つの表示状態（１０１１Ａ、１０１１Ｂ、１０１１Ｃ、及び１０１１Ｄ）を有するプーアバターが示されており、プーアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１００１Ａ、１００１Ｂ、１００１Ｃ、及び１００１Ｄ）に対応する。具体的には、図１０Ａの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、プーアバター特徴を配置又は変更する。図１０Ａに示す実施形態では、検出されたユーザの顔の特徴は、ユーザの口１０２０（角１０２０Ａ及び１０２０Ｂを有する）及びユーザの眉毛１０２２を含む。いくつかの実施形態では、追跡される物理的特徴は、瞼、虹彩、筋肉、筋肉群などの他の顔の特徴を含むことができる。図１０Ａの実施形態では、プーアバター特徴は、アバターの顔１０００Ｃ、口１０３０、アバターの目１０３２、アバターの上部部分１０３４、アバターの下部部分１０３６、及び（特定の状態では）アバターの眉毛１０３８を含む。
１００１Ａに示されるように、電子デバイスは、ユーザの中立的な顔面表情を検出する。例えば、電子デバイスは、ユーザの口１０２０及び眉毛１０２２が弛緩した中立状態に配置され、特定の顔面表情（例えば、笑顔又は眉毛をひそめている）に関連付けられた位置にないことを検出する。ユーザの中立的な顔面表情の検出に応じて、電子デバイスは、１０１１Ａにおいて中立的な表情（例えば、中立的な状態）を有するプーアバター１０００を表示する。具体的には、電子デバイスは、特定の顔面表情（例えば、笑顔又は眉毛をひそめる）に通常関連付けられる位置にない、弛緩した中立状態にあるアバターの口１０３０を有するプーアバターを表示する。いくつかの実施形態では、アバターの中立位置は、メッセージングアプリケーションで見られる静的なプー絵文字などの関連画像の他の表現に対応する。更に、電子デバイスは、眉毛１０３８のないプーアバターの顔１０００Ｃを表示し、ディスプレイ（又はカメラ（例えば、カメラ１４３、光センサ１６４）の焦点面）に垂直な方向を向くアバターの目１０３２を表示する。電子デバイスはまた、下部部分１０３６の上にある中立的な直立位置にあるプーアバターの上部部分１０３４も表示する。
１００１Ｂに示されるように、電子デバイスは、笑顔の顔面表情を形成するユーザの口１０２０の位置を検出する（例えば、ユーザの口の角１０２０Ａ及び１０２０Ｂの一方又は両方は、笑顔の顔面表情を形成するように上向きのポーズ（例えば、上向きの位置）に配置される）。ユーザの口１０２０の位置の検出に応じて、電子装置は、アバターの口１０３０が１０１１Ｂに示すように開いた笑顔の位置を有するように、笑顔の表情を有するようにアバターの口１０３０の表示を変更する。１０１１Ｂに示されるように、目１０３２、上部部分１０３４、及び下部部分１０３６は、１０１１Ａの元の位置に対して変化しないままである。
１００１Ｃに示されるように、電子デバイスは、ユーザの顔をしかめている顔面表情を検出する。いくつかの実施形態では、電子デバイスは、下向きの姿勢（例えば、下向きの位置）に位置するユーザの口の角１０２０Ａ及び１０２０Ｂの一方又は両方及び下向きの位置（例えば、１００１Ａ及び１００１Ｂの弛緩した中立状態時の眉毛１０２２の位置と比較した場合、ユーザの顔の下にひそめる又は配置される）のユーザの眉毛１０２２を検出することにより、顔をしかめている顔面表情を検出する。ユーザの顔をしかめた顔面表情の検出に応じて、電子デバイスは、１０１１Ｃに示すように顔をしかめ、垂れ下がった顔を有するようにプーアバターを変更する。例えば、電子装置は、口１０３０のわずかに開いた位置でアバターの口１０３０の角が下に曲がるように、プーアバターを変更し、プーアバターの下部部分１０３６は、下に曲がったプーアバターの口１０３０の位置と同様に下方に湾曲する。図１０Ａの実施形態では、電子デバイスがユーザの眉毛１０２２の下向きの位置を検出する間、アバターの目１０３２の上にあるプーアバターの解剖学的に対応する部分は変更されない。
いくつかの実施形態では、電子デバイスは、下向きの口１０３０及び口１０３０が下向き位置に移動するにつれて下に曲がる下部部分１０３６のアニメーションを表示することにより、１０１１Ｃに示す垂れ面を有するようにプーアバターを変更する。いくつかの実施形態では、電子デバイスは、プーアバターが垂れ下がった顔を形成するときにプーアバターの先端１０４０が下に傾く又は傾斜するようにプーアバターを更に変更する。いくつかの実施形態では、先端１０４０の位置は、具体的には、ユーザの眉毛１０２２（解剖学的に先端１０４０に対応しない物理的特徴）の位置に基づいている。いくつかの実施形態では、電子デバイスは、ユーザが眉毛をひそめている表情をもはや作っていないときに、その中立位置に戻るようにプーアバターを変更する。そのような実施形態では、電子デバイスは、中立位置に移動する口１０３０及び中立位置に戻る下部部分１０３６のアニメーションを表示することにより、プーアバターを変更して１０１１Ａの中立状態に戻す。いくつかの実施形態では、プーアバターを垂れ下がった面から中立状態に戻すことは、電子デバイスがその中立位置にまっすぐになっているプーアバターの先端１０４０を表示することを含む。
１００１Ｄに示されるように、電子デバイスは、ユーザの口の角１０２０Ａ及び１０２０Ｂがわずかに持ち上げられ、ユーザの眉毛１０２２が持ち上げられた位置にあることを検出する（例えば、１００１Ａ及び１００１Ｂに示す弛緩した中立状態において、眉毛１０２２の位置と比較した場合、ユーザの顔のより高い位置にある）。ユーザの口１０２０の角１０２０Ａ及び１０２０Ｂの位置の検出に応じて、電子デバイスは、アバターの口１０３０の角がユーザの口の１０２０の角１０２０Ａ及び１０２０Ｂの位置に一致するようにわずかに持ち上げられるように、プーアバターの表示を変更する。ユーザの眉毛１０２２の持ち上げられた位置の検出に応じて、電子デバイスは、持ち上げられた位置にあるプーアバターの目１０３２の上に位置する眉毛１０３８を導入し（例えば、プーアバター１０００がその眉毛１０３８を持ち上げているという印象を伝達するため）かつ（例えば、下部部分１０３６の元の位置を維持しながら、プーアバターの先端１０４０を伸ばすことによって）プーアバターの上部部分１０３４を上方向に伸ばすことによってプーアバターを変更する。１００１Ｄ及び１０１１Ｄに示される実施形態では、電子デバイスは、アバターの眉毛１０３８を導入し、ユーザの眉毛１０２２が持ち上げられると、プーアバターの先端１０４０を伸ばす。いくつかの実施形態では、電子デバイスは、ユーザの眉毛１０２２が中立位置に戻ると、アバターの眉毛１０３８を取り除き、先端１０４０を弛緩させる。いくつかの実施形態では、電子デバイスは、プーアバターの目１０３２に向かって下方に移動しかつ目１０３２の上のプーアバターの顔１０００Ｃに消える眉毛１０３８をアニメーション化することにより、プーアバターの眉毛１０３８を取り除く。
図１０Ｂは、ユーザの顔の特徴の変化の検出に応じて、プーアバターを変更する電子デバイスを示す例示的な実施形態を示し、プーアバターに対する変更は、アバター特徴の誇張した移動を含む。いくつかの実施形態では、仮想アバター特徴を誇張することにより、ユーザは、顔の対応する特徴を不快に変化させる必要なく、アバター特徴に対する最大の変化に影響を与えることができる。例えば、図１０Ｂに示すように、ユーザは、ユーザの口を不快に開く必要なく（例えば、ユーザの口の動きの予測された又は決定された範囲の最大範囲までユーザの口を開く必要なく）アバターに可能な限り広く（例えば、驚いた表情で）その口を開かせることができる。
プーアバターは、３つの表示状態（１０１２Ａ、１０１２Ｂ、及び１０１２Ｃ）を有して図１０Ｂに示されており、プーアバターの３つの表示状態のそれぞれがユーザの３つの検出された状態（１００２Ａ、１００２Ｂ、及び１００２Ｃ）にそれぞれ対応する。具体的には、図１０Ｂの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、プーアバター特徴を配置又は変更する。図１０Ｂに示す実施形態では、検出されたユーザの顔の特徴は、ユーザの口１０２０を含む。いくつかの実施形態では、追跡される物理的特徴は、瞼、虹彩、筋肉、筋肉群などの他の顔の特徴を含むことができる。図１０Ｂの実施形態では、プーアバター特徴は、アバターの口１０３０、アバターの目１０３２、アバターの上部部分１０３４、及びアバターの下部部分１０３６を含む。
１００２Ａに示すように、電子デバイスは、ユーザの口１０２０がわずかに開いているユーザの第１の状態を検出する（例えば、ユーザの口の動きの予測された又は決定された範囲の最大範囲の１０％）。ユーザのわずかに開いた口１０２０の検出に応じて、電子デバイスは、１０１２Ａに示されるように、プーアバターの目１０３２、上部部分１０３４、及び下部部分１０３６などのアバターの他の特徴を変更しないまま、ユーザの口１０２０よりも大きい（例えば、それぞれの動きの範囲内）プーアバターの口１０３０が開いた位置（例えば、アバターの口の動きのモデル化された範囲の最大範囲の２０％）を有するように、プーアバターを変更する。
１００２Ｂに示されるように、電子デバイスは、ユーザの口１０２０が状態１００２Ａであったものよりも広く開いているユーザの顔の特徴の変化（例えば、ユーザの口の動きの予測された又は決定された範囲の最大範囲の２５％）を検出する。１００２Ａのわずかに開いた位置から１００２Ｂのより広い開口に遷移するユーザの口１０２０の検出に応じて、電子デバイスは、プーアバターの目１０３２、上部部分１０３４、及び下部部分１０３６を含む他のアバター特徴の位置を更に維持しながら、口１０３０が１０１２Ａに示されている位置よりも更に大きい開いた位置（例えば、アバターの口の動きのモデル化された範囲の最大範囲の５０％）を有するように、１０１２Ｂに示すように、プーアバターの口１０３０をサイズが大きくなるように変更する。
１００２Ｃに示されるように、電子デバイスは、ユーザの口１０２０が１００２Ｂであったものよりも更に広く開いているユーザの顔の特徴の更に他の変化（例えば、ユーザの口の動きの予測された又は決定された範囲の最大範囲の５０％）を検出する。１００２Ｂの開いた位置から１００２Ｃのより広い開口に遷移するユーザの口１０２０の検出に応じて、電子デバイスは、口１０３０が１０１２Ｂに示されている位置よりも更に大きい開いた位置（例えば、アバターの口の動きのモデル化された範囲の最大範囲の１００％）を有するように、１０１２Ｃに示すように、プーアバターの口１０３０をサイズが更に大きくなるように変更する。しかしながら、１０１２Ｃでは、口１０３０の開口は、下部部分１０３６の高さよりも大きい。その結果、電子デバイスは、１０４２においてプーアバター１０００の下部部分１０３６を拡張し、ユーザの開いた口１０２０に応じてプーアバター１０００の構造的完全性を維持する。換言すれば、ユーザの開いた口１０２０に応じてアバターとその特徴の一貫した配置を維持するために、デバイスは、仮想アバターの１つ以上の相互接続された部分（例えば、下部部分１０３６）を変更する。例えば、１０１２Ｃに示されるように、電子デバイスは、拡大されたアバターの口１０３０のサイズの増加に対応するために、領域１０４２において、アバターの口１０３０に隣接するプーアバターの下部部分１０３６を拡大する。電子デバイスがこのように下部部分１０３６を変更しなかった場合、拡大した口１０３０は、仮想アバターの構造を超えて延び、それにより、ユーザが仮想アバターを使用して通信しようとするコンテキスト及び／又はトーンを潜在的に妨げる。
いくつかの実施形態では、アバターの口１０３０のサイズの増加（例えば、１０１２Ａに示される位置から１０１２Ｂに示される位置まで、又は１０１２Ｂに示される位置から１０１２Ｃに示される位置まで）は、ユーザの口１０２０のサイズの増加に比例しない（例えば、１００２Ａに示される位置から１００２Ｂに示される位置まで、又は１００２Ｂに示される位置から１００２Ｃに示される位置まで）が、むしろサイズの変化の誇張された速度を提供するためにスケーリングされる。例えば、いくつかの実施形態では、スケールは、アバターの口の相対的な開いた位置がユーザの口の相対的な開いた位置の２倍であるように２の倍数である。例えば、ユーザの口がユーザの口の最大可動範囲の１０％開いている場合、電子デバイスは、アバターの口の動きのモデル化された範囲の最大範囲の２０％開いているアバターの口を表示する。
図１０Ｃは、ユーザの物理的特徴の変化の検出に応じてプーアバターを変更する電子デバイスを示す例示的な実施形態を示し、プーアバターの変更は、静止したプーアバターの下部部分を維持しながら前方及び後方にプーアバターの上部部分を回転（例えば、傾斜）することを含む。電子デバイスは、３つの表示状態（１０１３Ａ、１０１３Ｂ、及び１０１３Ｃ）を有するプーアバターを表示し、プーアバターの３つの表示状態のそれぞれは、それぞれ、ユーザの３つの検出状態（１００３Ａ、１００３Ｂ、及び１００３Ｃ）に対応する。具体的には、図１０Ｃの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、プーアバター特徴を配置又は変更する。図１０Ｃに示す実施形態では、ユーザの物理的特徴は、ユーザの顔１０２４、顎１０２６、及び頭１０２８を含む。いくつかの実施形態では、追跡される物理的特徴は、瞼、虹彩、筋肉、筋肉群などの他の顔の特徴を含むことができる。図１０Ｃの実施形態では、プーアバター特徴は、アバターの口１０３０、アバターの目１０３２、アバターの上部部分１０３４（プーアバターの先端１０４０を含む）、及びアバターの下部部分１０３６を含む。
１００３Ａに示されるように、電子デバイスは、上方向に回転した位置を有するユーザの顔１０２４を検出する。例えば、ユーザは、顎１０２６を持ち上げ、頭１０２８を後ろに傾けて（例えば、カメラ（例えば、カメラ１４３、光センサ１６４）の視界から遠ざける）、顔１０２４を上方向に配置する。ユーザの顔の上方位置１０２４の検出に応じて、電子デバイスは、１０１３Ａに示すように、ディスプレイから離れる方向（例えば、後方－カメラ（例えば、カメラ１４３、光センサ１６４）の焦点面から離れる方向）にプーアバターの上部部分１０３４を傾けることで、プーアバターを見上げるように変更する。この後方傾斜位置では、電子デバイスは、プーアバターを見上げるように変更したときに先端１０４０の偏移位置を示すために、プーアバター１０００の後側に向けて配置されたプーアバターの先端１０４０を表示する。更に、電子デバイスは、１０１３Ａに示すように、（例えば、プーアバターの瞳孔又は虹彩１０３２Ａをアバターの目１０３２の上部に向かって偏移させることにより）プーアバターの目１０３２を見上げるように変更する。電子デバイスが、プーアバターの上部部分１０３４を傾け、目１０３２を見上げるように変更する一方で、電子デバイスは、プーアバターの他の特徴を変更しないままにする。例えば、電子デバイスは、アバターの口１０３０の位置を維持し、電子デバイスが下部部分１０３６の幅に沿って延びる軸（例えば、Ｘ軸）の周りに後方に回転する上部部分１０３４を示すように、プーアバターの下部部分１０３６の位置を固定する。
１００３Ｂに示されるように、電子デバイスは、下方向に回転した位置を有するユーザの顔１０２４を検出する。例えば、ユーザは、顎１０２６を下げ（又は押し込み）、頭１０２８を前方（例えば、カメラ（例えば、カメラ１４３、光センサ１６４）の焦点面に向かって）に傾け、顔１０２４を下方向に配置した。ユーザの顔１０２４の下向き位置の検出に応じて、電子デバイスは、１０１３Ｂに示すように、プーアバターの上部部分１０３４をディスプレイに向かう方向（例えば、前方－カメラ（例えば、カメラ１４３、光センサ１６４）の焦点面に向かって）傾けることで、プーアバターを見下ろすように変更する。この前方傾斜位置では、電子デバイスは、プーアバターを見下ろすように変更したときに先端１０４０の偏移位置を示すために、プーアバターの前側に向けて配置されたプーアバターの先端１０４０を表示する。更に、電子デバイスは、１０１３Ｂに示すように、（例えば、プーアバターの瞳孔又は虹彩１０３２Ａをアバターの目１０３２の下部に向かって偏移させることにより）プーアバターの目１０３２を見下ろすように変更する。電子デバイスが、プーアバターの上部部分１０３４を傾け、目１０３２を見下ろすように変更する一方で、電子デバイスは、プーアバターの他の特徴を変更しないままにする。例えば、電子デバイスは、アバターの口１０３０の位置を維持し、電子デバイスが下部部分１０３６の幅に沿って延びる軸（例えば、Ｘ軸）の周りに前方に回転する上部部分１０３４を示すように、プーアバターの下部部分１０３６の位置を固定する。
１００３Ｃに示すように、電子デバイスは、ユーザの位置（具体的には、ユーザの顔１０２４及び頭１０２８の位置）が１００３Ｂに示す下向きの回転位置にあることを検出するが、１００３Ｂに示される位置からのカメラ（例えば、カメラ１４３、光センサ１６４）の視野内で下向きにも偏移する。それに応じて、電子デバイスは、１０１３Ｂに示す前方傾斜位置でプーアバター１０００を表示するが、また、１０１３Ｃにおける表示領域内で下方向に偏移して、カメラの視野内でのユーザの偏移の下方向を鏡映する。
図１０Ｄは、ユーザの物理的特徴の変化の検出に応じてプーアバターを変更する電子デバイスを示す例示的な実施形態を示し、プーアバターの変更は、静止したプーアバターの下部部分を維持しながらプーアバターの上部部分を回転することを含む。４つの表示状態（１０１４Ａ、１０１４Ｂ、１０１４Ｃ、及び１０１４Ｄ）を有するプーアバターが示されており、プーアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１００４Ａ、１００４Ｂ、１００４Ｃ、及び１００４Ｄ）に対応する。図１０Ｄの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、プーアバター特徴を配置又は変更する。図１０Ｄに示す実施形態では、ユーザの物理的特徴は、ユーザの口１０２０、顔１０２４、頭１０２８、及び肩１０２１を含む。いくつかの実施形態では、追跡される物理的特徴は、瞼、虹彩、筋肉、筋肉群などの他の顔の特徴を含むことができる。図１０Ｄの実施形態では、プーアバター特徴は、アバターの口１０３０、アバターの目１０３２、アバターの上部部分１０３４（プーアバターの先端１０４０を含む）、及びアバターの下部部分１０３６を含む。
１００４Ａに示すように、電子デバイスは、ユーザの肩１０２１が前方に位置したままユーザの右側に回転する、ユーザの頭１０２８と、任意選択的にユーザの顔１０２４（又は顔１０２４を含む様々な物理的特徴）を検出する。それに応じて、電子デバイスは、１０１４Ａに示すように、仮想アバターのねじれ運動が右方向のユーザの頭１０２８と顔１０２４の回転運動と鏡映するように、プーアバターの上部部分１０３４を右にねじる（下部部分１０３６を固定したまま）ことにより、プーアバターを変更する。電子デバイスはまた、ユーザの口１０２０の笑顔のポーズを検出し、アバターの口１０３０を笑顔に変更する。１０１４Ａに示すように、電子デバイスは、プーアバターの中心を通って垂直に延びる軸１０５１（例えば、Ｙ軸）の周りにプーアバターの上部部分１０３４をねじる。電子デバイスがプーアバターの上部部分１０３４を右にねじると、電子デバイスはまた、プーアバターの先端１０４０も左に偏移し、プーアバターの目１０３２を右に移動し、皺１０３４Ａ又はプーアバターの上部部分１０３４に形成された層の量を増やし、それにより、上部部分１０３４と下部部分１０３６との間の相互接続関係に基づいてモデル化された下部部分１０３６のわずかなねじれ１０７０を含むゆがんだ外観をプーアバターに与える。これらのプーアバターの変更は、アバターの一部（例えば、プーアバターの先端１０４０）が必ずしもユーザの物理的特徴に解剖学的に対応していない場合であっても、ユーザの物理的移動を模倣するアニメーション効果を提供する。
１００４Ｂ及び１０１４Ｂは、電子デバイスが、ユーザの肩１０２１が前方に位置したままユーザの左側に回転する、ユーザの頭１０２８と、任意選択的にユーザの顔１０２４（又は顔１０２４を含む様々な物理的特徴）を検出する同様の効果を示す。それに応じて、電子デバイスは、１０１４Ｂに示すように、仮想アバターのねじれ運動が左方向のユーザの頭１０２８と顔１０２４の回転運動と鏡映するように、プーアバターの上部部分１０３４を左にねじる（下部部分１０３６を固定したまま）ことにより、プーアバターを変更する。１０１４Ｂに示すように、電子デバイスは、プーアバターの中心を通って垂直に延びる軸１０５１の周りにプーアバターの上部部分１０３４をねじる。電子デバイスがプーアバターの上部部分１０３４を左にねじると、電子デバイスはまた、プーアバターの先端１０４０も右に偏移し、プーアバターの目１０３２を左に移動し、皺１０３４Ａ又はプーアバターの上部部分１０３４に形成された層の量を増やし、それにより、上部部分１０３４と下部部分１０３６との間の相互接続関係に基づいてモデル化された下部部分１０３６のわずかなねじれ１０７０を含む歪んだ外観をプーアバターに与える。
いくつかの実施形態では、電子デバイスは、ユーザがカメラ（例えば、カメラ１４３、光センサ１６４）の前方の固定の向き又は位置を維持する必要なく仮想アバターの変化に影響を与えることができるように、ユーザの肩１０２１の動き（例えば、回転運動）又は位置決めを追跡しない。例えば、１００４Ｃに示されるように、ユーザの肩１０２１は、ユーザの右に傾けられるか又は回転されるが、プーアバターの下部部分１０３６は、１０１４Ｃに示されるように固定されたままである。しかしながら、電子デバイスは、ユーザの右側に回転する、ユーザの頭１０２８と、任意選択的にユーザの顔１０２４を検出する。したがって、１０１４Ｃに示されるように、電子デバイスは、ユーザが肩１０２１を回転させることに応じてプーアバターを更に変更することなく、１０１４Ａに関して上述したようにプーアバターを適宜変更する。同様の効果が１００４Ｄ及び１０１４Ｄに示されており、ユーザの肩１０２１は、ユーザの頭１０２８とともにユーザの左に傾斜又は回転し、電子デバイスは、ユーザが肩１０２１を回転させることに応じてプーアバター（例えば、下部部分１０３６）を更に変更することなく、１０１４Ｂに関して上述したようにプーアバターを変更する。
図１０Ｅは、ユーザの物理的特徴の変化の検出に応じてプーアバターを変更する電子デバイスを示す例示的な実施形態を示し、プーアバターの変更は、静止したプーアバターの下部部分を維持しながらプーアバターの上部部分を傾斜させることを含む。４つの表示状態（１０１５Ａ、１０１５Ｂ、１０１５Ｃ、及び１０１５Ｄ）を有するプーアバターが示されており、プーアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１００５Ａ、１００５Ｂ、１００５Ｃ、及び１００５Ｄ）に対応する。各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、プーアバター特徴を配置又は変更する。図１０Ｅに示す実施形態では、ユーザの物理的特徴は、ユーザの口１０２０、顔１０２４、頭１０２８、肩１０２１、目１０２３、及び首１０２５を含む。いくつかの実施形態では、追跡される物理的特徴は、瞼、虹彩、筋肉、筋肉群などの他の顔の特徴を含むことができる。図１０Ｅの実施形態では、プーアバター特徴は、アバターの口１０３０、アバターの目１０３２、アバターの上部部分１０３４（プーアバターの先端１０４０及び中間部１０３１を含む）、及びアバターの下部部分１０３６を含む。
１００５Ａに示すように、電子デバイスは、ユーザの肩１０２１が前方に位置したままユーザの右側に傾斜する、ユーザの頭１０２８と、任意選択的にユーザの顔１０２４（又は顔１０２４を含む様々な物理的特徴）を検出する。電子デバイスはまた、ユーザの首１０２５がユーザの右にわずかに傾いていることも検出する。それに応じて、電子デバイスは、１０１５Ａに示すように、仮想アバターの傾斜運動がユーザの頭１０２８（及び／又は顔１０２４）及び首１０２５の右方向の傾斜に鏡映するように、下部部分１０３６を固定したまま、プーアバターの上部部分１０３４を右に傾けることにより（プーアバターの上部部分１０３４は、先端１０４０及び中間部１０３１を含む）、プーアバターを変更する。
傾斜の方向を鏡映することに加えて、電子デバイスは、仮想アバターを変更して、１００５Ａに示されるユーザの様々な物理的特徴に存在する様々な度合いの傾斜を構成する。例えば、ユーザの上部部分（例えば、ユーザの頭１０２８）は、ユーザの下部部分（例えば、ユーザの首１０２５）よりも大きく傾斜する。したがって、１０１５Ａに示されるように、電子デバイスは、移動又は傾斜の量が仮想アバターの上部（例えば、先端１０４０）で最大であり、仮想アバターの下部（例えば、下部部分１０３６）で最小になるように仮想アバターを変更する。換言すれば、傾斜の量は、仮想アバターの上部から下部に向かって減少し、これは、１００５Ａでユーザに表示される傾斜の度合いの変化と一致している。これは、１０１５Ａにおいて、大きい度合いの傾斜を有するプーアバターの先端１０４０、先端１０４０よりも低い傾斜の度合いを有する中間部１０３１、及び傾斜のない下部部分１０３６によって実証される。これらのプーアバターの変更は、アバターの一部（例えば、プーアバターの先端１０４０）が必ずしもユーザの物理的特徴に解剖学的に対応していない場合であっても、ユーザの物理的移動を模倣するアニメーション効果を提供する。更に、電子デバイスは、ユーザが頭１０２８と首１０２５を傾けたときなど、ユーザの物理的特徴の動きの範囲の減少を模倣するために、様々な度合いの傾きで仮想アバターを変更する。
１００５Ｂ及び１０１５Ｂは、電子デバイスが、ユーザの左側に傾いたユーザの頭１０２８及び首１０２５を検出する同様の効果を示している。それに応じて、電子デバイスは、１０１５Ｂに示すように、１００５Ａ及び１０１５Ａに関して上記でより詳細に説明したように、仮想アバターの傾斜運動がユーザの頭１０２８及び首１０２５の左方向の傾斜に鏡映するように、下部部分１０３６を固定したまま、プーアバターの上部部分１０３４を様々な度合いの傾斜で左に傾斜させることにより（例えば、先端１０４０は、中間部１０３１よりも大きく傾斜する）、プーアバターを変更する。
１００５Ｃに示されるように、電子デバイスは、ユーザの右側に偏移したユーザの目１０２３（例えば、ユーザの目の虹彩又は瞳孔）と、上向きのポーズに位置するユーザの口１０２０の角１０２０Ａ及び１０２０Ｂによって形成される笑顔の顔面表情とを検出する。ユーザの目１０２３の右方向への移動の検出に応じて、電子デバイスは、１０１５Ｃに示すように、（例えば、プーアバターの瞳孔又は虹彩１０３２Ａをアバターの目１０３２の右側に向かって偏移させることにより）右を見るようにプーアバターの目１０３２を変更する。上向きのポーズで配置されたユーザの口の角１０２０Ａ及び１０２０Ｂの一方又は両方の検出に応じて、電子デバイスは、笑顔の表情を有するようにアバターの口１０３０の表示を変更し、アバターの口１０３０は、１０１５Ｃに示すように開いた笑顔の位置を有する。１０１５Ｃに示されるように、上部部分１０３４及び下部部分１０３６は、それぞれの中立位置（１０１１Ａに示される）に関して変化しないままである。
１００５Ｄ及び１０１５Ｄは、電子デバイスがユーザの笑顔の表情を検出し、ユーザの目１０２３（例えば、ユーザの目の虹彩又は瞳孔）がユーザの左側に移動した同様の効果を示す。ユーザの目１０２３の左方向への偏移の検出に応じて、電子デバイスは、１０１５Ｄに示すように、（例えば、プーアバターの瞳孔又は虹彩１０３２Ａをアバターの目１０３２の左側に向かって偏移させることにより）左を見るようにプーアバターの目１０３２を変更する。上向きのポーズで角１０２０Ａ及び１０２０Ｂの一方又は両方を検出することに応じて、電子デバイスは、１０１５Ｃに関して上述したように笑顔の表情を有するようにアバター口１０３０の表示を変更する。同様に、上部部分１０３４及び下部部分１０３６は、それぞれの中立位置（１０１１Ａ及び１０１５Ｃに示される）に関して１０１５Ｄでは変化しないままである。
図１０Ｆは、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内でのユーザの位置の偏移の検出に応じて、プーアバターを変更する電子デバイスの例示的な実施形態を示す。プーアバターの変更は、カメラの視野内でのユーザの位置の変化に対応する方向にプーアバターを偏移する（例えば、並進移動する）ことを含む。４つの表示領域における４つの表示状態（１０１６Ａ、１０１６Ｂ、１０１６Ｃ、及び１０１６Ｄ）を有するプーアバターが示されており、プーアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１００６Ａ、１００６Ｂ、１００６Ｃ、及び１００６Ｄ）に対応する。図１０Ｆの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で示されるようなカメラの視野内で検出されたユーザの位置又は位置の変化の検出に応じて、プーアバターを配置又は変更する。４つの表示状態のそれぞれにおいて、表示状態の境界（例えば、１０１６Ａ、１０１６Ｂ、１０１６Ｃ、及び１０１６Ｄの境界）は、仮想アバターを含む表示領域の境界を表す。
１００６Ａに示されるように、電子デバイスは、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内で水平方向に中心付けされたユーザの位置を検出する。カメラの視野内でのユーザの水平方向の中心位置の検出に応じて、電子デバイスは、１０１６Ａに示すように、表示領域内の水平方向に中心位置を有するプーアバターを表示する。
１００６Ｂでは、電子デバイスは、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内で右方向に中心を外れた（例えば、偏移又は並進移動した）ユーザの位置を検出する。換言すれば、ユーザは、ユーザの左方向に偏移する（例えば、カメラの視野に対して右に偏移する）が、カメラの視野内では完全に表示されたままになる。１００６Ｂでのユーザの偏移位置の検出に応じて、電子デバイスは、ユーザの左方向へのユーザの方向偏移に鏡映するために、１０１６Ｂに示すように、プーアバターが左偏移位置に表示されるように、プーアバター全体（上部部分１０３４と下部部分１０３６の両方を含む）の水平位置を偏移する。１００６Ｂに示されるように、ユーザは、左肩１０２１Ａが視野の右端近くにある状態で左側に偏移される。したがって、電子デバイスは、１０１６Ｂの表示領域の左端の近くに位置するプーアバターを表示し、カメラ視野内のユーザの偏移位置の方向を鏡映する。いくつかの実施形態では、ユーザの偏移された位置は、方向及び大きさの両方での仮想アバターの偏移によって鏡映される。いくつかの実施形態では、ユーザの偏移された位置は、仮想アバターの方向のみの偏移によって鏡映され、仮想アバターの偏移の大きさは、仮想アバターの位置を表示領域の境界内に維持するために調整される（例えば、減衰される）。そのような実施形態の例は、１００６Ｃ、１０１６Ｃ、１００６Ｄ、及び１０１６Ｄに関して以下で説明される。
１００６Ｃでは、電子デバイスは、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内で右端方向に中心を外れた（例えば、偏移又は並進移動した）ユーザの位置を検出する。換言すれば、ユーザは、ユーザの左方向に遠くに偏移する（例えば、カメラの視野に対して右に偏移する）が、ユーザの左肩１０２１Ａがもはやカメラの視野内にないように偏移する。１００６Ｃにおけるユーザの大幅に偏移した位置の検出に応じて、電子デバイスは、プーアバターの全体（上部部分１０３４と下部部分１０３６の両方を含む）が完全に１０１６Ｃに示される表示領域の左境界に対して配置されるプーアバターの最外縁（例えば、下部部分１０３６の縁部１０３６Ａ）を有する左側偏移位置に表示されるように、プーアバターの水平位置を偏移する。１０１６Ｃにおけるプーアバターの偏移表示は、ユーザの左方向への偏移の方向を鏡映するが、（ユーザが１００６Ｃで行うように）アバターの一部が１０１６Ｃにおける表示領域を超えて広がるようにプーアバターを偏移する代わりに、デバイスは、表示領域１０１６Ｃの縁部にプーアバターを配置する。表示領域（例えば、１０１６Ａ、１０１６Ｂ、１０１６Ｃ、及び１０１６Ｄ）内で仮想アバターの位置を維持することにより、ユーザの一部がカメラ（例えば、カメラ１４３、光センサ１６４）の視野を超えている場合であっても、電子デバイスは、ユーザがカメラの前方で固定の向きや位置を維持する必要なく、仮想アバターの変化に影響を与えることを可能にする。
同様の効果が１００６Ｄ及び１０１６Ｄに示されている。１００６Ｄでは、電子デバイスは、ユーザの右肩がもはやカメラの視野内にないように、ユーザが右（例えば、カメラの視野内で左）に偏移したことを検出する。ユーザの遠くに偏移した位置の検出に応じて、電子デバイスは、プーアバターの全体（上部部分１０３４と下部部分１０３６の両方を含む）が完全に１０１６Ｄに示される表示領域の右境界に対して配置されるプーアバターの最外縁（例えば、下部部分１０３６の縁部１０３６Ｂ）を有する右側偏移位置に表示されるように、プーアバターの水平位置を偏移する。上で説明したように、表示領域１０１６Ｄ内で仮想アバターの位置を維持することにより、ユーザの一部がカメラ（例えば、カメラ１４３、光センサ１６４）の視野を超えている場合であっても、電子デバイスは、ユーザがカメラの前方で固定の向きや位置を維持する必要なく、仮想アバターの変化に影響を与えることを可能にする。
図１０Ｇは、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内のユーザの物理的特徴の位置の偏移の検出に応じて、プーアバターを変更する電子デバイスの例示的な実施形態を示す。プーアバターの変更は、カメラの視野内でのユーザの物理的特徴の位置の偏移に対応する方向にプーアバターを偏移（例えば、並進移動）することを含む。図１０Ｇに示す実施形態は、電子デバイスがユーザの頭１０２８の動きと位置（例えば、回転運動及び／又は並進運動）を追跡するが、ユーザの肩１０２１及び任意選択的にユーザの首１０２５の動き又は位置を追跡しない点で、図１０Ｄ～図１０Ｆに関して上述したものと同様である。更に、図１０Ｇに示す実施形態は、仮想アバターへの変更が方向のユーザの動きを鏡映するが、必ずしも大きさは鏡映しない点で、図１０Ｆの実施形態と同様である。これらの技術を実装することにより、電子デバイスは、ユーザがカメラ（例えば、カメラ１４３、光センサ１６４）の前方で固定の向き又は位置を維持する必要なく、仮想アバターの変化に影響を与えることを可能にする。
２つの表示領域における２つの表示状態（１０１７Ａ及び１０１７Ｂ）を有するプーアバターが示されており、プーアバターの２つの表示状態のそれぞれは、ユーザの２つの検出状態（１００７Ａ及び１００７Ｂ）に対応する。図１０Ｇの各表示状態では、デバイスは、ユーザのそれぞれの状態で示されるようなカメラの視野内で検出されたユーザの物理的特徴の位置又は位置の変化の検出に応じて、プーアバターを配置又は変更する。２つの表示状態のそれぞれにおいて、表示状態の境界（例えば、１０１７Ａ及び１０１７Ｂの境界）は、仮想アバターを含む表示領域の境界を表す。
１００７Ａでは、電子デバイスは、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内で左方向に偏移した（例えば、並進移動した）ユーザの頭１０２８及び任意選択的にユーザの首１０２５を検出する。換言すれば、ユーザの頭１０２８及び首１０２５は、ユーザの右方向に偏移される（例えば、カメラの視野に対して左に偏移される）。ユーザの頭１０２８及び任意選択的にユーザの首１０２５の１００７Ａでの偏移位置の検出に応じて、電子デバイスは、ユーザの右方向へのユーザの頭の偏移に鏡映するために、１０１７Ａに示すように、プーアバターが右偏移位置に表示されるように、プーアバター全体（上部部分１０３４と下部部分１０３６の両方を含む）の水平位置を偏移する。
同様の効果が１００７Ｂ及び１０１７Ｂに示されている。１００７Ｂでは、電子デバイスは、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内で右方向に偏移した（例えば、並進移動した）ユーザの頭１０２８及び任意選択的にユーザの首１０２５を検出する。換言すれば、ユーザの頭１０２８及び首１０２５は、ユーザの左方向に偏移する（例えば、カメラの視野に対して右に偏移する）。１００７Ｂでのユーザの頭１０２８及び任意選択的にユーザの首１０２５の偏移位置の検出に応じて、電子デバイスは、ユーザの左方向へのユーザの頭の偏移に鏡映するために、１０１７Ｂに示すように、プーアバターが左偏移位置に表示されるように、プーアバター全体（上部部分１０３４と下部部分１０３６の両方を含む）の水平位置を偏移する。
図１０Ｈは、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内のユーザの物理的特徴の位置の変化の検出に応じて、プーアバターを変更する電子デバイスの例示的な実施形態を示す。プーアバターの変更は、プーアバターのサイズを増加又は減少すること、及びカメラの視野内でのユーザの物理的特徴の位置の偏移に対応する方向にプーアバターを偏移（例えば、並進移動）することを含む。４つの表示領域における４つの表示状態（１０１８Ａ、１０１８Ｂ、１０１８Ｃ、及び１０１８Ｄ）を有するプーアバターが示されており、プーアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１００８Ａ、１００８Ｂ、１００８Ｃ、及び１００８Ｄ）に対応する。図１０Ｈの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で示されるようなカメラの視野内で検出されたユーザの物理的特徴の位置又は位置の変化の検出に応じて、プーアバターを配置又は変更する。４つの表示状態のそれぞれにおいて、表示状態の境界（例えば、１０１８Ａ、１０１８Ｂ、１０１８Ｃ、及び１０１８Ｄの境界）は、仮想アバターを含む表示領域の境界を表す。
１００８Ａでは、電子デバイスは、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内で肩１０２１に対して上方向に（例えば、ユーザが首１０２５を上に伸ばしている）偏移した（例えば、並進移動した）ユーザの頭１０２８を検出する。１００８Ａでユーザの頭１０２８の上方に偏移した位置の検出に応じて、電子デバイスは、１００８Ａに示す上方向へのユーザの頭１０２８の偏移に鏡映するために、プーアバターの全体が１０１８Ａに示す表示領域の上部境界の近くに位置するプーアバターの最上縁（例えば、先端１０４０の縁部１０４０Ａ）を有する上側偏移位置に表示されるように、プーアバター全体（上部部分１０３４と下部部分１０３６の両方を含む）の垂直位置を偏移する。
１００８Ｂでは、電子デバイスは、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内でユーザの肩１０２１（例えば、ユーザが頭１０２８をすくめている）に対して下方向に偏移（例えば、並進移動）したユーザの頭１０２８を検出する。１００８Ｂでユーザの頭１０２８の下方に偏移した位置の検出に応じて、電子デバイスは、１００８Ｂに示す下方向へのユーザの頭１０２８の偏移に鏡映するために、プーアバターの全体が１０１８Ｂに示す表示領域の下部境界の近くに位置するプーアバターの最下縁（例えば、下部部分１０３６の縁部１０３６Ｃ）を有する下側偏移位置に表示されるように、プーアバター全体（上部部分１０３４と下部部分１０３６の両方を含む）の垂直位置を偏移する。
１００８Ｃでは、電子デバイスは、例えば、ユーザの頭１０２８がカメラのより近くに位置するとき、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内でユーザの頭１０２８のサイズの増加を検出する。１００８Ｃにおいてユーザの頭１０２８のサイズの増加を検出することに応じて、電子デバイスは、プーアバターの全体のサイズを増加させる。いくつかの実施形態では、電子デバイスは、１つの検出された状態（例えば、図１０Ａの１００１Ａの中立状態）から他の状態（例えば、検出された状態１００８Ｃ）へのユーザの頭１０２８のサイズの検出された変化に応じてプーアバターのサイズを増加させる。１０１８Ｃでは、電子デバイスは、表示領域の境界を越えてプーアバターの一部を拡張することなく、表示領域を満たすようにプーアバターのサイズを増加させる。いくつかの実施形態では、電子デバイスは、アバターが電子デバイスのディスプレイ（例えば、タッチスクリーン１１２、ディスプレイ３４０、ディスプレイ４５０、ディスプレイ５０４）に非常に近い印象を与えるために、仮想アバターのサイズを増加させる。
例えば、電子デバイスは、プーアバターの先端１０４０が１０４０Ａの表示領域の上部境界に隣接し、プーアバターの下部部分１０３６が１０３６Ｃの表示領域の下部境界に隣接するように、１０１８Ｃにおいてプーアバターのサイズを増加し、下部部分１０３６の左縁部は、１０３６Ａの表示領域の左境界付近にあり、下部部分１０３６の右縁部は、１０３６Ｂの表示領域の右境界付近にある。１０１８Ｃに示されるようないくつかの実施形態では、電子デバイスは、様々なアバター特徴（例えば、アバターの目１０３２、口１０３０、上部部分１０３４、及び下部部分１０３６）の相対位置がプーアバターの形状に対して歪まないように、プーアバターのサイズを比例的に増加させる。例えば、電子デバイスが１０１８Ｃでプーアバターのサイズを増加させると、アバターの目１０３２、口１０３０、上部部分１０３４（先端１０４０を含む）、及び下部部分１０３６もまたサイズを増加させるが、それ以外は変わらないままである。
１００８Ｄでは、電子デバイスは、例えば、ユーザの頭１０２８がカメラから遠くに位置するとき、カメラ（例えば、カメラ１４３、光センサ１６４）の視野内でユーザの頭１０２８のサイズの減少を検出する。１００８Ｄにおいてユーザの頭１０２８のサイズの減少を検出することに応じて、電子デバイスは、プーアバターの全体のサイズを減少させる。いくつかの実施形態では、電子デバイスは、１つの検出された状態（例えば、図１０Ａの１００１Ａの中立状態）から他の状態（例えば、検出された状態１００８Ｄ）へのユーザの頭１０２８のサイズの検出された変化に応じてプーアバターのサイズを減少させる。１０１８Ｄのようないくつかの実施形態では、電子デバイスは、仮想アバターが電子デバイスのディスプレイ（例えば、タッチスクリーン１１２、ディスプレイ３４０、ディスプレイ４５０、ディスプレイ５０４）から遠くに位置する印象を与えるために、プーアバターのサイズを減少させる。
例えば、電子デバイスは、プーアバターの先端１０４０が１０４０Ａの表示領域の上部境界から離れて位置し、プーアバターの下部部分１０３６が１０３６Ｃの表示領域の下部境界から離れて位置するように、１０１８Ｄにおいてプーアバターのサイズを減少し、下部部分１０３６の左縁部は、１０３６Ａの表示領域の左境界から離れて位置し、下部部分１０３６の右縁部は、１０３６Ｂの表示領域の右境界から離れて位置する。１０１８Ｄに示されるようないくつかの実施形態では、電子デバイスは、様々なアバター特徴（例えば、アバターの目１０３２、口１０３０、上部部分１０３４、及び下部部分１０３６）の相対位置がプーアバターの形状に対して歪まないように、プーアバターのサイズを比例的に減少させる。例えば、電子デバイスが１０１８Ｄでプーアバターのサイズを減少させると、アバターの目１０３２、口１０３０、上部部分１０３４（先端１０４０を含む）、及び下部部分１０３６もまたサイズを減少させるが、それ以外は変わらないままである。
図１０Ｉは、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、プーアバター１０００を変更する電子デバイスを示す例示的な実施形態を示す。ユーザの検出された状態１００９に対応する１つの表示状態１０１９を有するプーアバターが示されている。１００９及び１０１９に示すように、電子デバイスは、ユーザがすぼめる表情を行うことを検出し、それに応じて、プーアバターの口１０３０をすぼめた唇のセット１０５０に置き換えることにより、プーアバター１０００を変更する。１００９に示されるようないくつかの実施形態では、電子デバイスは、閉位置にあるユーザの顎１０２７を検出しかつユーザの唇１０２９（例えば、ユーザの上唇１０２９Ａ及び下唇１０２９Ｂの両方）をすぼめるポーズでユーザの口１０２０から外側に延ばすように互いに向かって移動するユーザの口１０２０の角１０２０Ａ及び１０２０Ｂを検出することにより、ユーザがすぼめる顔面表情を行っていると判定する。図１０Ｉには示されていないが、いくつかの実施形態では、電子デバイスは、図１６Ｂに示されかつ以下でより詳細に説明するものと同様の方法で、すぼめた唇１０５０からハートを放出するようにプーアバターを変更する。
図１１Ａは、ユーザの顔の特徴の変化の検出に応じてクマアバター１１００を変更する電子デバイスを示す例示的な実施形態を示す。４つの表示状態（１１１１Ａ、１１１１Ｂ、１１１１Ｃ、及び１１１１Ｄ）を有するクマアバターが示されており、クマアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１１０１Ａ、１１０１Ｂ、１１０１Ｃ、及び１１０１Ｄ）に対応する。図１１Ａの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、クマアバター特徴を配置又は変更する。図１１Ａに示す実施形態では、検出されたユーザの顔の特徴は、ユーザの口１１２０（角１１２０Ａ及び１１２０Ｂを有する）及びユーザの眉毛１１２２を含む。いくつかの実施形態では、追跡される物理的特徴は、瞼、虹彩、筋肉、筋肉群などの他の顔の特徴を含むことができる。図１１Ａの実施形態では、クマアバター特徴は、アバターの口１１３０、アバターの目１１３２、アバターの耳１１３３、アバターの鼻１１３７、アバターの頭１１３５、及び（特定の状態では）アバターの眉毛１１３８を含む。
１１０１Ａに示されるように、電子デバイスは、ユーザの中立的な顔面表情を検出する。例えば、デバイスは、ユーザの口１１２０及び眉毛１１２２が弛緩した中立状態に配置され、笑顔又は眉毛をひそめているなどの特定の顔面表情に関連付けられた位置にないことを検出する。ユーザの中立的な顔面表情の検出に応じて、電子デバイスは、１１１１Ａにおいて中立的な表情状態又は状態を有するクマアバター１１００を表示する。具体的には、電子デバイスは、特定の顔面表情（例えば、笑顔又は眉毛をひそめる）に通常関連付けられる位置にない、弛緩した中立状態にあるアバターの口１１３０を有するクマアバターを表示する。いくつかの実施形態では、アバターの中立位置は、メッセージングアプリケーションで見られる静的なクマ絵文字などの関連画像の他の表現に対応する。１１１１Ａでは、クマの口１１３０の中立状態は、クマの口１１３０又は「鼻」領域の外側から水平に伸び、その後にクマの鼻１１３７の根元でわずかに湾曲する線１１３０Ａ及び１１３０Ｂで示される。電子デバイスはまた、弛緩した口１１３０の上にある鼻１１３７、及びカール又は引っ張られていないクマの頭１１３５の側面に沿って位置する弛緩した中立状態の耳１１３３を有するクマアバターを表示する。更に、電子デバイスは、眉毛１１３８のないクマアバターを表示し、ディスプレイ（又はカメラ（例えば、カメラ１４３、光センサ１６４）の焦点面）に垂直な方向を向くアバターの目１１３２を表示する。
１１０１Ｂ及び１１１１Ｂに示されるように、電子デバイスは、ユーザの口１１２０の位置を検出し（例えば、笑顔の顔面表情を形成するように上向きのポーズ（例えば、上向きの位置）に配置されたユーザの口の角１１２０Ａ及び１１２０Ｂの一方又は両方を検出する）、それに応じて、クマアバターの２つの特徴を変更する。例えば、上向きのポーズで配置されたユーザの口１１２０の角１１２０Ａ及び１１２０Ｂの一方又は両方の検出に応じて、電子デバイスは、クマの耳１１３３とクマの口１１３０の両方を変更する。電子デバイスは、１１１１Ｂに示すように、線１１３０Ａ及び１１３０Ｂを上げてクマの口１１３０の笑顔の表情を示すことにより、クマの口１１３０を笑顔の表情を有するように変更する。電子デバイスは、クマの耳１１３３を「元気にする」又は上方向に伸びるように変更する。１１１１Ｂに示されるようないくつかの実施形態では、クマの耳１１３３に対する変更はまた、各耳１１３３の幅をわずかに狭くし、（１１１１Ａで中立状態のときのクマの頭１１３５の側面にある耳１１３３の垂直位置と比較した場合）耳が元気にされたときに耳１１３３がクマの頭１１３５よりも高く位置するようにクマの頭１１３５の側面で耳１１３３の垂直位置を変化させることも含む。１１１１Ｂに示されるように、目１１３２と鼻１１３７は、１１１１Ａの元の位置に対して変化しないままである。この実施形態では、電子デバイスは、ユーザが笑顔になったときにクマの口１１３０を笑顔に変化させ、耳１１３３を元気にすることを理解されたい。電子装置は、ユーザがもはや笑っていないとき、口１１３０及び耳１１３３をそれらの中立位置に戻す。
１１０１Ｃに示されるように、電子デバイスは、ユーザの眉毛１１２２が持ち上げられた位置にあることを検出する（例えば、１１０１Ａ及び１１０１Ｂに示す弛緩した中立状態において、眉毛１１２２の位置と比較した場合、ユーザの顔のより高い位置にある）。持ち上げられた眉毛１１２２の検出に応じて、電子デバイスは、クマアバターの２つの特徴を変更する。例えば、電子デバイスは、クマの耳１１３３を変更して元気にし、クマアバターを変更してクマの目１１３２の上に位置する眉毛１１３８を導入し、１１１１Ｃに示すようにクマアバター１１００が眉毛１１３８を上げているという印象を伝達する。１１１１Ｂに示すように、クマの口１１３０は、中立位置に戻り、目１１３２と鼻１１３７は、１１１１Ａの元の位置に対して変化しないままである。この実施形態では、電子デバイスは、アバターの眉毛１１３８を導入し、ユーザの眉毛１１２２が持ち上げられたときに耳１１３３を元気にすることを理解されたい。したがって、電子デバイスは、アバターの眉毛１１３８を取り除き、ユーザの眉毛１１２２が中立位置に戻ったときに耳１１３３を弛緩させる。
１１０１Ｄにおいて、電子デバイスは、ユーザの眉毛１１２２が持ち上げられ、ユーザの口１１２０の角１１２０Ａ及び１１２０Ｂの一方又は両方が上向きのポーズになっていることを検出する。それに応じて、電子デバイスは、１１１１Ｄに示されるように、極端な耳の元気を出し、持ち上げられた眉毛１１３８を導入して笑顔にするようにクマアバター１１００を変更する。電子デバイスは、耳１１３３が１１１１Ｂ及び１１１１Ｃに示されている元気な位置にあるときよりもクマの頭１１３５に対して更に高い位置にあるように、各耳１１３３の幅を実質的に狭くし、上方向に耳を伸ばし、クマの頭１１３５の側面の耳１１３３の垂直位置を変化させることにより、極端な耳の元気を出すように耳１１３３を変更する。クマの耳１１３３に対するこの変更の組み合わせは、１１１１Ｂ及び１１１１Ｃに示されている耳の元気よりも大きい範囲で、上方向に極端に伸びている耳１１３３の外観を与える。この実施形態では、電子デバイスは、ユーザが眉毛１１２２を上げて笑顔にしたとき（例えば、上向きのポーズのユーザの口１１２０の角１１２０Ａと１１２０Ｂの一方又は両方の位置）、アバターの眉毛１１３８を導入し、クマの口１１３０を笑顔に変更し、ユーザの耳１１３３を極端に元気にすることを理解されたい。したがって、電子デバイスは、アバターの眉毛１１３８を取り除き、ユーザの眉毛１１２２及び口１１２０が中立位置に戻ったときに耳１１３３及び口１１３０を弛緩させる。
図１１Ｂは、ユーザの顔の特徴の変化の検出に応じてクマアバター１１００を変更する電子デバイスを示す例示的な実施形態を示す。４つの表示状態（１１１２Ａ、１１１２Ｂ、１１１２Ｃ、及び１１１２Ｄ）を有するクマアバターが示されており、クマアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１１０２Ａ、１１０２Ｂ、１１０２Ｃ、及び１１０２Ｄ）に対応する。図１１Ｂの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、クマアバター特徴を配置又は変更する。４つの表示状態のそれぞれにおいて、表示状態の境界（例えば、１１１２Ａ、１１１２Ｂ、１１１２Ｃ、及び１１１２Ｄの境界）は、仮想アバターを含む表示領域の境界を表す。
図１１Ｂに示す実施形態では、検出されたユーザの顔の特徴は、ユーザの口１１２０（角１１２０Ａ及び１１２０Ｂを有する）及びユーザの眉毛１１２２を含む。いくつかの実施形態では、追跡される物理的特徴は、瞼、虹彩、筋肉、筋肉群などの他の顔の特徴を含むことができる。図１１Ｂの実施形態では、クマアバター特徴は、アバターの口１１３０、アバターの目１１３２、アバターの耳１１３３、アバターの鼻１１３７、アバターの頭１１３５、及び（特定の状態では）アバターの眉毛１１３８を含む。
１１０２Ａに示されるように、電子デバイスは、下向きのポーズ（例えば、下向きの位置）に配置されたユーザの口１１２０の角１１２０Ａ及び１１２０Ｂの一方又は両方を検出し、それに応じて、クマアバターの２つの特徴を変更する。いくつかの実施形態では、電子デバイスは、下向きの位置にあるユーザの口の角１１２０Ａ及び１１２０Ｂの一方又は両方を検出し、任意選択的に下降位置にないユーザの眉毛１１２２の一方又は両方を検出することにより（例えば、眉毛１１２２は、上げられているか又は中立位置にある）、ユーザが悲しい顔面表情を作っていると判定する。ユーザの口１１２０の角１１２０Ａ及び１１２０Ｂの下向きのポーズ又は位置の検出に応じて、電子デバイスは、１１１２Ａに示されるように、クマの口１１３０及びクマの耳１１３３の両方を変更する。
電子デバイスは、１１１２Ａに示すように、線１１３０Ａ及び１１３０Ｂを下げることにより、クマの口１１３０の悲しい表情を形成するようにクマの口１１３０を変更する。電子デバイスは、クマの耳１１３３の外縁部１１３３Ａ及び１１３３Ｂを下に向ける（例えば、折り畳む、回転させる、又は傾ける）ことにより、クマの耳１１３３を下方向に「カールする」又は「しおれる」ように変更する。いくつかの実施形態では、クマの耳１１３３をカールさせることはまた、（図１１Ａの１１１１Ａにおける中立状態にあるときのクマの頭１１３５の側面の耳１１３３の垂直位置と比較した場合）耳がカールしたときに耳１１３３がクマの頭１１３５の下に位置するように、クマの頭１１３５の側面で耳１１３３の垂直位置を変化させることも含む。１１１２Ａに示すように、クマの目１１３２と鼻１１３７は、１１１１Ａの元の位置に対して変化しないままである。この実施形態では、電子デバイスは、ユーザの口１１２０が悲しい顔面表情を形成するときにクマの口１１３０を悲しい表情に変化させ、クマの耳１１３３をカールすることを理解されたい。電子デバイスは、ユーザがもはや悲しい顔面表情を見せなくなったときに、クマの口１１３０と耳１１３３を中立位置に戻す。
１１０２Ｂ及び１１１２Ｂでは、電子デバイスは、閾値時間だけ悲しい顔面表情を保持しているユーザを検出し、それに応じて、カールした耳１１３３を有する悲しい顔を構成するときに泣いているクマアバターを示すように、クマの目１１３２から放出される涙１１４０を導入することによりクマアバター１１００を変更する。いくつかの実施形態では、電子デバイスは、ユーザが第１の閾値時間（例えば、０．３秒）だけ悲しい表情を保持するときに、クマの目１１３２の一方又は両方から放出される単一の涙１１４０のみを導入するようにクマアバターを変更し、その後、ユーザが悲しい表情を保持し続けて第２の閾値時間（例えば、０．６秒）に到達した後に目１１３２から放出される追加の涙１１４０を導入するようにクマアバターを変更する。電子デバイスは、クマの顔を流れ落ち、クマの頭１１３５から落ち、１１１２Ｂの表示領域の下縁部で視界から消えるクマの目１１３２から形成される涙１１４０を表示する。いくつかの実施形態では、電子デバイスは、断続的に、及び任意選択的に、ランダムな間隔で涙１１４０を表示する。いくつかの実施形態では、涙１１４０は、ユーザが悲しい顔面表情を作るのを止めるまで続く。１１１２Ｂに示されるように、電子デバイスは、クマの耳１１３３がカールし、クマの口１１３０を悲しい表情で表示し続ける。
１１０２Ｃ及び１１１２Ｃでは、電子デバイスは、しかめる顔面表情を閾値時間保持しているユーザを検出し、それに応じて、しかめる表情及びクマの頭１１３５の上に配置された嵐雲１１４２を有するようにクマアバター１１００を変更する。電子デバイスは、下向きのポーズにあるユーザの口１１２０の角１１２０Ａ及び１１２０Ｂの一方又は両方を検出し、下向きの位置にあるユーザの眉毛１１２２を検出することにより（例えば、１１０１Ａの弛緩した中立状態のときの眉毛１１２２の位置と比較したときにユーザの顔の下にひそめる又は配置される）、ユーザの眉毛をひそめている表情を検出する。ユーザの顔をしかめた顔面表情の検出に応じて、電子デバイスは、クマの口１１３０を下げて（例えば、１１１２Ｃに示すように線１１３０Ａ及び１１３０Ｂを下向きに曲げることにより）、１１１２Ｃに示すように眉毛をひそめたポーズを形成するようにクマの眉毛１１３８をくぼんだ状態で導入することにより、クマアバターを変更する。１１１２Ｂに示される実施形態では、電子デバイスは、ユーザの顔をしかめた顔面表情の検出に応じて嵐雲１１４２を直ちに導入せず、また、電子デバイスは、クマの耳１１３３又は鼻１１３１１を変更しない。
閾値時間だけしかめる顔面表情を保持しているユーザを電子デバイスが検出した後、電子デバイスは、クマの頭１１３５の上に位置する嵐雲１１４２を導入するためにしかめ面のクマアバター１１００を変更する。いくつかの実施形態では、嵐雲１１４２は、アニメーション化されて動的である。例えば、電子デバイスは、雷１１４４及び／又は雨を導入するために嵐雲１１４２を変更することができる。いくつかの実施形態では、電子デバイスは、嵐雲１１４２から降ってクマアバターの頭１１３５に着水する雨を表示する。いくつかの実施形態では、降雨は、クマの顔を流れ落ち、その頭１１３５から落ち、１１１２Ｃの表示領域の下縁部で視界から消える。いくつかの実施形態では、電子デバイスは、雷１１４４及び雨を断続的に、及び任意選択的に、ランダムな間隔で表示する。いくつかの実施形態では、電子デバイスは、ユーザが顔をしかめる顔面表情の形成を停止するまで嵐雲１１４２を表示し続ける。ユーザがしかめる顔面表情の形成を停止すると、電子デバイスは、嵐雲１１４２が消え、ひそめている眉毛１１３８が消え、口１１３０が１１１１Ａに示す中立位置に戻るようにクマアバター１１００を変更する。いくつかの実施形態では、電子デバイスは、ユーザがしかめる顔面表情を第１の閾値時間（例えば、０．３秒）保持したときに雷１１４４又は雨なしで嵐雲１１４２を表示し、そして、及びユーザが眉毛をひそめている顔面表情を保持し続けてから第２の閾値時間（例えば、０．６秒）に到達した後、雷１１４４及び雨を生成するように嵐雲１１４２を変更する。
１１０２Ｄ及び１１１２Ｄに示されるように、電子デバイスは、ユーザが眉毛１１２２の一方又は両方を下げたことを検出し、それに応じて、クマの耳１１３３をカールするように変更する。この実施形態では、電子デバイスは、ユーザが眉毛１１２２を下げたことを検出したことに応じて、クマアバターの耳１１３３をカールさせる。ユーザが眉毛１１２２を中立位置に戻すと、電子デバイスは、クマの耳１１３３のカールを解除する。１１０２Ｄ及び１１１２Ｄに示される実施形態では、電子デバイスは、クマアバター１１００の他の特徴を変更することを取り止める。したがって、電子デバイスは、クマの目１１３２、口１１３０、及び鼻１１３７の中立位置を維持し、眉毛１１３８又は他の対象（例えば、涙１１４０又は嵐雲１１４２）を導入しない。
図１１Ｃは、ユーザの顔の特徴の変化の検出に応じてクマアバター１１００を変更する電子デバイスを示す例示的な実施形態を示す。４つの表示状態（１１１３Ａ、１１１３Ｂ、１１１３Ｃ、及び１１１３Ｄ）を有するクマアバターが示されており、クマアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１１０３Ａ、１１０３Ｂ、１１０３Ｃ、及び１１０３Ｄ）に対応する。図１１Ｃの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、クマアバター特徴を配置又は変更する。４つの表示状態のそれぞれにおいて、表示状態の境界（例えば、１１１３Ａ、１１１３Ｂ、１１１３Ｃ、及び１１１３Ｄの境界）は、仮想アバターを含む表示領域の境界を表す。
１１０３Ａ及び１１１３Ａに示されるように、電子デバイスは、ユーザが目１１２３を細める（例えば、目１１２３を狭くする又は睨む）ことを検出し、それに応じて、クマの目１１３２の周りにアバターの顔の構造を導入することにより目１１３２を細めるようにクマアバター１１００を変更する。いくつかの実施形態では、電子デバイスは、ユーザの目１１２３のサイズ（例えば、ユーザの目１１２３の中立位置に対する）の減少及び／又はユーザの目１１２３の外側の角に形成される皺を検出することにより、ユーザの目を細めることを検出する。これに応じて、電子デバイスは、クマの目１１３２の下のアーチ状の位置に現れる頬骨１１３９を導入し、クマの目１１３２の上の下げた位置に現れる眉毛１１３８を導入することにより（１１１２Ｃに示す眉毛をひそめているポーズに似ている）、クマの細めた目１１３２を示すようにクマアバターを変更する。電子デバイスは、クマの目１１３２の下部部分を食い込みかつクマの目を細める下部を形成するようにアーチ状の頬骨１１３９を表示し、クマの目１１３２の上部部分を食い込みかつクマの目を細める上部を形成するために下向きに湾曲する眉毛１１３８を表示する。ユーザが目１１２３を中立位置に戻すと、電子デバイスは、クマの眉毛１１３８と頬骨１１３９を取り除き、クマアバター１１００を中立ポーズ（１１１１Ａに示す）に戻す。いくつかの実施形態では、電子デバイスは、眉毛１１３８をクマの目１１３２から上方に移動しかつクマアバターの顔の中に消えることをアニメーション化することにより、クマの眉毛１１３８を取り除く。いくつかの実施形態では、電子デバイスは、頬骨１１３９を下げてまっすぐに伸ばしてアーチを取り除き、クマアバターの顔の中に消えることをアニメーション化することにより、クマの頬骨１１３９を取り除く。１１０３Ａ及び１１１３Ａに示される実施形態では、電子デバイスは、クマアバター１１００の他の特徴を変更することを取り止める。したがって、電子デバイスは、クマの口１１３０と鼻１１３７の中立位置を維持する。
１１０３Ｂ及び１１１３Ｂに示されるように、電子デバイスは、目を細める顔面表情を閾値時間保持しているユーザを検出し、それに応じて、クマが１１１３Ａに関して上記で説明した目を細める表情を保持する間、クマの目１１３２から発射するレーザービーム１１４６を導入することにより、クマアバター１１００を変更する。電子デバイスは、クマの目１１３２の下部から形成されるレーザービーム１１４６を表示し、下方向に発射し、１１１３Ｂの表示領域の下縁部で視界から消える。いくつかの実施形態では、電子デバイスは、レーザービーム１１４６を連続ビームとして表示する。いくつかの実施形態では、電子デバイスは、断続的なバーストとして、任意選択的に、ランダムな間隔で放出されるレーザービーム１１４６を表示する。いくつかの実施形態では、電子デバイスは、ユーザが目を細めるのを止めるまでレーザービーム１１４６を表示し続ける。いくつかの実施形態では、電子デバイスは、ユーザが第１の閾値時間（例えば、０．３秒）だけ目を細める表情を保持するときに各目１１３２から発するレーザービーム１１４６の単一バーストを表示し、ユーザが第２の閾値時間（例えば、０．６秒）に到達するように目を細めた表情を保持し続けた後、各目１１３２から発する連続レーザービーム１１４６（又はレーザービーム１１４６の繰り返しバースト）を表示する。
１１０３Ｃ及び１１１３Ｃに示されるように、電子デバイスは、ユーザの目１１２３を広げることを検出し、それに応じて、クマの目１１３２の周りにアバターの顔の構造を導入することにより、広げた目１１３２を示すようにクマアバター１１００を変更する。１１０３Ｃ及び１１１３Ｃに示される実施形態では、電子デバイスは、ユーザの目１１２３のサイズの増加（例えば、ユーザの目１１２３の中立位置に対する）を検出することにより、ユーザが目を広げることを検出する。いくつかの実施形態では、広げられた目を検出することは、任意選択的に、電子デバイスがユーザの眉毛１１２２の上げられた位置を検出することを含む。広げられたユーザの目１１２３の検出に応じて、電子デバイスは、クマの目１１３２の上の上げられた位置に眉毛１１３８を導入することでクマの目１１３２を拡大するようにクマアバターを変更する。ユーザが目１１２３を中立位置に戻すと、電子デバイスは、クマの眉毛１１３８を取り除き、クマアバター１１００を中立ポーズ（１１１１Ａに示す）に戻す。いくつかの実施形態では、電子デバイスは、眉毛１１３８をクマの目１１３２に向かって下方に移動しかつクマの目１１３２の上のクマアバターの顔の中に消えることをアニメーション化することにより、クマの眉毛１１３８を取り除く。１１０３Ｃ及び１１１３Ｃに示される実施形態では、電子デバイスは、クマアバター１１００の他の特徴を変更することを取り止める。したがって、電子デバイスは、クマの耳１１３３、口１１３０、目１１３２、及び鼻１１３７の中立位置を維持する。
１１０３Ｄ及び１１１３Ｄに示されるように、電子デバイスは、ユーザが目１１２３を閉じることを検出し、それに応じて、クマの目１１３２の周りにアバターの顔の構造（例えば、特徴）を導入することにより、目１１３２を閉じるようにクマアバター１１００を変更する。いくつかの実施形態では、電子デバイスは、ユーザの目１１２３を完全に覆うユーザの瞼１１２７を検出することにより、ユーザが目を閉じていることを検出する。これに応じて、電子デバイスは、クマの目１１３２の下に持ち上げられたわずかにアーチ状の位置に現れる頬骨１１３９を導入し、１１１３Ｄに示すようにクマの目１１３２を覆うようにクマの目１１３２の上に現れて下に動く瞼１１４８を導入することにより、クマが目１１３２を閉じることを示すようにクマアバターを変更する。ユーザが瞼１１２７を中立位置に上げると、電子デバイスは、クマの瞼１１４８と頬骨１１３９を取り除き、クマアバター１１００をその中立ポーズ（１１１１Ａに示す）に戻す。いくつかの実施形態では、電子デバイスは、上に動く瞼１１４８をアニメーション化してクマの目１１３２を明らかにし、クマの目１１３２の上のクマアバターの顔の中に消えることにより、クマの瞼１１４８を取り除く。いくつかの実施形態では、電子デバイスは、頬骨１１３９を下げてまっすぐに伸ばしてわずかなアーチを取り除き、クマアバターの顔の中に消えることをアニメーション化することにより、クマの頬骨１１３９を取り除く。１１０３Ｄ及び１１１３Ｄに示される実施形態では、電子デバイスは、クマアバター１１００の他の特徴を変更することを取り止める。したがって、電子デバイスは、クマの口１１３０、耳１１３３、及び鼻１１３７の中立位置を維持する。
図１２Ａは、ユーザの顔の特徴の変化の検出に応じてエイリアンアバター１２００を変更する電子デバイスを示す例示的な実施形態を示す。エイリアンアバターは、３つの表示状態（１２１１Ａ、１２１１Ｂ、及び１２１１Ｃ）を有して示されており、エイリアンアバターの３つの表示状態のそれぞれがユーザの３つの検出された状態（１２０１Ａ、１２０１Ｂ、及び１２０１Ｃ）にそれぞれ対応する。図１２Ａの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、エイリアンアバター特徴を配置又は変更する。３つの表示状態のそれぞれにおいて、表示状態の境界（例えば、１２１１Ａ、１２１１Ｂ、及び１２１１Ｃの境界）は、仮想アバターを含む表示領域の境界を表す。
１２０１Ａ及び１２１１Ａに示されるように、電子デバイスは、ユーザの中立的な顔面表情を検出し（例えば、ユーザの目１２２３が開いている、眉毛１２２２がユーザの目１２２３の上の弛緩位置にある、ユーザの頬１２２８が弛緩しており、拡張されていない、及びユーザの口１２２０が弛緩した中立状態であり、特定の顔面表情に関連付けられた位置ではない）、それに応じて、１２１１Ａにおいて中立的な表情又は状態を有するエイリアンアバター１２００を表示する。例えば、電子デバイスは、上部部分が広く、尖った底部（例えば、顎）まで狭くなる大きな角のある頭１２３５を有するエイリアンアバター１２００を表示し、口１２３０は、弛緩した中立状態であり、通常、笑顔や眉毛をひそめているような特定の顔面表情に関連付けられている位置ではない。更に、電子デバイスは、エイリアンの頭１２３５の角度構造に一致するように角度が付けられた大きな楕円形の目１２３２を有する顔１２０５を有するエイリアンアバターを表示する。電子デバイスは、ディスプレイ（又はカメラ（例えば、カメラ１４３、光センサ１６４）の焦点面）に対して垂直な方向を向くエイリアンの目１２３２を表示する。電子デバイスはまた、鼻、耳、又は眉毛などの様々な特徴を有しないエイリアンの頭１２３５と顔１２０５も表示する。いくつかの実施形態では、アバターの中立位置は、メッセージングアプリケーションで見られる静的なエイリアン絵文字などの関連画像の他の表現に対応する。
１２０１Ｂ及び１２１１Ｂに示すように、電子デバイスは、下向きのポーズで配置されたユーザの口１２２０の角１２２０Ａ及び１２２０Ｂの一方又は両方と、下向きのポーズで配置されたユーザの眉毛１２２２とを検出することにより（例えば、１２０１Ａにおける弛緩した中立状態にある眉毛１２２２の位置と比較した場合、ユーザの顔のより下にしかめる又は配置される）、ユーザのしかめる顔面表情を検出する。ユーザの顔をしかめた顔面表情の検出に応じて、電子デバイスは、１２１１Ｂに示すように顔をしかめ、垂れ下がった顔を有するようにエイリアンアバターを変更する。例えば、電子デバイスは、エイリアンの口１２３０の角が下を向くようにエイリアン１２００を変更し、エイリアンの顔１２０５は、エイリアンの下がった口１２３０の角の近くに位置する領域１２４０Ａ及び１２４０Ｂにおいて拡張される。いくつかの実施形態では、電子デバイスは、口１２３０が下を向き、口１２３０が回転するように移動するときに、領域１２４０Ａ及び１２４０Ｂがエイリアンの顔１２０５から拡大するアニメーションを表示することにより、１２１１Ｂに示す垂れ下がった顔を有するようにエイリアンを変更する。いくつかの実施形態では、電子デバイスは、ユーザが眉毛をひそめている顔面表情をもはや作っていないときに、その中立位置に戻るようにエイリアンアバターを変更する。いくつかの実施形態では、電子デバイスは、口１２３０が中立位置に移動し、口１２３０が中立位置に移動するにつれて領域１２４０Ａ及び１２４０Ｂがエイリアンの顔１２０５に後退するアニメーションを表示することにより、１２１１Ａの中立表情に戻すようにエイリアンを変更する。
１２０１Ｃ及び１２１１Ｃに示されるように、電子デバイスは、すぼめる表情を行うユーザを検出し、それに応じて、エイリアンの口１２３０をぬるぬるしたハート１２５２を放出するすぼめた唇のセット１２５０に置き換えることにより、エイリアンアバター１２００を変更する。１２０１Ｃに示されるようないくつかの実施形態では、電子デバイスは、閉位置でユーザの顎１２２５を検出し、ユーザの唇１２２９（例えば、ユーザの上唇１２２９Ａ及び下唇１２２９Ｂの両方）をすぼめるポーズでユーザの口１２２０から外側に延ばすように互いに向かって移動するユーザの口１２２０の角１２２０Ａ及び１２２０Ｂを検出することにより、ユーザがすぼめる表情を行っていると判定する。ユーザのすぼめる表情の検出に応じて、電子デバイスは、エイリアンの口１２３０をすぼめた唇のセット１２５０に変更することにより、エイリアンアバター１２００を変更する。いくつかの実施形態では、電子デバイスは、エイリアンのすぼめた唇１２５０から放出される表示されたぬるぬるしたハート１２５２のうちの任意の１つ以上を導入することにより、エイリアンアバター１２００を変更する。いくつかの実施形態では、電子デバイスは、エイリアンアバター１２００の他の特徴を変更することを取り止める。
いくつかの実施形態では、電子デバイスは、ユーザのすぼめる表情の検出に応じて、ぬるぬるしたハート１２５２を直ちに導入しない。そのような実施形態では、電子デバイスは、電子デバイスがすぼめた表情１２５０を閾値時間保持しているユーザを検出した後にのみ、すぼめた唇１２５０から放出するぬるぬるしたハート１２５２を導入するように、すぼめたエイリアンアバター１２００を変更する。いくつかの実施形態では、電子デバイスは、ユーザが第１の閾値時間（例えば、０．３秒）だけすぼめる表情を保持するとき、しすぼめた唇１２５０から放出される単一のぬるぬるしたハート１２５２のみを導入するようにエイリアンアバターを変更し、その後、ユーザがすぼめた表情を保持し続けて第２の閾値時間（例えば０．６秒）に到達した後に、すぼめた唇１２５０から放出される追加のぬるぬるしたハート１２５２を導入するようにエイリアンアバターを変更する。いくつかの実施形態では、ぬるぬるしたハート１２５２は、アニメーション化されて動的である。例えば、いくつかの実施形態では、電子デバイスは、すぼめた唇１２５０から断続的に、及び任意選択的にランダムな間隔で放出するぬるぬるしたハート１２５２を表示する。いくつかの実施形態では、電子デバイスは、異なるサイズを有するぬるぬるしたハート１２５２を表示する。いくつかの実施形態では、電子デバイスは、すぼめた唇１２５０から離れるにつれてサイズが増大するぬるぬるしたハート１２５２を表示する。更に、いくつかの実施形態では、電子デバイスは、ランダム化された軌道で移動し、１２１１Ｃの表示領域内に位置するランダムな場所で消えるか、あるいは、１２１１Ｃの表示領域を出ると視界から消える各ぬるぬるしたハート１２５２を表示する。いくつかの実施形態では、電子デバイスは、ユーザ又はアバターが向いている方向に基づく方向にすぼめた唇１２５０から放出するぬるぬるしたハート１２５２を表示する。例えば、電子デバイスがユーザの顔又はアバターが左を向いたことを検出すると、すぼめた唇１２５０は、ぬるぬるしたハート１２５２を左に放出し、電子デバイスがユーザの顔又はアバターが右を向いたことを検出すると、すぼめた唇１２５０は、ぬるぬるしたハート１２５２を右に放出する。いくつかの実施形態では、電子デバイスは、ユーザがすぼめた顔面表情の形成を停止するまで、エイリアンのすぼめた唇１２５０から放出するぬるぬるしたハート１２５２を表示し続ける。いくつかの実施形態では、ユーザがすぼめた顔面表情の形成を停止すると、電子デバイスは、ぬるぬるしたハート１２５２が消え、すぼめた唇１２５０がエイリアンの口１２３０に置き換わるように、エイリアンアバター１２００を変更する。
図１２Ｂは、ユーザの顔の特徴の変化の検出に応じてエイリアンアバター１２００を変更する電子デバイスを示す例示的な実施形態を示す。４つの表示状態（１２１２Ａ、１２１２Ｂ、１２１２Ｃ、及び１２１２Ｄ）を有するエイリアンアバターが示されており、エイリアンアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１２０２Ａ、１２０２Ｂ、１２０２Ｃ、及び１２０２Ｄ）に対応する。図１２Ｂの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、エイリアンアバター特徴を配置又は変更する。
１２０２Ａ及び１２１２Ａに示すように、電子デバイスは、ユーザの眉毛１２２２がわずかに上がった位置（例えば、１２０１Ａに示されている中立位置よりもわずかに高い位置）にあることを検出し、ユーザが眉毛１２２２をわずかに上げることに応じて眉毛を上げるエイリアンを示すようにエイリアンに眉毛を追加する。例えば、ユーザの眉毛１２２２のわずかに上昇した位置の検出に応じて、電子デバイスは、（例えば、エイリアンアバター１２００が眉毛１２３８を上げている印象を伝達するために）上昇位置でエイリアンのアバターの目１２３２の上に配置された眉毛１２３８を導入することにより、エイリアンアバター１２００を変更する。この実施形態では、電子デバイスは、ユーザの眉毛１２２２がわずかに持ち上げられたときに、エイリアンの眉毛１２３８を導入する。したがって、電子デバイスは、ユーザの眉毛１２２２が中立位置に戻ったときに、エイリアンの眉毛１２３８を取り除く。いくつかの実施形態では、電子デバイスは、眉毛１２３８をエイリアンの目１２３２に向かって下に移動し、エイリアンの目１２３２の上のエイリアンの顔１２０５に消えることをアニメーション化することにより、エイリアンの眉毛１２３８を取り除く。
１２０２Ｂに示すように、電子デバイスは、ユーザの眉毛１２２２が１２０２Ａのわずかに高くなった位置から極端に高くなった位置（１２０２Ａに示すわずかに高くなった位置よりも高い位置）に移動したことを検出する。いくつかの実施形態では、ユーザの極端な眉毛上げを検出することは、任意選択的に、眉毛１２２２を上げることに加えて目１２２３を広げるユーザも検出する電子デバイスを含む。ユーザの極端な眉毛上がりの検出に応じて、電子デバイスは、１２１２Ａで導入された眉毛１２３８の位置を維持し、１２１２Ｂに示すようにエイリアンの頭１２３５の上部にスパイク１２５４を導入することによりエイリアンの頭１２３５を変更する。いくつかの実施形態では、電子デバイスは、ユーザが１２０２Ａに示されるわずかに上昇した位置を超えて眉毛１２２２を上げているときに、エイリアンの頭１２３５の上部から上昇するスパイク１２５４をアニメーション化することによりスパイク１２５４を導入する。いくつかの実施形態では、ユーザが眉毛１２２２を中立位置又はわずかに上昇した位置に戻すと、電子デバイスは、スパイク１２５４をエイリアンの頭１２３５に引っ込めてアニメーション化することによりスパイク１２５４を取り除く。１２０２Ｂ及び１２１２Ｂに示される実施形態では、電子デバイスは、エイリアンアバター１２００の他の特徴を変更することを取り止める。したがって、電子デバイスは、エイリアンの口１２３０と目１２３２の中立位置を維持する。
１２０２Ｃ及び１２１２Ｃに示すように、電子デバイスは、ユーザの頬１２２８をわずかに膨らんだ位置又は拡張した位置で検出し（例えば、ユーザは、１２０１Ａに示した中立位置をわずかに超えるように、頬１２２８をわずかに空気で満たす）、ユーザが頬１２２８をわずかに膨らませたことに応じてエイリアンが頬を膨らませることを示すようにエイリアンに頬を追加する。例えば、ユーザの頬１２２８のわずかに膨らんだ位置の検出に応じて、電子デバイスは、（例えば、エイリアンアバター１２００がその頬１２５６を膨らませているという印象を伝達するため）わずかに拡張した位置にアバターの頬１２５６を導入することにより、エイリアンアバター１２００を変更する。１２１２Ｃに示すように、電子デバイスは、エイリアンの頭１２３５の狭い下部部分を超えて拡大してエイリアンの頬１２５６を表示する。この実施形態では、電子デバイスは、ユーザの頬１２２８がわずかに膨らんだときに、エイリアンの頬１２５６を導入する。したがって、ユーザの頬１２２８が中立位置に戻ると、電子デバイスは、エイリアンの頬１２５６を取り除く。いくつかの実施形態では、電子デバイスは、エイリアンの顔１２０５に戻り、エイリアンの目１２３２の下のエイリアンの顔１２０５に消える頬１２５６をアニメーション化することにより、エイリアンの頬１２５６を取り除く。
１２１２Ｃに示されるようないくつかの実施形態では、電子デバイスはまた、ユーザのわずかに膨らんだ頬１２２８の検出に応じて、エイリアンの口１２３０も変更する。例えば、１２１２Ｃに示されるように、電子デバイスは、１２１１Ａに示されている中立位置から、ユーザが頬１２２８を膨らませたときのユーザの唇の狭まり（時にはしかめる）を模倣する狭く丸い形状にエイリアンの口１２３０を変更する。
１２０２Ｄに示すように、電子デバイスは、ユーザの頬１２２８が１２０２Ｃのわずかに膨らんだ位置から非常に膨らんだ位置に広がった（例えば、１２０２Ｃに示すわずかに膨らんだ位置を超えて広がった）ことを検出する。ユーザの極端な頬の膨らみの検出に応じて、電子デバイスは、１２１２Ｄに示すように、エイリアンの頬１２５６から突出するスパイク１２５８を導入することにより、エイリアンの膨らんだ頬１２５６を変更する。いくつかの実施形態では、電子デバイスは、ユーザが１２０２Ｃに示されるわずかに膨らんだ位置を超えて頬１２２８を広げるときに、エイリアンの膨らんだ頬１２５６の外側部分から延びるスパイク１２５８をアニメーション化することによりスパイク１２５８を導入する。いくつかの実施形態では、ユーザが頬１２２８を中立位置又はわずかに膨らんだ位置に戻すと、電子デバイスは、スパイク１２５８をエイリアンの頬１２５６内に引っ込めることをアニメーション化することによりスパイク１２５８を取り除く。１２０２Ｄ及び１２１２Ｄに示される実施形態では、電子デバイスは、エイリアンアバター１２００の他の特徴を変更することを取り止める。したがって、電子デバイスは、エイリアンの目１２３２の中立位置とエイリアンの口１２３０の狭められた位置を維持する。
図１２Ｃは、ユーザの顔の特徴の変化の検出に応じてエイリアンアバター１２００を変更する電子デバイスを示す例示的な実施形態を示す。５つの表示状態（１２１３Ａ、１２１３Ｂ、１２１３Ｃ、１２１３Ｄ、及び１２１３Ｅ）を有するエイリアンアバターが示されており、エイリアンアバターの５つの表示状態のそれぞれは、ユーザの５つの検出状態（１２０３Ａ、１２０３Ｂ、１２０３Ｃ、１２０３Ｄ、及び１２０３Ｅ）に対応する。図１２Ｃの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、エイリアンアバター特徴を配置又は変更する。
図１２Ｃに示す実施形態では、電子デバイスは、ユーザが少なくとも閾値量（例えば、半分）で目を閉じるか又は狭くした場合にのみ、エイリアンの目のサイズを縮小する。そうでない場合、電子デバイスは、閾値量よりも少ない量で目１２２３を閉じるユーザに応じて、エイリアンの目１２３２を変更することを取り止める。これは、実際には中立的な開いた位置にあるときに目が部分的に閉じているように見えるユーザの検出に応じて、エイリアンの目１２３２を意図せずに閉じたり狭めたりすることなく、電子デバイスがエイリアンを表示することを可能にする。
１２０３Ａ及び１２１３Ａに示されるように、電子デバイスは、ユーザの目１２２３の拡大を検出し、それに応じて、エイリアンの目１２３２のサイズを大きくすることにより、拡大した目１２３２を表示するようにエイリアンのアバター１２００を変更する。１２０３Ａ及び１２１３Ａに示される実施形態では、電子デバイスは、ユーザの目１２２３のサイズの増加を検出することにより（例えば、ユーザの目１２２３の中立位置に対して）、ユーザが目１２２３を広げることを検出する。いくつかの実施形態では、広げられた目を検出することは、任意選択的に、電子デバイスがユーザの眉毛１２２２の上げられた位置を検出することを含む。拡大されたユーザの目１２２３の検出に応じて、電子デバイスは、エイリアンが１２１３Ａに示すようにエイリアンの目１２３２の面積を増やすことによって目１２３２を広げることを示すようにエイリアンアバターを変更する。１２０３Ａ及び１２１３Ａに示されるように、エイリアンの目１２３２の変化は、ユーザの目の変化の割合（例えば、予測又は判定された動きの範囲の１０％）と比較して、アバターの目の変化がモデル化された動きの最大範囲のより大きな割合（例えば、３０％）であるという点で、ユーザの目１２２３の変化に対して誇張される。
１２０３Ｂ及び１２１３Ｂに示すように、ユーザが１２０３Ａの拡大位置から１２０３Ｂの中立位置に目１２２３を戻すと、電子デバイスは、エイリアンの目１２３２を１２１３Ａの拡大状態から１２１３Ｂの中立状態に縮小する。
１２０３Ｃでは、電子デバイスは、目１２２３を狭くしたり閉じたりするユーザを検出するが、エイリアンの目１２３２を変更するための閾値を超えない。閾値を超えてユーザの目１２２３が閉じられていないと判定したことに応じて、１２１３Ｃに示すように、電子デバイスは、エイリアンの目１２３２を変更しない。
１２０３Ｄでは、電子デバイスは、閾値を超える量で目１２２３を閉じているが完全に閉じた位置ではないユーザを検出する。換言すれば、電子デバイスは、ユーザの目１２２３が１２０３Ｄでわずかに開いていることを検出する。これに応じて、電子デバイスは、１２１３Ｄのエイリアンの目１２３２のサイズを縮小して、１２０３Ｄのユーザのわずかに開いた目１２２３に対応する、少し開いた状態のエイリアンの目１２３２を表示する。
１２０３Ｅでは、電子デバイスは、ユーザの目１２２３を完全に覆うユーザの瞼１２２７を検出することにより、ユーザの目１２２３が完全に閉じていると判定する。これに応じて、電子デバイスは、１２１３Ｅでエイリアンの目１２３２のサイズを更に縮小して、エイリアンの目１２３２を閉じた状態で表示する。１２１３Ｅに示すように、エイリアンの閉じた目は、エイリアンの頭１２３５の上に角度の付いた線１２３２Ａとして表示される。
図１２Ｃに示す実施形態では、電子デバイスは、ユーザの目１２２３の変化の検出に応じてエイリアンの目１２３２を変更し、エイリアンアバター１２００の他の特徴の変更を取り止める。したがって、エイリアンの口１２３０は、中立ポーズのままであり、１２１３Ａ、１２１３Ｂ、１２１３Ｃ、１２１３Ｄ、及び１２１３Ｅに示すように、他の特徴（例えば、スパイク、眉毛、頬）は導入されない。
図１３は、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、ウサギアバター１３００を変更する電子デバイスを示す例示的な実施形態を示す。ウサギアバターは、３つの表示状態（１３１１Ａ、１３１１Ｂ、及び１３１１Ｃ）を有して示されており、ウサギアバターの３つの表示状態のそれぞれがユーザの３つの検出された状態（１３０１Ａ、１３０１Ｂ、及び１３０１Ｃ）にそれぞれ対応する。図１３の各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、ウサギアバター特徴を配置又は変更する。
１３０１Ａでは、電子デバイスは、ユーザの中立的な顔面表情を検出する（例えば、ユーザの目１３２３が開いている、眉毛１３２２がユーザの目１３２３の上の弛緩した位置にある、ユーザの口１３２０が特定の表情に関連付けられた位置ではない弛緩した中立状態にある）。中立的な顔面表情の検出に応じて、電子デバイスは、１３１１Ａで中立的な表情又は状態を有するウサギアバター１３００を表示する。例えば、電子デバイスは、ウサギの頭１３３５の上部から垂直に延びる長い耳１３３３、開いた位置を有する目１３３２、並びにひげ１３４２、鼻１３４４、歯１３４６、及び口１３３０を含む口領域１３４０を有するウサギアバター１３００を表示する。１３１１Ａでは、ウサギの口１３３０の中立状態は、ウサギの口１３３０の閉じた位置と、互いに近接して配置されてウサギの口領域１３４０から下方向にぐったりと伸びるひげ１３４２とによって示される。更に、電子デバイスは、眉毛１３３８のないウサギアバター１３００を表示し、ディスプレイ（又はカメラ（例えば、カメラ１４３、光センサ１６４）の焦点面）に垂直な方向を向くウサギの目１３３２を表示する。いくつかの実施形態では、アバターの中立位置は、メッセージングアプリケーションで見られる静的なウサギ絵文字などの関連画像の他の表現に対応する。
１３０１Ｂ及び１３１１Ｂに示されるように、電子デバイスは、ユーザが目１３２３を閉じることを検出し、それに応じて、ウサギの目１３３２の周りにアバターの顔の構造（例えば、特徴）を導入することにより、目１３３２を閉じるようにウサギアバター１３００を変更する。いくつかの実施形態では、電子デバイスは、ユーザの目１３２３を完全に覆うユーザの瞼１３２７を検出することにより、ユーザが目を閉じていることを検出する。これに応じて、電子デバイスは、ウサギの目１３３２の下に持ち上げられたわずかにアーチ状の位置に現れる頬骨１３３９を導入し、１３１１Ｂに示すようにウサギの目１３３２を覆うようにウサギの目１３３２の上に現れて下に動く瞼１３４８を導入することにより、ウサギが目１３３２を閉じることを示すようにウサギアバターを変更する。ユーザが瞼１３２７を中立位置に上げると、電子デバイスは、ウサギの瞼１３４８と頬骨１３３９を取り除き、ウサギアバター１３００をその中立ポーズ（１３１１Ａに示す）に戻す。いくつかの実施形態では、電子デバイスは、上に動く瞼１３４８をアニメーション化してウサギの目１３３２を明らかにし、ウサギの目１３３２の上のウサギの顔の中に消えることにより、ウサギの瞼１３４８を取り除く。いくつかの実施形態では、電子デバイスは、頬骨１３３９を下げてまっすぐに伸ばしてわずかなアーチを取り除き、ウサギの顔の中に消えることをアニメーション化することにより、ウサギの頬骨１３３９を取り除く。１３０１Ｂ及び１３１１Ｂに示される実施形態では、電子デバイスは、ウサギアバター１３００の他の特徴を変更することを取り止める。したがって、電子デバイスは、ウサギの耳１３３３と、ひげ１３４２、口１３３０、歯１３４６、及び鼻１３４４を含む口領域１３４０の中立位置を維持する。
１３０１Ｃ及び１３１１Ｃに示されるように、電子デバイスは、上向きのポーズ（例えば、笑顔の表情を形成する）に位置するユーザの口１３２０の角１３２０Ａ及び１３２０Ｂの一方又は両方を検出し、それに応じて、笑顔の顔面表情を有するようにウサギアバターを変更する。例えば、電子デバイスは、１３１１Ｃに示すように、ウサギの口１３３０を下げ（例えば、開く）、ひげ１３４２のそれぞれの間の間隔を広げることにより、笑顔の顔面表情を形成するようにウサギの口領域１３４０を変更する。ひげ１３４２の間の間隔を広げることにより、電子デバイスは、ウサギの特徴、特に口領域１３４０の特徴の間の相互接続された顔の関係を伝達する。したがって、ユーザが口１３２０を動かすと、電子デバイスは、ウサギの口１３３０を変更し、ウサギの口領域１３４０の相互接続された顔の特徴の変化をもたらす。電子デバイスは、口領域１３４０を介してウサギの口１３３０に接続されるひげ１３４２の間の間隔を調整することにより、ウサギの口領域１３４０の特徴間のこの接続を表す。この実施形態では、電子デバイスは、ユーザが笑うときにウサギの口領域１３４０を笑顔の表情に変化させる。電子デバイスは、ユーザがもはや笑っていないとき、口１３３０及びひげ１３４２を含む口領域１３４０をそれらの中立位置に戻す。ウサギの目１３３２、歯１３４６、鼻１３４４、及び耳１３３３は、１３１１Ａの中立位置に対して変化しないままである。
図１４Ａは、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、ロボットアバター１４００を変更する電子デバイスを示す例示的な実施形態を示す。ロボットアバターは、３つの表示状態（１４１１Ａ、１４１１Ｂ、及び１４１１Ｃ）を有して示されており、ロボットアバターの３つの表示状態のそれぞれがユーザの３つの検出された状態（１４０１Ａ、１４０１Ｂ、及び１４０１Ｃ）にそれぞれ対応する。図１４Ａの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、ロボットアバター特徴を配置又は変更する。
１４０１Ａでは、電子デバイスは、ユーザの中立的な顔面表情を検出する。例えば、（カメラ（例えば、カメラ１４３、光センサ１６４）の焦点面に垂直な方向に向けられた虹彩１４２３Ａ又は瞳孔を有する）ユーザの目１４２３は開いており、眉毛１４２２は、ユーザの目１４２３の上の弛緩した位置にあり、ユーザの頬１４２８は弛緩しており、拡張されていない。更に、ユーザの口１４２０（任意選択的にユーザの口１４２０の角を形成することができるユーザの唇１４２０Ａの第１の部分と、任意選択的にユーザの口１４２０の角を形成することができるユーザの唇１４２０Ｂの第２の部分とを有する）は、弛緩した中立状態にあり、特定の顔面表情に関連付けられた位置ではない。中立的な顔面表情の検出に応じて、電子デバイスは、１４１１Ａで中立的な表情又は状態を有するロボットアバター１４００を表示する。例えば、電子デバイスは、ロボットの頭１４３５の側面に対して垂直に中心付けられて配置された耳１４３３、ロボットの頭１４３５の上部に水平に中心付けられた場所に下降位置を有するアンテナ１４３４、並びにロボットの頭１４３５の下縁部と平行に整列されたベース及びアンテナ１４３４に向かって上向きに向けられた反対側の角を有する三角形の鼻１４３６を有するロボットアバター１４００を表示する。
１４１１Ａでは、ロボットの口１４３０の中立位置は、電子デバイスによって表示される口１４３０の位置及び形状によって示される。例えば、電子デバイスは、ロボットの鼻１４３６の下で口１４３０を水平方向に中央に配置することにより、ロボットの口１４３０を中立位置に表示する。更に、水平にかつ互いに平行に配置された上縁部１４３０Ｕ及び下縁部１４３０Ｌによって接続される丸い端部１４３０Ａ及び１４３０Ｂにより形成される「丸」形を有するロボットの口１４３０を電子デバイスが表示するとき、ロボットの口１４３０は、中立位置にある。口が中立位置にあるとき、電子デバイスは、ロボットの「歯」１４４０を形成する垂直線１４３０Ｃを表示する。歯１４４０は、ロボットの鼻１４３６の下に中心があるロボットの頭１４３５に対して固定された水平位置を有する。
１４１１Ａに示すように、電子デバイスは、外側円１４３２Ａと内側円１４３２Ｂとの間に水平に延びる線１４３１によって外側円１４３２Ａの中心に位置する内側円１４３２Ｂ又はアパーチャを有する外側円１４３２Ａを表示することにより、ロボットの目１４３２を中立位置に表示する。ロボットの目の特徴（例えば、中心開口１４３２Ｂと水平線１４３１）のこの組み合わせは、ディスプレイ（又はカメラ（例えば、カメラ１４３、光センサ１６４）の焦点面）に対して垂直な方向を見ているロボットの目１４３２を表す。いくつかの実施形態では、ロボットの目１４３２の開放性は、内側円１４３２Ｂのサイズによって示される。例えば、内側円１４３２Ｂの直径が大きくなると、ロボットの目１４３２は、拡大している又は開いていると見なされる。内側円１４３２Ｂの直径が小さくなると、ロボットの目１４３２は、狭くなっている又は閉じていると見なされる。いくつかの実施形態では、電子デバイスは、内側円１４３２Ｂを取り除き、外側円１４３２Ａを横切る単一の線１４３１を表示することにより、閉じた位置にロボットの目１４３２を表示する。他の実施形態では、電子デバイスは、最小直径を有する内側円１４３２Ｂを表示することにより、閉じた位置にロボットの目１４３２を表示する。図１４Ａ～図１４Ｄに示す実施形態では、１４１１Ａに示される内側円１４３２Ｂのサイズは、内側円１４３２Ｂの中立位置又はサイズを表す。いくつかの実施形態では、アバターの中立位置は、メッセージングアプリケーションで見られる静的なロボット絵文字などの関連画像の他の表現に対応する。
１４０１Ｂに示されるように、電子デバイスは、ユーザの右側に偏移したユーザの目１４２３（例えば、ユーザの目の虹彩１４２３Ａ及び／又は瞳孔）を検出する。ユーザの虹彩１４２３Ａの右方向への偏移の検出に応じて、電子デバイスは、右を見るようにロボットアバターの目１４３２を変更する。例えば、各ロボットの目１４３２について、１４１１Ｂに示されるように、電子デバイスは、内側円１４３２Ｂを外側円１４３２Ａの右端に偏移させる。更に、電子デバイスが内側円１４３２Ｂを外側円１４３２Ａの右端に偏移すると、電子デバイスはまた、水平線１４３１の長さも調整して、内側円１４３２Ｂと外側円１４３２Ａとの間の水平方向の延長を維持する。１４１１Ｂに示されるように、電子デバイスは、ロボットアバター１４００の他の特徴を変更することを取り止める。
１４０１Ｃ及び１４１１Ｃは、電子デバイスがユーザの目１４２３（例えば、ユーザの目の虹彩１４２３Ａ又は瞳孔）がユーザの左側に偏移した同様の効果を示す。ユーザの虹彩１４２３Ａの左方向への偏移の検出に応じて、電子デバイスは、１４１１Ｃに示すように、左を見るようにロボットアバターの目１４３２を変更する。例えば、各ロボットの目１４３２について、電子デバイスは、内側円１４３２Ｂを外側円１４３２Ａの左端に偏移し、水平線１４３１の長さを調整して、内側円１４３２Ｂと外側円１４３２Ａとの間の水平方向の延長を維持する。同様に、１４１１Ｃに示されるように、電子デバイスは、ロボットアバター１４００の他の特徴を変更することを取り止める。
図１４Ｂは、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、ロボットアバター１４００を変更する電子デバイスを示す例示的な実施形態を示す。ロボットアバターは、３つの表示状態（１４１２Ａ、１４１２Ｂ、及び１４１２Ｃ）を有して示されており、ロボットアバターの３つの表示状態のそれぞれがユーザの３つの検出された状態（１４０２Ａ、１４０２Ｂ、及び１４０２Ｃ）にそれぞれ対応する。図１４Ｂの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、ロボットアバター特徴を配置又は変更する。
１４０２Ａ及び１４１２Ａに示されるように、電子デバイスは、目１４２３を広げたユーザを検出し、それに応じて、広げられた目１４３２を表示するようにロボットアバター１４００を変更する。１４０２Ａ及び１４１２Ａに示される実施形態では、電子デバイスは、ユーザの目１４２３のサイズの増加を検出することにより（例えば、ユーザの目１４２３の中立位置に対して）、ユーザが目１４２３を広げることを検出する。いくつかの実施形態では、広げられた目を検出することは、任意選択的に、電子デバイスがユーザの眉毛１４２２の上げられた位置を検出することを含む。拡大されたユーザの目１４２３の検出に応じて、電子デバイスは、ロボットが１４１２Ａに示すように内側円１４３２Ｂの直径を増やすことによって目１４３２を広げることを示すようにロボットアバター１４００を変更する。更に、電子デバイスは、水平線１４３１の長さを短くして、内側円１４３２Ｂと外側円１４３２Ａとの間の水平方向の延長を維持する。１４１２Ａに示されるように、電子デバイスは、ロボットアバター１４００の他の特徴を変更することを取り止める。
１４０２Ｂ及び１４１２Ｂに示されるように、電子デバイスは、目１４２３を狭めたユーザを検出し、それに応じて、その目１４３２を狭めるようにロボットアバター１４００を変更する。１４０２Ｂ及び１４１２Ｂに示される実施形態では、電子デバイスは、ユーザの目１４２３のサイズの減少を検出することにより（例えば、ユーザの目１４２３の中立位置に対して）、ユーザが目１４２３を狭めることを検出する。狭められたユーザの目１４２３の検出に応じて、電子デバイスは、１４１２Ｂに示すように内側円１４３２Ｂの直径を小さくすることによりロボットが目１４３２を狭めることを示すようにロボットアバター１４００を変更する。更に、電子デバイスは、水平線１４３１の長さを長くして、内側円１４３２Ｂと外側円１４３２Ａとの間の水平方向の延長を維持する。１４１２Ｂに示されるように、電子デバイスは、ロボットアバター１４００の他の特徴を変更することを取り止める。
１４０２Ｃ及び１４１２Ｃに示すように、電子デバイスは、ユーザの眉毛１４２２が上昇位置（例えば、１４０１Ａに示す中立位置よりも高い位置）にあることを検出し、それに応じて、ロボットアバター１４００の様々な特徴を変更する。例えば、１４１２Ｃに示すように、電子デバイスは、ロボットの頭１４３５の上部からアンテナ１４３４を延長し、ロボットの頭１４３５の側面からロボットの耳１４３３を延長し、ロボットの目１４３２の内側円１４３２Ｂと外側円１４３２Ａとを接続する線１４３１を回転させることにより、ロボットアバター１４００を変更する。１４１２Ｃに示される実施形態では、電子デバイスは、線１４３１を回転させて、「上げられた」位置でロボットの眉毛を模倣するように角度が付けられる。例えば、電子デバイスは、右ロボットの目１４３２Ｒに位置する線１４３１を時計回り方向に約４５度回転させ、左ロボットの目１４３２Ｌに位置する線１４３１を反時計回り方向に約４５度回転させる。この実施形態では、電子デバイスは、ユーザが眉毛１４２２を上げると、上述したようにロボットアバター１４００を変更する。したがって、電子デバイスは、ユーザの眉毛１４２２が中立位置に戻ることを検出すると、アンテナ１４３４、耳１４３３、及び１４１１Ａに示す中立位置に戻る線１４３１を表示する。
図１４Ｃは、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、ロボットアバター１４００を変更する電子デバイスを示す例示的な実施形態を示す。４つの表示状態（１４１３Ａ、１４１３Ｂ、１４１３Ｃ、及び１４１３Ｄ）を有するロボットアバターが示されており、ロボットアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１４０３Ａ、１４０３Ｂ、１４０３Ｃ、及び１４０３Ｄ）に対応する。図１４Ｃの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、ロボットアバター特徴を配置又は変更する。
１４０３Ａ及び１４１３Ａに示されるように、電子デバイスは、１４０１Ａに示される位置とは異なる位置でユーザの唇１４２０Ａ及び１４２０Ｂの部分を検出する。具体的には、電子デバイスは、唇１４２０Ａ及び１４２０Ｂの部分が上向きのポーズ（例えば、笑顔の顔面表情）に位置することを検出し、それに応じて、笑顔の表情を有するようにロボットアバター１４００を変更する。例えば、電子デバイスは、１４１３Ａに示すように、ロボットの口の形状を、より短い下縁部１４３０Ｌとより長い上縁部１４３０Ｕとを有する台形に変化させることにより、笑顔の表情を有するようにロボットの口１４３０を変更する。１４１３Ａに示されるように、電子デバイスは、ロボットアバター１４００の他の特徴を変更することを取り止める。
１４０３Ｂ及び１４１３Ｂに示されるように、電子デバイスは、下向きのポーズにあるユーザの唇１４２０Ａ及び１４２０Ｂの部分の一方又は両方と、下向きの位置にあるユーザの眉毛１４２２を検出し（例えば、１４０１Ａの弛緩した中立状態のときに眉毛１４２２の位置と比較した場合、ユーザの顔の下方にしかめる又は配置される）、それに応じて、しかめた表情を有するロボットを表示するようにロボットアバター１４００の複数の特徴を変更する。例えば、電子デバイスは、ロボットの口１４３０とロボットの耳１４３３の両方を変更することにより、しかめた表情を有するロボットを表示する。電子デバイスは、１４１３Ａに示すように、ロボットの口の形状を、より長い下縁部１４３０Ｌとより短い上縁部１４３０Ｕとを有する台形に変化させることにより、しかめた表情を有するようにロボットの口１４３０を変更する。更に、電子デバイスは、１４１３Ｂに示すように、ロボットの頭１４３５の側面から伸びかつロボットの頭１４３５の側面から離れる角度で下向きに傾くようにロボットの耳１４３３を変更する。１４１３Ｂに示されている実施形態では、電子デバイスは、ロボットアバター１４００の他の特徴を変更することを取り止める。
１４０３Ｃでは、電子デバイスは、ユーザの口１４２０が開いた状態で（例えば、あたかもユーザの口１４２０が話し動作で動いているかのように）ユーザの口１４２０の部分１４２０Ｃ及び１４２０Ｄが離間していることを検出する。ユーザの口１４２０のこの「話す」動きの検出に応じて、電子デバイスは、１４１３Ｃに示されるように、ユーザの話す動きを模倣するロボットの口１４３０を表示するようにロボットアバター１４００を変更する。例えば、電子デバイスは、ロボットの歯１４４０を上列の歯１４４０Ａと下列の歯１４４０Ｂとに分離する水平空間１４４１を導入することにより、ロボットの歯１４４０を変更する。電子デバイスが話し動作で動いているユーザの口を検出すると、電子デバイスは、上列の歯１４４０Ａと下列の歯１４４０Ｂとの間の水平空間１４４１の高さを増加させ、ロボットの歯１４４０が開方向に移動することを示し、上列の歯１４４０Ａと下列の歯１４４０Ｂとの間の水平空間１４４１の高さを減少させ、ロボットの歯１４４０が閉方向に移動することを示す。このように水平空間１４４１の高さを変更することにより、電子デバイスは、ユーザの口１４２０の話す動きを模倣するようにロボットの口１４３０を変更する。１４０３Ｃ及び１４１３Ｃに示される実施形態などのいくつかの実施形態では、電子デバイスは、話す動きで動いているユーザの口１４２０の部分１４２０Ｃ及び１４２０Ｄの検出に応じて、ロボットの口１４３０の形状又は位置を変更しない。代わりに、ロボットの歯１４４０は、上述したように変更される。図１４Ｃの実施形態などのいくつかの実施形態では、物理的特徴（例えば、ユーザの唇及び／又は口）の変化は、対応するアバター特徴（例えば、ロボットの口１４３０、１４３０Ｕ、１４３０Ｌ）の誇張された変化をもたらし、誇張は、物理的特徴に対して検出された形状の変化とは異なる形状の変化の形態である。
１４０３Ｄ及び１４１３Ｄに示されるように、電子デバイスが１４０３Ｄの閉位置に戻る（例えば、ユーザの口１４２０の部分１４２０Ｃ及び１４２０Ｄが閉じられる）ユーザの口１４２０を検出すると、電子デバイスは、水平空間１４４１を取り除き、ロボットの歯１４４０は、１４１３Ｄに示すように中立的な閉位置に戻る。
図１４Ｄは、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、ロボットアバター１４００を変更する電子デバイスを示す例示的な実施形態を示す。４つの表示状態（１４１４Ａ、１４１４Ｂ、１４１４Ｃ、及び１４１４Ｄ）を有するロボットアバターが示されており、ロボットアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１４０４Ａ、１４０４Ｂ、１４０４Ｃ、及び１４０４Ｄ）に対応する。図１４Ｄの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、ロボットアバター特徴を配置又は変更する。４つの表示状態のそれぞれにおいて、表示状態の境界（例えば、１４１４Ａ、１４１４Ｂ、１４１４Ｃ、及び１４１４Ｄの境界）は、仮想アバターを含む表示領域の境界を表す。
１４０４Ａ及び１４１４Ａに示されるように、電子デバイスは、ユーザの口１４２０（例えば、上唇１４２０Ｃ及び下唇１４２０Ｄ）がユーザの右に偏移される（例えば、カメラの視野に対して左に偏移される）ことを検出し、それに応じて、ロボットの口１４３０と鼻１４３６の両方を変更する。電子デバイスは、ロボットの頭１４３５に対するロボットの歯１４４０の相対位置を維持しながら、ユーザの口１４２０の動きを鏡映するようにロボットの口１４３０の形状を右に偏移することにより、ロボットの口１４３０を変更する。例えば、１４１４Ａに示すように、ロボットの口１４３０がロボットの頭１４３５と歯１４４０の両方に対して移動したように見えるように、ロボットの口１４３０の丸形状は右に偏移し、歯１４４０の位置は、固定されたままである。
１４０４Ａに示すように、ユーザの鼻１４２５の先端は、ユーザの口１４２０によってわずかに偏移する。いくつかの実施形態では、電子デバイスは、ユーザの鼻１４２５の動きを直接モニタ又は検出しないが、それにもかかわらず、偏移するロボットの口１４３０に応じて動くようにロボットの鼻１４３６を変更することにより、ユーザの鼻１４２５の動きを考慮する。例えば、電子デバイスは、ロボットの口１４３０が偏移するにつれて回転するようにロボットの鼻１４３６を変更し、それにより、ユーザの口１４２０と鼻１４２５との間の相互接続された顔の関係に類似するロボットの口１４３０と鼻１４３６との間の相互接続された顔の関係を伝達する。１４１４Ａに示す実施形態では、電子デバイスは、ロボットの口１４３０を右に偏移し、鼻１４３６を時計回りに回転させる。ロボットの口１４３０及び鼻１４３６に対する変更のこの組み合わせは、ユーザの口１４２０及び鼻１４２５の動きを模倣し、ロボットの顔の特徴、特にロボットの鼻１４３６及び口１４３０がユーザの口１４２０及び鼻１４２５のものに類似した方法で相互接続されているように外観を与える。
１４０４Ｂは、１４０４Ａに示されるのとは反対の方向へのユーザの口１４２０及び鼻１４２５の動きを示し、１４１４Ｂは、ロボットアバター１４００に対する電子デバイスの対応する変更を示す。ロボットアバター１４００に対するこれらの変更は、１４１４Ａに関して上記で議論された変更と同様であるが、代わりに反対方向で示されている。例えば、１４０４Ｂでは、ユーザの口１４２０及び鼻１４２５は、ユーザの左に偏移して（例えば、カメラの視野に対して右に偏移して）示され、それに応じて、電子デバイスは、１４１４Ｂに示すように、ロボットの口１４３０を右に偏移し、ロボットの鼻１４３６を反時計回りに回転させる。同様に、ロボットの口１４３０及び鼻１４３６に対する変更のこの組み合わせは、ユーザの口１４２０及び鼻１４２５の動きを模倣し、ロボットの顔の特徴がユーザの口１４２０及び鼻１４２５のものに類似した方法で相互接続されているように外観を与える。
１４０４Ｃ及び１４１４Ｃに示されるように、電子デバイスは、膨らんだ又は拡張した位置でユーザの頬１４２８を検出し（例えば、ユーザが１４０１Ａに示す中立位置を超えて拡大するように頬１４２８を空気で満たす）、それに応じて、ロボットの頭１４３５の側面からロボットの耳１４３３を伸ばすことにより、ロボットアバター１４００を変更する。いくつかの実施形態では、電子デバイスは、ユーザが頬１４２８を拡張する量に基づいて耳１４３３の延長を変更する。例えば、ユーザが頬１４２８を拡張し続けると、電子デバイスは、耳１４３３を伸ばし続ける。同様に、ユーザの頬１４２８が収縮すると（例えば、ユーザが頬１４２８から空気を放出したことに応じて）、電子デバイスは、ロボットの耳１４３３を収縮させる。
１４０４Ｄに示されるように、電子デバイスは、閉位置にあるユーザの顎１４２７を検出しかつユーザの唇（例えば、ユーザの上唇１４２０Ｃ及び下唇１４２０Ｄの両方）をすぼめるポーズでユーザの口１４２０から外側に延ばすように互いに向かって移動するユーザの口１４２０の角１４２０Ａ及び６２０Ｂを検出することにより、すぼめる顔面表情を行っているユーザを判定する。ユーザのすぼめる顔面表情の検出に応じて、電子デバイスは、１４１４Ｄに示すように、ロボットの口１４３０の形状を変更し、ロボットの口１４３０から放出される金属ハート１４５２を表示することにより、ロボットアバター１４００を変更する。例えば、電子デバイスは、ロボットの口１４３０の形状を円の中心にある「＋」形状１４５４を有する円に変更して、ロボット「すぼめ面」を形成する。更に、電子デバイスは、ロボットの「すぼめた」口１４３０から放出されるように表示される１つ以上の金属ハート１４５２を導入する。いくつかの実施形態では、電子デバイスは、ロボットアバター１４００の他の特徴を変更することを取り止める。
いくつかの実施形態では、電子デバイスは、ユーザのすぼめる顔面表情の検出に応じて、金属ハート１４５２を直ちに導入しない。そのような実施形態では、電子デバイスは、電子デバイスが閾値時間だけすぼめた顔面表情を保持しているユーザを検出した後にのみ、すぼめた口１４３０から放出する金属ハート１４５２を導入するように、すぼめたロボットアバター１４００を変更する。いくつかの実施形態では、電子デバイスは、ユーザが第１の閾値時間（例えば、０．３秒）だけすぼめる顔面表情を保持するとき、すぼめた口１４３０から放出される単一の金属ハート１４５２のみを導入するようにロボットアバターを変更し、その後、ユーザがすぼめた顔面表情を保持し続けて第２の閾値時間（例えば０．６秒）に到達した後に、すぼめた口１４３０から放出される追加の金属ハート１４５２を導入するようにロボットアバターを変更する。
いくつかの実施形態では、金属ハート１４５２は、アニメーション化されて動的である。例えば、いくつかの実施形態では、電子デバイスは、すぼめた口１４３０から断続的に、及び任意選択的にランダムな間隔で放出する金属ハート１４５２を表示する。いくつかの実施形態では、電子デバイスは、異なるサイズを有する金属ハート１４５２を表示する。いくつかの実施形態では、電子デバイスは、すぼめた口１４３０から離れるにつれてサイズが増大する金属ハート１４５２を表示する。更に、いくつかの実施形態では、電子デバイスは、ランダム化された軌道で移動し、１４１４Ｄの表示領域内に位置するランダムな場所で消えるか、あるいは、１４１４Ｄの表示領域を出ると視界から消える各金属ハート１４５２を表示する。いくつかの実施形態では、電子デバイスは、ユーザ又はアバターが向いている方向に基づく方向にすぼめた口１４３０から放出する金属ハート１４５２を表示する。例えば、電子デバイスがユーザの顔又はアバターが左を向いたことを検出すると、すぼめた口１４３０は、金属ハート１４５２を左に放出し、電子デバイスがユーザの顔又はアバターが右を向いたことを検出すると、すぼめた口１４３０は、金属ハート１４５２を右に放出する。いくつかの実施形態では、電子デバイスは、ユーザがすぼめた顔面表情の形成を停止するまで、ロボットのすぼめた口１４３０から放出する金属ハート１４５２を表示し続ける。いくつかの実施形態では、ユーザがすぼめた顔面表情の形成を停止すると、電子デバイスは、金属ハート１４５２が消え、すぼめた口１４３０が１４１１Ａに示す中立形状に戻るようにロボットアバター１４００を変更する。
図１５Ａは、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、ユニコーンアバター１５００を変更する電子デバイスを示す例示的な実施形態を示す。４つの表示状態（１５１１Ａ、１５１１Ｂ、１５１１Ｃ、及び１５１１Ｄ）を有するユニコーンアバターが示されており、ユニコーンアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１５０１Ａ、１５０１Ｂ、１５０１Ｃ、及び１５０１Ｄ）に対応する。図１５Ａの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、ユニコーンアバター特徴を配置又は変更する。
１５０１Ａでは、電子デバイスは、ユーザの中立的な顔面表情を検出する（例えば、ユーザの目１５２３が開いている、眉毛１５２２がユーザの目１５２３の上の弛緩した位置にある、ユーザの口１５２０が特定の表情に関連付けられた位置ではない弛緩した中立状態にある）。中立的な顔面表情の検出に応じて、電子デバイスは、１５１１Ａで中立的な状態を有するユニコーンアバター１５００を表示する。例えば、電子デバイスは、ユニコーンの頭１５３５の上部から垂直に伸びる耳１５３３、開いた位置の目１５３２、及びユニコーンの頭１５３５の上部及びユニコーンの頭１５３５と首１５３９の後方に自然に存在するたてがみ１５５２を有するユニコーン１５００を表示する。更に、電子デバイスは、ユニコーンの耳１５３３及びたてがみ１５５２に隣接して、ユニコーンの頭１５３５の上部に向かって配置されたホーン１５５０を有するユニコーン１５００を表示する。電子デバイスは、眉毛又は頬の特徴のないユニコーン１５００を表示し、ディスプレイ（又はカメラ（例えば、カメラ１４３、光センサ１６４）の焦点面）に対して垂直な方向を向いたユニコーンの目１５３２を表示する。
電子デバイスはまた、口１５３０及び鼻孔１５３６を含む鼻面領域１５４０を有するユニコーン１５００も表示する。１５１１Ａでは、電子デバイスは、閉じた位置にあるユニコーンの口１５３０と鼻孔１５３６の弛緩した位置を含む中立状態のユニコーンの鼻面領域１５４０を表示する。
１５１１Ａに示されている中立状態では、電子デバイスは、ユニコーン１５００が１５１１Ａの表示領域の左側に面してユニコーンの特徴の約半分が見えるように、斜めの向きでユニコーンアバター１５００を表示する。例えば、電子デバイスは、ユニコーンの目１５３２のうちの１つ、ユニコーンの口１５３０の半分、及び１５１１Ａに示す中立状態の１つの鼻孔１５３６を表示する。いくつかの実施形態では、アバターの中立位置は、メッセージングアプリケーションで見られる静的なユニコーン絵文字などの関連画像の他の表現に対応する。
１５０１Ｂ及び１５１１Ｂに示されるように、電子デバイスは、上昇位置にあるユーザの上唇１５２０Ａ及び下降位置にあるユーザの眉毛１５２２を検出し（例えば、ユーザが冷笑的な顔面表情を形成している）、それに応じて、冷笑的な表情を表示するように表示されたユニコーンアバター１５００を変更する。例えば、電子デバイスは、１５１１Ｂに示すように、ユニコーンの目１５３２の上部部分を部分的に遮るひそめる状態に配置された眉毛１５３８を導入するように、ユニコーンアバター１５００を変更する。更に、電子デバイスは、ユニコーンの口１５３０を、上唇１５３０Ａが突出した開位置に変更して、ユニコーンの歯１５４２を露出させることにより、鼻面領域１５４０を変更する。電子デバイスはまた、１５１１Ｂに示すように、鼻孔１５３６を拡張又は屈曲位置で表示し、鼻面領域１５４０を拡大してユニコーンの顔の増加部分を覆うことにより、冷笑ポーズを形成するように鼻面領域１５４０を変更する。
１５０１Ｂ及び１５１１Ｂに示される実施形態では、電子デバイスは、ユーザの冷笑的な顔面表情の検出に応じて冷笑的な表情を表示するようにユニコーンアバター１５００を変更する。いくつかの実施形態では、電子デバイスは、変更された特徴（例えば、口、鼻孔、鼻面領域、眉毛）のそれぞれに対する変化の漸進的アニメーションとしてアバターへの変化を表示し、アニメーション化された変化は、ユーザの対応する物理的特徴（例えば、ユーザの唇と眉毛）への変化の方向及び大きさと一致する。他の実施形態では、電子デバイスは、仮想アバター特徴（例えば、口、鼻孔、鼻面領域、眉毛）を、ユニコーンの冷笑を表す所定の位置に変更する。
いくつかの実施形態では、電子デバイスは、ユーザがもはや冷笑的な顔面表情を作っていないことを検出すると、１５１１Ａに示す中立状態に戻るようにユニコーンアバター１５００を変更する。例えば、ユーザが冷笑的な表情を解除すると、電子デバイスは、眉毛１５３８をユニコーンの目１５３２から上に移動し、ユニコーンのたてがみ１５５２と耳１５３３の下のユニコーンの顔に消えることをアニメーション化することにより、ユニコーンの眉毛１５３８を取り除く。更に、電子デバイスは、中立位置に移動する鼻面領域１５４０、弛緩状態に戻る鼻孔１５３６、及び閉じて中立位置に戻るユニコーンの口１５３０をアニメーション化する。いくつかの実施形態では、電子デバイスは、変更された特徴（例えば、眉毛、口、鼻孔、及び鼻面領域）への変化をアニメーション化することなく、中立位置に戻るユニコーン１５００を表示する。換言すれば、電子デバイスは、１５１１Ｂに示されている冷笑的な表情から１５１１Ａに示されている中立状態へのユニコーンの瞬間的な変化を表示する。
１５０１Ｃ及び１５１１Ｃに示されるように、電子デバイスは、眉毛１５２２を上げるユーザを検出し、それに応じて、眉毛を上げるように表示されたユニコーンアバター１５００を変更する。例えば、ユーザの上げられた眉毛１５２２の検出に応じて、電子デバイスは、１５１１Ｃに示すように、元気を出すようにユニコーンのたてがみ１５５２の前部１５５２Ａを変更し、ユニコーンの目１５３２の上に配置されたユニコーンの眉毛１５３８を導入して、ユニコーンアバター１５００が眉毛１５３８を上げているという印象を伝達する。この実施形態では、電子デバイスは、ユニコーンの眉毛１５３８を導入し、ユーザの眉毛１５２２が持ち上げられたときにたてがみ１５５２の前部を元気にする。電子デバイスは、ユーザの眉毛１５２２が中立位置に戻ったときにユニコーンの眉毛１５３８を取り除いてたてがみ１５５２を弛緩する。いくつかの実施形態では、デバイスは、眉毛１５３８をユニコーンの目１５３２に向かって動かし、ユニコーンの目１５３２の上のユニコーンの顔に消えることをアニメーション化することにより、ユニコーン１５００を中立位置に戻す。更に、電子デバイスは、眉毛１５３８が取り除かれると、たてがみ１５５２の前部１５５２Ａがその中立位置に落ちるようにアニメーション化する。
１５０１Ｄ及び１５１１Ｄに示すように、電子デバイスは、ユーザが頭１５２８及び任意選択的に顔１５２４（又は顔１５２４を含む様々な物理的特徴）をユーザの左側に回転させていることを検出し、それに応じて、ユニコーンの首１５３９を固定したまま、ユニコーンの頭１５３５を回転させることによってユニコーンアバター１５００を変更する。例えば、電子デバイスは、電子デバイスのディスプレイ（例えば、タッチスクリーン１１２、ディスプレイ３４０、ディスプレイ４５０、ディスプレイ５０４）上でユニコーンアバター１５００を見ているユーザの視点に向かって回るように、ユニコーンの頭１５３５を回転させる。電子デバイスがユニコーンの首１５３９の位置を維持しながらユニコーンの頭１５３５を回転させると、電子デバイスは、ユニコーン１５００が１５１１Ａに示す斜めの向きで向いていたときに以前は隠れていたユニコーンの特徴を明らかにする。例えば、１５１１Ｄに示すように、電子デバイスは、ユニコーンの頭１５３５を回転させて、以前は視界から隠されていたユニコーンの両目１５３２、両方の鼻孔１５３６、ユニコーンの耳１５３３、ホーン１５５０、鼻面領域１５４０の一部を表示する。更に、電子デバイスがユニコーンの頭１５３５を回転させると、ユニコーンのたてがみ１５５２は、ユニコーンの頭１５３５とともに移動し、頭１５３５は、ユニコーンの口１５３０が消えるようにわずかに下に傾斜する。
図１５Ｂは、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、ユニコーンアバター１５００を変更する電子デバイスを示す例示的な実施形態を示す。ユニコーンアバターは、３つの表示状態（１５１２Ａ、１５１２Ｂ、及び１５１２Ｃ）を有して示されており、ユニコーンアバターの３つの表示状態のそれぞれがユーザの３つの検出された状態（１５０２Ａ、１５０２Ｂ、及び１５０２Ｃ）にそれぞれ対応する。図１５Ｂの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、ユニコーンアバター特徴を配置又は変更する。３つの表示状態のそれぞれにおいて、表示状態の境界（例えば、１５１２Ａ、１５１２Ｂ、及び１５１２Ｃの境界）は、仮想アバターを含む表示領域の境界を表す。
１５０２Ａ及び１５１２Ａに示すように、電子デバイスは、ユーザがすぼめた表情を形成することを検出し、それに応じて、ユニコーンの口１５３０をすぼめた唇１５３１のセットで置き換えることにより、ユニコーンアバター１５００を変更する。１５０２Ａに示されるようないくつかの実施形態では、電子デバイスは、閉位置でユーザの顎１５２７を検出し、ユーザの唇（例えば、ユーザの上唇１５２０Ａ及び下唇１５２０Ｂの両方）をすぼめるポーズでユーザの口１５２０から外側に延ばすように互いに向かって移動するユーザの口１５２０の角を検出することにより、ユーザがすぼめる表情を行っていると判定する。ユーザのすぼめた表情の検出に応じて、電子デバイスは、ユニコーンの口１５３０をすぼめた唇１５３１のセットに変化させることでユニコーンアバター１５００を変更するとともに、１５１２Ａに示すようにユニコーン１５００の任意の他の特徴の変更を取り止める。
１５０２Ｂ及び１５１２Ｂに示すように、電子デバイスは、すぼめた表情を閾値時間だけ保持しているユーザを検出し、それに応じて、ユニコーンのすぼめた唇１５３１から放出されて表示される１つ以上のレインボーハート１５５５を導入することにより、ユニコーンアバター１５００を変更する。１５１２Ａ及び１５１２Ｂに示される実施形態では、電子デバイスは、ユーザのすぼめた表情の検出に応じて、レインボーハート１５５５を直ちに導入しない。代わりに、電子デバイスは、電子デバイスが閾値時間だけすぼめた表情を保持しているユーザを検出した後にのみ、すぼめた唇１５３１から放出するレインボーハート１５５５を導入するように、すぼめたユニコーンアバター１５００を変更する。
いくつかの実施形態では、電子デバイスは、ユーザが第１の閾値時間（例えば、０．３秒）だけすぼめる表情を保持するとき、すぼめた唇１５３１から放出される単一のレインボーハート１５５５のみを導入するようにユニコーンアバターを変更し、その後、ユーザがすぼめた表情を保持し続けて第２の閾値時間（例えば０．６秒）に到達した後に、すぼめた唇１５３１から放出される追加のレインボーハート１５５５を導入するようにユニコーンアバターを変更する。いくつかの実施形態では、レインボーハート１５５５は、アニメーション化されて動的である。例えば、いくつかの実施形態では、電子デバイスは、すぼめた唇１５３１から断続的に、及び任意選択的にランダムな間隔で放出するレインボーハート１５５５を表示する。いくつかの実施形態では、電子デバイスは、異なるサイズを有するレインボーハート１５５５を表示する。いくつかの実施形態では、電子デバイスは、すぼめた唇１５３１から離れるにつれてサイズが増大するレインボーハート１５５５を表示する。更に、いくつかの実施形態では、電子デバイスは、ランダム化された軌道で移動し、１５１２Ｂの表示領域内に位置するランダムな場所で消えるか、あるいは、１５１２Ｂの表示領域を出ると視界から消える各レインボーハート１５５５を表示する。
いくつかの実施形態では、電子デバイスは、ユーザ又はアバターが向いている方向に基づく方向にすぼめた唇１５３１から放出するレインボーハート１５５５を表示する。例えば、電子デバイスがユーザの顔又はアバターが左を向いたことを検出すると、すぼめた唇１５３１は、レインボーハート１５５５を左に放出し、電子デバイスがユーザの顔又はアバターが右を向いたことを検出すると、すぼめた唇１５３１は、レインボーハート１５５５を右に放出する。いくつかの実施形態では、電子デバイスは、ユーザがすぼめた顔面表情の形成を停止するまで、ユニコーンのすぼめた唇１５３１から放出するレインボーハート１５５５を表示し続ける。いくつかの実施形態では、ユーザがすぼめた顔面表情の形成を停止すると、電子デバイスは、レインボーハート１５５５が消え、すぼめた唇１５３１がユニコーンの口１５３０に置き換わるように、ユニコーンアバター１５００を変更する。
１５０２Ｃでは、電子デバイスは、ユーザが眉毛１５２２を上げることを検出すると同時に、１５０２Ｂに関して上述したすぼめた表情を維持する。１５１２Ｃに示すように、眉毛１５２２を上げるユーザの検出に応じて、電子デバイスは、ユニコーン１５３５を変更して眉毛を上げる一方で、１５１２Ｂに関して上述したレインボーハート１５５５を更に生成する。例えば、すぼめた唇１５３１からレインボーハート１５５５を放出するユニコーン１５００を表示している間、電子デバイスは、ユニコーンのたてがみ１５５２の前部１５５２Ａが元気を出すように、（眉毛１５２２を上げるユーザの検出に応じて）ユニコーン１５００を更に変更し、ユニコーンの眉毛１５３８は、ユニコーンの目１５３２の上に導入され、１５１２Ｃに示すように、ユニコーンアバター１５００がレインボーハート１５５５を放出しながら眉毛１５３８を上げているという印象を伝達する。いくつかの実施形態では、たてがみ１５５２の移動は、１つ以上の物理モデル（例えば、慣性のモデル、重力のモデル、力伝達モデル、摩擦モデル）にしたがって生じる。
図１６Ａは、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、ニワトリアバター１６００を変更する電子デバイスを示す例示的な実施形態を示す。４つの表示状態（１６１１Ａ、１６１１Ｂ、１６１１Ｃ、及び１６１１Ｄ）を有するニワトリアバターが示されており、ニワトリアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１６０１Ａ、１６０１Ｂ、１６０１Ｃ、及び１６０１Ｄ）に対応する。図１６Ａの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、ニワトリアバター特徴を配置又は変更する。
１６０１Ａでは、電子デバイスは、ユーザの中立的な顔面表情を検出する（例えば、ユーザの目１６２３が開いている、眉毛１６２２がユーザの目１６２３の上の弛緩した位置にある、ユーザの頬１６２８が弛緩しており拡張していない、ユーザの口１６２０が特定の表情に関連付けられた位置ではない弛緩した中立状態にある）。中立的な顔面表情の検出に応じて、電子デバイスは、１６１１Ａで中立的な状態を有するニワトリアバター１６００を表示する。例えば、電子デバイスは、閉位置にあるくちばし１６３０及びニワトリの顔面領域１６５５から延びかつニワトリの頭１６３５からゆるく垂れ下がる肉垂１６５０を有するニワトリ１６００を表示する。更に、電子デバイスは、ニワトリ１６００を頬なしで表示する。いくつかの実施形態では、アバターの中立位置は、メッセージングアプリケーションで見られる静的なニワトリ絵文字などの関連画像の他の表現に対応する。
１６０１Ｂ及び１６１１Ｂに示すように、電子デバイスは、膨らんだ又は拡張した位置でユーザの頬１６２８を検出し（例えば、１６０１Ａに示されている中立位置を超えて拡張するように、ユーザが頬１６２８を空気で満たす）、それに応じて、頬１６３３を膨らませたニワトリを表示するように頬１６３３を導入することにより、ニワトリアバター１６００を変更する。膨らんだニワトリの頬１６３３を導入することに加えて、電子デバイスは、ニワトリの頬１６３３が膨らんだときに、中立位置（１６１１Ａに示されている）から広げられた位置（１６１１Ｂに示されている）まで揺れるニワトリの肉垂１６５０のアニメーションを表示する。いくつかの実施形態では、電子デバイスは、１６１１Ａの中立位置から１６１１Ｂの広げられた位置に動かされた結果として揺れ動く肉垂１６５０を表示することにより、慣性を有する肉垂１６５０を表示する。
１６０１Ｃ及び１６０１Ｄでは、電子デバイスは、ユーザの頬１６２８が中立位置に戻ることを検出する（例えば、拡張しない又は膨らまない）。それに応じて、電子デバイスは、１６１１Ｃ及び１６１１Ｄに示すように、膨らんだ頬１６３３を取り除くようにニワトリアバター１６００を変更する。例えば、電子デバイスは、頬１６３３を取り除き、最終的に１６１１Ｄで中立位置に落ち着く前に、１６１１Ｂで広げられた位置から１６１１Ｃで狭められた位置まで揺れるニワトリの肉垂１６５０を表示する。
図１６Ｂは、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、ニワトリアバター１６００を変更する電子デバイスを示す例示的な実施形態を示す。ニワトリアバターは、３つの表示状態（１６１２Ａ、１６１２Ｂ、及び１６１２Ｃ）を有して示されており、ニワトリアバターの３つの表示状態のそれぞれがユーザの３つの検出された状態（１６０２Ａ、１６０２Ｂ、及び１６０２Ｃ）にそれぞれ対応する。図１６Ｂの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、ニワトリアバター特徴を配置又は変更する。３つの表示状態のそれぞれにおいて、表示状態の境界（例えば、１６１２Ａ、１６１２Ｂ、及び１６１２Ｃの境界）は、仮想アバターを含む表示領域の境界を表す。
１６０２Ａ及び１６１２Ａに示すように、電子デバイスは、ユーザがすぼめた表情を形成することを検出し、それに応じて、ニワトリのくちばし１６３０の先端をすぼめた唇１６４５のセットで置き換えることにより、ニワトリアバター１６００を変更する。１６０２Ａに示されるようないくつかの実施形態では、電子デバイスは、閉位置でユーザの顎１６２７を検出し、ユーザの唇（例えば、ユーザの上唇１６２０Ａ及び下唇１６２０Ｂの両方）をすぼめるポーズでユーザの口１６２０から外側に延ばすように互いに向かって移動するユーザの口１６２０の角を検出することにより、ユーザがすぼめる表情を行っていると判定する。ユーザのすぼめた表情の検出に応じて、電子デバイスは、ニワトリのくちばし１６３０の先端をすぼめた唇１６４５のセットに変化させることでニワトリアバター１６００を変更するとともに、１６１２Ａに示すようにニワトリ１６００の任意の他の特徴の変更を取り止める。
１６０２Ｂ及び１６０２Ｃでは、電子デバイスは、すぼめた表情を閾値時間だけ保持しながら、横向きになったユーザの頭１６２９を検出する。それに応じて、電子デバイスは、ニワトリの頭１６３５を左又は右に向けて（検出されたユーザの頭１６２９の方向に応じて）、ニワトリのすぼめた唇１６４５から放出されて表示される１つ以上のハート１６５２を導入することにより、ニワトリアバター１６００を変更する。図１６Ｂに示される実施形態では、電子デバイスは、ユーザのすぼめた表情の検出に応じて、ハート１６５２を直ちに導入しない。代わりに、電子デバイスは、電子デバイスが閾値時間だけすぼめた表情を保持しているユーザを検出した後にのみ、すぼめた唇１６４５から放出するハート１６５２を導入するように、すぼめたニワトリアバター１６００を変更する。
いくつかの実施形態では、電子デバイスは、ユーザが第１の閾値時間（例えば、０．３秒）だけすぼめる表情を保持するとき、すぼめた唇１６４５から放出される単一のハート１６５２のみを導入するようにニワトリアバター１６００を変更し、その後、ユーザがすぼめた表情を保持し続けて第２の閾値時間（例えば０．６秒）に到達した後に、すぼめた唇１６４５から放出される追加のハート１６５２を導入するようにニワトリアバター１６００を変更する。いくつかの実施形態では、ハート１６５２は、アニメーション化されて動的である。例えば、いくつかの実施形態では、電子デバイスは、すぼめた唇１６４５から断続的に、及び任意選択的にランダムな間隔で放出するハート１６５２を表示する。いくつかの実施形態では、電子デバイスは、異なるサイズを有するハート１６５２を表示する。いくつかの実施形態では、電子デバイスは、すぼめた唇１６４５から離れるにつれてサイズが増大するハート１６５２を表示する。更に、電子デバイスは、いくつかの実施形態では、ランダム化された軌道で移動し、表示領域（例えば、１６１２Ｂ又は１６１２Ｃの表示領域）内に位置するランダムな場所で消えるか、あるいは表示領域（例えば、１６１２Ｂ又は１６１２Ｃの表示領域）を出ると視界から消える各ハート１６５２を表示する。
いくつかの実施形態では、電子デバイスは、ユーザ又はアバターが向いている方向に基づく方向にすぼめた唇１６４５から放出するハート１６５２を表示する。例えば、１６０２Ｂ及び１６１２Ｂに示されるように、電子デバイスは、ユーザの頭１６２９がユーザの右方向に向けられている（例えば、カメラの視野に対して左に向けられている）ことを検出し、電子デバイスは、ユーザの頭１６２９を鏡映するように右を向いているニワトリの頭１６３５を表示する。したがって、電子デバイスは、１６１２Ｂに示されるように、ニワトリアバター１６００が向いている右方向に、すぼめた唇１６４５から放出されるハート１６５２を表示する。逆に、１６０２Ｃ及び１６１２Ｃに示されるように、電子デバイスは、ユーザの頭１６２９がユーザの左方向に向けられている（例えば、カメラの視野に対して右に向けられている）ことを検出し、電子デバイスは、ユーザの頭１６２９を鏡映するように左を向いているニワトリの頭１６３５を表示する。したがって、電子デバイスは、１６１２Ｃに示されるように、ニワトリアバター１６００が向いている左方向に、すぼめた唇１６４５から放出されるハート１６５２を表示する。
いくつかの実施形態では、電子デバイスは、ユーザがすぼめた顔面表情の形成を停止するまで、ニワトリのすぼめた唇１６４５から放出するハート１６５２を表示し続ける。いくつかの実施形態では、ユーザがすぼめた顔面表情の形成を停止すると、電子デバイスは、ハート１６５２が消え、すぼめた唇１６４５がニワトリのくちばし１６３０の先端に置き換わるように、ニワトリアバター１６００を変更する。
図１７Ａは、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、ブタアバター１７００を変更する電子デバイスを示す例示的な実施形態を示す。２つの表示状態（１７１１Ａ及び１７１１Ｂ）を有するブタアバターが示されており、ブタアバターの２つの表示状態のそれぞれは、ユーザの２つの検出状態（１７０１Ａ及び１７０１Ｂ）に対応する。図１７Ａの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、ブタアバター特徴を配置又は変更する。
１７０１Ａでは、電子デバイスは、ユーザの中立的な顔面表情を検出する（例えば、ユーザの目１７２３が開いている、眉毛１７２２がユーザの目１２２３の上の弛緩した位置にある、ユーザの口１７２０が特定の表情に関連付けられた位置ではない弛緩した中立状態にある）。中立的な顔面表情の検出に応じて、電子デバイスは、１７１１Ａで中立的な状態を有するブタアバター１７００を表示する。例えば、電子デバイスは、ブタの頭１７３５の垂直中心にあり、眉毛なしで表示され、ディスプレイ（又はカメラ（例えば、カメラ１４３、光センサ１６４）の焦点面）に対して垂直方向を見る目１７３２を有するブタ１７００を表示する。電子デバイスはまた、ブタの頭１７３５の水平方向中央に位置しかつブタの目１７３２よりもわずかに下に位置する鼻１７３６を有するブタ１７００を表示する。中立状態では、電子デバイスは、１７１１Ａに示すように、ブタの鼻１７３６の下に位置する閉位置にある口１７３０を有するブタ１７００を表示する。いくつかの実施形態では、アバターの中立位置は、メッセージングアプリケーションで見られる静的なブタ絵文字などの関連画像の他の表現に対応する。
１７０１Ｂ及び１７１１Ｂに示されるように、電子デバイスは、上昇位置にあるユーザの上唇１７２０Ａ及び下降位置にあるユーザの眉毛１７２２を検出し（例えば、ユーザが冷笑的な顔面表情を形成している）、それに応じて、冷笑的な表情を表示するように表示されたブタアバター１７００を変更する。例えば、電子デバイスは、１７１１Ｂに示すように、ブタの目１７３２の上部部分を部分的に遮るひそめる状態に配置された眉毛１７３８を導入するように、ブタアバター１７００を変更する。更に、電子デバイスは、ブタの冷笑的な表情を表示するようにブタの口１７３０と鼻１７３６を変更する。例えば、電子デバイスは、ブタの歯１７４２を明らかにする開位置でブタの口１７３０を表示し、ブタの鼻１７３６を上方向に偏移させる。１７０１Ｂ及び１７１１Ｂに示されるように、ブタの鼻１７３６の変化は、ユーザの唇の変化の割合（例えば、予測又は判定された動きの範囲の１０％）と比較して、アバターの鼻の変化がモデル化された動きの最大範囲のより大きな割合（例えば、３０％）であるという点で、ユーザの上唇１７２０Ａの変化に対して誇張される。
いくつかの実施形態では、電子デバイスは、ユーザがもはや冷笑的な表情を作っていないことを検出すると、１７１１Ａに示す中立状態に戻るようにブタアバター１７００を変更する。例えば、ユーザが冷笑的な表情を解除すると、電子デバイスは、眉毛１７３８をブタの目１７３２から上に移動し、ブタの頭１７３５の上部の下のブタの顔に消えることをアニメーション化することにより、ブタの眉毛１７３８を取り除く。更に、電子デバイスは、ブタの口１７３０を閉じて歯１７４２を隠し、中立位置に戻るようにアニメーション化し、ブタの鼻１７３６を１７１１Ａに示す弛緩状態に移動するようにアニメーション化する。
図１７Ｂは、顔の特徴などのユーザの物率的特徴の変化の検出に応じて、ブタアバター１７００を変更する電子デバイスを示す例示的な実施形態を示す。４つの表示状態（１７１２Ａ、１７１２Ｂ、１７１２Ｃ、及び１７１２Ｄ）を有するブタアバターが示されており、ブタアバターの４つの表示状態のそれぞれは、ユーザの４つの検出状態（１７０２Ａ、１７０２Ｂ、１７０２Ｃ、及び１７０２Ｄ）に対応する。図１７Ｂの各表示状態では、電子デバイスは、ユーザのそれぞれの状態で検出されたユーザの顔の特徴などの物理的特徴のうちの任意の１つ以上の位置又は位置の変化の検出に応じて、ブタアバター特徴を配置又は変更する。
１７０２Ａ及び１７１２Ａに示されるように、電子デバイスは、ユーザの口１７２０（例えば、上唇１７２０Ａ及び下唇１７２０Ｂ）がユーザの左に偏移される（例えば、カメラの視野に対して右に偏移される）ことを検出し、それに応じて、ブタの口１７３０と鼻１７３６の両方を変更する。例えば、電子デバイスは、ブタの鼻１７３６をブタの頭１７３５の左側に水平に偏移する。更に、電子デバイスは、ユーザの口１７２０の動きを鏡映するために、口１７３０を短くし、口１７３０をブタの頭１７３５の左側に水平に回転及び偏移させることにより、ブタの口１７３０を変更する。
１７０２Ａに示すように、ユーザの鼻１７２５の先端は、ユーザの口１７２０によってわずかに偏移する。いくつかの実施形態では、電子デバイスは、ユーザの鼻１７２５の動きを直接モニタ又は検出しないが、それにもかかわらず、１７１２Ａに示すように、偏移するブタの口１７３０に応じて動くようにブタの鼻１７３６を変更することにより、ユーザの鼻１７２５の動きを考慮する。例えば、電子デバイスは、ブタの口１７３０が偏移するにつれて水平に偏移するようにブタの鼻１７３６を変更し、それにより、ユーザの口１７２０と鼻１７２５との間の相互接続された顔の関係に類似するブタの口１７３０と鼻１７３６との間の相互接続された顔の関係を伝達する。１７１２Ａに示されている実施形態では、電子デバイスは、ブタの口１７３０及び鼻１７３６を左に偏移させ、口１７３０を時計回りにわずかに回転させる。ブタの口１７３０と鼻１７３６に対するこの変更の組み合わせは、ユーザの口１７２０と鼻１７２５の動きを模倣し、ブタの顔の特徴、特にブタの鼻１７３６と口１７３０がユーザの口１７２０と鼻１７２５と同様の方法で相互接続されているように外観を与える。
１７０２Ｂは、１７０２Ａに示されるのとは反対の方向へのユーザの口１７２０及び鼻１７２５の動きを示し、１７１２Ｂは、ブタアバター１７００に対する電子デバイスの対応する変更を示す。ブタアバター１７００に対するこれらの変更は、１７１２Ａに関して上記で議論された変更と同様であるが、代わりに反対方向で示されている。例えば、１７０２Ｂでは、ユーザの口１７２０及び鼻１７２５は、ユーザの右に偏移して示され（例えば、カメラの視野に関して左に偏移）、それに応じて、電子デバイスは、１７１２Ｂに示すように、ブタの頭１７３５の右側にブタの鼻１７３６を偏移し、ブタの口１７３０を短くし、口１７３０を反時計回りにわずかに回転させ、偏移した鼻１７３６の下のブタの頭１７３５の右側に口１７３０を水平に偏移する。同様に、ブタの口１７３０及び鼻１７３６に対する変更のこの組み合わせは、ユーザの口１７２０及び鼻１７２５の動きを模倣し、ブタの顔の特徴がユーザの口１７２０及び鼻１７２５のものに類似した方法で相互接続されているように外観を与える。
１７０２Ｃ及び１７１２Ｃに示されるように、電子デバイスは、上向きのポーズ（例えば、笑顔の顔面表情を形成する）におけるユーザの口１７２０の角１７２０Ｃ及び１７２０Ｄの一方又は両方を検出し、それに応じて、笑顔の表情を有するようにブタアバター１７００を変更する。例えば、電子デバイスは、１７１１Ａに示す中立位置に対して両方が持ち上げられるように、ブタの口１７３０と鼻１７３６の位置を変更する。例えば、１７１２Ｃでは、電子デバイスは、ブタの鼻１７３６の上部がブタの目１７３２の中央又は上に位置するように、ブタの鼻１７３６を持ち上げる。同様に、電子デバイスは、中立状態のときと同じようにブタの鼻１７３６に対して同じ相対位置を保持するように、ブタの口１７３０を持ち上げる。その結果、電子デバイスは、ユーザの笑顔の顔面表情の検出に応じて、ブタの鼻１７３６とブタの口１７３０の両方をブタの頭１７３５の高い位置に表示する。いくつかの実施形態では、電子デバイスはまた、ブタの口１７３０の形状を調整して、笑顔の表情を形成する（例えば、開いた笑顔の形状）。
１７０２Ｄ及び１７１２Ｄに示されるように、電子デバイスは、下向きのポーズ（例えば、悲しい顔面表情）に位置するユーザの口１７２０の角１７２０Ｃ及び１７２０Ｄの一方又は両方を検出し、それに応じて、悲しい表情を有するようにブタアバター１７００を変更する。例えば、電子デバイスは、１７１１Ａに示す中立位置に対して両方が下降されるように、ブタの口１７３０と鼻１７３６の位置を変更する。例えば、１７１２Ｄでは、電子デバイスは、ブタの鼻１７３６の上部がブタの目１７３２の下部に又はその下に位置するように、ブタの鼻１７３６を下降する。同様に、電子デバイスは、中立状態のときと同じようにブタの鼻１７３６に対して同じ相対位置を保持するように、ブタの口１７３０を下降する。その結果、電子デバイスは、ユーザの悲しい顔面表情の検出に応じて、ブタの鼻１７３６とブタの口１７３０の両方をブタの頭１７３５の低い位置に表示する。１７１２Ｄに示されるようないくつかの実施形態では、電子デバイスはまた、ブタの口１７３０を下方向に湾曲させることにより悲しい表情を形成するようにブタの口１７３０の形状も調整する。
図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、及び図１７Ａ～図１７Ｂにおいて提供される例では、電子デバイスは、ユーザの物理的特徴の様々な位置の間のユーザ遷移を検出し、その後、検出されたユーザの物理的特徴の変化に応じて、仮想アバター（例えば、プー、クマ、エイリアン、ウサギ、ロボット、ユニコーン、ニワトリ、ブタアバター）を更新又は変更する。これらの例では、電子デバイスは、仮想アバターの特定の特徴の特性を維持し、他の仮想アバター特徴への変化をアニメーション化することにより、様々な表現と位置の間で仮想アバターの表示を遷移する。例えば、図１０Ａの１００１Ａ～１００１Ｄに示されるように、デバイスは、アバターの口１０３０、眉毛１０３８、及び上部部分１０３４などの他のアバター特徴を変更しながら、アバターの目１０３０の位置を維持する。アバターの状態は、ユーザのそれぞれの検出された状態に対応する（例えば、表示されたアバター状態１０１１Ａ～１０１１Ｄは、それぞれ、検出されたユーザ状態１００１Ａ～１００１Ｄに対応する）が、検出されたユーザ状態（及び結果として得られたアバター状態）の順序は、図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、及び図１７Ａ～図１７Ｂに示すものに限定されないことを理解されたい。したがって、ユーザは、任意の物理的特徴を変化させたり、又は任意の所望の位置をとったりすることができ、電子デバイスは、発生した順序に関係なく、検出された変化に応じて仮想アバターを変更する。
図１８Ａ及び図１８Ｂは、いくつかの実施形態による、１つ以上のカメラによって検出された顔に基づいて仮想アバターを生成するための、電子デバイスにおける方法を示すフロー図である。方法１８００は、１つ以上のカメラ（例えば、１６４、６０２）及びディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を備えた電子デバイス（例えば、１００、３００、５００、６００）で実行される。方法１８００における一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
以下に説明するように、方法１８００は、ポーズの異なるタイプの変化に対して異なる反応を示す部分を有する仮想アバターを生成するための直感的な方法を提供する。本方法は、仮想アバターを生成するためのユーザの物理的及び認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式のコンピューティングデバイスの場合、ユーザがユーザアバターをより速くかつより効率的に生成することを可能にすることは、節電し、バッテリ充電の時間間隔を長くする。方法１８００の例は、図１０Ａ～図１０Ｉ及び図１５Ａ～図１５Ｂを参照して説明したユーザインタフェース及び仮想アバターにおいて見出すことができる。
電子デバイス（例えば、１００、３００、５００、６００）は、ディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を介して、１つ以上のカメラの視野内の顔の変化に応じて外観を変化させる仮想アバター（例えば、１０００、１５００）（例えば、グラフィカルに描画することができるユーザの表現）を表示する（１８０２）。１つ以上のカメラの視野内の顔の変化に応じて仮想アバターの外観を変化させると、ユーザに、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに、仮想アバターの変更を制御するオプションを提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池を改善する。
仮想アバターは、第１の部分（例えば、１０３４、１５３５）（例えば、頭と顔（例えば、非下首部））、及び第１の部分とは異なる第２の部分（例えば、１０３６、１５３９）（例えば、下首（例えば、非頭及び首上部部分））を含む（１８０４）。
いくつかの例（１８１４）では、第１の部分（例えば、１０３４、１５３５）は、顔のポーズの第１のタイプ（例えば、ユーザの頭、顔としてまとめて解釈される相互に関連する顔の特徴の１つ以上のコレクション（例えば、口、目、鼻、筋肉又は筋肉群））の変化（例えば、Ｘ軸（例えば、頭をうなずく）又はＹ軸（例えば、頭を左右に振る））及び顔のポーズの第２のタイプ（例えば、Ｘ、Ｙ、又はＺ軸に沿った顔／頭全体の並進移動（例えば、視野内の顔／頭全体の再配置））の変化に反応する（例えば、検出された動きがモデル化され、視覚的見掛け（特に表示される向き）が動きに基づいて更新される）。
いくつかの例では、第２の部分（例えば、１０３６、１５３９）は、第１の部分が顔の向きの第１のタイプの変化に反応するよりも反応性を低下している（例えば、第２の部分は、顔の向きの第１のタイプの変化にあまり反応しない）。いくつかの例では、第２の部分は、第１のタイプの検出された向きの変化が直接モデル化されず、視覚的見掛け（特に表示される向き）が検出された移動に基づいて更新されないように、顔の向きの第１のタイプの変化に反応しない。いくつかの例では、第２の部分は、いかなる検出された顔の特徴にもマッピングされない、又はそれによって直接制御されない非顔の特徴（例えば、首）である。いくつかの例では、第２の部分は、第１のタイプの向きの変化に直接反応しないが、顔のポーズの第１のタイプの変化に間接的に反応しかつ顔のポーズの第２のタイプの変化に反応することができる（例えば、第１のタイプの向きの変化によって引き起こされる第１の部分の移動に基づいて、第１の部分と第２の部分との間の接続に基づいて）。いくつかの例では、１つ以上のカメラの視野の平面に対して平行（例えば、Ｘ軸、Ｙ軸）又は垂直（例えば、Ｚ軸）な軸に沿って生じるユーザの顔のポーズの変化（例えば、並進移動の変化）は、仮想アバターの第１の部分（例えば、１０３４又は仮想アバターの頭１５３５）と仮想アバターの第２の部分（例えば、１０３６又は仮想アバターの首１５３９）の両方の移動をもたらす。対照的に、そのような実施形態では、１つ以上のカメラの視野の平面に対して平行（例えば、Ｘ軸、Ｙ軸）又は垂直（例えば、Ｚ軸）な軸の周りに生じるユーザの顔のポーズの変化（例えば、回転変化）は、仮想アバターの第２の部分の移動なしで（又はより小さな移動をともなって）仮想アバターの第１の部分の移動をもたらす。仮想アバターの第１の部分と比較して、顔のポーズの第１のタイプの変化に対して仮想アバターの第２の部分に対する反応性が低下しているため、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの部分に異なる影響を与えるオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上のカメラの視野内で顔のポーズの変化を検出する前に、仮想アバターの第１の部分（例えば、１０３４、１５３５）は、仮想アバターの第２の部分（例えば、１０３６、１５３９）から視覚的に描写されない（例えば、第１の部分が終了する位置（例えば、頭１５３５の下部又は首１５３９の上部）及び第２の部分が開始する位置（例えば、首の上部の下）の視覚的な指示がない）。いくつかの実施形態では、仮想アバターは、半固体物質の山（例えば、プーアバター１０００などのプーの山）の表現であり、上部（例えば、１０３４及び／又は１０４０）は、顔のポーズの第１のタイプの変化に基づいて移動する一方で、下部（例えば、１０３６）は、顔のポーズの第１のタイプの変化に基づいて移動しない。
いくつかの例では、仮想アバターの第１の部分（例えば、１０３４、１５３５）は、仮想アバターの頭の特徴の少なくとも一部であり、仮想アバターの第２の部分（例えば、１０３６、１５３９）は、仮想アバターの首の特徴の少なくとも一部である。いくつかの例では、仮想アバターの第１の部分は、ユニコーン又は馬の頭（例えば、１５３５）であり、仮想アバターの第２の部分は、ユニコーン又は馬の首（例えば、１５３９）である。
いくつかの例では、１つ以上のカメラの視野内で顔のポーズの変化を検出する前に、顔は、１つ以上のカメラの視野に対して第１の向きに向けられており（例えば、顔は、１つ以上のカメラに直接面するように向けられている）、１つ以上のカメラの視野内で顔のポーズの変化を検出する前に、仮想アバター（例えば、１５００）は、第１の向きとは異なる第２の向きで表示される。いくつかの例では、仮想アバターは、ユーザの顔の向きと比較して斜めの向きで表示される。例えば、ユーザの顔の特徴が見えるように（例えば、図１５Ａに示すように）ユーザが１つ以上のカメラに直接面している場合、仮想アバター（例えば、１５００）は、仮想アバターの一部（例えば、目１５３２、耳１５３３などのアバター特徴）が表示されない（例えば、隠される又は部分的に隠される）ように斜めの角度で表示される。いくつかの例では、顔の動きに応じて隠されたアバター特徴のうちの任意の１つ以上が明らかにされる（例えば、顔が横に回転する場合、目１５３２又は耳１５３３などの以前に隠されたアバター特徴の少なくとも一部は、図１５Ａの１５１１Ｄに示されるように、ディスプレイ装置を介して表示される）。
いくつかの例では、仮想アバターの第１の部分（例えば、１０３４、１５３５又はその一部）（例えば、犬の仮想アバターの耳、馬の仮想アバター（例えば、１５００）のたてがみ（例えば、１５５２））の動き又は仮想アバターの第２の部分（例えば、１０３６、１５３９又はその一部）の動きは、１つ以上の物理モデル（例えば、慣性モデル、重力モデル、力伝達モデル、摩擦モデル）にしたがって発生する。いくつかの例では、物理モデルは、顔又は顔の一部の動きの大きさ及び方向、並びに疑似的質量、疑似的弾性、疑似的摩擦係数又は他の疑似的な物理的特性などの仮想アバター特徴の１つ以上の所定の特性に基づいて、アバター特徴の動きの大きさ及び方向を規定する。
いくつかの例（１８１６）では、第１の部分（例えば、１０３４、１５３５）は、仮想アバターの上部部分であり、第２の部分（例えば、１０３６、１５３９）は、仮想アバターの下部部分である。いくつかの実施形態では、第１の部分は、仮想アバターの第１の側面であり、第２の部分は、第１の側面とは異なる（例えば反対の）仮想アバターの第２の側面である。
いくつかの例では、顔のポーズの変化は、第１のタイプの変化のみ（例えば、並進成分なしで回転成分のみを含むポーズの変化）を含み、顔のポーズの第１のタイプの変化の大きさに基づく仮想アバターの第２の部分（例えば、１０３６、１５３９）に対する仮想アバターの第１の部分（例えば、１０３４、１５３５）の移動は、仮想アバターの第２の部分を動かすことなく仮想アバターの第１の部分を動かすことを含む。仮想アバターの第２の部分を動かさずに仮想アバターの第１の部分を動かすことは、同じ物理的特徴を更に動かすことが仮想アバターの第２の部分を動かさずに第１の部分のみをデバイスに動かせることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、顔の第１のタイプのポーズの変化（例えば、ポーズの回転変化）は、仮想アバターの第２の部分（例えば、１０３６、１５３９）を動かさずに、仮想アバターの第１の部分（例えば、１０３４、１５３５）のみを動かす。例えば、カメラの視野内のユーザが身体全体（例えば、図１０Ｄに示す顔、首、肩）を回転させる場合、仮想アバターの第１の部分（例えば、アバターの顔（例えば、１０００Ｃ、１５３５）のみが動く（例えば、回転）一方で、仮想アバターの第２の部分（例えば、アバターの首（例えば、１５３９）又は下部部分（例えば、１０３６））は動かない。すなわち、仮想アバターの部分は、ユーザの動きに異なって反応する。いくつかの例では、ユーザの一部に解剖学的／生理学的に対応する仮想アバターの一部（例えば、ユーザの首に解剖学的に対応するアバターの首）は、たとえそれらの特徴の動きが追跡されたとしても、対応する特徴の特定の動きに反応しない。いくつかの例では、他の特徴（例えば、ユーザの首（例えば、１０２５））がカメラの視野内に存在する場合であっても、ユーザの顔（例えば、１０２４）の動きのみが追跡又は使用され、仮想アバターに影響を与える。
いくつかの例では、仮想アバターは、第１の部分（例えば、１０３４、１５３５）及び第２の部分（例えば、１０３６、１５３９）とは異なる第３の部分（例えば、首上部部分、１０３４から１０３６又は１５３５から１５３９の間の又はそれらを接続する部分）を更に含む。図１０Ｅに示すようないくつかの実施形態では、第１の部分は、先端１０４０であり、第２の部分は、下部部分１０３６であり、第３の部分は、上部部分の一部（例えば、１０３４）を形成しかつ上部部分の先端１０４０を下部部分１０３６に接続する中間部１０３１である。更に、顔のポーズの変化が顔のポーズの第１のタイプの変化（例えば、回転運動）を含むという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、仮想アバターの第２の部分に対して仮想アバターの第３の部分を移動させ、第２の部分に対する第３の部分の移動は、第２の部分に対する第１の部分の移動よりも小さい。第２の部分に対する第１の部分の移動よりも少ない量の仮想アバターの第２の部分に対する仮想アバターの第３の部分の移動は、同じ物理的特徴のさらなる移動が、デバイスが（第２の部分に対して）第１の部分を移動させるよりも小さい度合いでデバイスが（第２の部分に対して）第３の部分を移動させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、回転運動は、仮想アバターの第２の部分（例えば、１０３６、１５３９）に対する第１の部分（例えば、１０４０、１５３５）の第１の移動の度合いと、仮想アバターの第２の部分に対する第３の部分（例えば、１０３１）の第２の移動の度合いとをもたらし、第２の移動の度合いは、第１の移動の度合いよりも小さい。いくつかの例では、第２の部分は、いかなる検出された顔の特徴にもマッピングされない、又はそれによって直接制御されない非顔の特徴（例えば、首下部部分（例えば、１０３６、１５３９））である。いくつかの例では、第２の部分は、第１のタイプの向きの変化に反応しない。いくつかの例では、第３の部分は、いかなる検出された顔の特徴にもマッピングされない、又はそれによって直接制御されない非顔の特徴（例えば、首上部部分）である。いくつかの例では、第３の部分は、第１の部分と第２の部分との間の接続を提供する。いくつかの例では、顔のポーズの第１のタイプの変化による仮想アバターの変化量は、仮想アバターの第２の部分の近く（例えば、１０３６の近く）の小さな変化量から仮想アバターの第１の部分の近く（例えば、１０４０の近く）の大きな変化量まで徐々にスケーリングする。
いくつかの例では、仮想アバターの第３の部分（例えば、首上部部分、１０３４から１０３６又は１５３５から１５３９の間にある又はそれらを接続する部分）は、仮想アバターの第１の部分（例えば、１０４０、１５３５）と仮想アバターの第２の部分（例えば、１０３６、１５３９）との間に配置される。いくつかの例では、第３の部分は、仮想アバターの第１の部分に対して移動特性が減衰された仮想アバターの中間領域（例えば、１０３１又は首上部部分）である。
いくつかの例では、仮想アバターの第２部分（例えば、１０３６、１５３９）に対して仮想アバターの第３の部分（例えば、首上部部分、１０３４から１０３６又は１５３５から１５３９の間の部分又はそれらを接続する部分）を動かせることは、仮想アバターの第１の部分（例えば、１０３４、１５３５）と仮想アバターの第２の部分との間に延びる軸（例えば、１０５１）の周りで仮想アバターの第３の部分を動かせることを含む。仮想アバターの第１の部分と第２の部分の間に延びる軸の周りに仮想アバターの第３の部分を動かせることは、同じ物理的特徴のさらなる移動が、デバイスが仮想アバターの第１の部分と第２の部分との間の軸の周りの第３の部分の動きを制限することを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、第３の部分（例えば、中間部１０３１）の動きは、仮想アバターの第１及び第２の部分（例えば、先端１０４０及び下部１０３６）の間に延びる軸（例えば、１０５１）の周りのねじれ運動である。いくつかの例では、第３の部分の動きは、ディスプレイの平面又は１つ以上のカメラの焦点面に平行な軸（例えば、上下軸１０５１）の周りの回転運動である。いくつかの例では、第３の部分の動きは、ディスプレイの平面又は１つ以上のカメラの焦点面から延びる軸の周りの回転運動である。例えば、ユーザがカメラの視野の平面に垂直な軸の周りに顔を回転させると、ディスプレイの平面から延びる軸の周りに仮想アバターの部分（例えば、第１の部分、第２の部分、及び／又は第３の部分）が回転する。
いくつかの例では、顔のポーズの変化は、第２のタイプの変化のみ（例えば、回転成分なしで並進成分のみを含むポーズの変化）を含み、顔のポーズの第２のタイプの変化の大きさに基づいて仮想アバター第１の部分（例えば、１０３４、１５３５）及び仮想アバターの第２の部分（例えば、１０３６、１５３９）の両方を動かすことは、仮想アバターの第２の部分の位置に対して仮想アバターの第１の部分の相対位置を維持することを含む。仮想アバターの第２の部分の位置に対して仮想アバターの第１の部分の相対位置を維持することにより、同じタイプの変化のさらなる移動が、デバイスが互いに対して第１及び第２の部分を動かすことなく同じ方向に仮想アバターの第１の部分及び仮想アバターの第２の部分の両方を動かすことを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、顔の第２のタイプのポーズの変化（例えば、ポーズの並進変化）により、第１及び第２の部分の相対位置が変化しないままであるように（例えば、第１の部分及び第２の部分の動きが第２の部分に対して第１の部分を動かすことなく生じる）、仮想アバターの第１及び第２の部分の両方が同様の大きさで動く。例えば、図１０Ｆに示すように、カメラの視野内のユーザがカメラに対して顔を並進移動する場合（例えば、１００６Ｂ、１００６Ｃ、及び１００６Ｄに示すように、１つ以上のカメラの焦点面又はディスプレイの平面に平行なそれぞれの方向に顔１０２４を偏移する）、第１の部分（例えば、アバターの顔又は上部部分１０３４）と第２の部分（例えば、アバターの首又は下部部分１０３６）の両方が移動する（例えば、１０１６Ｂ、１０１６Ｃ、及び１０１６Ｄに示すように並進移動する）。すなわち、仮想アバターの部分は、ユーザの顔の並進運動に同様に反応する。
ディスプレイ装置を介して仮想アバターを表示している間、電子デバイス（例えば、１００、３００、５００、６００）は、１つ以上のカメラの視野内の顔のポーズ（例えば、位置及び／又は向き）の変化を検出する（１８０６）。
顔のポーズの変化の検出に応じて、電子デバイス（例えば、１００、３００、５００、６００）は、仮想アバターの外観を変化させ（１８０８）、以下の動作のうちの任意の１つ以上を実行することができる。顔のポーズの変化が顔のポーズの第１のタイプの変化（例えば、顔の向きの変化）を含むという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、顔のポーズの第１のタイプの変化の大きさに応じて、仮想アバターの第２の部分（例えば、１０３６、１５３９）に対する仮想アバターの第１の部分（例えば、１０３４、１５３５）の移動を含み、仮想アバターの外観を変化させる（１８１０）。顔のポーズの第１のタイプの変化の大きさに応じて仮想アバターの第２の部分に対して仮想アバターの第１の部分を動かすと、同じタイプの変化のさらなる動きが、デバイスが同じタイプのさらなる動きの大きさによって決定される量で（第２の部分に対して）仮想アバターの第１の部分を動かすことを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、表示された視野に対して第２の部分を動かすことなく、第２の部分（例えば、１０３６、１５３９）に対する第１の部分（例えば、１０３４、１５３５）の動きが生じる。すなわち、図１０Ｅの１０１５Ｂ及び図１５Ａの１５１１Ｄに示すように、第１の部分は、表示される視野内で移動するのに対して、第２の部分は、表示される視野内で固定又は実質的に固定されたままである。いくつかの例では、第１の部分の動きは、Ｙ軸（例えば、表示される縦軸）の周りの回転など、軸の周りの回転運動である。
顔のポーズの変化が顔のポーズの第２のタイプの変化（例えば、顔の位置の変化）を含むという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、顔のポーズの第２のタイプの変化の大きさに基づいて仮想アバターの第１の部分及び仮想アバターの第２の部分の両方を移動させることを含み、仮想アバターの外観を変化させる（１８１２）。顔のポーズの第２のタイプの変化の大きさに基づいて仮想アバターの第１の部分及び仮想アバターの第２の部分の両方を動かすと、顔のポーズの同じタイプの変化のさらなる動きが、デバイスが同じタイプのさらなる動きの大きさによって決定される量で仮想アバターの第１の部分及び仮想アバターの第２の部分の両方を動かすことを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。いくつかの例では、第１の部分及び第２の部分の動きは、Ｘ軸（例えば、表示される横軸）などの軸に沿った（例えば、同じ軸に沿った）並進運動である。
いくつかの例（１８１８）では、顔のポーズの変化が顔のポーズの第１のタイプの変化と顔のポーズの第２のタイプの変化の両方を含むという判定に従って（例えば、図１０Ｃに示すように）、仮想アバターの外観を変化させることは、顔のポーズの第１のタイプの変化の大きさに基づいて仮想アバターの第２の部分（例えば、１０３６、１５３９）に対して仮想アバターの第１の部分（例えば、１０３４、１５３５）を移動すること（１８２０）と（例えば、顔の左右の回転に基づく仮想アバターの上部（例えば、１０４０又は１０３４）のねじれの減少又は仮想アバターの下部（例えば、１０３６）のねじれなし）、顔のポーズの第２のタイプの変化の大きさに基づいて仮想アバターの第１の部分と仮想アバターの第２の部分の両方を移動すること（例えば、上、下、左、右などの特定の方向における顔の偏移に基づく仮想アバターの上部（例えば、１０４０又は１０３４）及び下部（１０３６）の移動）とを含む。顔のポーズの第１のタイプの変化の大きさに基づいて仮想アバターの第２の部分に対して仮想アバターの第１の部分を移動し、顔のポーズの第２のタイプの変化の大きさに基づいて仮想アバターの第１の部分と第２の部分の両方を移動することは、第１及び第２のタイプの変化の両方のさらなる動きが、デバイスが第１のタイプのさらなる動きの大きさによって決定される量で（第２の部分に対して）仮想アバターの第１の部分を動かしかつ第２のタイプのさらなる動きの大きさによって決定される量で仮想アバターの第１の部分と仮想アバターの第２の部分の両方を動かすことを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
方法１８００に関して上述した処理（例えば、図１８Ａ～図１８Ｂ）の詳細はまた、上述した方法及び以下で説明される方法１９００、２０００、２１００、２２００、２３００、２４００、及び２５００にも類似の方法で適用可能であることに留意されたい。例えば、方法１８００は、任意選択的に、方法８００、９００、１９００、２０００、２１００、２２００、２３００、２４００、及び２５００に関して上述した及び後述する様々な方法の特性のうちの任意の１つ以上を含む。例えば、方法８００及び９００にしたがってアニメーション化されたアバターを生成、送信、及び受信する方法は、方法１８００にしたがって生成された仮想アバター（例えば、ポーズの異なるタイプの変化に対して異なる反応をする部分を有する仮想アバター）を使用することができる。同様に、方法１８００にしたがって生成及び／又は変更された仮想アバターは、方法８００又は９００の仮想アバター生成インタフェース（例えば、８０４、９０４）の仮想アバターの表示されたプレビューに含まれてもよい。他の例では、方法１８００にしたがって生成された仮想アバター（例えば、ポーズの異なるタイプの変化に対して異なる反応をする部分を有する仮想アバター）もまた、方法８００、９００、１９００、２０００、２１００、２２００、２３００、２４００、及び２５００の仮想アバター生成及び変更方法にしたがって生成されてもよい。例えば、方法１８００にしたがって生成された仮想アバターは、１つ以上のアニメーション効果（例えば、１１４０、１１４２、１２５２、１４５２、１５３１、１５５５、１６５２）を含むことができる。同様に、方法１８００にしたがって生成された仮想アバターは、第１（例えば、１１２２）及び第２（例えば、１１２０Ａ～Ｂ）の物理的特徴の両方の変化に反応する（例えば、１９０４、１９１０、１９１４）アバター特徴（例えば、１１３３）を含むことができる。簡潔にするために、さらなる例を除外する。
図１９は、いくつかの実施形態による、１つ以上のカメラによって検出された顔に基づいて仮想アバターを生成するための、電子デバイスにおける方法を示すフロー図である。方法１９００は、１つ以上のカメラ（例えば、１６４、６０２）及びディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を備えた電子デバイス（例えば、１００、３００、５００、６００）で実行される。方法１９００における一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
以下に説明するように、方法１９００は、ユーザの顔の位置の変化に反応しながら、仮想アバターを生成するための直感的な方法を提供する。本方法は、仮想アバターを生成するためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式のコンピューティングデバイスの場合、ユーザがユーザアバターをより速くかつより効率的に生成することを可能にすることは、節電し、バッテリ充電の時間間隔を長くする。方法１９００の例は、図１１Ａ～図１１Ｃ、図１４Ａ～図１４Ｄ、及び図１７Ａ～図１７Ｂを参照して説明したユーザインタフェース及び仮想アバターにおいて見出すことができる。
電子デバイス（例えば、１００、３００、５００、６００）は、ディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を介して、仮想アバター（例えば、１１００、１４００、１７００）を表示する（１９０２）。いくつかの例（１９０４）では、仮想アバターは、第１のアバター特徴（例えば、動物ベースのアバター１１００の耳１１３３、ロボットアバター１４００の耳１４３３、動物ベースのアバター１７００の鼻１７３６）及び第２のアバター特徴（例えば、１１３２、１４４０、１７３０）を含む。第１のアバター特徴は、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔（例えば、１１２４、１４２４、１７２４）の第１の物理的特徴（例えば、１１２２、１４２０Ａ／１４２０Ｂ、１７２２）及び１つ以上のカメラの視野内の顔の第２の物理的特徴の変化に反応する。いくつかの実施形態では、第１の物理的特徴は、眉毛（１１２２）、単一の顔の筋肉（例えば、皺眉筋又は前頭筋）、又は関連する顔の筋肉の集合（例えば、皺眉筋及び前頭筋を含む眉毛（１１２２）の動きを制御する筋肉のセット）などの明確に識別されるユーザの顔の特徴であり、第２の物理的特徴は、口（１１２０）又はユーザの唇の一部（１７２０Ａ）、単一の顔の筋肉（例えば、大頬骨筋又は上唇挙筋）、又は関連する顔の筋肉の集合（例えば、（例えば、笑顔のときなど）大頬骨筋及び上唇挙筋を含む口の動きを制御する筋肉のセット）などの明確に識別されるユーザの顔の特徴である。１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴を有する仮想アバターを表示すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの一部の変更を制御するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
仮想アバター（例えば、１１００、１４００、１７００）の表示中、電子デバイス（例えば、１００、３００、５００、６００）は、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔（例えば、１１２４、１４２４、１７２４）の１つ以上の物理的特徴（例えば、１１２２、１４２０Ａ／１４２０Ｂ、１７２２）の変化（例えば、変位又は移動）を検出する（１９０６）。
変化が第１の物理的特徴の変化（例えば、ユーザの眉毛（１１２２、１７２２）の上下、又はユーザの唇（１４２０Ａ／１４２０Ｂ）の位置の変化）を含むという判定（１９０８）に応じて、電子デバイス（例えば、１００、３００、５００、６００）は、第１の物理的特徴の変化に基づいて仮想アバター（例えば、１１００、１４００、１７００）の第１のアバター特徴（例えば、１１３３、１４３０、１７３６）を変更し（１９１０）、第１の物理的特徴の変化に基づいて第２のアバター特徴（例えば、１１３２、１４４０、１７３０）を変更することを取り止める。第１の物理的特徴の変化に基づいて仮想アバターの第１のアバター特徴を変更し、第１の物理的特徴の変化に基づいて第２のアバター特徴を変更することを取り止めることは、同じ物理的特徴のさらなる移動又は同じ物理的特徴に対する変化が、デバイスが第２のアバター特徴を変化させずに第１のアバター特徴を変化させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、それにより更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を低減し、デバイスの電池寿命を改善する。いくつかの実施形態では、ユーザが眉毛１１２２を動かす（例えば、上下させる）と、第１のアバター特徴（例えば、アバターの耳１１３３）は、眉毛の動きに応じて動き、第２のアバター特徴（例えば、アバター１１００の目１１３２）は、眉毛の動きに応じて動かない。
いくつかの実施形態では、第１の物理的特徴（例えば、１１２２）の変化は、顔の第１の物理的特徴の少なくとも垂直変位（例えば、ユーザが眉毛１１２２を上下させる）を含み、第１の物理的特徴の変化に基づく第１のアバター特徴（例えば、１１３３）の変更は、第１のアバター特徴のうちの少なくとも一部の垂直変位（例えば、仮想アバターの頭（例えば、１１３５）の上部に向かう（上）又はそれから離れる（下）のいずれかの下又は上の垂直移動）及び第１のアバター特徴のうちの少なくとも一部の水平変位（例えば、仮想アバターの頭の上部に向かう（内側）又はそれから離れる（横方向）のいずれかの内側又は横方向の水平移動）のうちの少なくとも一方を含む。第１のアバター特徴のうちの少なくとも一部の垂直変位及び第１のアバター特徴のうちの少なくとも一部の水平変位のうちの少なくとも一方を含む方向に第１のアバター特徴を移動することによって第１の物理的特徴の変化に基づいて第１のアバター特徴を変更することは、同じ物理的特徴のさらなる移動が、デバイスが第１のアバター特徴を水平及び垂直方向のうちの少なくとも一方に移動させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、ユーザが眉毛（例えば、１１２２）を上げると、眉毛は、ユーザの頭の上部に向かって垂直方向に（例えば、上向き又は上方向に）移動する。このユーザの眉毛の上向き（例えば、上）の垂直方向の動きに応じて、仮想アバターの耳（例えば、クマアバター１１００の耳１１３３）は、アバターの頭（例えば、１１３５）の上部に向かう方向に移動する。いくつかの例では、アバターの頭の上部に向かう移動の方向は、上（例えば、上向き）の垂直変位（例えば、耳がアバターの頭の側部に位置する場合）、内側の水平変位（例えば、耳がアバターの頭の上部に位置する場合）、又はその組み合わせを含む。いくつかの例では、ユーザが眉毛（例えば、１１２２）を下げると、眉毛は、ユーザの頭の上部から離れて垂直方向に（例えば、下向き又は下方向に）移動する。ユーザの眉毛のこの下方向（例えば、下）の垂直移動に応じて、仮想アバターの耳（例えば、１１３３）は、アバターの頭の上部から離れる方向に移動する。いくつかの例では、アバターの頭の上部から離れる移動の方向は、下（例えば、下向き）の垂直変位（例えば、耳がアバターの頭の側部に位置する場合）、横方向の水平変位（例えば、耳がアバターの頭の上部に位置する場合）、又はそれらの組み合わせを含む。
いくつかの実施形態では、第１の物理的特徴（例えば、ユーザの口１１２０）の変化は、顔の第１の物理的特徴の少なくとも変位（例えば、水平又は垂直変位（例えば、並進移動））を含む。例えば、ユーザの口１１２０の角１１２０Ａ及び１１２０Ｂは、垂直方向に（例えば、中立的な静止位置でのユーザの口の角の位置と比較した場合、ユーザの頭の下部に向かって下方向（例えば、ユーザの顎）に、又はユーザの頭の上部に向かって上方向に）変位する位置を有する。そのような実施形態では、第１の物理的特徴の変化に基づいて仮想アバター（例えば、１１００）の第１のアバター特徴（例えば、仮想アバターの耳１１３３）を変更することは、第１のアバター特徴の少なくとも一部を回転（例えば、カール、カール解除、折り畳み、展開など）させることを含む。第１の物理的特徴の変化に基づいて、第１のアバター特徴の少なくとも一部を回転させると、同じ物理的特徴のさらなる移動によってデバイスが第１のアバター特徴を回転方向に移動させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、第１のアバター特徴の遠位端（例えば、仮想アバターの耳１１３３の先端）は、第１のアバター特徴の遠位端と第１のアバター特徴の近位端（例えば、アバターの耳１１３３の付け根）との間に延びる軸に沿った方向に回転し、回転方向は、顔の第１の物理的特徴の少なくとも一部の垂直変位にしたがって決定される。いくつかの例では、ユーザが口の角（例えば、１１２０Ａ／１１２０Ｂ）を上げると（例えば、笑顔の表情で）、仮想アバター（例えば、１１００）の耳（例えば、１１３３）の先端は、アバターの耳の付け根から延びる方向に展開する又はカールしない方法で移動する。いくつかの例では、ユーザが口の角を下げると（例えば、悲しい表情で）、仮想アバターの耳の先端は、（例えば、図１１Ｂの１１０２Ｄ及び１１１２Ｄに示すように）アバターの耳の付け根に向かう方向に折り畳まれ又はカールする方法で移動する。
いくつかの実施形態では、第１のアバター特徴は、アバターの耳（例えば、１１３３）を含み、第１の物理的特徴は、ユーザの口（例えば、１１２０）の少なくとも角領域（例えば、１１２０Ａ又は１１２０Ｂ）を含み、第１の物理的特徴の変化は、少なくともユーザの口の少なくとも角領域の変位を含み、第１の物理的特徴の変化に基づいて第１のアバター特徴を変更することは、ユーザの口の少なくとも角領域の変位の大きさに基づいてアバターの耳の少なくとも一部を回転させることを含む。そのような実施形態の一例は、１１０２Ａ及び１１１２Ａに示されており、アバターの耳のカール（例えば、回転）がユーザの口の角の動きによって制御されることを示す図１１Ｂに関して上記でより詳細に説明されている。
いくつかの実施形態では、第２の物理的特徴は、ユーザの眉毛（例えば、１１２２）の少なくとも一部を含み、顔の１つ以上の物理的特徴の変化は、ユーザの眉毛の位置の垂直偏移を含み、第２の物理的特徴の変化に基づく第１のアバター特徴（例えば、１１３３）の変更は、アバターの耳（例えば、１１３３）の位置を垂直方向に偏移することを含む（例えば、仮想アバターの頭の上部に向かう（上）又はそれから離れる（下）のいずれかの上下の垂直移動）。いくつかの例では、アバターの耳は、ユーザの口（例えば、１１２０）の角（例えば、１１２０Ａ及び／又は１１２０Ｂ）とユーザの眉毛（例えば、１１２２）の両方に反応する。いくつかのそのような実施形態では、ユーザの口の角がアバターの耳のカール（例えば、回転）を制御し、ユーザの眉毛がアバターの耳の位置（例えば、垂直位置）を制御する。
いくつかの実施形態では、第１のアバター特徴は、アバターの耳（例えば、１１３３）を含み、第１の物理的特徴は、ユーザの眉毛（例えば、１１２２）の少なくとも一部を含み、顔の１つ以上の物理的特徴の変化は、ユーザの眉毛の位置の垂直偏移を含み、第１の物理的特徴の変化に基づく仮想アバター（例えば、１１００）の第１のアバター特徴の変更は、アバターの耳の位置を水平に偏移することを含む。いくつかの例では、ユーザの眉毛が上に移動すると、アバターの耳が内側に偏移する。そのような実施形態の例は、１１０１Ｂ及び１１１１Ｂに示されており、図１１Ａに関して上記でより詳細に説明されている。いくつかの例では、ユーザの眉毛が下に移動すると、アバターの耳が外側に偏移する（例えば、ユーザの眉毛（例えば、１１２２）が上昇位置から下降すると、アバターの耳は、外側方向において内側位置（例えば、１１１１Ｂに示すように）から中立位置（例えば、１１１１Ａに示すように）へと移動する）。いくつかの例では、アバターは、それぞれのユーザの眉毛に反応する２つの耳を有する。そのような実施形態では、両方のユーザの眉毛を上げると、両方の耳が内側に偏移し、耳の間の間隔が狭くなる。
変化が第２の物理的特徴の変化（例えば、ユーザの口１１２０の角１１２０Ａ及び１１２０Ｂの上昇又は下降）を含むという判定（１９１２）に応じて、電子デバイス（例えば、１００、３００、５００、６００）は、第２の物理的特徴の変化に基づいて第１のアバター特徴（例えば、１１３３）を変更し（１９１４）、第２の物理的特徴の変化に基づいて第２のアバター特徴（例えば、１１３２）を変更することを取り止める。第２の物理的特徴の変化に基づいて第１のアバター特徴を変更し、第２の物理的特徴の変化に基づいて第２のアバター特徴を変更することを取り止めることは、同じ物理的特徴のさらなる移動又は同じ物理的特徴に対する変化が、デバイスが第２のアバター特徴を変化させずに第１のアバター特徴を変化させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、ユーザが口（１１２０）の角（１１２０Ａ及び１１２０Ｂ）を移動（例えば上下）させると、口の角の移動に応じて第１のアバター特徴（例えば、アバターの耳１１３３）が移動し、第２のアバター特徴（例えば、アバター１１００の目１１３２）は、口の角の移動に応じて動かない。
いくつかの実施形態では、第２のアバター特徴（例えば、１１３２）は、第１の物理的特徴及び第２の物理的特徴とは異なる第３の物理的特徴（例えば、１１２３）の変化に反応する。第１の物理的特徴及び第２の物理的特徴とは異なる第３の物理的特徴の変化に反応する第２のアバター特徴を有する仮想アバターを表示すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの第２の部分の変更を制御するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
例えば、第２のアバター特徴（例えば、アバターの目１１３２）は、第１の物理的特徴（例えば、ユーザ眉毛１１２２）の変化及び第２の物理的特徴（例えば、ユーザの口１１２０）の変化に主に反応する。換言すれば、第２のアバター特徴は、顔の特徴（例えば、第１及び第２の物理的特徴１１２２及び１１２０）の変化に基づいて直接変更されないが、顔の変化に直接反応するアバターの他の変化の影響を受けることがある。例えば、アバター特徴（例えば、１１３２）は、物理的特徴（１１２３）の位置、移動特性、サイズ、色、及び／又は形状のうちの任意の１つ以上に基づいてモデル化される。顔の１つ以上の物理的特徴の変化が顔の第３の物理的特徴の変化を含むという判定に従って（例えば、虹彩又は瞼などの明確に識別されたユーザの顔の特徴、単一の顔の筋肉（例えば、眼輪筋）、又は関連する顔の筋肉のコレクション（例えば、眼輪筋を含む瞼の動きを制御する筋肉のセット））、電子デバイスは、第３の物理的特徴の変化に基づいて第２のアバター特徴を変更する。第３の物理的機能の変化に基づいて第２のアバター特徴を変更すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに、仮想アバターの一部の変更を制御するオプションをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１のアバター特徴（例えば、１１３３）は、第１の物理的特徴（例えば、１１２２）及び第２の物理的特徴（例えば、１１２０）のうちの少なくとも一方と解剖学的に区別され、第２のアバター特徴（例えば、１１３２）は、第３の物理的特徴（例えば、１１２３）に解剖学的に対応する。換言すれば、第１のアバター特徴は、第１の物理的特徴（例えば、１１２２）又は第２の物理的特徴（例えば、１１２０）に解剖学的／生理学的に対応しない。いくつかの実施形態では、第１のアバター特徴は、動物ベースの仮想アバター（例えば、１１００）の耳（例えば、１１３３）であり、第１の物理的特徴は、眉毛（例えば、１１２２）であり、第２の物理的特徴は、口（例えば、１１２０）である。いくつかの例では、第２のアバター特徴は、第３の物理的特徴（例えば、ユーザの目１１２３）に解剖学的／生理学的に対応するアバターの目（例えば、１１３２）である。いくつかの実施形態では、第１のアバター特徴（例えば、アバターの耳１１３３）は、解剖学的に第４の物理的特徴（例えば、ユーザの耳）に対応する。いくつかの実施形態では、第４の物理的特徴（例えば、ユーザの耳）に解剖学的に対応するにもかかわらず、第１のアバター特徴（例えば、アバターの耳１１３３）は、第４の物理的特徴の変化に反応しない（例えば、無反応）。例えば、第１のアバター特徴は、ユーザの口（例えば、１１２０）及び眉毛（例えば、１１２２）の変化に反応するが、ユーザの耳の動きには反応しないアバターの耳（例えば、１１３３）である。
いくつかの実施形態では、第３の物理的特徴（例えば、１１２３）の変化に基づいて第２のアバター特徴（例えば、１１３２）を変更することは、第３の物理的特徴の変化の大きさに基づいて第２のアバター特徴を変更することを含む。第３の物理的特徴の大きさの変化に基づいて第２のアバターを変更すると、同じ物理的特徴のさらなる動きが、物理的特徴が同じタイプのさらなる動きの大きさによって決定される量で第２のアバター特徴を変化させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、アバター特徴の反応の大きさは、ユーザの物理的特徴の変化の大きさに対応する。いくつかの実施形態では、物理的特徴の変化の大きさは、物理的特徴の潜在的な動きの範囲に応じて決定され、大きさは、その物理的特徴の動きの範囲（例えば、予測された又はモデル化された動きの範囲）内の物理的特徴の相対位置を表す。そのような実施形態では、アバター特徴の反応の大きさは、同様に、アバター特徴の動きの範囲内のアバター特徴の相対位置である。いくつかの実施形態では、変化の大きさは、変化による物理的特徴の開始位置と終了位置の比較又は測定（例えば、距離）に基づいて決定される。そのような実施形態では、物理的特徴（例えば、第１の物理的特徴（例えば、１１２２））の変化は、（例えば、直接的に又はスケーリング若しくは調整された値として）物理的特徴の変化の測定値をアバター特徴に適用することにより、第１のアバター特徴（例えば、１１３３）の変更に変換されることができる。
いくつかの実施形態では、第２の物理的特徴（例えば、１１２０）の変化に基づいて仮想アバター（例えば、１１００）の第２のアバター特徴（例えば、１１３２）を変更することは、第３の物理的特徴（例えば、１１２３）のポーズの変化の方向（例えば、回転方向、１つ以上のカメラの視野に対する物理的特徴の角度の変化の方向、又は並進移動の方向）に基づく第２のアバター特徴の少なくとも一部のポーズ（例えば、回転方向、アバター特徴が表示される角度、又は表示位置）を変更することを含む。第３の物理的特徴のポーズの変化の方向に基づいて、第２のアバター特徴の少なくとも一部のポーズを変更すると、特定の方向への第３の物理的特徴のさらなる移動が、デバイスが第３の物理的特徴のさらなる動きの方向に基づいて第２のアバター特徴のポーズを変化させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、アバター特徴に対する変更は、大きさ成分と方向成分の両方を有する。いくつかの例では、アバター特徴の変更の方向成分は、アバター特徴が反応する１つ以上の物理的特徴の変化の方向成分に基づいている。いくつかの例では、アバター特徴の変化の方向成分は、物理的特徴の変化の方向成分と同じである。例えば、図１７Ｂの１７０２Ｄ及び１７１２Ｄに示されるように、物理的特徴（例えば、口１７２０）が下に移動すると、アバター特徴（例えば、アバターの口１７３０）が下に移動する。いくつかの例では、アバター特徴の変化の方向成分は、物理的特徴の変化の方向成分に対して鏡映される。例えば、図１７Ｂの１７０２Ａ／１７１２Ａ及び１７０２Ｂ／１７１２Ｂに示されるように、物理的特徴（例えば、口１４２０）が左に移動すると、アバター特徴（例えば、アバターの口１４３０）は右に移動し、逆もまた同様である。図１１Ａ～図１１Ｂ、図１４Ａ～図１４Ｄ、及び図１７Ｂに示すようないくつかの例では、アバター特徴の変化の方向成分は、鏡で見たときに見られる効果と同様に、縦軸に沿った動きの物理的特徴の変化の方向成分と同じであり、横軸に沿った動きに対して鏡映される。
いくつかの例では、物理的特徴（例えば、ユーザの虹彩（例えば、１４２３Ａ）又は瞼）の相対位置の変化は、物理的特徴の中立的な静止位置から決定される方向にある。いくつかの例では、ユーザの虹彩の中立的な静止位置は、ユーザの眼球の周辺部に対して特定の位置（例えば、中央）に決定される。いくつかの例では、アバター特徴の反応の方向は、ユーザの物理的特徴の変化の相対方向に（例えば、直接的に又は逆に）対応する。いくつかの例では、物理的特徴の変化の相対方向は、物理的特徴の中立的な静止位置からの物理的特徴の移動方向に基づいて決定される。いくつかの例では、アバター特徴の反応の方向は、物理的特徴の変化の相対的な方向に直接対応する（例えば、物理的特徴が上に移動し、アバター特徴が上に移動する）。いくつかの例では、アバター特徴の反応の方向は、物理的特徴の変化の相対的な方向に逆に対応する（例えば、物理的特徴が上に移動し、アバター特徴が下に移動する）。
いくつかの実施形態では、第１のアバター特徴は、アバターの口（例えば、１４３０）を含み、第２のアバター特徴は、アバターの歯（例えば、１４４０）の少なくとも一部を含む。例えば、図１４Ｃに示す実施形態では、アバターの歯（例えば、１４４０）は、アバターの口（例えば、１４３０）の周囲内の歯の上部部分セット（例えば、１４４０Ａ）及び歯の下部部分セット（例えば、１４４０Ｂ）として表示され、垂直方向の歯の移動（例えば、アバターの口を開閉することを表す－アバターの口を動かすことなく）は、図１４Ｃの１４１３Ｃに示すように、アバターの歯の上下部分のセット間の垂直間隔（例えば、１４４１）を増減することで示される。いくつかの実施形態では、第１の物理的特徴は、ユーザの唇（例えば、１４２０Ａ又は１４２０Ｂ）の少なくとも一部を含み、第３の物理的特徴は、ユーザの口（例えば、１４２０Ｃ及び１４２０Ｄ）の少なくとも一部を含み、第１の物理的特徴の変化は、第１の位置（例えば、１４０１Ａ）から第２の位置（例えば、１４０３Ａ）へのユーザの唇の少なくとも一部の変位を含み、第１の物理的特徴の変化に基づく仮想アバターの第１のアバター特徴の変更は、ユーザの唇の少なくとも一部の第２の位置に基づいてアバターの口（例えば、１４３０）の形状を変更することを含む。例えば、アバターの口（例えば、１４３０）は、垂直方向に移動しない（例えば、開閉）。代わりに、アバターの口（例えば、１４３０）の変化は、アバターの口の形状を変化させることによって示され（例えば、アバターの口の形に関連付けられた表情を示すために）、アバターの口の形状の変化は、ユーザの唇（例えば、１４２０Ａ及び１４２０Ｂ）における変化によって促進される。
いくつかの例では、口は台形を形成し（例えば、１４１３Ａ又は１４１３Ｂに示されるように）、ひそめた眉毛又は笑顔を示している。例えば、台形は、台形の上縁部（例えば、１４３０Ｕ）が台形の下縁部（例えば、１４３０Ｌ）よりも長い場合、笑顔（例えば、１４１３Ａ）に対応し、台形は、台形の上縁部が台形の下縁部よりも短い場合、眉毛をひそめること（例えば、１４１３Ｂ）に対応する。いくつかの例では、口は、円形（例えば、１４１４Ｄの１４３０）を形成し、すぼめた表情又は驚く表情を示す。
図１４Ｃに示すようないくつかの実施形態では、第３の物理的特徴の変化は、ユーザの口の少なくとも一部を開閉することを含み、第３の物理的特徴の変化に基づいて第２のアバター特徴を変更することは、アバターの歯の第１の部分（例えば、上歯１４４０Ａのセット）とアバターの歯の第２の部分（例えば、下歯１４４０Ｂのセット）との間の垂直方向の間隔（例えば、１４４１）を変更することを含み、垂直方向の間隔の大きさは、ユーザの口の少なくとも一部の開閉の大きさに基づいている（例えば、１４２０Ｃ及び１４２０Ｄ）。いくつかの実施形態では、上下の歯セット間の垂直間隔１４４１は、アバターの口１４３０の形状を調整することなく、アバターの歯の上部部分のセットとアバターの歯の下部部分のセットとの間の開口を示す。いくつかの例では、上歯と下歯の間の間隔を使用して、仮想アバターによる会話動作をシミュレートすることができる（例えば、仮想アバターがロボット１４００である場合）。
いくつかの実施形態では、第１の物理的特徴の変化に基づいて仮想アバター（例えば、１１００）の第１のアバター特徴（例えば、１１３３）を変更する電子デバイス（例えば、１００、３００、５００、６００）は、第１の物理的特徴の変化の大きさ（例えば、第１の物理的特徴（例えば、１１２２）の位置の変化の度合い）に基づいて第１のアバター特徴を変更することを含み、第２の物理的特徴（例えば、１１２０）の変化に基づいて第１のアバター特徴を変更することは、第２の物理的特徴の変化の大きさに基づいて第１のアバター特徴を変更することを含む。いくつかの実施形態では、変化の大きさは、物理的特徴の開始位置及び終了位置に基づいて決定される（例えば、１１２２又は１１２０）。いくつかの実施形態では、変化の大きさは、変化の最大範囲内の変化の割合として決定される。
いくつかの実施形態では、第１の物理的特徴（例えば、１１２２）の変化に基づいて仮想アバター（例えば、１１００）の第１のアバター特徴（例えば、１１３３）を変更することは、第１の物理的特徴のポーズの変化の方向（例えば、回転方向、１つ以上のカメラの視野に対する物理的特徴の角度の変化の方向、又は並進移動方向）に基づいて第１のアバター特徴の少なくとも一部のポーズ（例えば、回転方向、第１のアバター特徴が表示される角度、又は表示位置）を変更することを含む。第１の物理的特徴のポーズの変化の方向に基づいて、第１のアバター特徴の少なくとも一部のポーズを変更すると、特定の方向への第１の物理的特徴のさらなる移動が、デバイスが第１の物理的特徴のさらなる動きの方向に基づいて第１のアバター特徴のポーズを変化させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第２の物理的特徴（例えば、１１２０）の変化に基づいて仮想アバターの第１のアバター特徴（例えば、１１３３）を変更することは、第２の物理的特徴のポーズの変化の方向（例えば、回転方向、１つ以上のカメラの視野に対する物理的特徴の角度の変化の方向、又は並進移動方向）に基づいて第１のアバター特徴の少なくとも一部のポーズ（例えば、回転方向、第１のアバター特徴が表示される角度、又は表示位置）を変更することを含む。第２の物理的特徴のポーズの変化の方向に基づいて、第１のアバター特徴の少なくとも一部のポーズを変更すると、特定の方向への第２の物理的特徴のさらなる移動が、デバイスが第２の物理的特徴のさらなる動きの方向に基づいて第１のアバター特徴のポーズを変化させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、顔の１つ以上の物理的特徴の変化は、第１の大きさの第１の物理的特徴（例えば、１１２２）の変化及び第２の大きさの第２の物理的特徴（例えば、１１２０）の変化を含み、仮想アバター（例えば、１１００）の第１のアバター特徴（例えば、１１３３）を変更することは、第１の大きさと第２の大きさの両方に基づく変更の大きさによって第１のアバター特徴を変更することを含む。そのような実施形態の一例は、１１０１Ｄ及び１１１１Ｄに示されており、図１１Ａに関して上記でより詳細に説明されている。いくつかの例では、変更の大きさは、第１の大きさと第２の大きさの合計である。いくつかの例では、変更の大きさは、第１の大きさと第２の大きさの加重和に基づいている。例えば、第１の物理的特徴の変化の大きさは、第２の大きさと比較して、変更の大きさに対してより大きな効果（例えば、１×又は２×）効果を有することができる。
いくつかの実施形態では、第１のアバター特徴は、アバターの目（例えば、１４３２Ｂ）を含み、第１の物理的特徴は、ユーザの目（例えば、１４２３）の少なくとも一部を含み、第２の物理的特徴は、ユーザの眉毛（例えば、１４２２）の少なくとも一部を含み、第１の物理的特徴の変化は、ユーザの目の虹彩部分（例えば、１４２３Ａ）の変位（例えば、図１４Ａの１４０１Ｂ及び１４０１Ｃに示すように、ユーザが特定の方向を見るために目を動かすときの視線の変化又はユーザの虹彩（例えば、１４２３Ａ）の並進移動）と、ユーザの目の少なくとも一部のサイズの変化（例えば、図１４Ｂの１４０２Ａ及び１４０２Ｂに示されるユーザの目（例えば、１４２３）の可視量の変化）（例えば、目の開放性の大きさ（例えば、最大範囲の割合））とのうちの少なくとも一方を含み、第２の物理的特徴の変化は、ユーザの眉毛（例えば、１４２２）の少なくとも一部の少なくとも垂直変位を含む。そのような実施形態では、第１の物理的特徴の変化に基づいて第１のアバター特徴を変更することは、第１の物理的特徴の変化が、ユーザの目の虹彩部分（例えば、１４２３Ａ）の変位を含むとき（例えば、１４０１Ｂ及び１４０１Ｃに示されるように）、アバターの目の少なくとも一部を並進移動することを含む（例えば、アバターの目（例えば、１４３２Ａ）は、１４１１Ｂ及び１４１１Ｃに示されるように特定の方向に見える）。
いくつかの実施形態では、第１の物理的特徴の変化に基づいて第１のアバター特徴を変更することは、第１の物理的特徴の変化がユーザの目の少なくとも一部のサイズの変化を含む場合（例えば、目の開放性の大きさ（例えば、最大範囲の割合））、アバターの目の少なくとも一部のサイズを調整することを含む（例えば、アバターの目の虹彩部分（例えば、１４３２Ｂ）のサイズは、（例えば、１４０２Ａ、１４０２Ｂ、１４１２Ａ、及び１４１２Ｂに示されるように）ユーザの目のサイズ（例えば、開放性）の変化によって増減する）。いくつかの例では、アバターは、ロボット（例えば、１４００）であり、ロボットの目は、カメラシャッターを模倣し、アバターの目の虹彩（例えば、１４３２Ｂ）は、カメラシャッターのアパーチャに対応する。そのような実施形態では、アバターの目の虹彩部分のサイズの増減は、カメラシャッターのアパーチャを調整するのと同様の方法でロボットの目に形成されたアパーチャを増減することによって引き起こされる。
いくつかの実施形態では、第２の物理的特徴の変化に基づいて第１のアバター特徴を変更することは、アバターの目（例えば、１４３１）の少なくとも一部の回転の度合いを調整することを含み、回転の度合いは、少なくともユーザの眉毛（例えば、１４２２）の一部の垂直変位に基づいている。例えば、アバターがロボット（例えば、１４００）である場合、アバターの目は、アバターの目（例えば、１４３２）に組み込まれるアバターの疑似眉毛を表す線（例えば、アバターの目が中立的な静止位置にあるときの水平線（例えば、１４３１））を含む。いくつかの例では、アバターの目（例えば、１４３２）の回転は、線（例えば、１４３１）の位置の回転によって表され、線の回転した位置は、ロボットアバターの眉毛の位置を示すために使用することができる。いくつかの例では、アバターの目（及び線）が回転又は傾斜する度合いは、ユーザの眉毛の垂直変位の大きさに基づいて決定される。
いくつかの実施形態では、第１のアバター特徴は、アバターの鼻（例えば、１７３６）の少なくとも一部を含み、第１の物理的特徴は、ユーザの眉毛（例えば、１７２２）の少なくとも一部を含み、第２の物理的特徴は、少なくともユーザの唇（例えば、１７２０Ａ）の一部を含み、第１の物理的特徴の変化は、ユーザの眉毛の少なくとも一部の少なくとも垂直変位（例えば、１７０１Ｂに示す）を含み、第１の物理的特徴の変化に基づいて仮想アバターの第１のアバター特徴を変更することは、ユーザの眉毛（例えば、ユーザの眉毛（例えば、１７２２））の少なくとも一部の垂直変位の方向に基づいてアバターの鼻の位置を変更することを含み、１７０１Ｂに示すように、眉毛が冷笑的なポーズの一部を形成するとき、ユーザの頭の上部から離れて下方向に移動し、アバターの鼻の位置は、ユーザの眉毛の少なくとも一部の垂直変位の方向に基づいて（例えば、逆に関連して）決定される方向に変更される。例えば、眉毛が下方向に移動すると、アバターの鼻（例えば、１７３６）は、アバターの頭の上部（例えば、１７３５）に向かって上方向に持ち上げられる。いくつかの実施形態では、第２の物理的特徴の変化は、（例えば、ユーザの口又は唇を左右方向に動かすとき（１７０２Ａ及び１７０２Ｂに示すように））ユーザの唇の少なくとも一部の水平変位と、（例えば、ユーザの唇（例えば、上唇１７２０Ａ）を１７０１Ｂに示すように冷笑的なポーズに持ち上げたとき）ユーザの唇の少なくとも一部の垂直変位とのうちの少なくとも一方を含み、第２の物理的特徴の変化に基づいて仮想アバターの第１のアバター特徴を変更することは、ユーザの唇の少なくとも一部の水平変位の方向及び少なくともユーザの唇の少なくとも一部の垂直変位の方向のうちの少なくとも一方に基づいてアバターの鼻の位置を変更することを更に含み、アバターの鼻の位置は、ユーザの唇の少なくとも一部の水平変位の方向に対応する方向に更に変更される。例えば、ユーザの唇（例えば、上唇１７２０Ａ及び／又は下唇１７２０Ｂ）がユーザの顔の側面（例えば、１７０２Ａ及び１７０２Ｂに示すように左又は右）に引っ張られると、ユーザの唇は、左又は右の水平変位を有し、アバターの鼻は、ユーザの唇の左／右方向に対応する方向に移動する（１７１２Ａ及び１７１２Ｂに示されるように）。いくつかの例では、アバターの鼻のこの動きは、鏡映方向に移動することによるユーザの唇の水平方向の動きに対応し（例えば、（１７０２Ａに示す視野の視点から）ユーザの唇がユーザの顔の右側に移動する場合、アバターの鼻は、（１７１２Ａに示すように）アバターの顔の左側に向かう方向に移動し、その逆も同様である）、ユーザの唇の少なくとも一部の垂直変位の方向に対応する方向において（例えば、ユーザの唇（例えば、上唇１７２０Ａ）が冷笑的なポーズで持ち上げられたとき（１７０１Ｂに示すように）、唇は、ユーザの頭の上部に向かう方向に垂直変位を有する）、１７１１Ｂに示すように、アバターの鼻はまた、アバターの頭１７３５の上部に向かって対応する方向に移動する。
いくつかの実施形態では、第１のアバター特徴は、アバターの髪の特徴（例えば、たてがみ１５５２）を含み、第１の物理的特徴は、ユーザの眉毛（例えば、１５２２）の少なくとも一部を含み、第２の物理的特徴は、ユーザの頭（例えば、１５２８）を含み、第１の物理的特徴の変化は、ユーザの眉毛の少なくとも一部の少なくとも垂直変位（例えば、１５０１Ｃに示す）を含み、第２の物理的特徴の変化は、ユーザの頭（例えば、１５０１Ｄ）のポーズ（例えば、Ｘ（例えば、頭のうなずき）又はＹ（例えば、頭を左右に振る）軸に沿った回転）を含む。この実施形態では、第１の物理的特徴の変化に基づいて仮想アバターの第１のアバター特徴を変更することは、少なくともユーザの眉毛の一部の垂直変位の方向に基づいて少なくともアバターの髪（例えば、たてがみ）の特徴の一部を変位させることを含む。例えば、１５０１Ｃでは、ユーザの眉毛がユーザの頭の下部から上方向に移動し、１５１１Ｃでは、アバターのたてがみの一部（例えば、アバターの頭１５３５の上部にある１５５２Ａ）がアバターの頭の下部から離れる上方向に移動する。いくつかの実施形態では、ユーザの眉毛がユーザの頭の下部に向かって下方向に移動すると、アバターのたてがみの一部（例えば、アバターの頭の上部に位置する）がアバターの下部に向かって下方向に移動し、第２の物理的特徴の変化に基づいて仮想アバターの第１のアバター特徴を変更することは、ユーザの頭（例えば、１５１１Ｄ）のポーズの変化の方向又は大きさに基づいてアバターの髪の特徴（例えば、たてがみ１５５２）の少なくとも一部を回転させることを含む。
方法１９００に関して上述したプロセス（例えば、図１９）の詳細はまた、上述及び後述する方法１８００にも、類似の方法で適用可能であることに留意されたい。例えば、方法１９００は、任意選択的に、方法８００、９００、１８００、２０００、２１００、２２００、２３００、２４００、及び２５００を参照して以下に説明する様々な方法の特性のうちの任意の１つ以上を含む。例えば、方法８００にしたがってアニメーション化されたアバターを生成、送信、及び受信する方法は、方法１９００にしたがって生成された仮想アバター（例えば、ユーザの顔の位置の変化に反応しながら生成されたアバター）を使用してもよい。同様に、方法１９００にしたがって生成及び／又は変更された仮想アバター及びアニメーション効果は、方法８００又は９００の仮想アバター生成インタフェース（例えば、８０４、９０４）の仮想アバターの表示されたプレビューに含まれてもよい。他の例では、方法１９００にしたがって生成された仮想アバター（例えば、ユーザの顔の位置の変化に反応しながら生成されたアバター）はまた、方法８００、９００、１８００、２０００、２１００、２２００、２３００、２４００、及び２５００の仮想アバター生成及び変更方法にしたがって生成されてもよい。例えば、方法１９００にしたがって生成された仮想アバターは、ポーズ（例えば、１８１０及び１８１２）の変化のタイプに応じて、ユーザの顔のポーズを変化させるために第２のアバター部分（例えば、１５３９）とは異なる反応をする第１のアバター部分（例えば、１５３５）を含むことができる。簡潔にするために、さらなる例を除外する。
図２０は、いくつかの実施形態による、１つ以上のカメラによって検出された顔に基づいて仮想アバターを生成するための、電子デバイスにおける方法を示すフロー図である。方法２０００は、１つ以上のカメラ（例えば、１６４、６０２）及びディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を備えた電子デバイス（例えば、１００、３００、５００、６００）で実行される。方法２０００における一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
以下に説明するように、方法２０００は、ユーザの顔の位置の変化に反応しながら、仮想アバターを生成するための直感的な方法を提供する。本方法は、仮想アバターを生成するためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式のコンピューティングデバイスの場合、ユーザがユーザアバターをより速くかつより効率的に生成することを可能にすることは、節電し、バッテリ充電の時間間隔を長くする。方法２０００の例は、図１１Ａ～図１１Ｃ、図１３、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、及び図１７Ａ～図１７Ｂを参照して説明したユーザインタフェース及び仮想アバターに見出すことができる。
電子デバイス（例えば、１００、３００、５００、６００）は、ディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を介して、仮想アバター（例えば、１１００、１３００、１４００、１５００、１６００、１７００）を表示する（２００２）。いくつかの例では、仮想アバターは、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔の第１の物理的特徴（例えば、ユーザの口（例えば、１１２０、１３２０、１４２０、１７２０）、眉毛（例えば、１４２２、１５２２）、又は頬（例えば、１６２８））の変化に反応する第１のアバター特徴（例えば、アバターの眉毛（例えば、１５３８）、口（例えば、１１３０、１３３０、１４３０、１７３０）、頬（例えば、１６３３）、又はロボットアバター（例えば、１４００）１つ以上のカメラレンズの内部（例えば、１４３１）又はアンテナ（例えば、１４３４など）などの非人同等のアバター特徴）を含む（２００４）。１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴を有する仮想アバターを表示すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの第１の部分の変更を制御するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
仮想アバターはまた、第１の物理的特徴の変化に反応する第２のアバター特徴（例えば、アバターの耳（例えば、１１３３、１４３３）又は鼻（例えば、１７３６）、又はひげ（例えば、１３４２）、たてがみ（例えば、１５５２）、肉垂（例えば、１６５０）、又はロボットアバター（例えば、１４００）のアンテナ（例えば、１４３４）などの非人同等のアバター特徴）を含む（２００６）。１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第２のアバター特徴を有する仮想アバターを表示すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの第２の部分の変更を制御するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
仮想アバターはまた、第１の物理的特徴の変化に対して主に反応しない（例えば、任意選択的に反応する）第３のアバター特徴（例えば、鼻（例えば、１４３６）、眉毛（例えば、１１３８、１７３８）、瞼（例えば、１３４８）、口（例えば、１５３０）又はロボットアバター（例えば、１４００）の１つ以上のカメラレンズ（例えば、１４３１）の内部などの非人同等のアバター特徴）を含む（２００８）。例えば、第３のアバター特徴は、顔の特徴（例えば、第１の物理的特徴）の変化に基づいて直接変更されないが、顔の特徴の変化に直接反応するアバターの他の変化の影響を受けることがある。例えば、いくつかの実施形態では、第３のアバター特徴は、ユーザの口（例えば、１３２０）などの第１の物理的特徴の変化には反応しないが、第１の物理的特徴（例えば、ユーザの口１３４２）の動きによって促進されるアバターの口（例えば、１３３０）の移動に応じて移動するひげ（例えば、１３４２）を含むことができる。いくつかの実施形態では、第１の物理的特徴の変化に反応しないアバター特徴（例えば、ひげ１３４２）は、１つ以上のカメラの視野内の顔の物理的特徴の変化に反応しない。いくつかの実施形態では、第１の物理的特徴の変化に反応しないアバター特徴は、第１の物理的特徴とは異なる１つ以上のカメラの視野内の顔の第２の物理的特徴の変化に反応する。例えば、いくつかの実施形態では、第３のアバター特徴は、ユーザの口（例えば、１３２０）などの第１の物理的特徴の変化には反応しないが、ユーザの瞼（例えば、１３２７）などの第２の物理的特徴の変化には反応する瞼（例えば、１３４８）を含むことができる。
いくつかの実施形態では、第１のアバター特徴（例えば、１１３０、１３３０、１４３０、１４３１、１５３８、１６３３、１７３０）は、第１の物理的特徴（例えば、１１２０、１３２０、１４２０、１４２２、１５２２、１６２８、１７２０）に解剖学的に対応し（例えば、アバター特徴は、物理的特徴の場所、移動特性、サイズ、色、及び／又は形状のうちの任意の１つ以上に基づいてモデル化される）、第２のアバター特徴（例えば、１１３３、１３４２、１４３３、１４３４、１５５２、１６５０、１７３６）は、第１の物理的特徴に解剖学的に対応しない（例えば、第１の物理的特徴以外の物理的特徴に解剖学的と解剖学的に区別されるか又は解剖学的に対応する）。例えば、第２のアバター特徴は、目のサイズに対応し、第１の物理的特徴は、眉毛の位置に対応する。
仮想アバター（例えば、１１００、１３００、１４００、１５００、１６００、１７００）の表示中に、電子デバイス（例えば、１００、３００、５００、６００）は、第１の物理的特徴（例えば、ユーザの口（例えば、１１２０、１３２０、１４２０、１７２０）、眉毛（例えば、１４２２、１５２２）、又は頬（例えば、１６２８））の変化を検出する（２０１０）。
第１の物理的特徴（例えば、ユーザの口（例えば、１１２０、１３２０、１４２０、１７２０）、眉毛（例えば、１４２２、１５２２）、又は頬（例えば、１６２８））の変化を検出（２０１２）したことに応じて、電子デバイス（例えば、１００、３００、５００、６００）は、第１の物理的特徴の検出された変化に基づいて、第１のアバター特徴（例えば、アバターの眉毛（例えば、１５３８）、口（例えば、１１３０、１３３０、１４３０、１７３０）、頬（例えば、１６３３）、又はロボットアバター（例えば、１４００）の１つ以上のカメラレンズ（例えば、１４３１）の内部などの非人同等のアバター特徴）を変更する（２０１４）。電子デバイスはまた、第１の物理的特徴の検出された変化に基づいて、第２のアバター特徴（例えば、アバターの耳（例えば、１１３３、１４３３）又は鼻（例えば、１７３６）、又はひげ（例えば、１３４２）、たてがみ（例えば、１５５２）、肉垂（例えば、１６５０）、又はロボットアバター（例えば、１４００）のアンテナ（例えば、１４３４）などの非人同等のアバター特徴）を変更する（２０１６）。更に、電子デバイスは、第１の物理的特徴の検出された変化に基づいて、第３のアバター特徴（例えば、鼻（例えば、１４３６）、眉毛（例えば、１１３８、１７３８）、瞼（例えば、１３４８）、口（例えば、１５３０）又はロボットアバター（例えば、１４００）の１つ以上のカメラレンズ（例えば、１４３１）の内部などの非人同等のアバター特徴）の変更を取り止める（２０１８）。
第１の物理的特徴の検出された変化に基づいて第１及び第２のアバター特徴を変更し、第１の物理的特徴の変化に基づいて第３のアバター特徴を変更することを取り止めることは、同じ物理的特徴のさらなる移動又は同じ物理的特徴に対する変化が、デバイスが第３のアバター特徴を変化させずに第１及び第２のアバター特徴を変化させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第３のアバター特徴（例えば、眉毛（例えば、１１３８、１７３８）、瞼（例えば、１３４８）、又は口（例えば、１５３０））は、第２の物理的特徴（例えば、ユーザの眉毛（例えば、１１２２、１７２２）、瞼（例えば、１３２７）、又は口（１５２０））の変化に反応し、第３のアバター特徴は、第２の物理的特徴に解剖学的に対応する。１つ以上のカメラの視野内の顔の第２の物理的特徴の変化に反応しかつユーザの第２の物理的特徴に解剖学的に対応する第３のアバター特徴を有する仮想アバターを表示すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずにユーザの第２の物理的特徴に対応する仮想アバターの第３の部分の変更を制御する直感的なオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
そのような実施形態では、仮想アバターを表示しながら、電子デバイス（例えば、１００、３００、５００、６００）は、第２の物理的特徴（例えば、ユーザの眉毛（例えば、１１２２、１７２２）、瞼（例えば、１３２７）、又は口（１５２０））の変化を検出し、第２の物理的特徴の変化の検出に応じて、第２の物理的特徴の検出された変化に基づいて、第３のアバター特徴（例えば、眉毛（例えば、１１３８、１７３８）、瞼（例えば、１３４８）、又は口（例えば、１５３０））を変更する。いくつかの実施形態では、第１のアバター特徴（例えば、口（例えば、１１３０、１３３０）は、第２の物理的特徴の変化に対して主に反応しない（又は、任意選択的に無反応）。いくつかの実施形態では、第２のアバター特徴は、第１の物理的特徴又は第２の物理的特徴のいずれにも解剖学的に対応しない。例えば、第２のアバター特徴は、ユーザの眉毛（例えば、１１２２、１４２２）及び口（例えば、１１２０、１４２０）に反応するアバターの耳（例えば、１１３３、１４３３）である。
いくつかの実施形態では、第２のアバター特徴（例えば、１１３３、１５５２、１７３６）は、第２の物理的特徴（例えば、１１２２、１５２０、１７２２）の変化に反応する。ユーザの顔の第２の物理的特徴の変化に反応する第２のアバター特徴を有する仮想アバターを表示すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの第２の部分の変更を制御する追加のオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
例えば、第２のアバター特徴（例えば、１１３３、１５５２、１７３６）は、第２のアバター特徴が第１の物理的特徴（例えば、１１２０、１５２２、１７２０）及び第２の物理的特徴の両方の変化に反応するように、第２の物理的特徴（例えば、１１２２、１５２０、１７２２）の変化に反応する。したがって、第２のアバター特徴は、第２の物理的特徴の変化の検出に基づいて、第１のアバター特徴の変更とは無関係に変更することができる。
いくつかの実施形態では、第１のアバター特徴（例えば、１７３０）は、第２の物理的特徴（例えば、１７２２）の変化に反応する。ユーザの顔の第２の物理的特徴の変化に反応する第１のアバター特徴を有する仮想アバターを表示すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの第１の部分の変更を制御する追加のオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用きるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。例えば、第１のアバター特徴は、第１の物理的特徴及び第２の物理的特徴の両方の変化に反応するように、第２の物理的特徴の変化に反応する。
いくつかの実施形態では、第１の物理的特徴は、ユーザの唇（例えば、１４２０Ａ、１４２０Ｂ）の少なくとも一部を含み、第２の物理的特徴は、ユーザの眉毛（例えば、１４２２）の少なくとも一部を含み、第１のアバター特徴は、アバターの口（例えば、１４３０）を含み、第２のアバター特徴は、アバターの頭（例えば、１４３５）の側部に配置されたアバターの耳（例えば、１４３３）を含む。例えば、アバターがロボット（例えば、１４００）の場合、アバターの耳（例えば、１４３３）は、丸みを帯びたプレート状の構造によって表される。そのような実施形態では、耳（例えば、１４３３）の動きは、ロボットの頭（例えば、１４３５）の側面から構造を水平に伸ばすことによって表される。いくつかの実施形態では、耳の動き（例えば、１４３３）は、ロボットの頭（例えば、１４３５）の側面から構造を傾けることによって表される。
いくつかの実施形態では、第１の物理的特徴の変化は、第１の位置（例えば、１４０１Ａに示される）から第２の位置（例えば、１４０３Ｂに示される）へのユーザの唇（例えば、１４２０Ａ、１４２０Ｂ）の少なくとも一部の変位を含む。例えば、ユーザの唇は、下向きに曲がる方向に移動し（例えば、ユーザの口の角が下に曲がる）、しかめ面の表情の口の部分を形成する。いくつかの実施形態では、第２の物理的特徴の変化は、少なくともユーザの眉毛の少なくとも一部の垂直変位を含む。例えば、１４０３Ｂに示すように、ユーザの眉毛（例えば、１４２２）は、下方向に移動する。
いくつかの実施形態では、眉毛の中立的な静止位置と比較して、ユーザの眉毛がユーザの鼻に向かって垂直に変位した位置を有するときに、ひそめた眉毛が検出される。いくつかの実施形態では、第１の物理的特徴の検出された変化に基づいて第１のアバター特徴を変更することは、少なくともユーザの唇（例えば、１４２０Ａ、１４２０Ｂ）の一部の第２の位置に基づいて少なくともアバターの口（例えば、１４３０）の形状を変更することを含む。例えば、アバターの口は、ユーザの口を直接鏡映する方法では移動しない（例えば、垂直方向への移動、開閉など）。代わりに、いくつかの実施形態では、アバターの口（例えば、１４３０）の変化は、アバターの口の形状を変化させることによって示され（例えば、口の形に関連付けられた表情を示すために）、アバターの口の形状の変化は、ユーザの唇（例えば、１４２０Ａ／１４２０Ｂ）における変化によって促進される。いくつかの例では、口は、台形を形成して１４１３Ｂに示すように眉毛をひそめていることを示す（例えば、台形の上縁部１４３０Ｕが台形の下縁部１４３０Ｌよりも短い場合、台形は、ひそめた眉毛に対応する）。いくつかの実施形態では、第１の物理的特徴の検出された変化に基づいて第２のアバター特徴を変更することが、アバターの耳（例えば、１４３３）の傾斜の度合いを調整することを含み、傾斜の度合いが、第１の位置から第２の位置までの少なくともユーザの唇の一部の変位の大きさ及び方向のうちの少なくとも一方に基づいている。いくつかの実施形態では、耳（例えば、１４３３）の傾斜の度合いは、第１の位置から第２の位置へのユーザの唇（例えば、１４２０Ａ／１４２０Ｂ）の変位の大きさ又は方向に基づいて決定される。
いくつかの実施形態では、第１の物理的特徴（例えば、１１２０、１３２０、１４２０、１４２２、１５２２、１６２８、１７２０）の変化は、第１の大きさの変化を含み、第１の物理的特徴の検出された変化に基づいて第１のアバター特徴（例えば、１１３０、１３３０、１４３０、１４３１、１５３８、１６３３、１７３０）を変更することは、第１の大きさに基づく第１の変更の大きさによって第１のアバター特徴を変更することを含み、第１の物理的特徴の検出された変化に基づいて第２のアバター特徴（例えば、１１３３、１３４２、１４３３、１４３４、１５５２、１６５０、１７３６）を変更することは、第１の大きさに基づく第２の変更の大きさによって第２のアバター特徴を変更することを含み、第２の変更の大きさは、第１の変更の大きさとは異なる。変更の大きさが第１の物理的特徴の検出された変化の第１の大きさに基づく、第１の変更の大きさによって第１のアバター特徴を変更すること及び第２の変更の大きさによって第２のアバター特徴を変更することは、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに異なる量で異なるアバター特徴を制御するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１のアバター特徴及び第２のアバター特徴は、両方とも第１の物理的特徴の変化に反応するが、アバター特徴に対する変更の大きさ（例えば、度合い）は異なる。例えば、物理的特徴の変化が第１の大きさの位置の偏移（例えば、並進変化）を含む場合（例えば１インチの位置の偏移）、第１のアバター特徴は、第１の大きさに等しい第１の変更の大きさだけ変更されることができる（例えば、第１のアバター特徴もまた、１インチだけ位置が偏移される）が、第２のアバター特徴は、第１の変更の大きさとは異なる第２の変更の大きさだけ変更されることができる（例えば、第２のアバター特徴は、１インチ以外の値（例えば、より大きい、より小さい）だけ偏移される）。いくつかの実施形態では、第１の物理的特徴の変化の大きさに対して異なる調整係数（例えば、乗数）を適用することにより、異なる変更の大きさが生成される。いくつかの実施形態では、変化の大きさは、所定の特徴に対して利用可能な変化の最大量の割合として表されてもよい。
いくつかの実施形態では、第１の物理的特徴（例えば、１１２０、１３２０、１４２０、１４２２、１５２２、１６２８、１７２０）の変化は、第１のタイプの変化（例えば、回転変化、サイズ変化、色変化、位置／並進移動の変化）であり、第１の物理的特徴の検出された変化に基づいて第１のアバター特徴（例えば、１１３０、１３３０、１４３０、１４３１、１５３８、１６３３、１７３０）を変更することは、第２のタイプの変化（例えば、回転変化、サイズ変化、色変化、位置／並進移動変化）に基づいて第１のアバター特徴を変更することを含む。いくつかの実施形態では、第２のタイプの変化は、第１のタイプの変化と同じである。いくつかの実施形態では、第１の物理的特徴の検出された変化に基づいて第２のアバター特徴（例えば、１１３３、１３４２、１４３３、１４３４、１５５２、１６５０、１７３６）を変更することは、第３のタイプの変化（例えば、回転変化、サイズ変化、色変化、位置／並進移動変化）に基づいて第２のアバター特徴を変更することを含み、第３のタイプの変化は、第２のタイプの変化とは異なる。いくつかの実施形態では、第３のタイプの変化は、第１のタイプの変化と同じである。第２のタイプの変更に基づいて第１のアバター特徴を変更し、第２のタイプの変更とは異なる第３のタイプの変更に基づいて第２のアバター特徴を変更すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに、異なるタイプのユーザ入力に基づいてアバターの異なる特徴を制御するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１のアバター特徴及び第２のアバター特徴は、両方とも、第１の物理的特徴の変化に反応するが、第１の物理的特徴の変化は、第１のアバター特徴及び第２のアバター特徴に異なる影響を与える（例えば、変更する）。例えば、第１の物理的特徴の変化は、第１のアバター特徴の回転変化（例えば、アバターの眼球の回転）を引き起こすが、第２のアバター特徴（例えば、アバターの耳の位置の偏移）の並進移動変化を引き起こす回転変化（例えば、眼球の回転）とすることができる。いくつかの実施形態では、第１のアバター特徴及び第２のアバター特徴の変化は、同じタイプの変化（例えば、物理的特徴の変化と同じタイプの変化）である。
いくつかの実施形態では、第１のアバター特徴は、アバターの口（例えば、１３３０）を含み、第２のアバター特徴は、アバターの顔の毛（例えば、１３４２）の少なくとも一部を含み、第１の物理的特徴は、ユーザの口（例えば、１３２０）の少なくとも一部を含み、第１の物理的特徴の変化は、ユーザの口の少なくとも一部の変位を含む（例えば、ユーザの口が笑顔の場合、（中立的な静止位置にあるときのユーザの口の角の位置に対して）ユーザの口の角が上方向に変位する）。いくつかのそのような実施形態では、第１の物理的特徴の検出された変化に基づいて第１のアバター特徴を変更することは、ユーザの口の少なくとも一部の変位に基づいてアバター口の形状を変更することを含む（例えば、（中立的な静止位置にあるときのユーザの口の角の位置に対して）ユーザの口の角が上方向に変位する場合、笑顔に対応する形状にアバターの口が変更される）。更に、そのようないくつかの実施形態では、第１の物理的特徴の検出された変化に基づいて第２のアバター特徴を変更することは、ユーザの口の少なくとも一部の変位の大きさ又は方向に基づいて、アバターの顔の毛の少なくとも一部の場所（例えば、アバターの顔の毛の場所は、ユーザの口の位置又は形状の変化に基づいて変化する）及びアバターの顔の毛の少なくとも一部の間隔（例えば、ユーザの口の位置又は形状の変化に基づいて、アバターの顔の毛の場所が変化する）のうちの少なくとも一方を変更することを含む。いくつかの実施形態では、アバターの顔の毛の場所及び間隔の変更は、アバターの口及び周囲の接続された顔の構造の形状又は位置の変化（例えば、変位）を促進し、ひいてはアバターの口に近い領域にあるアバターの顔の毛の位置、場所、又は間隔の変化を促進することにより達成される。
いくつかの実施形態では、第１のアバター特徴は、アバターの口（例えば、１７３０）を含み、第２のアバター特徴は、アバターの鼻（例えば、１７３６）を含み、第１の物理的特徴は、ユーザの口（例えば、１７２０）の少なくとも一部を含み、第１の物理的特徴の変化は、ユーザの口の少なくとも一部の変位を含む（例えば、ユーザの口が笑顔の場合、（中立的な静止位置にあるときのユーザの口の角の位置に対して）ユーザの口の角が上方向に変位する）。いくつかのそのような実施形態では、第１の物理的特徴の検出された変化に基づいて第１のアバター特徴を変更することは、ユーザの口の少なくとも一部の変位に基づいてアバター口の形状を変更することを含む（例えば、（中立的な静止位置にあるときのユーザの口の角の位置に対して）ユーザの口の角が上方向に変位する場合、笑顔に対応する形状にアバターの口が変更される）。更に、そのようないくつかの実施形態では、第１の物理的特徴の検出された変化に基づいて第２のアバター特徴を変更することは、ユーザの口の少なくとも一部の変位の大きさ又は方向に基づいて、アバターの鼻の位置を変更することを含む（例えば、アバターの鼻は、ユーザの鼻以外の物理的特徴（例えば、ユーザの口１７２０）の変位に基づいて移動する。例えば、ユーザの口がユーザの顔の左右に（例えば、左又は右に）移動すると、ユーザの口は、水平方向に左又は右方向に変位し、アバターの鼻は、ユーザの口の左／右方向に対応する方向に移動する。いくつかの実施形態では、アバターの鼻のこの動きは、鏡映方向に移動することによるユーザの口の水平方向の動きに対応する（例えば、ユーザの口がユーザの顔の右側に移動する場合、アバターの鼻は、アバターの顔の左側に向かう方向に移動し、その逆も同様である）。同様に、ユーザの口が垂直変位を有する場合（例えば、ユーザの頭の上部に向かう方向）、アバターの鼻はまた、対応する方向（例えば、アバターの頭の上部に向かう）に移動する。
いくつかの実施形態では、仮想アバター（例えば、１４００）は、第１の物理的特徴（例えば、１４２２）の変化に反応する第４のアバター特徴（例えば、１４３１）を更に含む。第１の物理的特徴の変化の検出に応じて、電子デバイス（例えば、１００、３００、５００、６００）は、第１の物理的特徴（例えば、ユーザの眉毛１４２２）の検出された変化に基づいて第４のアバター特徴を変更する。ユーザの顔の第１の物理的特徴の変化に反応する第４のアバター特徴を有する仮想アバターを表示すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの第４の部分の変更を制御する追加のオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１の物理的特徴は、ユーザの眉毛（例えば、１４２２）の少なくとも一部を含み、第１のアバター特徴は、アバターの頭（例えば、１４３５）の上部位置に配置されたアバターアンテナ特徴（例えば、１４３４）を含む（例えば、アバターの頭の上部に配置されたアンテナ（例えば、アバターがロボットの場合）は、ユーザの顔の特徴（例えば、ユーザの眉毛１４２２）の動きに応じて垂直方向に移動する）。いくつかのそのような実施形態では、第２のアバター特徴は、アバターの頭の側部に配置されたアバターの耳（例えば、１４３３）を含み（例えば、アバターがロボットである場合、アバターの耳は、丸いプレート状構造によって表され、耳の動きは、ロボットの頭の側面から構造を水平に伸ばすことによって表される）、第４のアバター特徴は、アバターの眉毛（例えば、１４３１）を含む。例えば、アバターがロボット（例えば、１４００）である場合、アバターの眉毛は、アバターの目１４３２の構造に組み込まれる線（例えば、アバターの眉毛が中立的な静止位置にあるときの水平線１４３１）によって表される。いくつかの実施形態では、ロボット眉毛の動きは、１４１２Ｃに示すように線の位置を回転させることによって表され（アバターの目を回転させることを含むことができる）、線の回転位置を使用してロボットアバターの眉毛の位置を示すことができる。いくつかの実施形態では、線（及びアバターの目）が回転又は傾斜する度合いは、ユーザの眉毛の垂直変位の大きさに基づいて決定される。
いくつかの実施形態では、第１の物理的特徴の変化は、ユーザの眉毛（例えば、１４２２）の少なくとも一部の変位を含み、（例えば、ユーザの頭の上部に向かうか又はそれから離れる垂直方向における眉毛の動きの大きさ（例えば、最大範囲の割合）を含み、第１の物理的特徴の検出された変化に基づいて第１のアバター特徴を変更することは、アバターの頭（例えば、１４３５）の上部からアバターアンテナ特徴（例えば、１４３４）を延長することを含み、アバターアンテナの特徴の拡張位置は、ユーザの眉毛の少なくとも一部の変位の大きさに基づいている。いくつかのそのような実施形態では、第１の物理的特徴の検出された変化に基づいて第２のアバターの特徴を変更することが、アバターの頭の側部からアバターの耳（例えば、１４３３）を拡張することを含み、アバターの耳の拡張位置が、ユーザの眉毛の少なくとも一部の変位の大きさに基づいている。いくつかのそのような実施形態では、第１の物理的特徴の検出された変化に基づいて第４のアバター特徴を変更することは、少なくともアバターの眉毛の一部の回転の度合いを調整することを含み、回転の度合いは、少なくともユーザの眉毛の一部の変位の大きさに基づいている。例えば、アバターがロボット（例えば、１４００）の場合、アバターの目は、様々な顔面表情を示すように回転又は傾斜する。いくつかの実施形態では、目が回転又は傾斜する度合いは、ユーザの眉毛の垂直変位の大きさに基づいて決定される。
いくつかの実施形態では、第１の物理的特徴は、ユーザの瞼（例えば、１３２７）の少なくとも一部を含み、第１のアバター特徴は、アバターの瞼（例えば、１３４８）を含み、第２のアバター特徴は、アバターの目（例えば、１３３２）を含み、第１の物理的特徴の変化は、ユーザの瞼の少なくとも一部の変位を含む（例えば、ユーザの頭の上部に向かうか又はそれから離れる垂直方向における瞼の動きの大きさ（例えば、最大範囲の割合））。いくつかの実施形態では、第１の物理的特徴の検出された変化に基づいて第１のアバター特徴を変更することは、アバターの瞼を導入すること（いくつかの実施形態では、アバターの瞼は、閉位置に導入される）及びアバターの瞼を閉位置に向かって移動させることを含み、閉位置に向かうアバターの瞼の位置は、ユーザの瞼の少なくとも一部の変位の大きさに基づいている。いくつかの実施形態では、アバターの瞼は、ユーザの瞼の変位の大きさがアバターの瞼を導入するための閾値の大きさ（例えば、５０％以上閉じた）に到達するまで表示されない。そのような実施形態では、アバターの瞼は、閉位置に表示されるか、又は開位置から閉位置に遷移することができ、閉位置に遷移するときのアバターの瞼の瞬間位置は、ユーザの瞼の変位の大きさに基づいて決定される。いくつかの実施形態では、第１の物理的特徴の検出された変化に基づいて第２のアバター特徴を変更することは、少なくともユーザの瞼の一部の変位の大きさに基づいてアバターの目のサイズを調整することを含む。例えば、アバターの目は、第１の物理的な特徴の変化を検出する前に表示されていたよりも多くのアバターの目を表示するように（又はアバターの目のサイズを大きくするように）変更される。
いくつかの実施形態では、第１の物理的特徴は、ユーザの唇（例えば、１４２０Ｃ）の少なくとも一部を含み、第１のアバター特徴は、アバターの口（例えば、１４３０）を含み、第２のアバター特徴は、アバターの鼻（例えば、１４３６）を含み、第１の物理的特徴の変化は、第１の位置から第２の位置へのユーザの唇の少なくとも一部の変位を含む。例えば、ユーザが特定のポーズに唇／口を調整したときに、第１の位置は、中立位置とすることができ、第２の位置は、唇の結果の位置とすることができる。いくつかの実施形態では、ユーザの唇の位置の変化は、口のポーズの変化（例えば、眉毛をひそめた状態から笑顔へ）及び／又はユーザの口／唇の変位の変化（例えば、顔の片側にユーザの唇を偏移する（例えば、唇は右に偏移する））に対応する。いくつかの実施形態では、第１の物理的特徴の検出された変化に基づいて第１のアバター特徴を変更することは、ユーザの唇の少なくとも一部の第２の位置に基づくアバター口の形状及び水平偏移のうちの少なくとも一方を変更することを含む。例えば、アバターの口は、ユーザの口を直接鏡映する方法では移動しない（例えば、垂直方向への移動、開閉など）。代わりに、アバターの口の変化は、アバターの口の水平位置を偏移すること（例えば、Ｘ軸に沿って口を並進移動する）及び／又はアバターの口の形状を変化させる（例えば、口の形状に関連付けられた表情を示すために）ことによって示され、アバターの口の偏移及び形状の変化は、ユーザの唇の変化によって促進される。
いくつかの実施形態では、口は、しかめ面又は笑顔を示すための台形形状を形成する（例えば、台形の上縁部が台形の下縁部よりも長い場合、台形は笑顔に対応し、台形の上縁部が台形の下縁部よりも短い場合、台形は眉毛をひそめることに対応する）。いくつかの実施形態では、口は、円形を形成し、すぼめた表情又は驚いた表情を示す。いくつかの実施形態では、アバターの口は、ユーザの口の形状が変化するにつれて左右に偏移し（例えば、ユーザは、唇を左右に偏移する）、第１の物理的特徴の検出された変化に基づいて第２のアバター特徴を変更することは、アバターの鼻の回転の度合いを調整することを含み、回転の度合いは、第１の位置から第２の位置へのユーザの唇の少なくとも一部の変位の大きさ及び方向のうちの少なくとも一方に基づいている。いくつかの実施形態では、鼻が回転する度合いは、第１の位置から第２の位置へのユーザの唇の変位の大きさ又は方向に基づいて決定される。
いくつかの実施形態では、第１の物理的特徴は、ユーザの頬（例えば、１６２８）の少なくとも一部を含み、第１のアバター特徴は、アバターの頬（例えば、１６３３）を含み、第２のアバター特徴は、アバターの顔（例えば、１６５５）から伸びるアバター特徴（例えば、１６５０）（例えば、象の胴、ニワトリの肉垂、鳥のくちばし）を含む。例えば、アバターがニワトリ（例えば、１６００）の場合、アバターは、検出されたユーザの頬（例えば、１６２８）の変化に基づいて移動する肉垂（例えば、１６５０）を含む。第１の物理的特徴の変化は、第１の位置（例えば、１６０１Ａ）から拡張位置（例えば、１６０１Ｂ）へのユーザの頬の少なくとも一部の変位を含み、拡張位置は、第１の位置から拡張位置へのユーザの頬の少なくとも一部の変位の大きさに基づいている。例えば、第１の位置は、頬が弛緩した状態にあるときのユーザの頬の位置に対応し、拡張位置は、ユーザが頬を拡張する、又は膨らませるときのユーザの頬の位置に対応する。
いくつかの実施形態では、第１の物理的特徴の検出された変化に基づいて第１のアバター特徴を変更することは、アバターの頬を初期位置（例えば、１６１１Ａ）から拡張位置（例えば、１６１１Ｂの１６３３）に変更することを含む。例えば、アバターの頬は、初期位置から拡張位置（例えば、膨らんだ、又は拡張したポーズ）に移動し、初期位置は、ユーザの頬が弛緩した状態にあるときのアバターの頬の位置に対応し、拡張位置は、弛緩状態の位置から拡張位置までのユーザの頬の変位の大きさに基づいている。いくつかの実施形態では、仮想アバターの初期位置は、区別されない位置である。
いくつかの実施形態では、第１の物理的特徴の検出された変化に基づいて第２のアバターの特徴を変更することは、第１の位置から拡張位置までの少なくともユーザの頬の一部の変位の大きさに基づいてアバターの顔から離れて拡張するアバター特徴の位置を変更することを含む。いくつかの実施形態では、ニワトリの肉垂の動きは、物理モデル（例えば、慣性モデル、重力モデル、力伝達モデル、摩擦モデル）に基づいている。いくつかの実施形態では、物理モデルは、顔又は顔の一部（例えば、アバターの頬）の動きの大きさ及び方向、並びに疑似的質量、疑似的弾性、疑似的摩擦係数又は他の疑似的な物理的特性などの仮想アバター特徴（例えば、肉垂）の１つ以上の所定の特性に基づいて、アバター特徴の動きの大きさ及び方向を規定する。
いくつかの実施形態では、第１の物理的特徴は、ユーザの頬（例えば、１４２８）の少なくとも一部を含み、第１のアバター特徴は、アバターの頭（例えば、１４３５）の側部に位置するアバターの耳（例えば、１４３３）を含む。例えば、アバターがロボット（例えば、１４００）の場合、アバターの耳（例えば、１４３３）は、丸みを帯びたプレート状の構造によって表される。いくつかの実施形態では、耳の動きは、ロボットの頭の側面から構造を水平に伸ばすことによって表される。いくつかの実施形態では、耳の動きは、ロボットの頭の側面から構造を傾けることによって表される。いくつかの実施形態では、第２のアバター特徴は、アバターの頭の上部に位置するアバターアンテナ特徴（例えば、１４３４）を含む（例えば、ユーザの顔の特徴（例えば、ユーザの頬）の動きに応じて垂直方向に移動するアバターの頭の上部に位置するアンテナ（例えば、アバターがロボットである場合））。いくつかのそのような実施形態では、第１の物理的特徴の変化は、第１の位置（例えば、１４０１Ａ）から拡張位置（例えば、１４０４Ｃ）へのユーザの頬の少なくとも一部の変位を含む（例えば、第１の位置は、頬が弛緩状態にあるときのユーザの頬の位置に対応し、拡張位置は、ユーザが頬を拡張する、又は膨らませるときのユーザの頬の位置に対応する）。更に、そのような実施形態では、第１の物理的特徴の検出された変化に基づいて第１のアバター特徴を変更することは、アバターの頭の側部からアバターの耳を延長することを含み、アバターの耳の拡張位置は、第１の位置から拡張位置へのユーザの頬の少なくとも一部の変位の大きさに基づいており、第１の物理的特徴の検出された変化に基づいて第２のアバター特徴を変更することは、アバターの頭の上部からアバターアンテナ特徴を伸ばすことを含み、アバターアンテナ特徴の拡張位置は、第１の位置から拡張位置へのユーザの頬の少なくとも一部の変位の大きさに基づいている。
方法２０００に関して上述したプロセス（例えば、図２０）の詳細はまた、上述及び後述する方法１８００及び１９００にも、類似の方法で適用可能であることに留意されたい。例えば、方法２０００は、任意選択的に、方法８００、９００、１８００、１９００、２１００、２２００、２３００、２４００、及び２５００を参照して以下に説明する様々な方法の特性のうちの任意の１つ以上を含む。例えば、方法８００にしたがってアニメーション化されたアバターを生成、送信、及び受信する方法は、方法２０００にしたがって生成された仮想アバター（例えば、ユーザの顔の位置の変化に反応しながら生成されたアバター）を使用してもよい。同様に、方法２０００にしたがって生成及び／又は変更された仮想アバター及びアニメーション効果は、方法８００又は９００の仮想アバター生成インタフェース（例えば、８０４、９０４）の仮想アバターの表示されたプレビューに含まれてもよい。他の例では、方法２０００にしたがって生成された仮想アバター（例えば、ユーザの顔の位置の変化に反応しながら生成されたアバター）はまた、方法８００、９００、１８００、１９００、２１００、２２００、２３００、２４００、及び２５００の仮想アバター生成及び変更方法にしたがって生成されてもよい。例えば、方法２０００にしたがって生成された仮想アバターは、ポーズ（例えば、１８１０及び１８１２）の変化のタイプに応じて、ユーザの顔のポーズを変化させるために第２のアバター部分（例えば、１５３９）とは異なる反応をする第１のアバター部分（例えば、１５３５）を含むことができる。簡潔にするために、さらなる例を除外する。
図２１は、いくつかの実施形態による、１つ以上のカメラによって検出された顔に基づいて仮想アバターを生成するための、電子デバイスにおける方法を示すフロー図である。方法２１００は、１つ以上のカメラ（例えば、１６４、６０２）及びディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を備えた電子デバイス（例えば、１００、３００、５００、６００）で実行される。方法２１００における一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
以下に説明するように、方法２１００は、物理的特徴の変化の範囲全体で異なる動作を示すことができる仮想アバターを生成するための直感的な方法を提供する。本方法は、仮想アバターを生成するためのユーザの物理的及び認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式のコンピューティングデバイスの場合、ユーザがユーザアバターをより速くかつより効率的に生成することを可能にすることは、節電し、バッテリ充電の時間間隔を長くする。方法２１００の例は、図１２Ａ～図１２Ｃを参照して説明したユーザインタフェース及び仮想アバターにおいて見出すことができる。
電子デバイス（例えば、１００、３００、５００、６００）は、ディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を介して、１つ以上のカメラの視野内の顔の第１の物理的特徴（例えば、１２２０）の変化に反応する（２１０４）第１のアバター特徴（例えば、１２３０）を含む仮想アバター（例えば、１２００）を表示する（２１０２）。例えば、第１のアバター特徴は、検出された物理的特徴の可能な動きの範囲にわたって特異関数（例えば、線形関数）にしたがって一貫して反応的である。１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴を有する仮想アバターを表示すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの第１の部分の変更を制御するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
仮想アバターはまた、顔の第２の物理的特徴の変化が第２の物理的特徴の第１の変化の範囲又は第２の物理的特徴の第１の変化範囲とは異なる第２の物理的特徴の第２の変化の範囲で生じるかどうかに応じて、顔の第２の物理的特徴（例えば、１２２３）の変化に異なる方法で反応する第２のアバター特徴（例えば、１２３２）を含む（２１０６）。例えば、第２のアバター特徴は、検出された物理的特徴の可能な動きの範囲の特定の部分に対する非反応性を含む、検出された物理的特徴の可能な動きの範囲にわたる複数の機能にしたがって一貫性のない反応性である。顔の第２の物理的特徴の変化が第２の物理的特徴の第１の変化の範囲又は第２の物理的特徴の第１の範囲とは異なる第２の物理的特徴の第２の範囲で生じるかどうかに応じて、顔の第２の物理的特徴の変化に異なる方法で反応する第２のアバター特徴を有する仮想アバターを表示すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの第２の部分への異なる変更を制御するオプションの範囲をユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
仮想アバター（例えば、１２００）を表示している間、電子デバイス（例えば、１００、３００、５００、６００）は、１つ以上のカメラの視野内の顔のそれぞれの物理的特徴（例えば、１２２０、１２２３）の第１の変化を検出する（２１０８）。いくつかの例では、物理的特徴の変化は、特徴の潜在的な変化の範囲内の物理的特徴値（例えば、大きさの値）として追跡され、その範囲は、様々なユーザの顔の特徴及び／又は履歴データに基づく経験的キャリブレーション又は予測モデリングに基づいて決定される。例えば、変化は、０～１０の可能な大きさの範囲内で２の大きさを有すると評価されることができる。
それぞれの物理的特徴の第１の変化の検出に応じて、電子デバイス（例えば、１００、３００、５００、６００）は、以下の動作のうちの任意の１つ以上を実行することを含めて、仮想アバターを変更する（２１１０）。それぞれの物理的特徴の検出された第１の変化が第１の物理的特徴（例えば、１２２０）の変化であるという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、第１の物理的特徴の変化を反映するように第１のアバター特徴（例えば、１２３０）を変更する（２１１２）。いくつかの例では、第１の物理的特徴の変化の方法は、第１の物理的特徴の変化の範囲に依存しない。第１の物理的特徴の変化を反映するように第１のアバター特徴を変更すると、同じ物理的特徴のさらなる動きが、デバイスがさらなる動きに基づいて第１のアバター特徴を変化させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
検出された第１の変化が第２の物理的特徴の変化（例えば、１２２３）でありかつ第２の物理的特徴の変化が第１の変化の範囲内であるという判定に従って（例えば、変更閾値を満たすか又はそれを超える第２の物理的特徴の第２の物理的特徴値に応じて）（例えば、０～１０の可能な大きさの範囲で５以上の大きさを有する）、電子デバイス（例えば、１００、３００、５００、６００）は、第２の物理的特徴の変化を反映するように第１の方法での第２のアバター特徴（例えば、１２３２）の外観を変化させる（２１１４）。第１の変化が第２の物理的特徴の変化でありかつ第２の物理的特徴の変化が第１の変化の範囲内にある場合、第２の物理的特徴の変化を反映するように第２のアバター特徴の外観を第１の方法で変化させると、同じ動きの範囲内で同じ物理的特徴を更に動かすことが、デバイスが同じ方法で第２のアバター特徴を変化させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、アバター特徴は、０～１０の可能な動きの範囲を有し、ユーザの物理的特徴はまた、０～１０の可能な動きの範囲を有し、変更閾値は５である。いくつかの例では、閾値を満たすか又は超える最終的な物理的特徴値をもたらす物理的特徴の変化は、アバター特徴の可能な動きの全範囲にわたって誇張された動きをもたらし、５から６への物理的特徴の変化は、０から２の値から変更されるアバター特徴をもたらすのに対して、６から７への物理的特徴の変化は、２から４に変更されるアバター特徴をもたらす。このようにして、物理的特徴の変化は、変更閾値を満たすか又は超えると、アバター特徴の動きの全範囲を制御することができる。いくつかの例では、５から６への物理的特徴の変化がアバター特徴を０から８、０～１０の可能な範囲で遷移させ、６から１０への物理的特徴の変化がアバター特徴の劇的な変化を引き起こさない（例えば、８～１０の変化）ように、非線形関数にしたがって誇張がモデル化される。このようにして、ユーザの物理的特徴の変化は、変更閾値が満たされると、アバター特徴の初期変化を非常に誇張することができる。いくつかの例では、少なくとも部分的に、可能な動きの範囲の第１のサブ部分（例えば、０～１０の範囲の６～１０などの後半部分）内で生じる物理的特徴の変化は、対応するアバター特徴の変更をもたらす。そのような例では、第１のサブ部分は、変更閾値を満たすか又はそれを超える範囲の部分である。
検出された第１の変化が第２の物理的特徴（例えば、１２２３）の変化でありかつ第２の物理的特徴の変化が第２の変化の範囲内（２１１６）（例えば、変更閾値を満たさないか又は超えない第１の物理的特徴値及び第２の物理的特徴値）であるという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、第２の物理的特徴の変化を反映するように第１の方法で第２のアバター特徴の外観を変化させることを取り止める。いくつかの例では、物理的特徴の可能な動きの範囲の第２のサブ部分（例えば、０～１０の範囲の０～５などの初期部分）内で完全に生じる物理的特徴の変化は、対応するアバター特徴の変更をもたらさない。そのような実施形態では、第２のサブ部分は、変更閾値を満たすか又は超えない範囲の部分である。
いくつかの例では、それぞれの物理的特徴の第１の変化の検出に応じて、検出された第１の変化が第２の物理的特徴（例えば、１２２３）の変化でありかつ第２の物理的特徴の変化が第２の変化の範囲内であるという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、第２の物理的特徴の変化を反映するように第２の方法で第２のアバター特徴（例えば、１２３２）の外観を変化させる。いくつかの例では、第２の変化の範囲は、第２の物理的特徴の可能な動きの範囲内のサブセットを表す。いくつかの例では、サブセットは、動きの範囲の上限（例えば、０～１０の可能な範囲のうち８～１０の範囲、０は動きなし、１０は最大の可能な動きである）に対応する。いくつかの例では、第２のアバター特徴の外観を変更する第２の方法は、第２のアバター特徴に適用される誇張された効果を含む。いくつかの例では、この誇張された効果は、第２のアバター特徴から伸びるスパイク又は突起を含む。第１の変化が第２の物理的特徴の変化でありかつ第２の物理的特徴の変化が第２の変化の範囲内にある場合、第２の物理的特徴の変化を反映するように第２のアバター特徴の外観を第２の方法で変化させると、同じ動きの範囲内で同じ物理的特徴を更に動かすことが、デバイスが第２の物理的特徴の変化が第１の変化の範囲内にあるときに行われた変化の方法とは異なるとは異なる同じ方法で第２のアバター特徴を変化させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、第２のアバター特徴（例えば、１２３２）の外観を変化させる第１の方法は、第２のアバター特徴の外観を変化させる第２の方法とは異なる。いくつかの例では、第２のアバター特徴の外観を変化させる第１の方法は、第２の物理的特徴の動きに対応する第２のアバター特徴の移動又は変更を含むのに対して、第２のアバター特徴の外観を変化させる第２の方法は、第２のアバター特徴に適用された誇張された効果を含む。いくつかの例では、この誇張された効果は、第２のアバター特徴から伸びるスパイク又は突起を含む。
いくつかの例では、それぞれの物理的特徴の第１の変化が検出されている間に表示される仮想アバターは、第１の仮想アバターテンプレート（例えば、エイリアンアバター１２００に対応するアバターテンプレート）に基づいている。そのような例では、電子デバイスは、それぞれの物理的特徴の第１の変化の検出に応じて第１の仮想アバターテンプレートに基づいて仮想アバターを変更した後、第１の仮想アバターテンプレートとは異なる第２の仮想アバターテンプレート（例えば、クマアバターテンプレート１１００に対応するアバターテンプレート）に基づく仮想アバターを表示しながら、第２の物理的特徴（例えば、１２２３）の第２の変化を検出する。更に、そのような例では、第２の物理的特徴の第２の変化の検出に応じて、電子デバイス（例えば１００、３００、５００、６００）は、第２の物理的特徴の第２の変化を反映するように第２のアバター特徴（例えば、目１１３２、１２３２）を変更し、第２のアバター特徴の外観は、第２の物理的特徴の変化が第１の変化の範囲内であるか又は第２の変化の範囲内であるかにかかわらず同じ方法で変化する。第２のアバター特徴の外観が、第２の物理的特徴の変化が第１の変化の範囲内にあるか又は第２の変化の範囲内にあるかにかかわらず同じ方法で変化するように、第２の物理的特徴の変化を反映するように第２のアバター特徴を変更すると、同じ物理的特徴のさらなる動きが、デバイスが変化の範囲に依存しない方法で第２アバター特徴を変化させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。いくつかの例では、異なる仮想アバターテンプレートの場合、第２の物理的特徴の変化は、第２の物理的特徴の変化が第１の変化の範囲内であるか又は第２の変化の範囲内であるかに応じて第２のアバター特徴の異なる変化を引き起こすのではなく、第２のアバター特徴の滑らかな変化を引き起こす。
いくつかの例では、それぞれの物理的特徴の第１の変化の検出に応じて、検出された第１の変化が第２の物理的特徴（例えば、１２２３）の変化でありかつ第２の物理的特徴の変化が第１の変化の範囲内であるという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、第２の物理的特徴の変化を反映するように第２の方法で第２のアバター特徴（例えば、１２３２）の外観を変化させることを取り止める。
いくつかの例では、第２の物理的特徴は、ユーザの瞼（例えば、１２２３の一部）を含み、第２のアバター特徴は、アバターの目（例えば、１２３２）を含み、第２の変化の範囲内にある（例えば、変化の範囲内の所定の閾値を超える変化（例えば、ユーザの瞼は、ユーザの瞼について可能な変化の範囲内で５０％以上閉じられる））第２の物理的特徴の変化に基づいて第２の方法で第２のアバター特徴の外観を変化させることは、アバターの目のサイズを小さくすることを含む。例えば、仮想アバターがエイリアン（例えば、１２００）でありかつユーザの瞼が５０％以上閉じている場合、エイリアンの目１２３２のサイズは、エイリアンの目が閉じた位置に向かって動いているように見えるように減少し始める。いくつかの例では、ユーザの瞼が完全に閉じている（例えば、１００％閉じている）場合、アバターの目は、アバターの目が完全に閉じていることを示す形状（例えば、線）によって表される。いくつかの実施形態では、第１の変化の範囲内にある（例えば、ユーザの瞼は、ユーザの瞼の可能な変化の範囲の５０％未満だけ閉じられる）第２の物理的特徴の変化に基づいて第１の方法で第２のアバター特徴の外観を変化させることは、アバターの目のサイズを小さくすることを含まない。いくつかの例では、閾値の大きさは、第２の物理的特徴（ユーザの瞼など）の可能な動きの範囲の５０％である。そのような例では、第１の変化の範囲は、０％から５０％未満に対応し、第２の変化の範囲は、５０％から１００％に対応する。そのような実施形態では、第２の仮想アバター特徴（例えば、仮想アバターの目）の対応する変更は、第２の物理的特徴の変化が第２の物理的特徴の可能な動きの範囲の５０％以上である場合にのみ生じる。例えば、ユーザの瞼が閾値の大きさ（例えば、５０％以上閉じている）を超えて移動すると、仮想アバターの目は、ユーザの瞼の瞬間的な位置を反映するように閉位置に向かって動き始める（例えば、サイズを小さくすることにより）。
いくつかの例では、第２の物理的特徴は、ユーザの頬（例えば、１２２８）を含み、第２のアバター特徴は、アバターの頬（例えば、１２５６）を含み、第２の変化の範囲内にある（例えば、変化の範囲内で所定の閾値を超える変化（例えば、ユーザの頬は、ユーザの頬の可能な変化の範囲内の７０％以上だけ膨らまされる又は拡張される））第２の物理的特徴の変化に基づいて第２の方法で第２のアバター特徴の外観を変化させることは、アバターの頬に誇張されたアバター効果（例えば、ユーザが極端な頬の膨らみを示したときに仮想アバターから伸びる突起又はスパイク１２５８）を導入することを含み、第１の変化の範囲内にある（例えば、ユーザの頬は、ユーザの頬の可能な変化の範囲の７０％未満だけ膨らまされる又は拡張される）第２の物理的特徴の変化に基づいて第１の方法で第２のアバター特徴の外観を変化させることは、ユーザの頬の変化の大きさに基づいてアバターの頬を変更することを含む。いくつかの例では、ユーザの頬の変化の大きさに基づいてアバターの頬を変更すると、誇張されたアバター効果が導入されない。いくつかの例では、閾値の大きさは、第２の物理的特徴（ユーザの頬など）の可能な動きの範囲の７０％である。そのような例では、第１の変化の範囲は、０％から７０％未満に対応し、第２の変化の範囲は、７０％から１００％に対応する。そのような例では、第２のアバター特徴（例えば、仮想アバターの頬）における誇張されたアバター効果（例えば、スパイク又は突起）の導入は、第２の物理的特徴の変化が第２の物理的特徴の可能な動きの範囲の７０％などの所定の閾値を満たすか又は超える場合にのみ生じる（例えば、ユーザの頬が閾値の大きさを超えて移動するとき（例えば、７０％以上膨らんだとき））。更に、そのような例では、仮想アバター特徴（例えば仮想アバターの頬）は、第２の物理的特徴の変化が第２の物理的特徴の可能な動きの範囲の７０％未満である場合（例えば、ユーザの頬が閾値の大きさ未満であるとき（例えば、７０％未満だけ膨らんだとき））、第２の物理的特徴の変化の大きさに基づいて変更される。
いくつかの例では、第２の物理的特徴は、ユーザの眉毛（例えば、１２２２）を含み、第２のアバター特徴は、アバターの頭の上部部分を含み、第２の変化の範囲内にある（例えば、変化の範囲内の所定の閾値を超える変化（例えば、ユーザの眉毛は、ユーザの眉毛の可能な変化の範囲内で７０％以上持ち上げられる））第２の物理的特徴の変化に基づいて第２の方法で第２のアバター特徴の外観を変化させることは、アバターの頭の上部部分に誇張されたアバター効果（例えば、ユーザが極端な眉毛の持ち上げを示すときに仮想アバターから伸びる突起又はスパイク１２５４）を導入することを含み、第１の変化の範囲内にある（例えば、ユーザの眉毛は、ユーザの眉毛の可能な変化の範囲の７０％未満しか持ち上げられない）第２の物理的特徴の変化に基づいて第１の方法で第２のアバター特徴の外観を変化させることは、アバターの頭の上部部分に誇張されたアバター効果を導入することを含まない。いくつかの例では、閾値の大きさは、第２の物理的特徴（ユーザの眉毛など）の可能な動きの範囲の７０％である。そのような例では、第１の変化の範囲は、０％から７０％未満に対応し、第２の変化の範囲は、７０％から１００％に対応する。そのような実施形態では、第２のアバター特徴（例えば、仮想アバターの頭）における誇張されたアバター効果（例えば、スパイク又は突起）の導入は、第２の物理的特徴の変化が第２の物理的特徴の可能な動きの範囲の７０％などの所定の閾値を満たすか又は超える場合にのみ生じる（例えば、ユーザの眉毛が閾値の大きさを超えて移動するとき（例えば、７０％以上持ち上げられたとき））。更に、このような例では、第２の物理的特徴の変化が第２の物理的特徴の可能な動きの範囲の７０％未満である場合（例えば、ユーザの眉毛が閾値の大きさ未満だけ動く場合（例えば、７０％未満しか持ち上げられない場合））、誇張されたアバター効果は、仮想アバター特徴（例えば、仮想アバターの頭）に導入されない。
いくつかの例では、第１の物理的特徴（例えば、１２２０）の変化を反映するように仮想アバターの第１のアバター特徴を変更することは、第１の物理的特徴の変化の大きさ（例えば、第１の物理的特徴の位置の変化の度合い）に基づいて第１のアバター特徴を変更することを含む。第１の物理的特徴の変化の大きさに基づいて第１のアバター特徴を変更すると、同じ物理的特徴のさらなる動きが、デバイスが同じ物理的特徴の動きの大きさに基づいて第１のアバター特徴を変更することを示すフィードバックをユーザに提供する。いくつかの例では、変化の大きさは、物理的特徴の開始位置及び終了位置に基づいて決定される。いくつかの例では、変化の大きさは、変化の最大範囲内の変化の割合として決定される。更に、第２の物理的特徴の変化を反映するように第１の方法で第２のアバター特徴（例えば、１２３２）の外観を変更することは、第２の物理的特徴（例えば、１２２３）の変化の第１の大きさ（例えば、第２の物理的特徴の位置の変化の度合い）に基づいて第２のアバター特徴を変更することを含む。いくつかの例では、第２の物理的特徴の動きの大きさが大きいほど、第１の方法での第２のアバター特徴の変更量が大きくなり、第２の物理的特徴の動きの大きさが小さいほど、第１の方法での第２のアバター特徴の変更量が少なく、その逆も同様である。いくつかの例では、アバター特徴の反応の大きさは、ユーザの物理的特徴の変化の大きさに対応する。いくつかの例では、物理的特徴の変化の大きさは、物理的特徴の潜在的な動きの範囲に応じて決定され、大きさは、その物理的特徴の動きの範囲（例えば、予測された又はモデル化された動きの範囲）内の物理的特徴の相対位置を表す。そのような実施形態では、アバター特徴の反応の大きさは、同様に、アバター特徴の動きの範囲内のアバター特徴の相対位置である。いくつかの例では、変化の大きさは、変化による物理的特徴の開始位置と終了位置の比較又は測定（例えば、距離）に基づいて決定される。そのような例では、物理的特徴（例えば、第１の物理的特徴）の変化は、（例えば、直接的に又はスケーリング若しくは調整された値として）物理的特徴の変化の測定値をアバター特徴に適用することにより、第１のアバター特徴の変更に変換されることができる。更に、そのような例では、第２の物理的特徴の変化を反映するように第２の方法で第２のアバター特徴の外観を変更することは、第２の物理的特徴の変化の第２の大きさに基づいて第２のアバター特徴を変更することを含む。例えば、第２の物理的特徴の動きの大きさが大きいほど、第２の方法での第２のアバター特徴の変更量が大きくなり、第２の物理的特徴の動きの大きさが小さいほど、第２の方法での第２のアバター特徴の変更量が少なく、その逆も同様である。いくつかの例では、第２の物理的特徴の変化の第１の大きさは、第２の物理的特徴の変化の第２の大きさよりも小さい。いくつかの例では、第２の物理的特徴の変化の第１の大きさは、第２の物理的特徴の変化の第２の大きさよりも大きい。
いくつかの例では、第１の物理的特徴（例えば、１２２０）の変化を反映するように仮想アバターの第１のアバター特徴（例えば、１２３０）を変更することは、第１の物理的特徴のポーズの変化の方向（例えば、回転方向、１つ以上のカメラの視野に対する第１の物理的特徴の角度の変化の方向、又は並進移動方向）に基づいて第１のアバター特徴の少なくとも一部のポーズ（例えば、回転方向、第１のアバター特徴が表示される角度、又は表示位置）を変更することを含む。更に、そのような例では、第２の物理的特徴の変化を反映するように第１の方法で第２のアバター特徴の外観を変更することは、第２の物理的特徴のポーズの変化の方向（例えば、回転方向、１つ以上のカメラの視野に対する第２の物理的特徴の角度変化の方向、又は並進移動方向）に基づく第２のアバター特徴の少なくとも一部のポーズ（例えば、回転方向、アバター特徴が表示される角度、又は表示位置）の変更を含む。更に、そのような例では、第２の物理的特徴の変化を反映するように第２の方法で第２のアバター特徴の外観を変更することは、第２の物理的特徴のポーズの変化の方向に基づいて第２のアバター特徴の少なくとも一部のポーズを変更することを含む。
いくつかの例では、アバター特徴に対する変更は、大きさ成分と方向成分の両方を有する。いくつかの例では、アバター特徴の変更の方向成分は、アバター特徴が反応する１つ以上の物理的特徴の変化の方向成分に基づいている。いくつかの例では、アバター特徴の変化の方向成分は、物理的特徴の変化の方向成分と同じである。例えば、物理的特徴（例えば、眉毛）が上に移動すると、アバター特徴（例えば、アバターの眉毛）は上に移動する。いくつかの例では、アバター特徴の変化の方向成分は、物理的特徴の変化の方向成分に対して鏡映される。例えば、物理的特徴（例えば、口）が左に移動すると、アバター特徴（例えば、アバターの口）は右に移動する。いくつかの例では、アバター特徴の変化の方向成分は、鏡で見たときに見られる効果と同様に、縦軸に沿った動きの物理的特徴の変化の方向成分と同じであり、横軸に沿った動きに対して鏡映される。いくつかの例では、物理的特徴（例えば、ユーザの虹彩又は瞼）の相対位置の変化は、物理的特徴の中立的な静止位置から決定される方向にある。いくつかの例では、ユーザの虹彩の中立的な静止位置は、ユーザの眼球の周辺部に対して特定の位置（例えば、中央）に決定される。いくつかの例では、アバター特徴の反応の方向は、ユーザの物理的特徴の変化の相対方向に（例えば、直接的に又は逆に）対応する。いくつかの例では、物理的特徴の変化の相対方向は、物理的特徴の中立的な静止位置からの物理的特徴の移動方向に基づいて決定される。いくつかの例では、アバター特徴の反応の方向は、物理的特徴の変化の相対的な方向に直接対応する（例えば、物理的特徴が上に移動し、アバター特徴が上に移動する）。いくつかの例では、アバター特徴の反応の方向は、物理的特徴の変化の相対的な方向に逆に対応する（例えば、物理的特徴が上に移動し、アバター特徴が下に移動する）。
いくつかの例では、第２の物理的特徴（例えば、１２２３）の第１の変化の範囲及び第２の物理的特徴の第２の変化の範囲は、第２の物理的特徴の変化の潜在的な範囲（例えば、予測された、事前マッピングされた、又は検出可能な第２の物理的特徴の変化の範囲の全範囲）の隣接範囲であり、それぞれの物理的特徴の第１の変化は、第１の変化の範囲内の第１の部分から第２の変化の範囲内の第２の部分への遷移を含む第２の物理的特徴の変化を含み、変化の第１の部分の終了時に第２の物理的特徴の変化を反映しているときの第２のアバター特徴（例えば、１２３２）の外観は、変化の第２の部分の開始時に第２の物理的特徴の変化を反映しているときの第２のアバター特徴の外観と実質的に同様である。
いくつかの例では、電子デバイス（例えば、１００、３００、５００、６００）は、検出された第１の変化が第２の物理的特徴（例えば、１２２３）の変化でありかつ第２の物理的特徴の変化が第１の変化の範囲から第２の変化の範囲への変化（例えば、変更閾値よりも上から変更閾値よりも下への第２の物理的特徴の変化）であるという判定に従って、第２のアバター特徴の所定の構成に基づいて第２のアバター特徴（例えば、１２３２）を変更する。いくつかの例では、変更閾値の上から変更閾値の下への第２の物理的特徴（例えば、ユーザの瞼）の変化は、第２の物理的特徴に対応する第２のアバター特徴の中間位置を介した第２のアバター特徴の遷移なしで所定の構成に対する第２のアバター特徴（例えば、アバターの瞼）の変更をもたらす。例えば、ユーザの瞼が変更閾値を超える位置から変更閾値を下回る位置に（例えば、閉位置からわずかに開位置に）遷移するとき、アバターの瞼は、ユーザの瞼が完全に開位置に遷移するときに中間位置を横切る場合であっても、仮想瞼の中間位置（例えば、部分的に閉位置又は部分的に開位置）を横切ることなく閉位置から完全に開位置へと遷移する。
いくつかの例では、第２の物理的特徴（例えば、１２２３）の変化の第１の範囲及び第２の物理的特徴の第２の変化の範囲は、第２の物理的特徴の可能な変化の範囲内の隣接範囲であり、それぞれの物理的特徴の第１の変化は、第２の変化の範囲内の第１の変化部分から第１の変化の範囲内の第２の変化部分への遷移を含む第２の物理的特徴の変化を含み、第２のアバター特徴（例えば、１２３２）の外観は、第２の物理的特徴の変化が、第２の変化の範囲内の第１の変化部分から第１の変化の範囲内の第２の変化部分に遷移するとき、第２の物理的特徴の変化の大きさに基づく第２のアバター特徴の構成から第２のアバター特徴の所定の構成（例えば、第２の物理的特徴の変化の大きさに基づかない第２のアバター特徴の構成）へと変化する。いくつかの例では、第２の変化の範囲内の第１の変化部分（例えば、閉位置から）から第１の変化の範囲内の第２の変化部分（例えば、わずかに開位置）への第２の物理的特徴（例えば、ユーザの瞼）の変化は、第２の物理的特徴に対応する第２のアバター特徴の中間位置を介した第２のアバター特徴の遷移なしで所定の構成への第２のアバター特徴（例えば、アバターの瞼）の変更をもたらす。例えば、ユーザの瞼が閉位置からわずかに開位置に遷移するとき、アバターの瞼は、ユーザの瞼が完全に開位置に遷移するときに中間位置を横切る場合であっても、仮想瞼の中間位置（例えば、部分的に閉位置又は部分的に開位置）を横切ることなく閉位置から完全に開位置へと遷移する。
方法２１００に関して上述したプロセス（例えば、図２１）の詳細はまた、上述及び後述する方法２２００、２３００、２４００、及び２５００にも、類似の方法で適用可能であることに留意されたい。例えば、方法２１００は、任意選択的に、方法８００、９００、１８００、１９００、２０００、２２００、２３００、２４００、及び２５００に関して上述した及び後述する様々な方法の特性のうちの任意の１つ以上を含む。例えば、方法８００及び９００にしたがってアニメーション化されたアバターを生成、送信、及び受信する方法は、方法２１００にしたがって生成された仮想アバター（例えば、物理的特徴の変化の範囲にわたって異なる挙動を示すことができる仮想アバター）を使用することができる。同様に、方法２１００にしたがって生成及び／又は変更された仮想アバターは、方法８００又は９００の仮想アバター生成インタフェース（例えば、８０４、９０４）の仮想アバターの表示されたプレビューに含まれてもよい。他の例では、方法２１００にしたがって生成された仮想アバター（例えば、物理的特徴の変化の範囲にわたって異なる挙動を示すことができる仮想アバター）もまた、方法８００、９００、１８００、１９００、２０００、２２００、２３００、２４００、及び２５００の仮想アバター生成及び変更方法にしたがって生成されることができる。例えば、方法２１００にしたがって生成された仮想アバターは、ポーズ（例えば、１８１０及び１８１２）の変化のタイプに応じて、異なってユーザの顔のポーズを変化させるために第２のアバター部分（例えば、１０３６）とは異なる反応をする第１のアバター部分（例えば、１０３４）を含むことができる。同様に、方法２１００にしたがって生成された仮想アバターは、第１（例えば、１１２２）及び第２（例えば、１１２０Ａ～Ｂ）の物理的特徴の両方の変化に反応する（例えば、１９０４、１９１０、１９１４）アバター特徴（例えば、１１３３）を含むことができる。簡潔にするために、さらなる例を除外する。
図２２は、いくつかの実施形態による、１つ以上のカメラによって検出された顔に基づいて仮想アバターを生成するための、電子デバイスにおける方法を示すフロー図である。方法２２００は、１つ以上のカメラ（例えば、１６４、６０２）及びディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を備えた電子デバイス（例えば、１００、３００、５００、６００）で実行される。方法２２００における一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
以下に説明するように、方法２２００は、必要に応じて複雑さが増すことができる（例えば、アバター特徴が増える）仮想アバターを生成する直観的な方法を提供する。本方法は、仮想アバターを生成するためのユーザの物理的及び認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式のコンピューティングデバイスの場合、ユーザがユーザアバターをより速くかつより効率的に生成することを可能にすることは、節電し、バッテリ充電の時間間隔を長くする。方法２２００の例は、図１０Ａ～図１０Ｉ、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１３、図１５Ａ～図１５Ｂ、図１６Ａ～図１６Ｂ、及び図１７Ａ～図１７Ｂを参照して説明したユーザインタフェース及び仮想アバターに見出すことができる。
電子デバイス（例えば、１００、３００、５００、６００）は、ディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を介して、仮想アバター（例えば、１０００、１１００、１２００、１３００、１５００、１６００、１７００）を表示し（２２０２）、仮想アバターは、１つ以上のカメラの視野内の顔の１つ以上の物理的特徴（例えば、１０２３、１１２２、１１２３、１２２３、１３２７、１５２３、１６２０Ａ、１６２０Ｂ、１７２３）の変化に反応する複数のアバター特徴（例えば、１０３２、１１３２、１２３２、１３３２、１５３２、１６３０、１７３２）を含む。
いくつかの実施形態では、顔の複数の物理的特徴の変化を検出する前に表示される複数のアバター特徴（例えば、１０３２、１１３２、１２３２、１３３２、１５３２、１６３０、１７３２）は、顔の物理的特徴（例えば、目、鼻、口、及びアバターが見えるときに常に表示される他の特徴）の現在位置とは無関係に表示される。
仮想アバターの表示中に、電子デバイス（例えば、１００、３００、５００、６００）は、顔の複数の物理的特徴（例えば、１０２２、１０２０、１１２２、１１２３、１２２２、１２２３、１２２８、１３２３、１３２７、１５２２、１５２３、１６２０Ａ、１６２０Ｂ、１７２２、１７２３）の変化を検出し（２２０４）、顔の複数の物理的特徴は、複数のアバター特徴（例えば、アバターの口又は目）のうちの任意の１つ以上に対応する第１の物理的特徴（例えば、１０２０、１１２３、１２２３、１３２３、１５２３、１６２３、１７２３）（例えば、ユーザの口又は目）と、複数のアバター特徴（例えば、１０３２、１１３２、１２３２、１３３２、１５３２、１６３３、１７３２）のいずれにも対応しない第２の物理的な機能（例えば、１０２２、１１２２、１２２２、１２２８、１３２７、１５２２、１７２２、１６２０Ａ、１６２０Ｂ）（例えば、ユーザの眉毛、瞼、頬、又は唇）とを含む。そのような例では、アバターは、最初に、それぞれの眉毛、瞼、唇、又は頬なしで表示される。
顔の複数の物理的特徴（例えば、１０２２、１０２０、１１２２、１１２３、１２２２、１２２３、１２２８、１３２３、１３２７、１５２２、１５２３、１６２０Ａ、１６２０Ｂ、１７２２、１７２３）の変化の検出に応じて（２２０６）、電子デバイス（例えば、１００、３００、５００、６００）は、複数のアバター特徴のそれぞれのアバター特徴（例えば、１０３２、１０３０、１１３２、１２３２、１３３２、１５３２、１６３０、１７３２）の外観を変化させ（２２０８）、それぞれのアバター特徴の変化の大きさ及び／又は（例えば、包括的な「又は」）方向は、第１の物理的特徴の変化の大きさ又は方向（大きさ及び方向のうちの少なくとも一方）に基づいている。それぞれのアバター特徴の変化の大きさ及び／又は方向が第１の物理的特徴の変化の大きさ又は方向に基づくようにそれぞれのアバター特徴の外観を変更することは、同じ物理的特徴のさらなる動きが、デバイスが同じ物理的特徴のさらなる動きの変化の方向又は大きさに基づいて、それぞれのアバター特徴の外観を変更させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
更に、顔の複数の物理的特徴（例えば、１０２２、１０２０、１１２２、１１２３、１２２２、１２２３、１２２８、１３２３、１３２７、１５２２、１５２３、１６２０Ａ、１６２０Ｂ、１７２２、１７２３）の変化の検出に応じて（２２０６）、電子デバイス（例えば、１００、３００、５００、６００）は、顔の１つ以上の物理的特徴（例えば、１０３８、１０５０、１１３８、１１３９、１２５０、１２５４、１２５６、１２５８、１３３９、１３４８、１５３８、１５３１、１６３３、１６４５、１７３８）の変化を検出する前にアバター特徴を含まなかった仮想アバターの一部を変形し（２２１０）（例えば、仮想アバターの眉毛のない額領域の変形）し、アバター特徴の部分を変形させる大きさ及び／又は方向は、第２の物理的特徴の変化の大きさ及び／又は方向に基づいている。いくつかの例では、顔の複数の物理的特徴の変化を検出する前に、変形した仮想アバターの部分が表示された（例えば、１つ以上の物理的特徴において閾値を超える量の眉毛の動きが検出された場合、アバターの頭の上部とアバターの目との間の領域が変形されて眉毛を形成する）。複数の物理的特徴の変化の検出に応じて、顔の１つ以上の物理的特徴の変化を検出する前にアバター特徴を含まなかった仮想アバターの一部を変形させることにより、同じ物理的特徴のさらなる移動が、デバイスが仮想アバターの一部を変形することによって新たなアバター特徴を導入させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上の物理的特徴は、第３の物理的特徴（例えば、１０２２、１１２２、１２２２、１３２７、１５２２、１７２２、１６２０Ａ、１６２０Ｂ）（例えば、ユーザの眉毛、唇、又は瞼）を含む。そのような例では、第３の物理的特徴の第１の物理的特徴値は、第１のアバター特徴包含閾値（例えば、０～１０の可能な大きさの範囲で１以上の大きさを有する）を下回り、仮想アバターは、第３の物理的特徴に少なくとも部分的に反応する第１のアバター特徴（例えば、１０３８、１０５０、１１３８、１１３９、１２５０、１２５４、１２５６、１２５８、１３３９、１３４８、１５３８、１５３１、１６３３、１６４５、１７３８）（例えば、最初に表示されないそれぞれのアバター特徴とは異なるアバター特徴（例えば、アバターの瞼））を含まないとき、電子デバイス（例えば、１００、３００、５００、６００）は、第１の物理的特徴値から第２の物理的特徴値への第３の物理的特徴の変化を検出する。そのような例では、第１のアバター特徴包含閾値を満たすか又はそれを超える第３の物理的特徴の第２の物理的特徴値に応じて、電子デバイス（例えば、１００、３００、５００、６００）は、第１のアバター特徴（例えば、１０３８、１０５０、１１３８、１１３９、１２５０、１２５４、１２５６、１２５８、１３３９、１３４８、１５３８、１５３１、１６３３、１６４５、１７３８）（例えば、ユーザの瞼が位置変更閾値以上の値に位置を変化させた（例えば、移動）ときに以前に表示されなかったアバターの瞼を導入する）を含むように仮想アバターを変更する。更に、そのような例では、第１のアバター特徴包含閾値を満たさないか又は超えない第３の物理的特徴の第２の物理的特徴値に応じて、電子デバイス（例えば、１００、３００、５００、６００）は、第１のアバター特徴（例えば、アバターは、アバターの瞼、唇、又は眉毛なしで表示され続ける）を含むように仮想アバターを変更することを取り止める。第１のアバター特徴包含閾値を満たすか又はそれを超える第３の物理的特徴の第２の物理的特徴値に応じて第１のアバター特徴を含むように仮想アバターを変更すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの特徴への変更の包含を制御するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、第３の物理的特徴は、ユーザの目（例えば、１１２３）の少なくとも一部を含み、第１のアバター特徴（例えば、１１３８）は、アバターの眉毛（例えば、顔の複数の物理的特徴の変化を検出する前に表示されないアバターの眉毛）の少なくとも一部を含み、第１のアバター特徴包含閾値は、ユーザの目の少なくとも一部のサイズ（例えば、目の開放性の大きさ（最大範囲の割合など））が閾値サイズ値よりも大きいときに満たされるか又は超えられる。そのような例において、第１のアバター特徴を含むように仮想アバターを変更することは、アバターの眉毛の少なくとも一部を含むように仮想アバターを変更することを含む（例えば、アバターの眉毛は、アバターに追加される）。いくつかの例では、追加されたアバターの眉毛は、位置が高くなっている。
いくつかの例では、第３の物理的特徴は、ユーザの目（例えば、１１２７）の少なくとも一部を含み、第１のアバター特徴は、アバターの眉毛又は瞼（例えば、１１４８）（例えば、顔の複数の物理的特徴の変化を検出する前に表示されないアバターの眉毛又は瞼）の少なくとも一部及びとアバターの頬（例えば、１１３９）（例えば、顔の複数の物理的特徴の変化を検出する前に表示されないアバターの頬骨）の少なくとも一部を含む。そのような例では、第１のアバター特徴包含閾値は、ユーザの目の少なくとも一部のサイズ（例えば、目の開放性の大きさ（最大範囲の割合など））が閾値サイズ値よりも小さい場合に満たされるか又は超えられる。更に、そのような例では、第１のアバター特徴を含むように仮想アバターを変更することは、少なくともアバターの眉毛又は瞼の一部及び少なくともアバターの頬の一部を含むように仮想アバターを変更することを含む。例えば、図１１Ｃに示すように、アバターの眉毛又は瞼がアバターに追加され、アバターの頬骨がアバターの目の下の位置に追加される。いくつかの例では、追加されたアバターの眉毛は、位置が低くなっている。
いくつかの例では、第３の物理的特徴は、ユーザの眉毛（例えば、１２２２）の少なくとも一部を含み、第１のアバター特徴は、１つ以上の突起（例えば、１２５４）を含み、第１のアバター特徴包含閾値は、ユーザの眉毛の少なくとも一部の垂直変位の大きさ（例えば、ユーザの頭の上部に向かう垂直方向の眉毛の動きの大きさ（最大範囲の割合など））が閾値偏移よりも大きい場合に満たされるか又は超えられ、第１のアバター特徴を含むように仮想アバターを変更することは、アバターの頭の少なくとも上部部分に配置された１つ以上の突起を含むように仮想アバターを変更することを含む。例えば、１つ以上のスパイク又は突起が、図１２Ｂに示すようにアバターの頭の上部から伸びている。
いくつかの例では、第３の物理的特徴は、ユーザの頬（例えば、１２２８）の少なくとも一部を含み、第１のアバター特徴は、１つ以上の突起（例えば、１２５８）を含み、第１のアバター特徴包含閾値は、ユーザの頬の少なくとも一部が閾値拡大値（例えば、頬の膨らみの大きさ（最大範囲の割合など））よりも大きく拡大される場合に満たされるか又は超えられ、第１のアバター特徴を含むように仮想アバターを変更することは、アバターの頬の少なくとも一部に配置された１つ以上の突起を含むように仮想アバターを変更することを含む。例えば、１つ以上のスパイク又は突起が、図１２Ｂに示すようにアバターの頬から伸びている。
いくつかの例では、第３の物理的特徴は、ユーザの眉毛（例えば、１２２２）の少なくとも一部を含み、第１のアバター特徴は、仮想アバター（例えば、１２４０Ａ、１２４０Ｂ）の下部部分（例えば、ベース又は首下部部分）の周りの仮想アバターの湾曲した向きの上部部分（例えば、仮想アバターの「顔」又は「頭部分」）を含み、第１のアバター特徴包含閾値は、ユーザの眉毛の少なくとも一部の垂直変位の大きさ（例えば、ユーザの頭の上部から離れる垂直方向の眉毛の動きの大きさ（最大範囲の割合など））が変位閾値値（例えば、変位閾値は、ユーザの眉毛の片方又はユーザの眉毛の両方をひそめるポーズに対応するユーザの眉毛の相対位置である）よりも大きい場合に満たされるか又は超えられ、第１のアバター特徴を含むように仮想アバターを変更することは、仮想アバターの下部部分の周りに湾曲するように仮想アバターの上部部分を変更することを含む（例えば、仮想アバターの下部部分（例えば、ベース又は首下部部分）の周りに湾曲した向きを有することによって仮想アバターの顔又は頭が垂れ下がる）。いくつかの例では、１つ以上のアバター特徴（例えば、１２３０、１２４０Ａ、１２４０Ｂ）は、アバターの垂れ下がったポーズがアバター特徴の垂れ下がりを含むように湾曲した向きを有する。いくつかの例では、仮想アバターの上部部分は、仮想アバターの下部部分よりも下に垂れ下がっている（例えば、仮想アバターの下縁部の１つ以上の角は、仮想アバターの顔のレベルよりも下に垂れ下がっている）。そのような例の１つが図１０Ａの１０１１Ｃに示されている。
いくつかの例では、第１の物理的特徴は、ユーザの目（例えば、１０２３、１１２３、１５２３、１７２３）の少なくとも一部を含み、それぞれのアバター特徴は、アバターの目（１０３２、１１３２、１５３２、１７３２）の少なくとも一部を含み、第２の物理的特徴は、ユーザの眉毛（１０２２、１１２２、１５２２、１７２２）の少なくとも一部を含む。そのような実施形態では、顔の複数の物理的特徴の変化を検出することは、ユーザの目の開口の少なくとも一部をより広く検出するとともに（例えば、ユーザの目が開いて中立的な静止位置にあるときにユーザの目の見える量と比較したときの見える量が大きいユーザの目）、持ち上がるユーザの眉毛の少なくとも一部を検出することを含む（例えば、眉毛は、眉毛の中立的な静止位置に対して（例えば、ユーザの目から離れる又はユーザの頭の上部に向かう方向において）垂直に変位した位置を有する）。いくつかの例では、ユーザの目の広がりの検出は、ユーザの上瞼の位置に関連付けられている。そのような例では、判定は、ユーザの上瞼が、ユーザの目が開いたときの瞼の中立的な静止位置と比較した場合に垂直に変位する位置を有するかどうかに基づいている。瞼がユーザの頭の上部に向かう方向に垂直に変位すると、目が広がっているか又は開いている（又は開方向に動いている）と見なされる。逆に、瞼がユーザの頬に向かう方向に垂直に変位した場合、目は狭くなっているか又は閉じている（又は閉方向に移動している）と見なされる。更に、そのような実施形態では、それぞれのアバター特徴の外観を変更することは、アバターの目の少なくとも一部をより広く開くことを含み（例えば、アバターの目は、顔の１つ以上の物理的特徴の変化を検出する前に見えていたアバターの目をより多く表示する（又はアバターの目のサイズを大きくする）ように変更される）、顔の１つ以上の物理的特徴の変化を検出する前にアバター特徴を含まなかった仮想アバターの一部を変形することは、アバターの眉毛の特徴（例えば、１０３８、１１３８、１５３８、１７３８）を導入することによってアバターの目の少なくとも一部の上に仮想アバターの一部を変形することを含む（例えば、アバターの眉毛は、ユーザの眉毛の上げられた位置に対応する位置においてアバターに追加される）。
いくつかの例では、第１の物理的特徴は、ユーザの目（例えば、１１２７）の少なくとも一部を含み、それぞれのアバター特徴は、アバターの目（例えば、１１３２）の少なくとも一部を含み、第２の物理的特徴は、ユーザの眉毛（例えば、１１２２）の少なくとも一部を含み、顔の複数の物理的特徴の変化を検出することは、ユーザの目の狭まりの少なくとも一部を検出するとともに（例えば、ユーザの目が開いており中立的な静止位置にあるときに見えるユーザの目の量と比較したときにユーザの目により少ない量が見える）、ユーザの眉毛の少なくとも一部が下がっていることを検出することを含む（例えば、（例えば、ユーザの目へ向かう又はユーザの頭の上部から離れる方向において）眉毛が眉毛の中立的な静止位置に対して垂直に変位した位置を有する）。いくつかの例では、ユーザの目の狭まりの検出は、ユーザの上瞼の位置に関連付けられている。そのような例では、判定は、ユーザの上瞼が、ユーザの目が開いたときの瞼の中立的な静止位置と比較した場合に垂直に変位する位置を有するかどうかに基づいている。上瞼がユーザの頬に向かう方向に垂直に変位した場合、目は狭くなっているか又は閉じている（又は閉若しくは狭方向に移動している）と見なされる。逆に、上瞼がユーザの頭の上部に向かう方向に垂直に変位すると、目が広がっているか又は開いている（又は開若しくは広方向に動いている）と見なされる。いくつかの例では、ユーザの目の狭さの検出は、ユーザの上瞼の位置に関連付けられている。そのような実施形態では、判定は、ユーザの下瞼が、ユーザの目が開いたときの瞼の中立的な静止位置と比較した場合に垂直に変位する位置を有するかどうかに基づいている。下瞼がユーザの頬から離れる方向に垂直に変位した場合、目は狭くなっているか又は閉じている（又は閉若しくは狭方向に移動している）と見なされる。そのような実施形態では、それぞれのアバター特徴の外観を変更することは、アバターの目の少なくとも一部を閉じることを含む（例えば、アバターの目は、顔の１つ以上の物理的特徴の変化を検出する前に見えていたよりも少ない量のアバターの目を表示するように変更される）。いくつかの例では、アバターの目を閉じることは、アバターの瞼を導入することを含み、アバターの瞼は、閉位置にあるか又は閉位置に向かって移動する。いくつかの例では、アバターの目を閉じることは、表示されている瞼を閉位置に移動することを含む。いくつかの例では、アバターの目を閉じると、アバターの目のサイズが小さくなる。そのような実施形態では、アバターの目のサイズの縮小は、アバターの瞼のサイズの縮小を含むことができる。更に、そのような実施形態では、顔の１つ以上の物理的特徴の変化を検出する前にアバター特徴を含まなかった仮想アバターの一部を変形することは、アバターの眉毛又は瞼の特徴（例えば、１１４８）を導入することによって少なくともアバターの目の一部の上の仮想アバターの一部を変形するとともに（例えば、アバターの眉毛又は瞼は、ユーザの眉毛の下降位置に対応する位置に追加される）、アバターの頬の特徴（例えば、１１３９）を導入することによってアバターの目の少なくとも一部の下の仮想アバターの一部を変形することを含む（例えば、アバターの頬骨は、アバターの目の下の位置でアバターに追加される）。
いくつかの例では、第１の物理的特徴は、ユーザの目（例えば、１３２３）の少なくとも一部を含み、それぞれのアバター特徴は、アバターの目（例えば、１３３２）の少なくとも一部を含み、第２の物理的特徴は、ユーザの瞼（例えば、１３２７）の少なくとも一部を含み、顔の複数の物理的特徴の変化を検出することは、ユーザの目の狭まりの少なくとも一部を検出するとともに（例えば、ユーザの目が開いており中立的な静止位置にあるときに見えるユーザの目の量と比較したときにユーザの目により少ない量が見える）、ユーザの瞼の少なくとも一部が下がっていることを検出することを含む（例えば、瞼は、ユーザの目が開いているときに瞼の中立的な静止位置に対して垂直に変位した位置を有する）。いくつかの例では、ユーザの目の狭まりの検出は、ユーザの上瞼の位置に関連付けられている。そのような例では、判定は、ユーザの上瞼が、ユーザの目が開いたときの瞼の中立的な静止位置と比較した場合に垂直に変位する位置を有するかどうかに基づいている。上瞼がユーザの頬に向かう方向に垂直に変位した場合、目は狭くなっているか又は閉じている（又は閉若しくは狭方向に移動している）と見なされる。逆に、上瞼がユーザの頭の上部に向かう方向に垂直に変位すると、目が広がっているか又は開いている（又は開若しくは広方向に動いている）と見なされる。いくつかの例では、ユーザの目の狭さの検出は、ユーザの上瞼の位置に関連付けられている。そのような実施形態では、判定は、ユーザの下瞼が、ユーザの目が開いたときの瞼の中立的な静止位置と比較した場合に垂直に変位する位置を有するかどうかに基づいている。下瞼がユーザの頬から離れる方向に垂直に変位した場合、目は狭くなっているか又は閉じている（又は閉若しくは狭方向に移動している）と見なされる。いくつかの例では、ユーザの瞼は、上瞼である。そのような実施形態では、上瞼がユーザの頬に向かう方向に垂直に変位した場合、目は狭くなっているか又は閉じている（又は閉若しくは狭方向に移動している）と見なされる。いくつかの例では、ユーザの瞼は、下瞼である。そのような例では、下瞼がユーザの頬から離れる方向に垂直に変位した場合、目は狭くなっているか又は閉じている（又は閉若しくは狭方向に移動している）と見なされる。そのような実施形態では、それぞれのアバター特徴の外観を変更することは、アバターの目の少なくとも一部を閉じることを含み（例えば、アバターの目は、顔の１つ以上の物理的特徴の変化を検出する前に見えていたよりも少ない量のアバターの目を表示するように変更される）、顔の１つ以上の物理的特徴の変化を検出する前にアバター特徴を含まなかった仮想アバターの一部を変形することは、アバターの瞼の特徴（例えば、１３４８、１３３９）を導入することによってアバターの目の一部を変形することを含む（例えば、アバターに瞼は、アバターに追加される）。いくつかの例では、アバターの目を閉じると、アバターの目のサイズが小さくなる。そのような例では、アバターの目のサイズの縮小は、アバターの瞼のサイズの縮小を含むことができる。いくつかの例では、アバターの瞼は、閉位置に導入されるか又は閉位置に向かって移動する。
いくつかの例では、第１の物理的特徴は、ユーザの唇（例えば、１０２９、１２２９、１５２０Ａ、１５２０Ｂ、１６２０Ａ、１６２０Ｂ）の少なくとも一部を含み、それぞれのアバター特徴は、アバターの口（例えば、１０３０、１２３０、１５３０、１６３０）の少なくとも一部を含み、顔の複数の物理的特徴の変化を検出することは、しかめたポーズを有するユーザの唇の少なくとも一部を検出することを含み、それぞれのアバター特徴の外観を変更することは、しかめたポーズを有するアバターの唇のセット（例えば、１０５０、１２５０、１５３１、１６４５）を含むようにアバターの口の少なくとも一部を変更することを含む。例えば、アバターの口は、すぼめた唇を含む所定の構成を有する異なるアバター特徴（例えば、唇のセット）に遷移する。
いくつかの例では、第１の物理的特徴は、ユーザの唇（例えば、１６２０Ａ、１６２０Ｂ）の少なくとも一部を含み、それぞれのアバター特徴は、アバターのくちばし（例えば、１６３０）の少なくとも一部を含み、顔の複数の物理的特徴の変化を検出することは、しかめたポーズを有するユーザの唇の少なくとも一部を検出することを含み、それぞれのアバター特徴の外観を変更することは、しかめたポーズを有するアバターの唇のセット（例えば、１６４５）を含むようにアバターのくちばしの少なくとも一部を変更することを含む。例えば、アバターのくちばしの先端は、すぼめた唇を含む所定の構成を有する異なるアバター特徴（例えば、唇のセット）に遷移する。
いくつかの例では、１つ以上の物理的特徴は、複数のアバター特徴（例えば、初期アバター特徴１２３２、１２３０）のいずれにも対応しない第３の物理的特徴（例えば、ユーザの頬１２２８）を含む。そのような例では、電子デバイス（例えば、１００、３００、５００、６００）は、顔の１つ以上の物理的特徴の変化を検出する前に、アバター特徴を含まない仮想アバターの第２の部分（例えば、頬部１２５６）を変形し、アバター特徴の第２の部分の変形の大きさ又は方向は、第３の物理的特徴の変化の大きさ又は方向に基づいている。例えば、中立状態では、アバター（例えば、エイリアンアバター１２００）は、第３の物理的特徴（例えば、ユーザの頬１２２８）に対応するアバター特徴（例えば、アバターの頬１２５６）を含まない。いくつかの例では、この追加のアバター特徴は、第３の物理的機能において変化が検出されたときに表示される（例えば、ユーザは、頬を拡張し、アバターは、拡張した頬を含むように変更される）。そのような実施形態では、仮想アバターは、複数のユーザ特徴に対応する複数のアバター特徴（例えば、アバターの眉毛、アバターの頬など）を導入するように変更されることができる。顔の１つ以上の物理的特徴の変化を検出する前にアバター特徴を含まなかった仮想アバターの第２の部分を変形し、変形の大きさ又は方向は、第３の物理的特徴の変化の大きさ又は方向に基づいており、同じ物理的特徴のさらなる動きが、デバイスが同じ物理的特徴のさらなる動きの変化の方向又は大きさに基づいてアバター特徴の第２の部分を変形させることを示すフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、デバイスに意図された結果を発生させる入力を指示するフィードバックを提供することによって、ユーザが、意図された結果を達成することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第２の物理的特徴は、ユーザの瞼（例えば、１２２７）の少なくとも一部を含み、第３の物理的特徴は、ユーザの頬（例えば、１２２８）の少なくとも一部を含み、顔の複数の物理的特徴の変化を検出することは、ユーザの閉じた瞼の少なくとも一部（例えば、瞼は、ユーザの眼球の一部がほとんど又は全く見えない閉じた位置を有する）と、ユーザの頬の少なくとも一部の変化（例えば、ユーザが頬を膨らませる、又は拡張する）とを検出することを含む。そのような実施形態では、顔の１つ以上の物理的特徴の変化を検出する前にアバター特徴を含まなかった仮想アバターの一部を変形することは、アバターの瞼特徴（例えば、目に関連付けられた瞼１２３２）を導入することにより仮想アバターの一部を変形することを含む。例えば、アバターの瞼は、アバターに追加される。いくつかの例では、アバターの瞼は、閉位置に導入される（例えば、仮想アバターがエイリアンの場合）。更に、そのような実施形態では、顔の１つ以上の物理的特徴の変化を検出する前にアバター特徴を含まなかった仮想アバターの第２の部分を変形することは、頬特徴（例えば、１２５６）を導入することにより仮想アバターの第２の部分を変形することを含む。例えば、仮想アバターは、図１２Ｂに示すように、膨らんだ、又は拡張したポーズを有するアバターの頬を含むように変更される。
いくつかの例では、第２の物理的特徴は、ユーザの眉毛（例えば、１２２２）の少なくとも一部を含み、顔の複数の物理的特徴の変化を検出することは、持ち上がっているユーザの眉毛の少なくとも一部を検出することを含み（例えば、眉毛は、眉毛の中立的な静止位置に対して（例えば、ユーザの目から離れる又はユーザの頭の上部に向かう方向において）垂直に変位する位置を有する）、顔の１つ以上の物理的特徴の変化を検出する前にアバター特徴を含まなかった仮想アバターの一部を変形することは、アバターの頭の上部部分から伸びる１つ以上の突起（例えば、１２５４）を導入することによってアバターの頭の上部部分（例えば、仮想アバターの頭の上部部分）を変形することを含む。例えば、１つ以上のスパイク又は突起１２５４が、図１２Ｂの１２１２Ｂに示すようにアバターの頭の上部から伸びている。持ち上がったユーザの眉毛に基づいて１つ以上の突起を含むようにアバターの頭の上部部分を変形すると、追加の表示されたコントロール又は入力（例えば、タッチ入力）を必要とせずに新たなアバター特徴を導入するための効率的な制御をユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、追加任意選択的制御を提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命が改善される。
いくつかの例では、第１の物理的特徴は、ユーザの頬（例えば、１２２８）の少なくとも一部を含み、それぞれのアバター特徴は、アバターの頬（例えば、１２５６）の少なくとも一部を含み、顔の複数の物理的特徴の変化を検出することは、拡張されたポーズを有するユーザの頬の少なくとも一部を検出することを含み（例えば、ユーザの頬は、ユーザが頬を空気で膨らませると、拡張されたポーズを有する）、それぞれのアバター特徴の外観を変化させることは、アバターの頬から延びる１つ以上の突起（例えば、１２５８）を含むようにアバターの頬の少なくとも一部を変更することを含む。例えば、１つ以上のスパイク又は突起１２５８が、図１２Ｂの１２１２Ｄに示すようにアバターの頬から伸びている。ユーザの頬の変化に基づいて１つ以上の突起を含むようにアバターの頬の少なくとも一部を変更すると、追加の表示されたコントロール又は入力（例えば、タッチ入力）を必要とせずに新たなアバター特徴を導入するための効率的な制御をユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、追加任意選択的制御を提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命が改善される。
方法２２００に関して上述したプロセス（例えば、図２２）の詳細はまた、上述及び後述する方法２３００、２４００、及び２５００にも、類似の方法で適用可能であることに留意されたい。例えば、方法２２００は、任意選択的に、方法８００、９００、１８００、１９００、２０００、２１００、２３００、２４００、及び２５００に関して上述した及び後述する様々な方法の特性のうちの任意の１つ以上を含む。例えば、方法８００及び９００にしたがってアニメーション化されたアバターを生成、送信、及び受信する方法は、方法２２００にしたがって生成された仮想アバター（例えば、必要に応じて複雑さを増加する（例えば、アバター特徴を増加する）ことができる仮想アバター）を使用することができる。同様に、方法２２００にしたがって生成及び／又は変更された仮想アバターは、方法８００又は９００の仮想アバター生成インタフェース（例えば、８０４、９０４）の仮想アバターの表示されたプレビューに含まれてもよい。他の例では、方法２２００にしたがって生成された仮想アバター（例えば、必要に応じて複雑さを増加する（例えば、アバター特徴を増加する）ことができる仮想アバター）もまた、方法８００、９００、１８００、１９００、２０００、２１００、２３００、２４００、及び２５００の仮想アバター生成及び変更方法にしたがって生成されることができる。例えば、方法２２００にしたがって生成された仮想アバターは、ポーズ（例えば、１８１０及び１８１２）の変化のタイプに応じて、異なってユーザの顔のポーズを変化させるために第２のアバター部分（例えば、１０３６）とは異なる反応をする第１のアバター部分（例えば、１０３４）を含むことができる。同様に、方法２２００にしたがって生成された仮想アバターは、第１（例えば、１１２２）及び第２（例えば、１１２０Ａ～Ｂ）の物理的特徴の両方の変化に反応する（例えば、１９０４、１９１０、１９１４）アバター特徴（例えば、１１３３）を含むことができる。簡潔にするために、さらなる例を除外する。
図２３は、いくつかの実施形態による、１つ以上のカメラによって検出された顔に基づいて仮想アバターを生成するための、電子デバイスにおける方法を示すフロー図である。方法２３００は、１つ以上のカメラ（例えば、１６４、６０２）及びディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を備えた電子デバイス（例えば、１００、３００、５００、６００）で実行される。方法２３００における一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
以下で説明するように、方法２３００は、ユーザの動きと比較して誇張された動きを示すことができる仮想アバターを生成するための直感的な方法を提供する。本方法は、仮想アバターを生成するためのユーザの物理的及び認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式のコンピューティングデバイスの場合、ユーザがユーザアバターをより速くかつより効率的に生成することを可能にすることは、節電し、バッテリ充電の時間間隔を長くする。方法２３００の例は、図１０Ａ～図１０Ｉ、図１２Ａ～図１２Ｃ、図１４Ａ～図１４Ｄ、及び図１７Ａ～図１７Ｂを参照して説明したユーザインタフェース及び仮想アバターにおいて見出すことができる。
電子デバイス（例えば、１００、３００、５００、６００）は、ディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を介して、１つ以上のカメラの視野内の顔の第１の物理的特徴（例えば、１０２０、１２２３、１４２０、１４２０Ａ、１４２０Ｂ、１７２０）の変化に反応する第１のアバター特徴（例えば、１０３０、１２３２、１４３０、１４３０Ｌ、１４３０Ｕ、１７３６）を含む仮想アバター（例えば、１０００、１２００、１４００、１７００）を表示する（２３０２）。
仮想アバター（例えば、１０００、１２００、１４００、１７００）を表示している間、電子デバイス（例えば、１００、３００、５００、６００）は、第１の物理的特徴の変化の大きさを有する第１の物理的特徴（例えば、１０２０、１２２３、１４２０、１４２０Ａ、１４２０Ｂ、１７２０）の変化を検出する（２３０４）。
第１の物理的特徴の変化の検出に応じて、電子デバイス（例えば、１００、３００、５００、６００）は、以下の動作のうちの任意の１つ以上を実行することができる。第１の物理的特徴（例えば、１０２０、１２２３、１４２０、１４２０Ａ、１４２０Ｂ、１７２０）の変化が物理的特徴値の第１の範囲内にあるという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、第１の物理的特徴の変化の大きさ（例えば、第１の物理的特徴の第１の変化の範囲について、アバター特徴の変化は、通常又は低減率で変化する）に基づく第１のアバター特徴の変化の大きさ（例えば、第１の物理的特徴の変化の大きさに基づくが必ずしも等しくはないアバター特徴の変化の度合い）だけ、第１のアバター特徴（例えば、１０３０、１２３２、１４３０、１４３０Ｌ、１４３０Ｕ、１７３６）を変化させる。いくつかの例では、物理的特徴の変化の大きさに乗数値を適用することにより、アバター特徴の変化の大きさに到達する。第１の物理的特徴（例えば、１０２０、１２２３、１４２０、１４２０Ａ、１４２０Ｂ、１７２０）の変化が、第１の物理的特徴値の範囲とは異なる（例えば、より大きい）第２の物理的特徴値の範囲内にあるという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、第１のアバター特徴の変化の大きさとは異なり（例えば、より大きい）かつ第１の物理特徴の変化の大きさ（例えば、第１の物理的特徴の第２の変化の範囲について、アバター特徴の変化は、誇張率で変化する）に基づく第２のアバター特徴の変化の大きさだけ、第１のアバター特徴（例えば、１０３０、１２３２、１４３０、１４３０Ｌ、１４３０Ｕ、１７３６）を変化させる。いくつかの実施形態では、第１の物理的特徴値の範囲と第２の物理的特徴値の範囲は重複しない。物理的特徴値の変化の範囲に応じて変化する変化の大きさだけ第１のアバター特徴を変化させると、電子デバイスによって検出された物理的特徴変化データの状態と、検出された変化データが第１又は第２の物理的特徴値の範囲内にあるかどうかに関するフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、第１のアバター特徴は、アバターの唇又は口（例えば、１０３０、１４３０、１４３０Ｌ、１４３０Ｕ、又はその一部）であり、顔の第１の物理的な特徴は、ユーザの唇又は口（例えば、１０２０、１４２０、１４２０Ａ、１４２０Ｂ、又はその一部）であり、第１の物理的特徴値の範囲は、ユーザの唇の弛緩状態に対応する弛緩状態値（例えば、デフォルト値、初期値）を含み、第２の物理的特徴値の範囲は、ユーザの唇の変位状態（例えば、唇が偏移した状態（又は、弛緩、初期、又は中立状態と比較して更に偏移した））に対応する第１の変位状態値（例えば、弛緩状態値よりも大きい値（例えば、可能な変位の範囲内の５０％変位））を含み、第１のアバター特徴の変化の大きさは、第２のアバター特徴の変化の大きさよりも小さい。いくつかの例では、弛緩状態値は、潜在的な動きの範囲内の最小の動きの値である（例えば、０％の動きの値）。いくつかの例では、第１の変位状態値は、最大変位状態値である。いくつかの例では、最大変位状態値は、潜在的な動きの範囲内（例えば、１００％移動値）の最大移動値（例えば、最大予測移動値、最大追跡移動値）である。
いくつかの例では、物理的特徴（ユーザの唇など）が弛緩状態から最大変位状態に近い状態に変化すると、第１のアバター特徴（アバターの唇など）の変化がより誇張される。その結果、弛緩した状態に対して物理的特徴の変化が大きくなると、ユーザの物理的特徴の変化と比較して、アバター特徴の変化がより誇張される。いくつかの例では、第１の物理的特徴の変化の大きさに１以下の乗数を適用することにより、第１のアバター特徴の変化の大きさに到達し、第１の物理的特徴の変化の大きさに１よりも大きい乗数を適用することにより、第２のアバター特徴の変化の大きさに到達する。ユーザの口が弛緩した状態を超えて移動するときに、仮想アバターの口を大きく変化させると、アバターの口の変化を増幅する方法がユーザに提供される。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作（例えば、アバターの口の増幅した変化）を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、ユーザの口（例えば、１０２０、１４２０、１４２０Ａ、１４２０Ｂ、又はその一部）の弛緩状態は、第１のユーザの口の形状（例えば、人間の口によって形成される閉じた又はほぼ閉じた形状）を有し、ユーザの口の変位した状態は、第２のユーザの口の形状（例えば、人間の口によって形成される開いた又はほとんど開いた形状）を有し、第１のアバター特徴の変化の大きさによって第１のアバター特徴（例えば、１０３０、１４３０、１４３０Ｌ、１４３０Ｕ、又はその一部）を変化させることは、アバターの口（例えば、１４３０、１４３０Ｌ、１４３０Ｕ又はその一部）を変化させ、第１のユーザの口の形状（例えば、人間の笑顔、人間の眉毛をひそめている）に対応しない１つ以上の形状（例えば、図１４Ｃ及び図１４Ｄに示す円又は台形）をとることを含む。そのような実施形態では、第２のアバター特徴の変化の大きさによって第１のアバター特徴を変化させることは、第２のユーザの口の形状に対応しない１つ以上の形状（例えば台形又は円）をとるようにアバター口を変化させることを含む。いくつかの例では、アバター特徴の変化の大きさは、第１の物理的特徴の変化の大きさ（例えば、物理的特徴の変化の大きさ）に基づいているが、アバター特徴の形状の変化は、物理的特徴の形状の変化に基づいていない（又は完全に若しくは直接的に基づいていない）。いくつかのそのような実施形態では、アバター特徴の形状の変化は、代わりに、アバター特徴の初期状態（例えば、静止状態、中立状態（例えば、円））からアバター特徴の変位状態（例えば、台形）への遷移（例えば、徐々に又は漸進的に遷移）に基づいている。仮想アバターの口の形状を変化させてユーザの口とは異なる形状を想定することにより、ユーザの口を所望の形状にする必要や表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに、アバターの口の変化に影響を与える方法をユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の任意選択的制御を提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、第１のアバター特徴は、アバターの口（例えば、１０３０、１４３０、１４３０Ｌ、１４３０Ｕ、又はその一部）であり、顔の第１の物理的な特徴は、ユーザの口（例えば、１０２０、１４２０、１４２０Ａ、１４２０Ｂ、又はその一部）であり、第１の物理的特徴値の範囲は、ユーザの口の弛緩状態に対応する弛緩状態値（例えば、デフォルト値、初期値）を含み、第２の物理的特徴値の範囲は、ユーザの口の変位状態（例えば、口が開いた状態（又は、弛緩、初期、又は中立状態と比較してより広く開いた））に対応する第１の変位状態値（例えば、弛緩状態値よりも大きい値（例えば、可能な変位の範囲内の５０％変位））を含み、第１のアバター特徴の変化の大きさは、第２のアバター特徴の変化の大きさよりも小さい。いくつかの例では、弛緩状態値は、潜在的な動きの範囲内の最小の動きの値である（例えば、０％の動きの値）。いくつかの例では、第１の変位状態値は、最大変位状態値である。いくつかの例では、最大変位状態値は、潜在的な動きの範囲内（例えば、１００％移動値）の最大移動値（例えば、最大予測移動値、最大追跡移動値）である。図１０Ｂに示すようないくつかの例では、物理的特徴（ユーザの口１０２０など）が弛緩状態から最大変位状態に近い状態に変化すると、第１のアバター特徴（アバターの口１０３０など）の変化がより誇張される。その結果、弛緩した状態に対して物理的特徴の変化が大きくなると、ユーザの物理的特徴の変化と比較して、アバター特徴の変化がより誇張される。いくつかの例では、第１の物理的特徴の変化の大きさに１以下の乗数を適用することにより、第１のアバター特徴の変化の大きさに到達し、第１の物理的特徴の変化の大きさに１よりも大きい乗数を適用することにより、第２のアバター特徴の変化の大きさに到達する。ユーザの口が弛緩した状態を超えて移動するときに、仮想アバターの口を大きく変化させると、アバターの口の変化を増幅する方法がユーザに提供される。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作（例えば、アバターの口の増幅した変化）を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、第１のアバター特徴は、アバターの目（例えば、１２３２）であり、顔の第１の物理的な特徴は、ユーザの目又は瞼（例えば、１２２３、１２２７、又はその一部）であり、第１の物理的特徴値の範囲は、ユーザの瞼の弛緩状態（例えば、ユーザの瞼が開位置にあるとき）に対応する弛緩状態値（例えば、デフォルト値、初期値）を含み、第２の物理的特徴値の範囲は、ユーザの瞼の変位状態（例えば、瞼が開いた状態（又は、弛緩、初期、又は中立状態と比較してより広く開いた））に対応する第１の変位状態値（例えば、弛緩状態値よりも大きい値（例えば、可能な変位の範囲内の５０％変位））を含み、第１のアバター特徴の変化の大きさは、第２のアバター特徴の変化の大きさよりも小さい。いくつかの例では、弛緩状態値は、潜在的な動きの範囲内の最小の動きの値である（例えば、０％の動きの値）。いくつかの例では、第１の変位状態値は、最大変位状態値である。いくつかの例では、最大変位状態値は、潜在的な動きの範囲内（例えば、１００％移動値）の最大移動値（例えば、最大予測移動値、最大追跡移動値）である。図１２Ｃに示すようないくつかの例では、物理的特徴（ユーザの目又は瞼など）が弛緩状態から最大変位状態に近い状態に変化すると、第１のアバター特徴（アバターの目１２３２など）の変化がより誇張される。その結果、弛緩した状態に対して物理的特徴の変化が大きくなると、ユーザの物理的特徴の変化と比較して、アバター特徴の変化がより誇張される。いくつかの例では、第１の物理的特徴の変化の大きさに１以下の乗数を適用することにより、第１のアバター特徴の変化の大きさに到達し、第１の物理的特徴の変化の大きさに１よりも大きい乗数を適用することにより、第２のアバター特徴の変化の大きさに到達する。ユーザの瞼が弛緩した状態を超えて移動するときに、仮想アバターの目を大きく変化させると、アバターの目の変化を増幅する方法がユーザに提供される。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作（例えば、アバターの目の増幅した変化）を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、第１のアバター特徴は、アバターの目（例えば、１０３２又は１０３２Ａ）であり、顔の第１の物理的な特徴は、ユーザの目（例えば、１０２３又はその一部）であり、第１の物理的特徴値の範囲は、ユーザの目の弛緩状態に対応する弛緩状態値（例えば、デフォルト値、初期値）を含み、第２の物理的特徴値の範囲は、ユーザの目の変位状態（例えば、目が偏移した状態（又は、弛緩、初期、又は中立状態と比較して更に偏移した））に対応する第１の変位状態値（例えば、弛緩状態値よりも大きい値（例えば、可能な変位の範囲内の５０％変位））を含み、第１のアバター特徴の変化の大きさは、第２のアバター特徴の変化の大きさよりも小さい。いくつかの例では、弛緩状態値は、潜在的な動きの範囲内の最小の動きの値である（例えば、０％の動きの値）。いくつかの実施形態では、第１の変位状態値は、最大変位状態値である。いくつかの例では、最大変位状態値は、潜在的な動きの範囲内（例えば、１００％移動値）の最大移動値（例えば、最大予測移動値、最大追跡移動値）である。いくつかの例では、物理的特徴（ユーザの目など）が弛緩状態から最大変位状態に近い状態に変化すると、第１のアバター特徴（アバターの目など）の変化がより誇張される。その結果、弛緩した状態に対して物理的特徴の変化が大きくなると、ユーザの物理的特徴の変化と比較して、アバター特徴の変化がより誇張される。いくつかの例では、第１の物理的特徴の変化の大きさに１以下の乗数を適用することにより、第１のアバター特徴の変化の大きさに到達し、第１の物理的特徴の変化の大きさに１よりも大きい乗数を適用することにより、第２のアバター特徴の変化の大きさに到達する。ユーザの目が弛緩した状態を超えて移動するときに、仮想アバターの目を大きく変化させると、アバターの目の変化を増幅する方法がユーザに提供される。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作（例えば、アバターの目の増幅した変化）を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、アバター特徴は、アバター特徴と解剖学的又は生理学的に対応しない顔の物理的特徴の変化に反応する。例えば、第１のアバター特徴は、アバターの鼻（例えば、１７３６）であり、顔の第１の物理的特徴は、ユーザの唇（例えば、１７２０、１７２０Ａ、又はその一部）であり、アバターの鼻は、ユーザの唇の変化に反応することができる。そのような実施形態では、第１の物理的特徴値の範囲は、ユーザの唇の弛緩状態に対応する弛緩状態値（例えば、デフォルト値、初期値）を含み、第２の物理的特徴値の範囲は、ユーザの唇の変位状態（例えば、弛緩、初期、又は中立状態と比較して唇が偏移した状態（又は、更に偏移した）に対応する第１の変位状態値（例えば、弛緩状態値よりも大きい値（例えば、可能な変位の範囲内の５０％変位））を含み、第１のアバター特徴の変化の大きさは、第２のアバター特徴の変化の大きさよりも小さい。いくつかの例では、弛緩状態値は、潜在的な動きの範囲内の最小の動きの値である（例えば、０％の動きの値）。いくつかの例では、第１の変位状態値は、最大変位状態値である。いくつかの例では、最大変位状態値は、潜在的な動きの範囲内（例えば、１００％移動値）の最大移動値（例えば、最大予測移動値、最大追跡移動値）である。いくつかの例では、物理的特徴（ユーザの唇又は口など）が弛緩状態から最大変位状態に近い状態に変化すると、第１のアバター特徴（アバターの鼻など）の変化がより誇張される。その結果、弛緩した状態に対して物理的特徴の変化が大きくなると、ユーザの物理的特徴の変化と比較して、アバター特徴の変化がより誇張される。いくつかの例では、第１の物理的特徴の変化の大きさに１以下の乗数を適用することにより、第１のアバター特徴の変化の大きさに到達し、第１の物理的特徴の変化の大きさに１よりも大きい乗数を適用することにより、第２のアバター特徴の変化の大きさに到達する。ユーザの唇（アバターの鼻に解剖学的に対応しない物理的特徴）に基づいて仮想アバターの鼻を変更すると、仮想アバターの特性（例えば、ユーザの鼻の動きは難しいことがある）を定義するための入力効率の良い方法をユーザに提供する。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに（例えば、ユーザの唇の動き）操作（例えば、アバターの鼻の変化）を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、第１のアバター特徴（例えば、１７３６）はまた、１つ以上のカメラの視野内の顔の第２の物理的特徴（例えば、１７２０Ａに加えて１７２２）の変化にも反応する。そのような例では、電子デバイス（例、１００、３００、５００、６００）は、仮想アバター（例えば、１０００、１２００、１４００、１７００）を表示しながら、第２の物理的特徴の変化の大きさを有する第２の物理的特徴の変化を検出する。そのような例では、第２の物理的特徴の変化の検出に応じて、電子デバイス（例えば、１００、３００、５００、６００）は、以下の動作のうちの任意の１つ以上を実行することができる。第２の物理的特徴の変化が第３の物理的特徴値の範囲内にあるという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、第２の物理的特徴の変化の大きさに基づく第３のアバター特徴の変化の大きさにより第１のアバター特徴を変化させる（例えば、第１の物理的特徴の第１の変化の範囲では、アバター特徴の変化は、通常又は低減率で変化する）。第２の物理的特徴の変化が第３の物理的特徴値の範囲とは異なる（例えば、より大きい）第４の物理的特徴値の範囲内にあるという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、第３のアバター特徴の変化の大きさとは異なり（例えば、より大きい）かつ第２の物理的特徴の変化の大きさに基づく第４のアバター特徴の変化の大きさによって第１のアバター特徴を変化させる（例えば、第１の物理的特徴の第２の変化の範囲では、アバター特徴の変化は、誇張率で変化する）。少なくとも２つの物理的特徴に基づいて第１のアバター特徴を変更すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）の要素を必要とせずにアバター特徴を変化させるための効率的な入力モダリティをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の任意選択的制御を提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、仮想アバター（例えば、１０００、１２００、１４００、１７００）は、カメラの視野内の顔の第３の物理的特徴（例えば、１０２０、１４２０、１４２０Ａ、１４２０Ｂ）（例えば、ユーザの口）の変化に反応する第２のアバター特徴（例えば、１０３０、１４３０、１４３０Ｌ、１４３０Ｕ）（例えば、アバターの口）を含む。そのような例では、第３の物理的特徴は、第３の物理的特徴の所定の動きの範囲に基づく可能な物理的特徴値の範囲（例えば、初期（例えば、静止）値に対する大きさ値として表される動きの範囲）を有し、第２のアバター特徴は、第２のアバター特徴の動きの所定範囲に基づく可能なアバター特徴値の範囲を有し、第２のアバター特徴の動きの所定範囲は、第３の物理的特徴の動きの所定範囲よりも大きい（例えば、初期又は静止した大きさの値に基づいて評価された第１のアバター特徴の動きの範囲は、対応する物理的特徴の範囲よりも大きい）。例えば、アバターの口は、初期サイズと比較して幅が３００％拡大することがあるが、物理的特徴の動きの範囲は、初期サイズの２００％にすぎない。更に、そのような例では、電子デバイス（例えば、１００、３００、５００、６００）は、第２のアバター特徴が、第３の物理的特徴の検出された第１の物理的特徴値に基づく第２のアバター特徴の第１のアバター特徴値を有するとき、第３の物理的特徴の第１の物理的特徴値から第３の物理的特徴の第２の物理的特徴値への第３の物理的特徴の変化を検出する。第３の物理的特徴の変化の検出に応じて、電子デバイス（例えば、１００、３００、５００、６００）は、第２のアバター特徴の第１のアバター特徴値から、第２のアバター特徴の動きの所定範囲内にある第２のアバター特徴の第２のアバター特徴値へと第２のアバター特徴を変化させる。更に、そのような例では、第２のアバター特徴の第２のアバター特徴値は、第３の物理的特徴の動きの所定範囲に対する第３の物理的特徴の第２の物理的特徴値の相対値に基づいている。更に、そのような例では、第２のアバター特徴の第１のアバター特徴値と第２のアバター特徴の第２のアバター特徴値との差は、第３の物理的特徴の第１の物理的特徴値と第３の物理的特徴の第２の物理的特徴値との差よりも大きい。いくつかの例では、顔の物理的特徴（例えば、顔の第３の物理的特徴（例えば、ユーザの口））に基づくアバター特徴（例えば、第２のアバター特徴（例えば、アバターの口））の変化は、アバター特徴及び物理的特徴のそれぞれの動きの所定範囲内で誇張される。例えば、ユーザの口が開くことができる最大サイズの５０％で開くと、アバターの口は、アバターの口が開くことができる最大サイズの１００％に開く。そのような実施形態では、アバター特徴のこの誇張された動きにより、ユーザは、顔の対応する特徴を不快に変化させることなく、アバター特徴の最大変化に影響を与えることができる（例えば、不快にユーザの口をできるだけ広く開ける必要なくアバターに可能な限り広く口を開かせる）。
方法２３００に関して上述したプロセス（例えば、図２３）の詳細はまた、上述及び後述する方法２４００及び２５００にも、類似の方法で適用可能であることに留意されたい。例えば、方法２３００は、任意選択的に、方法８００、９００、１８００、１９００、２０００、２１００、２２００、２４００、及び２５００に関して上述した及び後述する様々な方法の特性のうちの任意の１つ以上を含む。例えば、方法８００及び９００にしたがってアニメーション化されたアバターを生成、送信、及び受信する方法は、方法２３００にしたがって生成された仮想アバター（例えば、ユーザの動きと比較して誇張された動きを示すことができる仮想アバター）を使用することができる。同様に、方法２３００にしたがって生成及び／又は変更された仮想アバターは、方法８００又は９００の仮想アバター生成インタフェース（例えば、８０４、９０４）の仮想アバターの表示されたプレビューに含まれてもよい。他の例では、方法２３００にしたがって生成された仮想アバター（例えば、ユーザの動きと比較して誇張された動きを示すことができる仮想アバター）もまた、方法８００、９００、１８００、１９００、２０００、２１００、２２００、２４００、及び２５００の仮想アバター生成及び変更方法にしたがって生成されることができる。例えば、方法２３００にしたがって生成された仮想アバターは、ポーズ（例えば、１８１０及び１８１２）の変化のタイプに応じて、異なってユーザの顔のポーズを変化させるために第２のアバター部分（例えば、１０３６）とは異なる反応をする第１のアバター部分（例えば、１０３４）を含むことができる。同様に、方法２３００にしたがって生成された仮想アバターは、第１（例えば、１１２２）及び第２（例えば、１１２０Ａ～Ｂ）の物理的特徴の両方の変化に反応する（例えば、１９０４、１９１０、１９１４）アバター特徴（例えば、１１３３）を含むことができる。簡潔にするために、さらなる例を除外する。
図２４は、いくつかの実施形態による、１つ以上のカメラによって検出された顔に基づいて仮想アバターを生成するための、電子デバイスにおける方法を示すフロー図である。方法２４００は、１つ以上のカメラ（例えば、１６４、６０２）及びディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を備えた電子デバイス（例えば、１００、３００、５００、６００）で実行される。方法２４００における一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
以下に説明するように、方法２４００は、ユーザの顔の位置の変化に反応しながら、仮想アバターを生成するための直感的な方法を提供する。本方法は、仮想アバターを生成するためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式のコンピューティングデバイスの場合、ユーザがユーザアバターをより速くかつより効率的に生成することを可能にすることは、節電し、バッテリ充電の時間間隔を長くする。方法２４００の例は、図１０Ａ～図１０Ｉを参照して説明したユーザインタフェース及び仮想アバターにおいて見出すことができる。
電子デバイス（例えば、１００、３００、５００、６００）は、ディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を介して、仮想アバター（例えば、１０００）を表示する（２４０２）。いくつかの例では、仮想アバターは、基準フレーム内（例えば、仮想アバターをどのように表示するかを決定するために使用される基準フレーム（例えば、電子デバイス又は別個の電子デバイス））内にそれぞれの空間位置を有し、それぞれの空間位置は、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔（例えば、１００３Ａ～Ｃ、１００４Ａ～Ｄ、１００５Ａ～Ｄ、１００６Ａ～Ｄ、１００７Ａ～Ｂ、１００８Ａ～Ｄ）の位置に基づいている。基準フレーム内の仮想アバターのそのような位置決めの例は、図１０Ｃ～図１０Ｈの１０１３Ａ～Ｂ、１０１４Ａ～Ｄ、１０１５Ａ～Ｄ、１０１６Ａ～Ｄ、１０１７Ａ～Ｂ、１０１８Ａ～Ｄに示されている。
仮想アバター（例えば、１０００）を表示している間、電子デバイス（例えば、１００、３００、５００、６００）は、それぞれの量だけ１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔（例えば、１００３Ａ～Ｂ、１００４Ａ～Ｄ、１００５Ａ～Ｄ、１００６Ａ～Ｄ、１００７Ａ～Ｂ、１００８Ａ～Ｄ）の位置の変化を検出する（２４０４）。例えば、１つ以上のカメラの位置に対する水平並進偏移、垂直並進偏移、距離の並進偏移（例えば、Ｘ、Ｙ、又はＺ軸に沿った並進偏移）、又は視野内の基本軸に沿った回転偏移（例えば、Ｘ、Ｙ又はＺ軸に沿った回転偏移）など、１つ以上のカメラの視野に対する顔の第１の位置から顔の第２の位置までである。
１つ以上のカメラ（例えば、１６４、６０２）の視野内での顔（例えば、１００３Ａ～Ｂ、１００４Ａ～Ｄ、１００５Ａ～Ｄ、１００６Ａ～Ｄ、１００７Ａ～Ｂ、１００８Ａ～Ｄ）の位置の変化の検出に応じて（２４０６）、電子デバイス（例えば、１００、３００、５００、６００）は、以下の動作のうちの任意の１つ以上を実行することができる。顔の位置の変化が第１の方向の第１の変化成分を含むという判定に従って（例えば、１００３Ａ～Ｂ、１００４Ａ～Ｄ、１００５Ａ～Ｄ、１００６Ａ～Ｄ、１００７Ａ～Ｂ、１００８Ａ～Ｄ）、電子デバイス（例えば、１００、３００、５００、６００）は、第１の変化成分の大きさと第１の変更係数（例えば、１つ以上のカメラの視野内でのユーザの顔の検出された動きに対する仮想アバターの位置に影響を与える動きを減衰又は増幅する係数）に基づいて基準フレーム（例えば、１０１３Ａ～Ｂ、１０１４Ａ～Ｄ、１０１５Ａ～Ｄ、１０１６Ａ～Ｄ、１０１７Ａ～Ｂ、１０１８Ａ～Ｄ）内の仮想アバター（例えば、１０００）の空間位置を変更する（２４０８）。
位置の変化が第１の方向とは異なる第２の方向の第２の変化成分（１００３Ａ～Ｂ、１００４Ａ～Ｄ、１００５Ａ～Ｄ、１００６Ａ～Ｄ、１００７Ａ～Ｂ、１００８Ａ～Ｄ）を含むという判定に従って、電子デバイス（例えば、１００、３００、５００、６００）は、変化の第２の成分の大きさと、第１の変更係数とは異なる第２の変更係数とに基づいて、基準フレーム（例えば、１０１３Ａ～Ｂ、１０１４Ａ～Ｄ、１０１５Ａ～Ｄ、１０１６Ａ～Ｄ、１０１７Ａ～Ｂ、１０１８Ａ～Ｄ）内の仮想アバター（例えば、１０００）の空間位置を変更する（２４１０）。いくつかの例では、ユーザの顔の検出された動きは、検出された動きの性質に応じて異なる方法で仮想アバターの減衰した動きに変換される。例えば、水平（例えば、Ｘ軸）方向の並進移動は、５０％の変更係数を使用して半分だけ減衰することができるが、垂直（例えば、Ｙ軸）方向の並進移動は、視野が垂直方向よりも水平方向に狭くなるようにデバイスが方向付けられている場合、２５％の変更係数を使用して１／４だけ減衰することができる。いくつかの例では、様々な変更係数を使用することで、ユーザの物理的な位置変更になおも対応しながら、ユーザが望ましい基準フレーム内に留まるのを支援することができる。したがって、第２の変化成分（例えば、変化の並進成分）の大きさと、第１の変更係数とは異なる第２の変更係数とに基づいて、基準フレーム内の仮想アバターの空間位置を変化させると、変化の成分が基準フレーム外の仮想アバターの偏移をもたらす場合、基準フレーム内に仮想アバターを維持するのを支援する。操作（例えば、基準フレーム内の仮想アバターの維持）を実行するために必要な入力を減少させることは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔の位置の変化を検出することは、第１の変化成分を含む顔の位置の変化を検出することを含み、第１の変更成分は、１つ以上のカメラの視野に対する変化の水平成分であり（例えば、１００６Ａ～Ｄ）、第１の変更係数は、減衰係数である（例えば、第１の変化成分の大きさに加えられるとき、より小さい変更された大きさの値をもたらす分数修飾子）。そのような例では、基準フレーム内の仮想アバターの空間位置を変更することは、第１の変化成分（例えば、１０１６Ａ～Ｄ）の大きさよりも小さい大きさだけ、水平方向の空間位置を変更することを含む。いくつかの例では、変化の大きさは、１つ以上のカメラの視野内（例えば、顔用）又は空間基準フレーム内（例えば、仮想アバター用）の位置の変化率として決定される。例えば、顔の空間位置は、１つ以上のカメラの視野の水平方向の全長の６０％だけ水平方向に偏移することができる。いくつかのそのような実施形態では、５０％の減衰係数を適用することは、基準フレーム（例えば、仮想アバターの表示用に指定されたディスプレイエリア）の全水平幅の３０％（例えば、６０％×０．５）だけ偏移する仮想アバターの空間位置をもたらす。基準フレーム内での仮想アバターの空間位置の水平方向の減衰変更は、変化成分がそうでなければ基準フレーム外に偏移する仮想アバターをもたらす場合に、基準フレーム内で水平に整列した仮想アバターの維持を支援する。操作（例えば、基準フレーム内の仮想アバターの水平位置の維持）を実行するために必要な入力を減少させることは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔の位置の変化を検出することは、第１の変化成分を含む顔の位置の変化を検出することを含み、第１の変更成分は、１つ以上のカメラの視野に対する変化の垂直成分であり（例えば、１００８Ａ～Ｂ）、第１の変更係数は、減衰係数である（例えば、第１の変化成分の大きさに加えられるとき、より小さい変更された大きさの値をもたらす分数修飾子）。そのような例では、基準フレーム内の仮想アバター（例えば、１０００）の空間位置を変更することは、第１の変化成分（例えば、１０１８Ａ～Ｂ）の大きさよりも小さい大きさだけ、垂直方向の空間位置を変更することを含む。いくつかの例では、変化の大きさは、１つ以上のカメラの視野内（例えば、顔用）又は空間基準フレーム内（例えば、仮想アバター用）の位置の変化率として決定される。例えば、顔の空間位置は、１つ以上のカメラの視野の垂直方向の全長の６０％だけ垂直方向に偏移することができる。いくつかのそのような実施形態では、５０％の減衰係数を適用することは、基準フレーム（例えば、仮想アバターの表示用に指定されたディスプレイエリア）の全垂直長の３０％（例えば、６０％×０．５）だけ偏移する仮想アバターの空間位置をもたらす。基準フレーム内での仮想アバターの空間位置の垂直方向の減衰変更は、変化成分がそうでなければ基準フレーム外に偏移する仮想アバターをもたらす場合に、基準フレーム内で垂直に整列した仮想アバターの維持を支援する。操作（例えば、基準フレーム内の仮想アバターの垂直位置の維持）を実行するために必要な入力を減少させることは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔の位置の変化を検出することは、第１の変化成分を含む顔の位置の変化を検出することを含み、第１の変更成分は、１つ以上のカメラの視野に対する変化の深度関連成分であり（例えば、１００８Ｃ～Ｄ）（例えば、１つ以上のカメラの視野の平面に垂直な軸に沿った変化（例えば、偏移）、Ｚ軸に沿った変化、１つ以上のカメラの視野の平面に関して内向き又は外向きの変化）、第１の変更係数は、減衰係数である（例えば、第１の変化成分の大きさに加えられるとき、より小さい変更された大きさの値をもたらす分数修飾子）。そのような例では、基準フレーム内の仮想アバター（例えば、１０００）の空間位置を変更することは、第１の変化成分（例えば、１０１８Ｃ～Ｄ）の大きさよりも小さい大きさだけ、深度関連方向の空間位置を変更することを含む。いくつかの例では、変化の大きさは、１つ以上のカメラ（例えば、深度を評価することができる１つ以上のカメラ）によって決定される絶対値（例えば、距離）として決定される。例えば、顔の空間位置は、１つ以上のカメラから６フィート離れることができる。いくつかのそのような実施形態では、５０％の減衰係数を適用することは、仮想アバターの初期位置に対して３フィートだけ離れて偏移する仮想アバターの空間位置をもたらす（例えば、３フィートの距離だけ遠くに移動することを示す小さいサイズで提示される仮想アバターによって表される）。基準フレーム内での仮想アバターの空間位置の深度固有方向の減衰変更は、変化成分がそうでなければ準最適サイズに変化する仮想アバターをもたらす場合に、基準フレーム内で適切なサイズにされた仮想アバターの維持を支援する。操作（例えば、仮想アバターの最適サイズの維持）を実行するために必要な入力を減少させることは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔の位置の変化を検出することは、第１の変化成分を含む顔の位置の変化を検出することを含み、第１の変化成分は、１つ以上のカメラの視野に対する縦軸（例えば、ディスプレイに平行な縦軸）の周りの顔の回転を含み（例えば、１００４Ａ～Ｄ）（例えば、顔の異なる側が１つ以上のカメラに露出／見えるように縦軸（例えば、Ｙ軸）に沿って回転する顔を含む顔のポーズの変化がある）、第１の変更係数は、中立変更係数（例えば、第１の変化成分の大きさに影響を与えない変更係数、１の乗数）又は増幅変更係数（例えば、非減衰変更係数、又は第１の変化成分の大きさに適用される場合、１よりも大きい乗数の大きさを増加する変更係数）である。そのような例では、基準フレーム内の仮想アバター（例えば、１０００）の空間位置を変更することは、第１の変化成分（１０１４Ａ～Ｄ）の大きさと少なくとも等しい大きさだけ、縦軸周りの仮想アバターの空間位置を回転させることを含む。ユーザの顔の位置の変化が縦軸周りの回転変化である場合、変更を減衰することなく、仮想アバターの空間位置を変更することは、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの空間位置（例えば、縦軸周りの回転方向）を変更するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔の位置の変化を検出することは、第１の変化成分を含む顔の位置の変化を検出することを含み、第１の変化成分は、１つ以上のカメラの視野に対して横軸（例えば、ディスプレイに平行な横軸）の周りの顔の傾斜を含む（例えば、１００３Ａ～Ｂ）。例えば、ユーザが１つ以上のカメラに向かってうなずくと１つ以上のカメラにさらされるように顔又は頭の上部部分又は下部部分の一部が以前に露出されていなかったように、横軸（Ｘ軸など）に沿って傾斜している顔を含む顔のポーズの変化がある。更に、そのような実施形態では、第１の変更係数は、中立変更係数（例えば、第の変化成分の大きさに影響しない変更係数、１の乗数）又は増幅変更係数（例えば、非減衰変更係数又は第１の変化成分の大きさに適用されたときに、大きさを増加させる変更係数、１より大きい乗数）である。そのような例では、基準フレーム内の仮想アバター（例えば、１０００）の空間位置を変更することは、第１の変化成分（１０１３Ａ～Ｂ）の大きさと少なくとも等しい大きさだけ、横軸周りの仮想アバターの空間位置を傾斜させることを含む。ユーザの顔の位置の変化が横軸周りの傾斜変化である場合、変更を減衰することなく、仮想アバターの空間位置を変更することは、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの空間位置（例えば、横軸周りの傾斜方向）を変更するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔の位置の変化を検出することは、第１の変化成分を含む顔の位置の変化を検出することを含み、第１の変化成分は、１つ以上のカメラの視野に対してシミュレートされたＺ軸（例えば、ディスプレイに対して垂直な軸）の周りの顔の回転を含む（例えば、１００５Ａ～Ｂ）。例えば、ユーザが１つ以上のカメラに向かって頭を横に傾けた場合などに、縦軸（Ｚ軸など）を中心に回転する顔を含む顔のポーズに変化がある。更に、そのような実施形態では、第１の変更係数は、中立変更係数（例えば、第の変化成分の大きさに影響しない変更係数、１の乗数）又は増幅変更係数（例えば、非減衰変更係数又は第１の変化成分の大きさに適用されたときに、大きさを増加させる変更係数、１より大きい乗数）である。そのような例では、基準フレーム内の仮想アバターの空間位置（例えば、１０００）の変更は、第１の変化成分の大きさに少なくとも等しい大きさだけ仮想アバターの空間位置をシミュレートされたＺ軸（ディスプレイに垂直な軸など）の周りに回転させることを含む（例えば、１０１５Ａ～Ｂ）。ユーザの顔の位置の変化がＺ軸周りの回転変化である場合、変更を減衰することなく、仮想アバターの空間位置を変更することは、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの空間位置（例えば、Ｚ軸周りの回転方向）を変更するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔の位置の変化を検出することは、第１の変化成分（例えば、１００６Ａ～Ｄ、１００７Ａ～Ｂ、１００８Ａ～Ｄ）を含む顔の位置の変化を検出することを含み、第１の変更係数は、第１の変化成分の大きさに適用される乗数であり、乗数は１未満の値を有する。そのような例では、基準フレーム内の仮想アバター（例えば、１０００）の空間位置を変更することは、仮想アバターの空間位置の第１の変化成分の大きさよりも小さい大きさの変更を含む（例えば、１０１６Ａ～Ｄ、１０１７Ａ～Ｄ、１０１８Ａ～Ｄ）。そのような例では、変化の大きさは、１つ以上のカメラの視野内（例えば、顔用）又は空間基準フレーム内（例えば、仮想アバター用）の位置の変化率として決定される。例えば、顔の空間位置は、１つ以上のカメラの視野の垂直方向の全長の６０％だけ垂直方向に偏移することができる。いくつかのそのような実施形態では、５０％の減衰係数を適用することは、基準フレーム（例えば、仮想アバターの表示用に指定されたディスプレイエリア）の全垂直長の３０％（例えば、６０％×０．５）だけ偏移する仮想アバターの空間位置をもたらす。乗算器を使用して仮想アバターの空間位置を変更すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）の要素又は検出された物理的要素のより激しい変更を必要とせずに、仮想アバターの空間位置の変化を増幅するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔の位置の変化を検出することは、閾値を超える顔の位置の変化を検出することを含む（例えば、１００６Ｃ～Ｄ）。そのような例では、電子デバイス（例えば、１００、３００、５００、６００）は、閾値を超える顔の位置の変化の検出に応じて、１つ以上のカメラの視野内の顔の位置の変化に基づいて基準フレーム内の仮想アバター（例えば、１０００）の空間位置を変更することを取り止める（例えば、１０１６Ｃ～Ｄ）。いくつかの例では、閾値を超える顔の位置の変化（例えば、顔の垂直位置、水平位置、又は深度位置の変化）は、仮想アバターの空間位置の変更（例えば、変化）をもたらさない。いくつかのそのような実施形態では、仮想アバターの空間位置は、顔の位置の変化が閾値を超える時点までの顔の位置の変化に基づいて変更される（例えば、顔の位置は、有効なゾーンの外側（例えば、１つ以上のカメラの視野外、又は１つ以上のカメラの視野内にある指定エリアの外側）に移動する）。顔の位置の変化が閾値を超えると、仮想アバターの空間位置は、顔の位置の変化に基づいて変更されなくなる（例えば、仮想アバターは、顔の動きを追跡又は反映しなくなる）。顔の位置の変化が閾値を超えた場合の基準フレーム内の仮想アバターの空間位置への変更の取り止め（例えば、仮想アバターの既存の空間位置の維持）は、仮想アバターが基準フレームから出るのを防止する。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作（例えば、仮想アバターの位置の維持）を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上のカメラ（例えば、１６４、６０２）の視野内の顔の位置の変化を検出することは、第１の変化成分及び第２の成分を含む顔の位置の変化を検出することを含み、第１の変化成分は、１つ以上のカメラの視野の範囲内での並進軸に沿った顔の動き（例えば、Ｘ軸、Ｙ軸、又はＺ軸に沿った、軸に沿った顔の移動又は並進）を含み（例えば、１００６Ａ～Ｄ、１００８Ａ～Ｄ）、第２の変化成分は、回転軸周りの顔の回転（例えば、Ｘ、Ｙ、又はＺ軸の周り、１つ以上のカメラの視野内の軸周りの顔の回転（ユーザの頭のねじれ又は傾きによって引き起こされるなど））を含み（例えば、１００３Ａ～Ｂ、１００４Ａ～Ｄ、１００５Ａ～Ｂ）、第１の変更係数は、減衰係数であり（例えば、第１の変化成分の大きさに適用されると、より小さな変更された大きさの値をもたらす分数修飾子）、第２の変更係数は、減衰係数ではない。そのような例では、第１の変化成分の大きさ及び第１の変更係数に基づいて基準フレーム内の仮想アバター（例えば、１０００）の空間位置を変更することは、第１の変化成分の大きさよりも小さい大きさだけ、並進移動軸に沿って空間位置を変更することを含む（例えば、１０１３Ａ～Ｂ、１０１４Ａ～Ｄ、１０１５Ａ～Ｂ）。更に、そのような例では、第２の変化成分の大きさ及び第２の変更係数に基づいて基準フレーム内の仮想アバターの空間位置を変更することは、第２の変化成分の大きさと少なくとも等しい大きさだけ、回転軸の周りの空間位置を変更することを含む（例えば、１０１３Ａ～Ｂ、１０１４Ａ～Ｄ、１０１５Ａ～Ｂ）。いくつかの例では、顔の位置の並進（例えば、軸に沿った偏移）の変化は減衰される（仮想アバターに適用されるとき）一方で、顔の位置の回転の変化は減衰されない。そうすることで、並進的な変化により、仮想アバターが所望の基準フレームの外側に移動する可能性を減らすことができる。対照的に、回転の変化は、通常は仮想アバターが所望の基準フレームの外側に移動することはないため、減衰させる必要はない。基準フレーム内の仮想アバターの空間位置を、顔の並進変化と比較して顔の回転変化とは異なるように変更すると、基準フレーム内の仮想アバターの位置決めを邪魔しない回転変化に影響を与えながら、基準フレーム内の仮想アバターの最適な位置決めをもたらすことができる変化を減衰する入力効率方法をユーザに提供する。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに操作を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
方法２４００に関して上述したプロセス（例えば、図２４）の詳細はまた、上述及び後述する方法２５００にも、類似の方法で適用可能であることに留意されたい。例えば、方法２４００は、任意選択的に、方法８００、９００、１８００、１９００、２０００、２１００、２２００、２３００、及び２５００を参照して以下に説明する様々な方法の特性のうちの任意の１つ以上を含む。例えば、方法８００にしたがってアニメーション化されたアバターを生成、送信、及び受信する方法は、方法２４００にしたがって生成された仮想アバター（例えば、ユーザの顔の位置の変化に反応しながら生成されたアバター）を使用してもよい。同様に、方法２４００にしたがって生成及び／又は変更された仮想アバター及びアニメーション効果は、方法８００又は９００の仮想アバター生成インタフェース（例えば、８０４、９０４）の仮想アバターの表示されたプレビューに含まれてもよい。他の例では、方法２４００にしたがって生成された仮想アバター（例えば、ユーザの顔の位置の変化に反応しながら生成されたアバター）はまた、方法８００、９００、１８００、１９００、２０００、２１００、２２００、２３００、及び２５００の仮想アバター生成及び変更方法にしたがって生成されてもよい。例えば、方法２４００にしたがって生成された仮想アバターは、ポーズ（例えば、１８１０及び１８１２）の変化のタイプに応じて、異なってユーザの顔のポーズを変化させるために第２のアバター部分（例えば、１０３６）とは異なる反応をする第１のアバター部分（例えば、１０３４）を含むことができる。同様に、方法２４００にしたがって生成された仮想アバターは、第１（例えば、１１２２）及び第２（例えば、１１２０Ａ～Ｂ）の物理的特徴の両方の変化に反応する（例えば、１９０４、１９１０、１９１４）アバター特徴（例えば、１１３３）を含むことができる。簡潔にするために、さらなる例を除外する。
図２５は、いくつかの実施形態による、１つ以上のカメラによって検出された顔に基づいて仮想アバターを生成するための、電子デバイスにおける方法を示すフロー図である。方法２５００は、１つ以上のカメラ（例えば、１６４、６０２）及びディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を備えた電子デバイス（例えば、１００、３００、５００、６００）で実行される。方法２５００における一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
以下で説明するように、方法２５００は、仮想アバター（例えば、アニメーション効果のある仮想アバター）を生成するための直感的な方法を提供する。本方法は、仮想アバターを生成するためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式のコンピューティングデバイスの場合、ユーザがユーザアバターをより速くかつより効率的に生成することを可能にすることは、節電し、バッテリ充電の時間間隔を長くする。方法２５００の例は、図１１Ａ～図１１Ｃ、図１２Ａ～図１２Ｃ、図１４Ａ～図１４Ｄ、図１５Ａ～図１５Ｂ、及び図１６Ａ～図１６Ｂを参照して説明したユーザインタフェース及び仮想アバターに見出すことができる。
電子デバイス（例えば、１００、３００、５００、６００）は、ディスプレイ装置（例えば、１１２、３４０、５０４、６０１）を介して、仮想アバター（例えば、１１００、１２００、１４００、１５００、１６００）を表示する（２５０２）。いくつかの例では、仮想アバターは、１つ以上のカメラの視野内の顔（例えば、１６４、６０２）の１つ以上の物理的特徴（例えば、１１２０Ａ～Ｂ、１１２２、１１２３、１２２９、１２２５、１４２０Ｃ～Ｄ、１４２７、１５２０Ａ～Ｂ、１５２７、１６２０Ａ～Ｂ、１６２７）の変化に反応する。
仮想アバター（例えば、１１００、１２００、１４００、１５００、１６００）の表示中に、電子デバイス（１００、３００、５００、６００など）は、１つ以上の物理的特徴（例えば、１１２０Ａ～Ｂ、１１２２、１１２３、１２２９、１２２５、１４２０Ｃ～Ｄ、１４２７、１５２０Ａ～Ｂ、１５２７、１６２０Ａ～Ｂ、１６２７）の第１の構成（例えば、顔の構成（例えば、表情、ユーザの顔の複数の追跡された物理的特徴によって形成された関連する顔の筋肉のコレクション（例えば、皺眉筋及び前頭筋を含む眉毛の動きを制御する筋肉のセット）の特徴的な構成）を検出する（２５０４）。いくつかの例では、構成は、すぼめた唇、ひそめた眉毛、冷笑、にやにや笑い、又は苦い顔である。
いくつかの例では、仮想アバターは、１つ以上のアバター特徴を含み、顔の１つ以上の物理的特徴の第１の構成の検出に応じて、電子デバイスは、顔の１つ以上の物理的特徴の第１の構成に基づいて１つ以上のアバター特徴のうちの少なくとも１つを変更する。
顔の１つ以上の物理的特徴（例えば、１１２０Ａ～Ｂ、１１２２、１１２３、１２２９、１２２５、１４２０Ｃ～Ｄ、１４２７、１５２０Ａ～Ｂ、１５２７、１６２０Ａ～Ｂ、１６２７）の第１の構成を検出中、電子デバイス（例えば、１００、３００、５００、６００）は、以下の動作のうちの任意の１つ以上を実行することができる。１つ以上の物理的特徴の第１の構成がアニメーション基準を満たすという判定に従って、アニメーション基準は、第１の構成が少なくとも第１の閾値時間だけ維持されるという要件を含み（例えば、アニメーションの基準を満たすため、顔面表情は、所定期間（０．５秒、０．６秒、１秒、２秒など）実質的に維持される）、電子デバイスは、第１のアニメーション効果を含むように仮想アバター（例えば、１１００、１２００、１４００、１５００、１６００）を変更する（２５０８）。そのようなアニメーション効果は、アバターの唇から発せられるアニメーションハート（例えば、１２５２、１４５２、１５５５、１６５２）（構成がすぼめた唇の場合）、アバターの上に配置された嵐雲（１１４２、１１４４など）（例えば、構成が眉毛をひそめている場合）、アバターの目から放射されるレーザービーム（例えば、１１４６）（例えば、構成が苦い顔の場合）、又はアバターの目から放出される涙滴（例えば、１１４０）（例えば、構成が悲しい表情である場合）などの視覚効果を含むことができる。アニメーション基準を満たさない１つ以上の物理的特徴の第１の構成によれば、電子デバイスは、第１のアニメーション効果を含むように仮想アバターの変更を取り止める（２５１０）。仮想アバターを変更して、ユーザの物理的機能を使用してアニメーション基準を満たすことに基づいた第１のアニメーション効果を含めると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに、仮想アバターのアニメーション効果の生成を制御するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、第１のアニメーション効果（例えば、１１４０、１１４２、１１４４、１１４６、１２５２、１４５２、１５５５、１６５２）は、表示された仮想アバター（例えば、１１００、１２００、１４００、１５００、１６００）とは異なる（例えば、仮想アバターが仮想アバターの解剖学的特徴に対応していない）（新たに又は最初に表示される）１つ以上の仮想オブジェクト（例えば、心、嵐雲、雷、涙、レーザー）を視覚的に導入する（例えば、新しく又は最初に）電子デバイス（例えば、１００、３００、５００、６００）を含む。表示された仮想アバターとは異なる１つ以上の仮想オブジェクトを視覚的に導入し、ユーザの物理的特徴を使用してアニメーション基準を満たすことで、複数の入力（例えば、タッチ入力）を必要としない既存の仮想アバターに別個の仮想オブジェクトを追加するための効率的な入力モダリティをユーザに提供する。操作を実行するために必要な入力の回数を減少させることは、デバイスの操作性を向上させ、ユーザとデバイスのインタフェースをより効果的にし（例えば、ユーザが適切な入力を提供することを支援し、デバイスを操作又はそれと対話するとき、ユーザの間違いを低減することによって）、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。いくつかの例では、仮想オブジェクトは、アバターの唇から放出されるアニメーション化されたハートである（例えば、構成がすぼめた唇の場合）。いくつかの例では、仮想オブジェクトは、任意選択的にアバターの上に雷が配置された嵐雲である（例えば、構成が眉毛をひそめている場合）。いくつかの例では、仮想オブジェクトは、アバターの目から放射されるレーザービームである（例えば、構成が苦い顔の場合）。いくつかの例では、仮想オブジェクトは、アバターの目から放出される涙である（例えば、構成が悲しい表情の場合）。いくつかの例では、仮想オブジェクトは、解剖学的又は生理学的に、１つ以上のカメラの視野内の顔の特徴のいずれにも対応しない。いくつかの例では、１つ以上の仮想オブジェクトは、徐々に導入される（例えば、１つ以上の仮想オブジェクトは、経時的に間隔を空けて表示され、１つ以上のオブジェクトは、比較的小さく始まり、その後時間とともに大きくなり、及び／又はより多くのオブジェクトが比較的透明で始まり、経時的に徐々に不透明度が増加する）。
いくつかの例では、仮想アバター（例えば、１１００、１２００、１４００、１５００、１６００）を変更して第１のアニメーション効果（例えば、１１４０、１２５２、１４５２、１５５５、１６５２）を含めると、更に電子デバイス（１００、３００、５００、６００）は、仮想アバターに対して移動する１つ以上の仮想オブジェクト（例えば、１１４０、１２５２、１４５２、１５５５、１６５２）のアニメーションを表示する。いくつかの例では、１つ以上のオブジェクトの動きは、他の仮想オブジェクトに対してランダム化されるか、さもなければ（例えば、所定のパターンにしたがって）変化する。
いくつかの例では、仮想アバターに対して移動する１つ以上の仮想オブジェクト（例えば、１１４０、１２５２、１４５２、１５５５、１６５２）のアニメーションは、発信元の場所（アバターの唇など）から目的の場所までの１つ以上の仮想オブジェクトのアニメーション化された動きを表示する電子デバイス（例えば、１００、３００、５００、６００）を含む。いくつかの例では、１つ以上の仮想オブジェクトのそれぞれについて、分布関数（例えば、１つ以上の仮想オブジェクトの目的地をランダム又は擬似ランダムに選択するアルゴリズム）に基づいて、目的の場所に仮想アバターに対する位置が割り当てられる。
いくつかの例では、仮想アバター（例えば、１１００、１２００、１４００、１５００、１６００）に対して移動する１つ以上の仮想オブジェクトのアニメーション（例えば、１２５２、１４５２、１５５５、１６５２）は、仮想アバターの表示された向きに基づく方向を有する移動を含む。例えば、仮想アバターが左を向いている場合、オブジェクトは、アバターの左側に移動する。仮想アバターが右を向いている場合、オブジェクトは、アバターの右側に移動する。表示された仮想アバターの向きに基づいて仮想オブジェクトを移動すると、デバイスによって検出されているとき、ユーザの向き（例えば、アバターの向きを制御する）に関するフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上の仮想オブジェクト（例えば、１１４０、１２５２、１４５２、１５５５、１６５２）は、分布関数（例えば、ランダム又は疑似ランダムに１つ以上の仮想オブジェクトの表示時間を選択するアルゴリズム）に基づいて選択された時間間隔で放出される複数の仮想オブジェクトである。
いくつかの例では、１つ以上の物理的特徴（例えば、１１２０Ａ～Ｂ、１１２２、１１２３、１２２９、１２２５、１４２０Ｃ～Ｄ、１４２７、１５２０Ａ～Ｂ、１５２７、１６２０Ａ～Ｂ、１６２７）の第１の構成は、１つ以上の物理的特徴の第１の構成が、顔の２つ以上の物理的特徴の一連の所定の相対的な空間的配置から顔の２つ以上の物理的特徴の第１の所定の相対的な空間位置決めを含む場合（例えば、複数の顔の特徴の相対的な空間位置決めを追跡することにより特定される第１の所定の顔面表情）、アニメーション基準を満たす。仮想アバターを変更して、２つ以上の物理的特徴の相対的な空間的配置に基づくアニメーション基準を満たすことに基づく第１のアニメーション効果を含めることにより、表示されるユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターのアニメーション効果の生成を制御するための任意選択的低エラーをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の任意選択的制御を提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、１つ以上の仮想オブジェクト（例えば、１１４０、１１４２、１１４６、１２５２、１４５２、１５５５、１６５２）は、第１の所定の相対的な空間位置決めに基づいて決定される。いくつかの例では、アニメーション効果は、特定の特定された顔面表情に基づいて選択される仮想オブジェクトの表示を含む。
いくつかの例では、顔の物理的特徴のうちの２つ以上の第１の所定の相対的な空間位置決めは、少なくとも顔のしかめた上唇と下唇、及び顔の閉じた顎によって形成されるしかめた表情（例えば、１２２９及び１２２５、１４２０Ｃ～Ｄ及び１４２７、１５０２Ａ～Ｂ及び１５２７、１６２０Ａ～Ｂ及び１６２７）（例えば、解剖学的に対応する、又は（例えば、パターンマッチングを介して）決定される）に対応し、１つ以上の仮想オブジェクトは、１つ以上のハート（例えば、１２５２、１４５２、１５５５、１６５２）を含む。
いくつかの例では、顔の物理的特徴のうちの２つ以上の第１の所定の相対的空間位置決めは、口の中央部よりも低い少なくとも口の第１の角及び第２の角によって形成される悲しい表情（例えば、１１２０Ａ～Ｂ）に対応し、１つ以上の仮想オブジェクトは、１つ以上の涙（例えば、１１４０）を含む。
いくつかの例では、顔の物理的特徴の２つ以上の第１の所定の相対的な空間位置決めは、下げられた位置を有する顔の少なくとも２つの眉毛によって形成される眉毛をひそめること（例えば、１１２０Ａ～Ｂ及び１１２２）に対応し（例えば、眉毛をひそめることは、眉毛の中立的な静止位置と比較してユーザの眉毛がユーザの鼻に向かって垂直に変位した位置にある場合に検出される）、１つ以上の仮想オブジェクトは、任意選択的に断続的な落雷（例えば、１１４４）を含むことがある１つ以上の嵐雲（例えば、１１４２）を含む。
いくつかの例では、顔の物理的特徴の２つ以上の第１の所定の相対的な空間位置決めは、顔の２つの目の少なくとも狭まりによって形成される苦い顔（例えば、１１０３Ａ～Ｂ）に対応し（例えば、ユーザの目の上瞼及び下瞼は、実際に目を閉じることなく閉じた位置に向かってわずかに移動する）、１つ以上の仮想オブジェクトは、１つ以上のレーザービーム（例えば、１１４６）を含む。いくつかの例では、苦い顔の検出はまた、ユーザの頬の筋肉（頬骨筋など）の上昇位置の検出も含む。
いくつかの例では、仮想アバター（例えば、１１００、１２００、１４００、１５００、１６００）は、複数の仮想アバターテンプレート（例：犬、猫、クマ、ロボット、ユニコーン、エイリアン、プー）の第１の仮想アバターテンプレート（例えば、アバター１１００、１２００、１４００、１５００、１６００のテンプレート）に対応する。例えば、仮想アバターテンプレートは、アバターの特徴、アバターのサイズ、アバターの色などを含む（又は除外）ような仮想アバターのコア特性を定義する仮想アバターモデル（例えば、１つ以上のバリエーションを含むか又は含まなくてもよいベースモデル）を含むことができる。いくつかの例では、第１のアニメーション効果の視覚特性は、第１の仮想アバターテンプレートに基づいている。換言すれば、第１のアニメーション効果の視覚特性は、アバターテンプレートに応じて変化するため、アニメーション効果は、アバターテンプレートに応じて異なって表示される。いくつかの例では、アバターテンプレートは、ロボットに対応し、アニメーション効果は、メタリックな外観を持つ仮想オブジェクト（例えば、ハート１４５２）の表示を含む。いくつかの例では、アバターテンプレートは、ユニコーンに対応し、アニメーション効果は、虹ベースの外観を持つ仮想オブジェクト（例えば、ハート１５５５）の表示を含む。いくつかの例では、アバターテンプレートは、エイリアンに対応し、アニメーション効果は、ぬるぬるした外観とテクスチャリングを持つ仮想オブジェクト（例えば、ハート１２５２）の表示を含む。アバターテンプレート（例えば、コア特性を定義するテンプレート）上の仮想アバターに基づいて、仮想アバターの特性を定義するための入力効率の良い方法をユーザに提供する。更なるユーザ入力を必要とせずに、条件のセットが満たされたときに（例えば、テンプレートが選択される）操作（例えば、仮想アバターのコア特性の定義）を行うことにより、デバイスの操作性が改善され、ユーザデバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの例では、仮想アバター（例えば、１１００、１２００、１４００、１５００、１６００）を変更して第１のアニメーション効果（例えば、１１４０、１２５２、１４５２、１５５５、１６５２）を含めるようにした後、１つ以上の物理的特徴の構成が追加のアニメーション基準を満たすという判定に従って、追加のアニメーション基準は、追加のアニメーション基準を満たすために、第１のアニメーション効果を含むように仮想アバターを変更した後、少なくとも第２の閾値時間だけ第１の構成を維持するという要件を含み（例えば、顔面表情は、第１のアニメーション効果を含むように仮想アバターを変更した後（例えば、アニメーションハート、嵐雲、レーザービームなどを生成した後）、所定期間（例えば、０．３秒、０．６秒、１秒など）実質的に維持される）、電子デバイスは、第２のアニメーション効果（例えば、第１のアニメーション効果に基づく第２のアニメーション効果）を含むように仮想アバターを変更する。いくつかの例では、第２のアニメーション効果は、第１のアニメーション効果の維持又は繰り返しを含む。いくつかの例では、第２のアニメーション効果は、第１のアニメーション効果のバリエーションである（例えば、第１のアニメーション効果の一部として表示される仮想オブジェクトのより大きなバージョン又はより頻繁なバージョン）。仮想アバターを変更して、ユーザの物理的機能を使用して追加のアニメーション基準を満たすことに基づいた第２のアニメーション効果を含めると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに、仮想アバターの追加のアニメーション効果の生成を制御するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
１つ以上の物理的特徴の第１の構成（例えば、１５２０Ａ～Ｂ及び１５２７）がアニメーション基準を満たし、アバターが第１のアニメーション効果を含むように変更されるいくつかの例では、顔の１つ以上の物理的特徴の第１の構成を検出するとき、電子デバイスは、顔の第１の物理的特徴（例えば、１つ以上の物理的特徴の第１の構成の一部である物理的特徴ではない物理的特徴）の変化を検出する。いくつかの例では、アニメーション基準を満たす顔の第１の物理的特徴の変化の検出に応じて、電子デバイスは、顔の第１の物理的特徴（例えば、１５２２）の変化に基づいて、第１のアバター特徴（例えば、１５３８）を変更する。いくつかの例では、アニメーションの基準は、ユーザの顔の追跡されたすべての機能よりも少ないことに基づく評価を含む。例えば、アニメーションの基準は、ユーザの口と目の部分のみに基づいている場合がある。したがって、アニメーション特徴によって評価されない物理的特徴（例えば、ユーザの眉毛）が動く（例えば、所定の位置に維持されない）場合であっても、アニメーション基準は満たされることができる。顔の物理的特徴の変化に基づくアバター特徴の変更例は、方法１８００、１９００、２０００、２１００、２２００、２３００、及び２４００を参照して上記でより詳細に説明されている。第１のアニメーション効果を含めるためのアニメーション基準を満たしながら（例えば、異なる物理的特徴のセットを使用して）、第１の物理的特徴の変更に基づいて第１のアバター特徴を変更するオプションをユーザに提供すると、表示されたユーザインタフェースコントロール（例えば、タッチコントロール）要素を必要とせずに仮想アバターの生成を制御するオプションをユーザに提供する。追加の制御によりユーザインタフェースを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性が改善され、ユーザ－デバイスインタフェースを（例えば、デバイスを操作／対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）更に効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
なお、方法２５００に関して上述したプロセス（例えば、図２５）の詳細はまた、上述した方法にも類似の方式で適用可能であることに留意されたい。例えば、方法２５００は、任意選択的に、方法８００、９００、１８００、１９００、２０００、２１００、２２００、２３００、及び２４００を参照して以下に説明する様々な方法の特性のうちの任意の１つ以上を含む。例えば、方法８００及び９００にしたがってアニメーション化されたアバターを生成、送信、及び受信する方法は、方法２５００にしたがって生成された仮想アバター及びアニメーション効果を使用することができる。同様に、方法２５００にしたがって生成及び／又は変更された仮想アバター及びアニメーション効果は、方法８００又は９００の仮想アバター生成インタフェース（例えば、８０４、９０４）の仮想アバターの表示されたプレビューに含まれてもよい。他の例では、方法２５００にしたがって生成された仮想アバター（例えば、アニメーション効果を有する）はまた、方法８００、９００、１８００、１９００、２０００、２１００、２２００の仮想アバター生成及び変更方法に更にしたがって生成されてもよい。例えば、方法２５００にしたがって生成された仮想アバターは、ポーズ（例えば、１８１０及び１８１２）の変化のタイプに応じて、異なってユーザの顔のポーズを変化させるために第２のアバター部分（例えば、１０３６）とは異なる反応をする第１のアバター部分（例えば、１０３４）を含むことができる。同様に、方法２５００にしたがって生成された仮想アバターは、第１（例えば、１１２２）及び第２（例えば、１１２０Ａ～Ｂ）の物理的特徴の両方の変化に反応する（例えば、１９０４、１９１０、１９１４）アバター特徴（例えば、１１３３）を含むことができる。簡潔にするために、さらなる例を除外する。
上記の段落［０２００］及び［０２３７］で述べたように、いくつかの実施形態では、カメラ（例えば、６０２）（例えば、カメラモジュール１４３、光センサ１６４、深度カメラセンサ１７５）の視野でユーザの顔が検出されなくなった後、電子デバイスは、表示された仮想アバターを変更する。図２６Ａ～２６Ｄは、カメラ（例えば、カメラ６０２）（例えば、カメラモジュール１４３、光センサ１６４、深度カメラセンサ１７５）の視野内でユーザの顔がもはや検出されなくなった後、デバイス（例えば、６００）が仮想アバターの表示外観を変更し続けるそのような実施形態を示す。
図２６Ａ～２６Ｄは、例示的なユーザ入力及び例示的な仮想アバター（例えば、犬のアバター）に対する対応する変更を示している。図２６Ａ～２６Ｄの左列の画像は、ユーザが１つ以上のカメラ（例えばカメラ６０２）（例えば、カメラモジュール１４３、光センサ１６４、深度カメラセンサ１７５）及び／又はその他のセンサ（赤外線センサなど）の視野内にあるときに電子デバイスによって検出されるようなユーザの画像を表す。換言すれば、ユーザの画像は、カメラ（例えば、カメラ６０２）（例えば、カメラモジュール１４３、光センサ１６４、深度カメラセンサ１７５）の視点からのものであり、これは、いくつかの実施形態では、電子デバイス（例えば、デバイス１００、３００、及び５００）に配置されることができ、他の実施形態では、電子デバイス（例えば、データを電子デバイスに渡す外部カメラ又はセンサ）から分離して配置されることができる。いくつかの実施形態では、図２６Ａ～図２６Ｄの左列の画像の境界は、１つ以上のカメラ（例えば、６０２）（例えば、カメラモジュール１４３、光センサ１６４、深度カメラセンサ１７５）及び／又は他のセンサ（例えば、赤外線センサ）の視野の境界を表す。
図２６Ａ～図２６Ｄの中央列の画像は、デバイスがすべての左列の動きのユーザの顔を追跡し続ける（例えば、顔の追跡は失敗しない）仮想シナリオについて、左列に位置するユーザの検出画像に対応する仮想アバターの外観を表す基準アバター（例えば、犬アバター）を示す。基準アバターは、基準アバターを見ているユーザの視点から表示される。いくつかの実施形態では、図２６Ａ～図２６Ｄの中央列の画像は、電子デバイスのディスプレイ（例えば、タッチスクリーン１１２、ディスプレイ３４０、ディスプレイ４５０、ディスプレイ５０４）の表示領域内の基準アバターの位置を表し、図２６Ａ～図２６Ｄの中央列の画像の境界は、基準アバターを含む表示領域の境界を表す。いくつかの実施形態では、中央列に表される表示領域は、上記で説明した仮想アバターインタフェース６４３、メッセージ作成エリア６１２、メッセージエリア６０９（又はその一部）などのアプリケーションユーザインタフェースのアバター表示領域に対応する。
図２６Ａ～図２６Ｄの右列の画像は、デバイスが左列の動きの一部のユーザの顔を追跡できない（例えば、顔の追跡に失敗する）シナリオについて、左列に位置するユーザのいくつかの検出画像に基づいて提示される（例えば、変更後に表示される）状態の仮想アバター２６００（例えば、犬アバター）を示す。いくつかの実施形態では、仮想アバターは、仮想アバターを見ているユーザの視点から示される。いくつかの実施形態では、仮想アバターは、電子デバイスのディスプレイ（例えば、タッチスクリーン１１２、ディスプレイ３４０、ディスプレイ４５０、ディスプレイ５０４）に表示される。いくつかの実施形態では、仮想アバターは、表示のために外部電子デバイスに送信される。いくつかの実施形態では、図２６Ａ～図２６Ｄの右列の画像は、電子デバイスのディスプレイ（例えば、タッチスクリーン１１２、ディスプレイ３４０、ディスプレイ４５０、ディスプレイ５０４）の表示領域内の仮想アバターの位置を表し、図２６Ａ～図２６Ｄの右列の画像の境界は、仮想アバターを含む表示領域の境界を表す。いくつかの実施形態では、右列に表される表示領域は、上記で説明した仮想アバターインタフェース６４３、メッセージ作成エリア６１２、メッセージエリア６０９（又はその一部）などのアプリケーションユーザインタフェースのアバター表示領域に対応する。
図２６Ａは、顔追跡が失われた後の、表示された仮想アバター２６００の慣性運動の例を示している。左列は、様々な状態（例えば、２６０１Ａ～２６０１Ｄ）でのユーザの動きを示している。右列は、デバイスがユーザの顔を追跡する期間（例えば、状態２６０３Ａ及び２６０３Ｂ）及びデバイスがユーザの顔を追跡しなくなった（例えば、状態２６０３Ｃ及び２６０３Ｄ）ときの、デバイスが様々な状態（例えば、２６０３Ａ～２６０３Ｄ）で仮想アバターに対して行う変更を示している。参考のために、中央列は、顔追跡が失敗しなかった場合に右列の仮想アバターがどのように見えるかを表す基準アバターの状態２６０２Ａ～２６０２Ｄを示している。
状態２６０１Ａでは、ユーザは、視野の中心に位置し、頭２６０４は、前方を向き、中立的な顔面表情を有する（例えば、本明細書で提供される他の実施形態で説明されるように、ユーザの口２６０６は、中立的なポーズを有する）。状態２６０２Ａでは、基準アバターの頭２６１４’は、境界領域の中心にあり、耳２６１８’は、基準アバターの頭の側面に沿って静止し、口２６１６’は、ユーザの姿勢に合った中立的なポーズを有する。状態２６０３Ａでは、デバイスは、カメラの視野内で状態２６０１Ａに示されている位置を有するユーザの頭２６０４及び口２６０６を検出する。したがって、デバイスは、状態２６０２Ａの基準アバターの対応する特徴と同じ位置を有する頭２６１４、口２６１６、及び耳２６１８を有する犬のアバターを表示する。
状態２６０１Ｂでは、ユーザは、カメラの視野をわずかに超えて移動しながら、カメラの視野内でより高く動かされ、頭を左に回し始めている（例えば、ユーザの頭２６０４は、状態２６０１Ａよりも高い位置にあり、カメラの視点からわずかに右に回転している）。同時に、ユーザは、笑顔を始めている（例えば、ユーザの口２６０６が笑顔の位置に移動しており、状態２６０１Ｂでは、ユーザの口がわずかに持ち上げられているように見える（ユーザが笑い始めているため））。状態２６０２Ｂでは、状態２６０１Ｂでのユーザの頭の動きを表すために境界２６０５の縁部に偏移しながら、基準アバターの頭２６１４’は、状態２６０２Ａよりも境界領域内で高く移動し（例えば、状態２６０１Ｂでのユーザの頭２６０４の垂直位置に一致するように）、わずかに左に回転する（ユーザの視点から）。基準アバターがその頭２６１４’を回転させると、耳２６１８’に関連付けられた物理モデルにしたがって、耳の回転とともに耳２６１８’がわずかに揺れる。基準アバターの口２６１６’は、わずかな笑顔になり、状態２６０１Ｂのユーザの口２６０６の動きと位置に一致する。状態２６０３Ｂでは、デバイスは、カメラの視野内で状態２６０１Ｂに示されている位置を有するユーザの頭２６０４及び口２６０６を検出する。したがって、状態２６０３Ｂは、状態２６０２Ｂの基準アバターと同じ位置を有する犬のアバターを表示するデバイスを示す。
状態２６０１Ｃでは、ユーザは、すぐに頭２６０４を回して正面を向き、口２６０６をひそめる表情に変える（例えば、ユーザの口をひそめる）。状態２６０２Ｃでは、基準アバターの頭が前方に素早く回転して、ユーザの頭の回転に一致する。基準アバターの耳２６１８’は、基準アバターの頭２６１４’の素早い回転の物理学にしたがって揺れ動く。基準アバターの口２６１６’は、わずかな笑顔から、ユーザの表情に合った顔をしかめた表情に変わる。
状態２６０３Ｃでは、デバイスは、カメラの視野内でユーザを検出しなくなった。したがって、デバイスは、以前に検出されたユーザの状態（例えば、状態２６０１Ｂ）に基づいて犬のアバターを変更し続ける。例えば、デバイスは、ユーザが頭を左に回したことを最後に検出したため、デバイスは、犬の頭２６１４の回転を変更し続け、状態２６０１Ｂでのユーザの頭の以前に検出された左回転に基づいて回転し続ける。いくつかの実施形態では、デバイスはまた、頭がアバターの右を向いた静止位置まで徐々に減速するように犬の頭２６１４の回転速度を低下させ、犬の耳２６１８は、犬の頭２６１４の徐々に減速する物理学に基づいてわずかに動く。更に、デバイスは、カメラの視野内でユーザが垂直方向に移動していることを最後に検出したため、ユーザに対して検出された垂直位置に移動するように犬アバターの頭２６１４を変更し続ける。いくつかの実施形態では、デバイスはまた、犬の頭２６１４が垂直に動き続ける速度を減少させ、それにより、静止位置まで徐々に減速する。デバイスは、最後に、ユーザの口２６０６が中立位置から微笑みまで移動することを検出した。したがって、デバイスは、状態２６０３Ｃに示されている笑顔表情を達成するために笑顔の動きを続けるように、犬のアバターの口２６１６を変更する（例えば、状態２６０３Ｂに示されるわずかな笑顔よりも笑顔が大きい）。いくつかの実施形態では、デバイスは、犬の口２６１６が変化する速度を低下させ、その結果、ゆっくりと休息する笑顔の位置まで減速する。
いくつかの実施形態では、顔追跡が失敗した後、異なるアバター特徴は、異なる速度及び／又は大きさで変化する。例えば、アバターの頭２６１４は、顔追跡が失敗した後、アバターの口２６１６が変化し続ける速度よりも速い速度で回転し続けることができる。他の例として、顔追跡が失敗した後のアバター頭２６１４の変化の大きさは、アバターの口２６１６の変化の大きさよりも大きくてもよい。
状態２６０１Ｄでは、ユーザは、２６０１Ｃと同じ位置に留まる。状態２６０２Ｄでは、状態２６０２Ｃに示すように、基準アバターの耳２６１８’が移動後に静止位置に落ち着く。状態２６０３Ｄでは、デバイスは、まだユーザを検出していない。デバイスは、犬の耳２６１８を変更して、他のアバター特徴の動きが停止したため、犬が静止位置に落ち着くようにする。いくつかの実施形態では、ユーザがカメラの視野内で検出されなくなった後、変更されたアバター特徴が変更後の量の制限に到達したため、デバイスは、犬のアバターを変更しなくなる（例えば、犬のアバターの頭を右に回転させ続けたり、犬のアバターの笑顔を増やし続けたりしない）。いくつかの実施形態では、デバイスは、（顔追跡が失われた後）特徴の最終的に変更された位置を制限して、特徴が過度に誇張されないようにする。例えば、犬の口２６１６は、顔の追跡が失敗した後、状態２６０３Ｄに示される笑顔のポーズを超えないように制限されることができる。他の例として、頭２６１４の変更された位置は、アバター頭２６１４が後方に向きを変えることができないように制限されてもよい。いくつかの実施形態では、顔追跡が失われた後の特徴の最終的な変更された位置の制限は、変更されたアバター特徴が変更されることができる動きの範囲の所定のキャップとして設定される。いくつかの実施形態では、顔追跡が失われた後の特徴の最終変更位置の制限は、顔追跡が失敗する前の瞬間にユーザの対応する特徴について検出された変化のスケーリング値として設定される。いくつかの実施形態では、顔の追跡が失われた後、特徴の最終的に変更された位置の制限は、誇張された顔の顔面表情のトリガーを回避するように決定される。例えば、仮想アバターがエイリアンアバター（例えば、ここで説明したものなど）であり、変化するアバター特徴が眉毛又は頬である場合、顔の追跡が失敗した後、アバターの眉毛又は頬の動きは、エイリアンの頭又は頬に表示されるスパイクを引き起こさない動きの範囲に制限されてもよい。
図２６Ｂは、閾値時間内に顔追跡が再開した後（例えば、顔追跡が失敗した後１．５秒未満）、仮想アバター２６００を変更する例を示している。この実施形態では、デバイスは、再びユーザを検出し、仮想アバターを変更して、検出されたユーザの追跡を再開する。例えば、状態２６０１Ｅでは、ユーザは、状態２６０１Ｄに示されている位置に留まる。状態２６０２Ｅでは、基準アバターは、状態２６０２Ｄに示されている位置のままである。状態２６０３Ｅでは、変更された仮想アバターは、状態２６０３Ｄに示されている位置にある。状態２６０３Ｅは、顔追跡が再開される少し前に表示、変更された仮想アバターの状態である。
状態２６０１Ｆ及び２６０１Ｇでは、ユーザの頭２６０４は、カメラの視野内で下に移動し、視野の中心に戻っているが、ユーザの口２６０６は、しかめた顔面表情を維持している。状態２６０２Ｆ及び２６０２Ｇでは、中央列の基準アバターは、しかめ面の表情を維持しながら、ユーザの位置に一致するように下に偏移する。状態２６０３Ｆでは、デバイスは、ユーザを検出し、状態２６０１Ｆで検出されたユーザの外観に基づいて、表示された仮想アバターの変更を開始する。犬のアバターの変更は、状態２６０３Ｆ及び２６０３Ｇに示されており、状態２６０３Ｆは、状態２６０３Ｅのアバターの表示と状態２６０３Ｇのアバターの最終的な表示との間の一時的な状態である。具体的には、デバイスは、犬のアバターの口２６１６を変更して、状態２６０３Ｅの大きな笑顔から２６０３Ｇに示す眉毛をひそめ、状態２６０３Ｆに示す中間位置に遷移する。更に、デバイスは、犬のアバターの頭２６１４の向きと位置を変更して、ユーザのそれに合わせる。例えば、デバイスは、犬のアバターの頭２６１４の位置を、状態２６０３Ｅの境界領域の左上隅から、状態２６０３Ｇに示される下の位置に移動し、状態２６０３Ｆに中間位置を示す。同様に、デバイスは、状態２６０３Ｅの横向きから状態２６０３Ｇに示す正面向きにアバターの頭２６１４を回転させ、状態２６０３Ｆは、中間位置を示す。
いくつかの実施形態では、顔追跡が再開されると、様々なアバター特徴の物理学が減衰される。例えば、図２６Ｂに示すように、状態２６０３Ｆでは、アバターの耳２６１８は動かない（又はわずかに動く）ため、視野内でのユーザの顔の再獲得、及び仮想アバターのその後の変更は、アバターの耳２６１８の急激な動きを引き起こさず、これは、仮想アバターの機能の動きを悪化させ、本明細書で開示される変更技術で達成される滑らかな遷移効果を妨げる。
図２６Ｃは、顔追跡が閾値時間内に再開できなかった後（例えば、顔追跡が失敗した後１．５秒未満）、仮想アバター２６００を変更する例を示している。この実施形態では、デバイスは、カメラの視野に戻るようにユーザを促し、表示領域の中央の所定の位置（例えば、センタリング）に移動して中立的なポーズに遷移する仮想アバターのアニメーションを表示するようにアバターを変更する。
状態２６０１Ｈ～２６０１Ｊでは、境界領域の右上隅に顔をしかめた顔面表情で、カメラの視野の外側に部分的に位置している。状態２６０２Ｈ～２６０２Ｊでは、基準アバターは、ユーザの位置と顔面表情を表すように、境界領域の左上隅に配置され、顔をしかめた顔面表情を有する。状態２６０３Ｈ～２６０３Ｊでは、デバイスは、カメラの視野内でユーザを検出しない。
状態２６０３Ｈでは、デバイスは、ユーザがカメラの視野内で閾値時間検出されなかったと判定し、カメラの視野内にユーザの頭を配置するように指示する表示プロンプトを含むように、表示されたアバター（状態２６０３Ｄで上記の位置を有する）を変更する。いくつかの実施形態では、プロンプトは、境界領域の中央に配置されたフレーム２６２０と、カメラの視野に頭を配置するようにユーザに指示するメッセージ２６２２とを含む。状態２６０３Ｉ及び２６０３Ｊに示されるように、デバイスはまた、状態２６０３Ｈの変更された位置からフレーム２６２０内の中心位置に遷移するように仮想アバターを変更する。状態２６０３Ｊでは、仮想アバターは、フレーム２６２０の中央に示されており、中立的な表情を有している。状態２６０３Ｉは、状態２６０３Ｈの外観から状態２６０３Ｊの外観に移動して表示される仮想アバターの一時的な状態を示す。状態２６０３Ｉの一時的な状態では、仮想アバターの頭２６１４は、状態２６０３Ｈの横向きの位置からわずかに前向きの状態に回転しており、アバターの口２６１６は、状態２６０３Ｊで中立状態に遷移するのにともない、状態２６０３Ｈの大きな笑顔から状態２６０３Ｉのわずかな笑顔に遷移している。
いくつかの実施形態では、デバイスが状態２６０３Ｈの外観から状態２６０３Ｊの外観に遷移するとき、デバイスは、アバター特徴の物理学を減衰させる。例えば、状態２６０３Ｉでは、アバターが状態２６０３Ｈの外観から状態２６０３Ｊの外観に遷移して表示されるため、アバターの耳２６１８は移動しない（又はわずかに移動する）。
図２６Ｄは、仮想アバター２６００を変更して、閾値時間を超えて顔を検出できなかった後に顔追跡を再開する例を示している。デバイスがカメラの視野でユーザを再度検出した後、デバイスは、想アバターを変更して、検出されたユーザの追跡を再開する。
状態２６０１Ｋ～２６０１Ｍでは、ユーザの頭２６０４は、カメラの視野内の低い位置にあり、頭を右に向けて微笑んでユーザの右に移動する。状態２６０２Ｋ～２６０２Ｍでは、基準アバターは、境界領域の右下に配置され、ユーザの外観に合わせて左に回された頭２６１４’を有する。基準アバターの口２６１６’は、ユーザの口２６０６に一致する大きな笑顔である。状態２６０３Ｋでは、デバイスは、ユーザがカメラの視野に入っていると判定しているため、状態２６０３Ｊに関して上で説明した外観を有する仮想アバターを表示するが、仮想アバター２６００の周りに実線のフレーム２６２０－１が表示される。
いくつかの実施形態では、デバイスは、ユーザがカメラの視野内に位置していると判定した後、状態２６０３Ｋの中立的なポーズからユーザの検出されたポーズを表す外観への漸進的な遷移としてアバター２６００を変更する。この段階的な遷移は、状態２６０３Ｋに示される外観から状態２６０３Ｍに示される外観に変化するアバター２６００として表示することができ（例えば、アバター２６００は、境界領域の右下に位置し、ユーザの回転した頭２６０６と一致するように頭２６１４が左に向き、口２６１６は、ユーザの口２６０６と一致する大きな笑顔である）、状態２６０３Ｌに一時的な外観が示されている（例えば、アバター２６００は、わずかに右下に配置され、頭がわずかに回転し、口２６１６は、中立的なポーズから大きな笑顔に遷移している）。いくつかの実施形態では、デバイスが、ユーザがカメラの視野内に位置すると判定した後、デバイスは、ユーザの検出された状態を表す外観に直接遷移するように仮想アバター２６００を変更する。換言すれば、デバイスは、段階的な遷移を表示せずに、２６０３Ｍに示す状態としてアバターを変更する（例えば、状態２６０３Ｌに示す一時的な状態）。
いくつかの実施形態では、図２６Ｃに示す失われた追跡の実施形態から顔追跡が再開した後、デバイスが仮想アバター２６００を変更するとき、デバイスは、様々なアバター特徴の物理的特徴を減衰させ、アバター特徴がユーザの新たに検出された状態に一致する新たな表示位置への急速な移動に基づいて急激に移動する視覚効果を回避する。例えば、状態２６０３Ｌに示すように、アバター２６００が状態２６０３Ｍに示す外観に遷移しているとき、アバターの耳２６１８は移動しない（又はわずかに移動する）。いくつかの実施形態では、これらの物理学は、アバターがユーザの外観を反映するように更新され（例えば、状態２６０３Ｍに示される）、顔追跡が再開した後に再び有効にされる。いくつかの実施形態では、アバター特徴の物理ベースのアニメーションが突然有効になるような不快な遷移を回避するために、物理学ベースのアニメーションのゲイン値又はその他のスケーリング係数を経時的に徐々に増加させることにより、アバターが更新された後、物理学が徐々に有効になる（例えば、０などの小さい数から１などのより大きい数にスケーリング係数を増分的に増加させる）。
いくつかの実施形態では、仮想アバターの表示表現は、カメラ（例えば、カメラ６０２）の視野内に配置された被写体の表現と背景を含む画像データ（例えば、深度データを含む画像データ、例えば、ライブカメラプレビュー、キャプチャされた画像、又は記録されたビデオ）上の仮想アバターの表示を含むことができる。図２６Ｅ～２６Ｈは、そのような実施形態の例を示している。
図２６Ｅは、ディスプレイ６０１及びカメラ６０２を有するデバイス６００を示す。デバイス６００は、カメラ６０２の視野内に位置する被写体２６３２の表現、及び被写体２６３２の背後に表示された背景２６３６を示している、カメラ６０２からのライブカメラプレビュー２６３０－１を提示する画像表示領域２６３０を表示する。本明細書で論じるように、一部の実施形態では、カメラ６０２を使用してキャプチャされた画像データは、カメラ６０２の視野内のオブジェクトの深度を決定するために使用され得る深度データを含む。いくつかの実施形態では、デバイス６００は、検出されたこれらのオブジェクトの深度に基づいてオブジェクト（例えば、画像データ内の）を解析し、この判定を使用して、本明細書で論じる視覚効果を適用する。例えば、デバイス６００は、被写体２６３２をライブカメラプレビュー２６３０－１の前景にあるものとして、ユーザの背後に位置するオブジェクトをライブカメラプレビュー２６３０－１の背景にあるものとして、分類することができる。これらの背景オブジェクトは、ここでは背景２６３６と総称する。
図２６Ｆに示されるように、仮想アバター２６３３は、被写体２６３２の表現上（例えば、被写体の顔上）に表示されることができる。具体的には、仮想アバターは、画像表示領域２６３０内の被写体の顔に転置され、他方、画像表示領域内の画像の他の部分（背景、又はユーザの身体などのユーザの他の部分など）は表示されたままとなる。カメラ６０２の視野内に位置するユーザ（例えば、被写体２６３２）は、本明細書で後でより詳細に説明するように、様々な顔の特徴の動き（例えば、ウインク、舌の突き出し、笑顔など）を含む顔の姿勢（例えば、回転又は向き）を変更することによって、仮想アバターの視覚的態様を制御することができる。例えば、図２６Ｇは、デバイス６００がカメラ６０２の視野内でユーザの頭の動きを検出したことに応じて、頭を傾ける仮想アバター２６３３を示す。同様に、図２６Ｈは、ユーザの顔の物理的特徴（例えば、ユーザの口）の変化の検出に応じて、仮想アバターの顔の特徴（例えば、口２６３４）を変更するデバイス６００を示す。
いくつかの実施形態では、デバイス６００がカメラ６０２の視野内でユーザの顔を検出できない場合、デバイス６００は、図２６Ａ～図２６Ｄに関して上述したように仮想アバター（例えば、２６３３）を変更することができ、任意選択的に、被写体２６３２と背景２６３６の表示を維持する。例えば、デバイス６００は、図２６Ａに関して上述したように、ユーザの顔の最後に検出された動きに基づいて慣性動きを示すように仮想アバター２６３３を変更することができる。デバイス６００が、閾値時間内にカメラ６０２の視野内でユーザの顔を検出した場合、デバイス６００は、図２６Ｂに関して上述したように仮想アバター２６３３を変更することができる。デバイス６００が、閾値時間内にカメラ６０２の視野内でユーザの顔を検出できない場合、デバイス６００は、図２６Ｃに関して上述したように仮想アバター２６３３を変更することができる。いくつかの実施形態では、そのような変更は、顔追跡が失われたときに、ぼやけた視覚効果を適用して、被写体２６３２及び背景２６３６を不明瞭にすることを含むことができる。デバイス６００が、閾値期間にわたって顔を以前に検出できなかった後にカメラ６０２の視野内でユーザの顔を検出した場合、デバイス６００は、図２６Ｄに関して上述したように仮想アバター２６３３を変更することができる。
図２７は、いくつかの実施形態による、電子デバイスを使用して顔追跡が失敗した後に仮想アバターを生成及び変更する方法を示すフロー図である。方法２７００は、１つ以上のカメラとディスプレイとを備えたデバイス（例えば、１００、３００、５００）において実行される。方法２７００における一部の動作は、任意選択的に組み合わされ、一部の動作の順序は、任意選択的に変更され、一部の動作は、任意選択的に省略される。
以下に説明するように、方法７００は、顔追跡が失敗した後に仮想アバターを生成及び変更するための直感的な方法を提供する。本方法は、顔追跡が失敗した後に仮想アバターを生成及び変更するためのユーザの認識的負担を軽減し、それにより、より効率的なヒューマン－マシンインタフェースを作成する。バッテリ動作式のコンピューティングデバイスの場合、顔追跡が失敗した後にユーザが仮想アバターをより速くかつより効率的に生成及び変更することを可能にすることは、節電し、バッテリ充電の時間間隔を長くする。
電子デバイス（例えば、６００）は、ディスプレイ装置（例えば、６０１）を介して、１つ以上のカメラの視野内の顔の検出されたポーズの変化（例えば、向き、並進移動）（例えば、顔面表情の変化）に応じて外観を変化させる、複数のアバターの特徴（例えば、２６１４、２６１６、２６１８）（例えば、顔の特徴（例えば、目、口、口の一部）又は大きい特徴（例えば、頭、首））を有する仮想アバター（例えば、２６００）を表示し（２７０２）、顔は、第１の顔の特徴（例えば、２６０４、頭、口、又は口の一部）を含む複数の検出された特徴を含む。
いくつかの実施形態では、仮想アバター（例えば、２６３３）を表示することは、ディスプレイ装置（例えば、６０１）を介して、１つ以上のカメラ（例えば、６０２）の視野内に配置された被写体（例えば、２６３２、１つ以上のカメラの視野内の人物；例えば、視野内の顔に対応する被写体）及び背景（例えば、２６３６、被写体以外の１つ以上のカメラの視野内のオブジェクト）の表現を表示することを含み、仮想アバターは、被写体の表現上に表示される（例えば、被写体（ユーザ）の表示された頭又は顔の部分は、仮想アバターの頭に置き換えられる（又は、オーバーレイされる（例えば、不透明、透明、半透明））。いくつかの実施形態では、被写体上に表示される仮想アバターは、被写体の頭又は顔の検出された変化に応答し、被写体の頭又は顔の変化は、背景を表示しながら表示された仮想アバターの変化をもたらす。いくつかの実施形態では、被写体の頭上の仮想アバターの位置は、キャプチャされた画像又はビデオの画像内の深度データ（例えば、深度アスペクト（例えば、ＲＧＢデータとは無関係の深度データ）を含む画像データ）を使用して決定される。一部の実施形態では、画像データは、少なくとも２つの成分、すなわち、キャプチャされた画像の視覚特性を符号化するＲＧＢ成分、及びキャプチャされた画像内の要素の相対的な空間的関係についての情報を符号化する深度データ（例えば、深度データは、ユーザが前景にあることを符号化し、ユーザの背後に位置する木などの背景要素は、背景にある）を含む。一部の実施形態では、深度データは深度マップである。いくつかの実施形態では、深度マップ（例えば、深度マップ画像）は、視点（例えば、カメラ）からのシーン内のオブジェクトの距離に関連する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、その対応する２次元ピクセルが位置している、その視点のＺ軸における位置を定義するものである。いくつかの例では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されているピクセルから成る。例えば、「０」の値は、「３次元」シーン内の最も遠い場所に配置されているピクセルを表し、「２５５」の値は、「三次元」シーン内の視点（例えば、カメラ）の最も近くに配置されているピクセルを表す。他の例では、深度マップは、シーン内のオブジェクトと視点の平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラから見た、関心対象物の様々な特徴部の相対深度（例えば、ユーザの顔面の目、鼻、口、耳の相対深度）に関する情報を含む。一部の実施形態では、深度マップは、ｚ方向での関心対象物の輪郭をデバイスが決定することを可能にする、情報を含む。一部の実施形態では、深度データは、第１の深度成分とは別個の、第２の深度成分（例えば、カメラ表示領域内の背景の空間位置を符号化する深度データの第２の部分、背景などの、深度マップの離散部分を形成する複数の深度ピクセル）を有し、第２の深度アスペクトは、カメラ表示領域における背景の表現を含む。一部の実施形態では、第１の深度アスペクト及び第２の深度アスペクトは、カメラ表示領域内の被写体とカメラ表示領域内の背景との間の空間的関係を判定するために使用される。この空間的関係は、被写体を背景から識別するために使用することができる。この識別は、例えば、異なるビジュアルエフェクト（例えば、深度成分を有するビジュアルエフェクト）を被写体及び背景に適用するために利用することができる。一部の実施形態では、第１の深度成分に対応しない画像データのすべての領域（例えば、深度カメラの範囲外である画像データの領域）は、深度マップからセグメント化される（例えば、除外される）。
１つ以上のカメラの視野に配置された被写体と背景の表現に仮想アバターを表示すると、カメラの視野内の被写体と背景オブジェクトの配置が、適用された仮想アバターに最適であるかどうかをユーザが素早く認識することができ、画像をキャプチャする場合、画像のどの部分に仮想アバターが含まれ、どの部分に仮想アバターが含まれないかをユーザが確認することができる。更なるユーザ入力を必要とせずに１組の状態が満たされた場合に最適化された動作を実行することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
ポーズの第１の変化（例えば、２６０１Ｂ、検出の喪失前に１つ以上の顔の特徴のポーズの最後に検出された変化；１つ以上の顔の特徴のポーズの複数の検出された変化の平均）で１つ以上のカメラの視野内で顔が検出された後、ポーズの第１の変化は、第１の顔の特徴の変化（例えば、２６０４、顔の特徴又は顔の特徴のセットの変化の方向）を含み、電子デバイス（例えば、６００）は、１つ以上のカメラ（例えば、６０２）の視野内の顔の追跡が失敗したことを判定する（２７０４）（例えば、顔がもはや１つ以上のカメラの視野内にないため、デバイスが顔を追跡するために使用していた顔の特徴が不明瞭になっているか、又はデバイスが顔を追跡できなかった）。
１つ以上のカメラ（例えば、６０２）の視野内の顔の追跡が失敗したと判断したことに応じて、電子デバイス（例えば、６００）は、顔の追跡が失敗した後に複数のアバター特徴のうちの第１のアバター特徴の外観（例えば、２６１４）を更新し（２７０６）、顔の追跡が失敗したと判定する前（例えば、直前又は直近）に検出された第１の顔特徴（例えば、２６０４）の変化特性（例えば、変化の振幅及び／又は方向）に基づいて第１のアバター特徴の外観が更新される。いくつかの実施形態では、第１のアバター特徴の外観を更新することは、以下の実施形態のうちの任意の１つ以上を含む。顔の追跡に失敗したと判定する前に検出された第１の顔の特徴の変化特性に基づいて、顔の追跡に失敗した後の第１のアバター特徴の外観を更新することにより、顔追跡が失敗した場合であっても、ユーザが仮想アバターを変更するプロセスを継続することを可能にすることによってデバイスに対するより良好な制御をユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御できるようにすることにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命が改善される。
顔の追跡が失敗したことを検出する前に第１の顔の特徴（例えば、２６０４）が第１の変化特性を有するという判定に従って（例えば、２６０１Ｂ、顔は、第１の方向に動いていた；例えば、左に回転するユーザの頭）、顔の追跡が失敗したときのアバターの外観とは異なる第１の外観に仮想アバター（例えば、２６００）の第１のアバター特徴の外観を更新する（例えば、アバターの頭（例えば、２６１４）の角度を更新する）（例えば、状態２６０３Ｂのアバター２６００の外観から状態２６０３Ｃの外観へと）。第１のアバター特徴の外観を顔の追跡に失敗した後のアバターの外観とは異なる第１の外観に更新することにより、顔追跡が失敗した場合であっても、ユーザが仮想アバターを変更するプロセスを継続することを可能にすることによってデバイスに対するより良好な制御をユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御できるようにすることにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を削減し、デバイスの電池寿命が改善される。
顔の追跡が失敗したことを検出する前に第１の顔の特徴が第２の変化特性を有するという判定に従って（例えば、顔は、第１の方向とは異なる第２の方向に動いていた；例えば、右に回転するユーザの頭）、顔の追跡に失敗したときのアバターの外観とは異なりかつ第１の外観とは異なる第２の外観へと仮想アバターの第１のアバター特徴の外観を更新する。第１のアバター特徴の外観を顔の追跡に失敗した後のアバターの外観とは異なりかつ第１の外観とは異なる第２の外観に更新することにより、顔追跡が失敗した場合であっても、ユーザが仮想アバターを変更するプロセスを継続することを可能にすることによってデバイスに対するより良好な制御をユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御できるようにすることにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用を削減し、デバイスの電池寿命が改善される。
いくつかの実施形態では、第１の変化特性が第１の顔の特徴の第１の変化方向（例えば、ユーザの頭が左に回転する）を含むという判定に従って、第１の外観に第１のアバター特徴（例えば、２６１４）の外観を更新することは、第１の顔の特徴の第１の変化方向に基づいて第１のアバター特徴の外観を更新することを含む（例えば、ユーザの頭の左方向の回転に基づいてアバターの頭の角度を更新する；例えば、鏡映された方向にアバターを更新する（例えば、ユーザの頭がユーザの左を向くと、アバターがアバターの右を向く））。第１の顔の特徴の第１の変化方向に基づいて第１のアバター特徴の外観を更新することにより、顔の追跡が失われたときに、少なくとも部分的に、カメラの視野内で以前に検出された第１のアバター特徴の動きの方向に基づいて、仮想アバターに変化させる視覚的なフィードバックをユーザに与える。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１の変化特性が第１の顔の特徴の第２の変化方向を含む（例えば、２６０４、第１の変化方向とは異なる（例えば、ユーザの頭が右に回転する））という判定に従って、第１のアバター特徴の外観を第２の外観に更新することは、第１の顔特徴の第２の変化方向に基づいて第１のアバター特徴（例えば、２６１４）の外観を更新することを含む（例えば、ユーザの頭の右への回転に基づいてアバターの頭の角度を更新する）。第１の顔の特徴の第１の変化方向に基づいて第１のアバターの外観を第２の外観に更新することにより、顔の追跡が失われたときに、少なくとも部分的に、カメラの視野内で以前に検出された第１のアバター特徴の動きの方向に基づいて、仮想アバターに変化させる視覚的なフィードバックをユーザに与える。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１の変化特性が第１の顔の特徴（例えば、２６０４）の第１の変化の大きさを含むという判定に従って（例えば、ユーザの頭が７５度回転する；例えば、ユーザの頭を左に５インチ偏移する；ユーザの口の直径を２０％拡大する）、第１のアバター特徴（例えば、２６１４）の外観を第１の外観に更新することは、第１の顔の特徴の第１の変化の大きさに基づいて第１のアバター特徴の外観を更新することを含む（例えば、ユーザの頭の７５度の回転に基づいてアバターの頭の角度を更新する；アバターの頭の位置を５インチ偏移する（スケーリング）；アバターの口の直径を２０％拡大する）。第１の顔の特徴の第１の変化の大きさに基づいて第１のアバター特徴の外観を更新することにより、顔の追跡が失われたときに、少なくとも部分的に、カメラの視野内で以前に検出された第１のアバター特徴の動きの大きさに基づいて、仮想アバターに変化させる視覚的なフィードバックをユーザに与える。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１の変化特性が、第１の変化の大きさとは異なる第１の顔の特徴（例えば、２６０４）の第２の変化の大きさを含むという判定に従って（例えば、ユーザの頭が９０度回転する）、第１のアバター特徴（例えば、２６１４）の外観を第２の外観に更新することは、第１の顔特徴の第２の変化の大きさに基づいて第１のアバター特徴の外観を更新することを含む（例えば、９０度のユーザの頭の回転角度に基づいてアバターの頭の角度を更新する）。第１の顔の特徴の第１の変化の大きさに基づいて第１のアバターの外観を第２の外観に更新することにより、顔の追跡が失われたときに、少なくとも部分的に、カメラの視野内で以前に検出された第１のアバター特徴の動きの大きさに基づいて、仮想アバターに変化させる視覚的なフィードバックをユーザに与える。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、方法（２７００）は、更に以下を備える：顔の追跡が失敗した後（例えば、顔がもはや視野内にないと判定した後）、第１のアバター特徴（例えば、２６１４）の外観を更新した後、電子デバイス（例えば、６００）は、顔が第１のポーズ（例えば、検出が失われた時の顔のポーズとは異なるポーズ）（例えば、状態２６０１Ｆ、２６０１Ｇに示されるポーズ）である間に顔の追跡を再開する。顔の追跡の再開に応じて、電子デバイスは、第１のアバター特徴の外観を、顔の第１のポーズに基づいたポーズに更新する（例えば、図２６Ｂの状態２６０３Ｆ及び２６０３Ｇに示すように）。顔が第１のポーズにある間に顔の追跡を再開すると、ユーザの顔がカメラの視野内に配置されているというフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１のアバター特徴（例えば、２６１４）の外観を顔の第１のポーズに基づくポーズに更新することは、顔の第１のポーズに基づくポーズに第１のアバター特徴の外観を徐々に更新することを含む（例えば、２６０３Ｆ、２６０３Ｇ、２６０３Ｌ、２６０３Ｍ）（例えば、１つ以上のカメラの視野内でユーザの顔が再検出された後、アバターの頭は、ユーザの頭の検出位置（例えば、２６０１Ｆ、２６０１Ｇ、２６０１Ｌ、２６０１Ｍ）に一致する位置に徐々に移動する）。顔の第１のポーズに基づいて、第１のアバター特徴の外観を徐々に更新すると、ユーザの顔がカメラの視野内に配置されているというフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、方法（２７００）は、顔の追跡の再開に応じて、以下のステップを実行することを更に備える。第１に、第１のアバター特徴（例えば、２６１４）の外観を顔の第１のポーズに基づくポーズに更新する前に、電子デバイス（例えば、６００）は、第１のアバター特徴、第２のアバター特徴（例えば、２６１６）、又は第３のアバター特徴（例えば、アバターの耳、２６１８）のうちの少なくとも１つに関連付けられた物理モデルを無効化する。第２に、第１のアバター特徴の外観を顔の第１のポーズに基づくポーズに更新した後、電子デバイスは、無効化された物理モデルを徐々に再開する（例えば、物理モデルは、有効になるが、顔追跡の再開後のアバター特徴の動きからのけいれん動きを抑えるために動きを減衰する）。第３に、電子デバイスは、顔の第１のポーズの変化を検出し、顔の第１のポーズの検出された変化と再開された物理モデルとに基づいて、第１のアバターの外観を更新する。第１、第２、又は第３のアバター特徴のうちの少なくとも１つに関連付けられた物理モデルを無効にし、第１のアバター特徴の外観を顔の第１のポーズに基づくポーズに更新した後、無効になった物理モデルを徐々に再開し、顔の第１のポーズの検出された変化と再開された物理モデルとに基づいて第１のアバター特徴を更新すると、顔の追跡に失敗した後、デバイスがカメラの視野内でユーザの顔を検出し、ユーザの顔の追跡を再開し、検出された変更に基づいて仮想アバターを変更したことをユーザに視覚的にフィードバックする。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、複数の検出された顔の特徴は、第２の顔の特徴（例えば、２６０６、頭、口、口の一部、目など）を含み、ポーズの第１の変化は、第２の顔の特徴への変化を含む（例えば、第２の顔の特徴又は顔の特徴の第２のセットの変化の方向）。いくつかの実施形態では、方法（２７００）は、以下のステップのうちの任意の１つ以上を更に備える。
いくつかの実施形態では、１つ以上のカメラ（例えば、６０２）の視野内の顔の追跡が失敗したと判断したことに応じて、電子デバイス（例えば、６００）は、顔の追跡が失敗した後に複数のアバター特徴のうちの第２のアバター特徴の外観（例えば、２６１６）を更新し、顔の追跡が失敗したと判定する前（例えば、直前又は直近）に検出された第２の顔特徴（例えば、２６０６）の変化特性（例えば、変化の振幅及び／又は方向）に基づいて第２のアバター特徴の外観が更新される。いくつかの実施形態では、更新は、以下の実施形態のうちの任意の１つ以上を含む。顔の追跡に失敗したと判定する前に検出された第２の顔の特徴の変化特性に基づいて、顔の追跡に失敗した後の第２のアバター特徴の外観を更新することにより、顔追跡が失敗した場合であっても、ユーザが仮想アバターを変更するプロセスを継続することを可能にすることによってデバイスに対するより良好な制御をユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御できるようにすることにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命が改善される。
いくつかの実施形態では、顔の追跡が失敗したことを検出する前に、第２の顔の特徴（例えば、２６０６）が第３の変化特性を有するという判定に従って（例えば、第２の顔の特徴は、第１及び／又は第２の方向とは異なる第３の方向に移動する；例えば、ユーザの口が笑顔に変わる）、電子デバイス（例えば、６００）は、顔の追跡に失敗したときのアバターの外観（例えば、２６０３Ｂ）とは異なる第３の外観（例えば、２６０３Ｃ）へと仮想アバター（例えば、２６００）の第２のアバター特徴（例えば、２６１６）の外観を更新する（例えば、アバターの口の位置を更新する）。第２のアバター特徴の外観を顔の追跡に失敗したときのアバターの外観とは異なる第３の外観に更新することにより、顔追跡が失敗した場合であっても、ユーザが仮想アバターを変更するプロセスを継続することを可能にすることによってデバイスに対するより良好な制御をユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御できるようにすることにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命が改善される。
いくつかの実施形態では、顔の追跡が失敗したことを検出する前に、第２の顔の特徴（例えば、２６０６）が第４の変化特性を有するという判定に従って（例えば、第２の顔の特徴は、第１、第２及び／又は第３の方向とは異なる第４の方向に移動する；例えば、眉毛をひそめてユーザの口を下向きに回転する）、顔の追跡に失敗したときのアバターの外観とは異なりかつ第３の外観とは異なる第４の外観へと仮想アバターの第２のアバター特徴の外観を更新する。第２のアバター特徴の外観を顔の追跡に失敗した後のアバターの外観とは異なりかつ第３の外観とは異なる第４の外観に更新することにより、顔追跡が失敗した場合であっても、ユーザが仮想アバターを変更するプロセスを継続することを可能にすることによってデバイスに対するより良好な制御をユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御できるようにすることにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命が改善される。
いくつかの実施形態では、第１のアバター特徴（例えば、２６１４）の外観は、第１の変化率（例えば、第１の顔の特徴（例えば、２６０４）の検出された変化率に基づいて）（例えば、顔が検出されなくなる前））で更新され、第２のアバター特徴（例えば、２６１６）の外観は、第１の変化率とは異なる第２の変化率（例えば、第２の顔の特徴（例えば、２６０６）の検出された変化率に基づいて）（例えば、顔が検出されなくなる前））で更新される。第１の変化率で第１のアバター特徴の外観を更新し、第１の変化率とは異なる第２の変化率で第２のアバター特徴の外観を更新することにより、顔追跡が失敗した場合であっても、ユーザが仮想アバターを変更するプロセスを継続することを可能にすることによってデバイスに対するより良好な制御をユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御できるようにすることにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命が改善される。
いくつかの実施形態では、第１のアバター特徴は、アバターの頭（例えば、２６１４）であり、第２のアバター特徴は、仮想アバター（例えば、２６００）の顔の特徴（例えば、２６１６）（例えば、アバターの口、目など）である。いくつかの実施形態では、アバターの頭は、アバターの顔の特徴が動き続ける速度よりも速い速度で動き続ける（例えば、回転する）。
いくつかの実施形態では、第１のアバター特徴（例えば、２６１４）の外観を更新することは、第１の物理モデル（例えば、慣性モデル、重力モデル、力伝達モデル、摩擦モデル）にしたがって外観を更新することを含み、第２のアバター特徴（例えば、２６１６）の外観を更新することは、第１の物理モデルとは異なる第２の物理モデル（例えば、異なる摩擦量などの異なる減衰度を有する）にしたがって外観を更新することを含む。第１の物理モデルにしたがって第１のアバター特徴の外観を更新し、第１の物理モデルとは異なる第２の物理モデルにしたがって第２のアバター特徴の外観を更新すると、アバター特徴に適用される異なる物理モデルに基づいて異なる方法で第１及び第２のアバター特徴にユーザの顔の特徴が変化する効果のフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１のアバター特徴（例えば、２６１４）（例えば、アバターの頭）の外観は、第１の変化の減少率で更新され（例えば、アバターの頭の更新は、ユーザの第１の顔の特徴の変化方向に基づくアバターの頭の動きの減少である）、第２のアバター特徴（例えば、２６１６）の外観（例えば、アバターの口）は、第１の変化の減少率とは異なる第２の変化の減少率で更新される（例えば、アバターの口の更新は、ユーザの第２の顔の特徴の変化方向に基づくアバターの口の動きの減少である）。第１の変化の減少率で第１のアバター特徴の外観を更新し、第１の変化の減少率とは異なる第２の変化の減少率で第２のアバター特徴の外観を更新すると、顔追跡が失われた場合に第１及び第２のアバター特徴が異なる方法で適用される更新をユーザにフィードバックする。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１のアバター特徴は、アバターの頭（例えば、２６１４）であり、第２のアバター特徴は、仮想アバター（例えば、２６００）の顔の特徴（例えば、２６１６）（例えば、アバターの口、目など）であり、第２の変化の減少率は、第１の変化の減少率よりも速い速度で減少する（例えば、第２のアバター特徴の動き（例えば、アバターの口の開閉、笑顔又は眉毛をひそめるアバターの口、アバターの眉毛の上下など）は、第１のアバター特徴（アバターの頭など）の動きの減少よりも大きな割合で減少する）。
いくつかの実施形態では、第１のアバター特徴の外観（例えば、２６１４）は、第１のアバター特徴の動きの範囲に関連付けられた値（例えば、第１のアバター特徴に関連付けられた動きの全範囲を表す範囲）が所定値（例えば、動きの範囲の最大値より小さい動きの範囲内の値）に到達するまで更新される。いくつかの実施形態では、アバターの頭に関連付けられた動きの範囲は、アバターの頭の正面向きの位置から９０度の回転であり、所定値は、アバターの頭の正面向きの位置から７５度である。いくつかの実施形態では、第１のアバター特徴の更新された外観が所定値に到達する前に所定値が決定されるため、第１のアバター特徴の更新速度が徐々に低下し、所定値に到達したときに更新が突然終了することを回避する（例えば、それにより、第１のアバター特徴及び他のアバター特徴（例えば、第１のアバター特徴の更新によって影響を受ける物理モデルを有するもの）の急激な更新の停止によって引き起こされるけいれん効果を回避する）。第１のアバター特徴の動きの範囲に関連付けられた値が所定値に到達するまで第１のアバター特徴の外観を更新することで、ユーザの顔が追跡されなくなった場合であっても、仮想アバターの現在状態のフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第２のアバター特徴の外観（例えば、２６１６）は、第１のアバター特徴の動きの範囲に関連付けられた値（例えば、第２のアバター特徴に関連付けられた動きの全範囲を表す範囲）が所定値（例えば、動きの範囲の最大値より小さい動きの範囲内の値）に到達するまで更新される。いくつかの実施形態では、アバターの口に関連付けられた動きの範囲は、０～１００の範囲であり、アバターの口の範囲内の所定値は７５である。いくつかの実施形態では、所定値は、第２のアバター特徴の更新された外観が所定値に到達する前に決定されるため、第２のアバター特徴の更新速度が徐々に低下し、所定値に到達したときに更新が突然終了することを回避する（例えば、それにより、第２のアバター特徴及び他のアバター特徴（例えば、第２のアバター特徴の更新によって影響を受ける物理モデルを有するもの）の急激な更新の停止によって引き起こされるけいれん効果を回避する）。第２のアバター特徴の動きの範囲に関連付けられた値が所定値に到達するまで第２のアバター特徴の外観を更新することで、ユーザの顔が追跡されなくなった場合であっても、仮想アバターの現在状態のフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１のアバター特徴（例えば、２６１４）の外観は、第１の変化の減少率のスケーリング値に基づいて更新される（例えば、顔が検出されなくなった後の第１のアバター特徴に対する表示変化は、顔追跡が失われたとき（又は顔追跡が失われる直前）の第１の顔の特徴のベクトルのスケーリング値に基づいて決定される）。いくつかの実施形態では、スケーリング値は、第１のアバター特徴の更新された外観がスケーリング値に到達する前に決定されるため、第１のアバター特徴の更新速度が徐々に低下し、スケーリング値に到達したときに更新が突然終了することを回避する（例えば、それにより、第１のアバター特徴及び他のアバター特徴（例えば、第１のアバター特徴の更新によって影響を受ける物理モデルを有するもの）の急激な更新の停止によって引き起こされるけいれん効果を回避する）。第１の変化の減少率のスケーリング値に基づいて第１のアバター特徴の外観を更新することで、ユーザの顔が追跡されなくなった場合であっても、仮想アバターの現在状態のフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第２のアバター特徴（例えば、２６１６）の外観は、第２の変化の減少率のスケーリング値に基づいて更新される（例えば、顔が検出されなくなった後の第２のアバター特徴に対する表示変化は、顔追跡が失われたとき（又は顔追跡が失われる直前）の第２の顔の特徴のベクトルのスケーリング値に基づいて決定される）。いくつかの実施形態では、スケーリング値は、第２のアバター特徴の更新された外観がスケーリング値に到達する前に決定されるため、第２のアバター特徴の更新速度が徐々に低下し、スケーリング値に到達したときに更新が突然終了することを回避する（例えば、それにより、第２のアバター特徴及び他のアバター特徴（例えば、第２のアバター特徴の更新によって影響を受ける物理モデルを有するもの）の急激な更新の停止によって引き起こされるけいれん効果を回避する）。第２の変化の減少率のスケーリング値に基づいて第２のアバター特徴の外観を更新することで、ユーザの顔が追跡されなくなった場合であっても、仮想アバターの現在状態のフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第２のアバター特徴（例えば、２６１６）の外観は、第２のアバター特徴が所定位置に到達するまで更新される（例えば、所定位置は、第２のアバター特徴の変化の大きさの制限として機能するプリセット値として決定される）。いくつかの実施形態では、所定位置は、第２のアバター特徴の更新された外観が所定位置に到達する前に決定されるため、第２のアバター特徴の更新速度が徐々に低下し、所定位置に到達したときに更新が突然終了することを回避する（例えば、それにより、第２のアバター特徴及び他のアバター特徴（例えば、第２のアバター特徴の更新によって影響を受ける物理モデルを有するもの）の急激な更新の停止によって引き起こされるけいれん効果を回避する）。所定位置に到達するまで第２のアバター特徴の外観を更新することで、ユーザの顔が追跡されなくなった場合であっても、仮想アバターの現在状態のフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、閾値時間（例えば、１．５秒）の間、１つ以上のカメラ（例えば、６０２）の視野内で顔（例えば、２６０４、２６０６）が検出されなかったという判定に応じて、電子デバイス（例えば、６００）は、第１のアバター特徴（例えば、２６１４）の外観を第１の既定ポーズ（例えば、２６０３Ｊ）に更新する（例えば、仮想アバターを表示する表示領域内での第１のアバター特徴の回転又は並進のない正面向きの位置）（例えば、アバターの頭）。いくつかの実施形態では、この更新は、既定ポーズ（例えば、２６０３Ｉ）に移動する第１のアバター特徴の滑らかなアニメーションである。いくつかの実施形態では、顔追跡が失敗したときの第１の顔の特徴の変化特性とは無関係に（例えば、所定の）既定ポーズが決定される。第１のアバター特徴の外観を第１の既定ポーズに更新すると、ユーザの顔が所定期間カメラの視野内で検出されず、デバイスが仮想アバターを変更しなくなったというフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、閾値時間（例えば、１．５秒）の間、１つ以上のカメラ（例えば、６０２）の視野内で顔（例えば、２６０４、２６０６）が検出されなかったという判定に応じて、電子デバイス（例えば、６００）は、第２のアバター特徴（例えば、２６１６）の外観を、関連付けられた第２の既定ポーズ（例えば、２６０３Ｊ）に更新する（例えば、第２のアバター特徴（例えば、アバター口）の中立的なポーズに関連付けられた第２のアバター特徴の位置）。いくつかの実施形態では、この更新は、既定ポーズ（例えば、２６０３Ｉ）に移動する第２のアバター特徴の滑らかなアニメーションである。いくつかの実施形態では、既定ポーズは、顔追跡が失敗したときの第２の顔の特徴の変化特性とは無関係に決定される。第２のアバター特徴の外観を第２の既定ポーズに更新すると、ユーザの顔が一定期間カメラの視野で検出されず、デバイスが仮想アバターを変更しなくなったというフィードバックをユーザに提供する。ユーザに改善された視覚的フィードバックを提供することにより、デバイスの操作性を向上させ、（例えば、デバイスを操作する／デバイスと対話するときに適切な入力を提供するようにユーザを支援し、ユーザの誤りを削減することによって）ユーザデバイスインタフェースをより効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命を改善する。
いくつかの実施形態では、第１のアバター特徴（例えば、２６１４）の外観が更新された後（例えば、２６０３Ｄ）、及び第２のアバター特徴の外観（例えば、２６１６）が更新された後（例えば、２６０３Ｄ）、閾値時間が達成される（例えば、１つ以上のカメラの視野で顔が検出されたときに検出された第１及び第２の顔の特徴の変化に基づいて更新された後、第１及び第２のアバター特徴は、それぞれの既定ポーズに移動する）。
いくつかの実施形態では、方法（２７００）は、以下のステップのうちの任意の１つ以上を更に含む。
いくつかの実施形態では、１つ以上のカメラ（例えば、６０２）の視野内の顔の追跡が失敗したことを判定する前に、デバイス（例えば６００）は、ポーズの第２の変化（例えば、ポーズの第１の変化の前に発生するポーズの変化）を有する１つ以上のカメラの視野内の顔を検出し、ポーズの第２の変化は、複数の検出された顔の特徴（例えば、２６０４、２６０６）の第２の変化を含む（例えば、１つ以上のカメラの視野内で顔がなおも検出されている間に、顔の特徴又は顔の特徴のセットが変化する方向）。
いくつかの実施形態において、ポーズの第２の変化を伴う１つ以上のカメラの視野内の顔の検出に応じて、方法（２７００）は、以下の実施形態のうちの任意の１つ以上を更に含む。
いくつかの実施形態では、複数の検出された顔の特徴が顔を追跡している間に第５の変化特性を有するという判定に従って（例えば、ユーザの頭が上に傾いている、ユーザの目が横を向いている、及びユーザの口が開いている）、デバイス（例えば、６００）は、第５の変化特性に基づいた第５の外観に仮想アバター（例えば、２６００）の第１のアバター特徴（例えば、２６１４、２６１６）の外観を更新する（例えば、アバターの頭の角度、アバターの目の位置、及びアバターの口の位置を更新する）（例えば、カメラの視野内の顔を検出しながら、仮想アバターの更新／移動を継続する）。顔追跡が失敗する前に検出された第５の変化特性に基づく第５の外観に第１のアバター特徴の外観を更新すると、ユーザ入力を受信するためのインタフェースを表示する必要なくユーザが仮想アバターを制御するための入力を提供することを可能にすることによりデバイスに対するより多くの制御をユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御できるようにすることにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命が改善される。
いくつかの実施形態では、複数の検出された顔の特徴が顔を追跡しながら第６の変化特性を有するという判定に従って（例えば、異なる方向に傾くユーザの頭；異なる方向を見るユーザの目、及び異なる方向に動くユーザの口；例えば、ユーザの頭が下に傾いている、ユーザの目が前を向いている、ユーザが口を閉じている）、デバイス（例えば、６００）は、第６の変化特性に基づいておりかつ第５の外観とは異なる第６の外観に仮想アバター（例えば、２６００）の第１のアバター特徴（例えば、２６１４、２６１６）の外観を更新する。いくつかの実施形態では、アバターへの更新は、同時に発生するユーザの顔の複数の特徴に対する検出された変化に基づいている。いくつかの実施形態では、顔が検出され続けている間、仮想アバターへの更新は、顔のポーズの変化が検出されたときから仮想アバターが更新されるまでの、検出された顔のポーズの第１の変化と、顔が検出されなくなった後に発生するアバター特徴の更新との間の所定期間よりも短い期間（例えば、反応時間、反応遅延時間）内に生じる。すなわち、顔が検出されなくなった後の仮想アバターの更新は、顔がまだ検出されている間に行われる更新と比較して、更新が基づくポーズの変化からより長い期間、時間的にオフセットされる。第１のアバター特徴の外観を、顔追跡に失敗する前に検出された第６の変化特性に基づいて、第５の外観とは異なる第６の外観に更新すると、ユーザ入力を受信するためのインタフェースを表示する必要なくユーザが仮想アバターを制御するための入力を提供することを可能にすることによりデバイスに対するより多くの制御をユーザに提供する。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御できるようにすることにより、デバイスの操作性が高められ、ユーザ－デバイスインタフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、更に、ユーザがデバイスをより素早く、効果的に使用できるようにすることによって、電力使用量を削減し、デバイスの電池寿命が改善される。
なお、方法２７００に関して上述したプロセス（例えば、図２７）の詳細はまた、上述した方法にも類似の方式で適用可能であることに留意されたい。例えば、方法８００は、方法２７００を参照して上述した様々な方法の特性のうちの任意の１つ以上を任意選択的に含む。例えば、顔の検出された変化に応じて変更される仮想アバターのプレビューを表示する場合、デバイスは、方法８００において説明した仮想アバターの変更の間に顔追跡が失われた場合、方法２７００で提供されるステップにしたがって仮想アバターの変更を継続することができる。他の例として、方法９００は、方法２７００に関して上述した様々な方法の特性のうちの１つ以上を任意選択的に含む。例えば、顔の検出された変化に応じて変更される仮想アバターのプレビューを表示する場合、デバイスは、方法９００において説明した仮想アバターの変更の間に顔追跡が失われた場合、方法２７００で提供されるステップにしたがって仮想アバターの変更を継続することができる。簡潔にするために、これらの詳細は、以下で繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。これらの実施形態は、本技術の原理、及びその実際の適用を最もよく説明するために、選択及び記載されている。それにより、他の当業者は、意図された具体的な用途に適するような様々な修正を用いて、本技術及び様々な実施形態を最も良好に利用することが可能となる。
添付図面を参照して、本開示及び例を十分に説明してきたが、様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるような、本開示及び例の範囲内に含まれるものとして理解されたい。
上述のように、本技術の一態様は、他のユーザと共有するために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの例において、この収集されたデータは、特定の人物を一意に特定する個人情報データ、又は特定の人物に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを想到している。そのような個人情報データとしては、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッター（登録商標）ＩＤ、自宅の住所、ユーザの健康又はフィットネスのレベルに関するデータ若しくは記録（例えば、バイタルサイン測定値、投薬情報、運動情報）、誕生日、あるいは任意の他の識別情報又は個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、会話中のユーザをより良く伝え表すために使用されることができる。更には、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって想到される。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、あるいは、ウェルネスの目標を追求するための技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。更には、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、米国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律（Health Insurance Portability and Accountability Act、ＨＩＰＡＡ）などの、連邦法及び／又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国の異なる個人データのタイプに関して、異なるプライバシー慣行が保たれるべきである。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、アバターを送信する場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを想到する。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更には、本開示の意図は、個人情報データを、非意図的若しくは非認可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更には、適用可能な場合、特定の健康関連アプリケーションにおいて、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものではあるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することもまた可能であることを想到している。すなわち、本技術の様々な実施形態は、そのような個人情報データのすべて又は一部分が欠如することにより、実施不可能となるものではない。
Claims (236)
- 方法であって、
１つ以上のカメラとディスプレイ装置とを有する電子デバイスにおいて、
前記ディスプレイ装置を介して、前記１つ以上のカメラの視野内の顔のポーズの検出された変化に応じて外観を変化させる複数のアバター特徴を有する仮想アバターを表示することであって、前記顔が、第１の顔の特徴を含む複数の検出された顔の特徴を含む、ことと、
前記第１の顔の特徴の変化を含む第１のポーズの変化を有する顔が前記１つ以上のカメラの視野で検出された後、前記１つ以上のカメラの視野内の前記顔の追跡が失敗したことを判定することと、
前記１つ以上のカメラの視野内の前記顔の追跡が失敗したと判定したことに応じて、前記顔の追跡が失敗した後、前記複数のアバター特徴の第１のアバター特徴の外観を更新することであって、前記顔の追跡が失敗したと判定する前に検出された前記第１の顔の特徴の変化特性に基づいて、前記第１のアバター特徴の外観が更新される、こととを含み、前記第１のアバター特徴の外観を更新することが、
前記第１の顔の特徴が前記顔の追跡が失敗したことを検出する前の前記第１の変化特性を有するという判定に従って、前記仮想アバターの前記第１のアバター特徴の外観を、前記顔の追跡が失敗したときの前記アバターの外観とは異なる第１の外観に更新することと、
前記第１の顔の特徴が、前記顔の追跡が失敗したことを検出する前の前記第１の変化特性とは異なる第２の変化特性を有するという判定に従って、前記仮想アバターの前記第１のアバター特徴の外観を、前記顔の追跡に失敗したときの前記アバターの外観とは異なり且つ前記第１の外観とは異なる第２の外観に更新することと、
を含む、方法。 - 前記第１の変化特性が第１の顔の特徴の第１の変化方向を含むという判定に従って、前記第１のアバター特徴の外観を前記第１の外観に更新することが、前記第１の顔の特徴の前記第１の変化方向に基づいて前記第１のアバター特徴の外観を更新することを含み、
前記第１の変化特性が、前記第１の変化方向とは異なる前記第１の顔の特徴の第２の変化方向を含むという判定に従って、前記第１のアバター特徴の外観を前記第２の外観に更新することが、前記第１の顔の特徴の前記第２の変化方向に基づいて前記第１のアバター特徴の外観を更新することを含み、
を更に含む、請求項１に記載の方法。 - 前記第１の変化特性が第１の顔の特徴の第１の変化の大きさを含むという判定に従って、前記第１のアバター特徴の外観を前記第１の外観に更新することが、前記第１の顔の特徴の前記第１の変化の大きさに基づいて前記第１のアバター特徴の外観を更新することを含み、
前記第１の変化特性が、前記第１の変化の大きさ方向とは異なる前記第１の顔の特徴の第２の変化の大きさを含むという判定に従って、前記第１のアバター特徴の外観を前記第２の外観に更新することが、前記第１の顔の特徴の前記第２の変化の大きさに基づいて前記第１のアバター特徴の外観を更新することを含み、
を更に含む、請求項１又は２のいずれか一項に記載の方法。 - 前記複数の検出された顔の特徴が第２の顔の特徴を含み、前記ポーズの第１の変化が前記第２の顔の特徴に対する変化を含み、前記方法が、
前記１つ以上のカメラの視野内の前記顔の追跡が失敗したと判定したことに応じて、前記顔の追跡が失敗した後、前記複数のアバター特徴の第２のアバター特徴の外観を更新し、前記顔の追跡が失敗したと判定する前に検出された前記第２の顔の特徴の変化特性に基づいて、前記第２のアバター特徴の外観が更新されることと、
前記第２の顔の特徴が前記顔の追跡が失敗したことを検出する前の前記第３の変化特性を有するという判定に従って、前記仮想アバターの第２のアバター特徴の外観を、前記顔の追跡が失敗したときの前記アバターの外観とは異なる第３の外観に更新することと、
前記第２の顔の特徴が前記顔の追跡が失敗したことを検出する前の前記第４の変化特性を有するという判定に従って、前記仮想アバターの前記第２のアバター特徴の外観を、前記顔の追跡が失敗したときの前記アバターの外観とは異なりかつ前記第３の外観とは異なる第４の外観に更新することと、
を更に含む、請求項１から３のいずれか一項に記載の方法。 - 前記第１のアバター特徴の外観が、第１の変化率で更新され、
前記第２のアバター特徴の外観が、前記第１の変化率とは異なる第２の変化率で更新される、請求項４に記載の方法。 - 前記第１のアバター特徴がアバターの頭であり、前記第２のアバター特徴が前記仮想アバターの顔の特徴である、請求項５に記載の方法。
- 前記第１のアバター特徴の外観を更新することが、第１の物理モデルに応じて前記外観を更新することを含み、
前記第２のアバター特徴の外観を更新することが、前記第１の物理モデルとは異なる第２の物理モデルに応じて前記外観を更新することを含む、請求項４から６のいずれか一項に記載の方法。 - 前記第１のアバター特徴の外観が、第１の減少率で更新され、
前記第２のアバター特徴の外観が、前記第１の減少率とは異なる第２の減少率で更新される、請求項４から７のいずれか一項に記載の方法。 - 前記第１のアバター特徴がアバターの頭であり、
前記第２のアバター特徴が前記仮想アバターの顔の特徴であり、
前記第２の変化の減少率が、前記第１の変化の減少率よりも速い速度で減少する、請求項８に記載の方法。 - 前記第１のアバター特徴の動きの範囲に関連付けられた値が所定値に到達するまで、前記第１のアバター特徴の外観が更新され、
前記第２のアバター特徴の動きの範囲に関連付けられた値が所定値に到達するまで、前記第２のアバター特徴の外観が更新される、請求項８に記載の方法。 - 前記第１のアバター特徴の外観が、第１の減少する変化率のスケーリングされた値に基づいて更新され、
前記第２のアバター特徴の外観が、第２の減少する変化率のスケーリング値に基づいて更新される、請求項８に記載の方法。 - 前記第２のアバター特徴の外観が、前記第２のアバター特徴が所定位置に到達するまで更新される、請求項４から１１のいずれか一項に記載の方法。
- 閾値時間の間、前記１つ以上のカメラの視野内で前記顔が検出されなかったと判定したことに応じて、
前記第１のアバター特徴の外観を第１の既定のポーズに更新することと、
前記第２のアバター特徴の外観を第２の既定のポーズに更新することと、
を含む、請求項４から１２のいずれか一項に記載の方法。 - 前記閾値時間が、前記第１のアバター特徴の外観が更新されかつ前記第２のアバター特徴の外観が更新された後に達成される、請求項１３に記載の方法。
- 前記顔の追跡に失敗した後、前記第１のアバター特徴の外観を更新した後、前記顔が第１のポーズにある間に前記顔の追跡を再開することと、
前記顔の追跡の再開に応じて、前記第１のアバター特徴の外観を前記顔の前記第１のポーズに基づくポーズに更新することと、
を含む、請求項１から１４のいずれか一項に記載の方法。 - 前記第１のアバター特徴の外観を前記顔の前記第１のポーズに基づくポーズに更新することが、前記第１のアバター特徴の外観を前記顔の前記第１のポーズに基づくポーズに徐々に更新することを含む、請求項１５に記載の方法。
- 前記顔の追跡の再開に応じて、
前記第１のアバター特徴の外観を前記顔の前記第１のポーズに基づくポーズに更新する前に、前記第１のアバター特徴、前記第２のアバター特徴、又は第３のアバター特徴のうちの少なくとも１つに関連付けられた物理モデルを無効にすることと、
前記第１のアバター特徴の外観を前記顔の前記第１のポーズに基づくポーズに更新した後、前記無効になった物理モデルを徐々に再開することと、
前記顔の前記第１のポーズの変化を検出することと、
前記顔の前記第１のポーズにおいて検出された変化と前記再開された物理モデルとに基づいて、前記第１のアバター特徴の外観を更新することと、
を更に含む、請求項１５に記載の方法。 - 前記仮想アバターを表示することが、前記ディスプレイ装置を介して、前記１つ以上のカメラの視野内に位置する被写体及び背景の表現を表示することを含み、前記仮想アバターが、前記被写体の表現上に表示される、請求項１から１７のいずれか一項に記載の方法。
- 前記１つ以上のカメラの視野内での前記顔の追跡が失敗したと判定する前に、第２のポーズの変化とともに前記１つ以上のカメラの視野内で前記顔を検出することであって、前記第２のポーズの変化が、複数の検出された顔の特徴に対する第２の変更を含む、ことと、
前記第２のポーズの変化とともに前記１つ以上のカメラの視野内の前記顔の検出に応じて、
前記複数の検出された顔の特徴が前記顔を追跡している間に第５の変化特性を有するという判定に従って、前記仮想アバターの前記第１のアバター特徴の外観を前記第５の変化特性に基づく第５の外観に更新することと、
前記複数の検出された顔の特徴が前記顔を追跡している間に第６の変化特性を有するという判定に従って、前記仮想アバターの前記第１のアバター特徴の外観を前記第６の変化特性に基づきかつ前記第５の外観とは異なる第６の外観に更新することと、
を更に含む、請求項１から１８のいずれか一項に記載の方法。 - ディスプレイ装置及び１つ以上のカメラを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項１から１９のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
- 表示装置と、
１つ以上のカメラと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、請求項１から１９のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - 表示装置と、
１つ以上のカメラと、請求項１から１９のいずれかに記載の方法を実行する手段と、
を備える、電子デバイス。 - 表示装置及び１つ以上のカメラを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
前記ディスプレイ装置を介して、前記１つ以上のカメラの視野内の顔であって、前記顔が、第１の顔の特徴を含む複数の検出された顔の特徴を含む、顔のポーズの検出された変化に応じて外観を変化させる複数のアバター特徴を有する仮想アバターを表示し、
前記第１の顔の特徴の変化を含む第１のポーズの変化を有する顔が前記１つ以上のカメラの視野で検出された後、前記１つ以上のカメラの視野内の前記顔の追跡が失敗したことを判定し、
前記１つ以上のカメラの視野内の前記顔の追跡が失敗したと判定したことに応じて、前記顔の追跡が失敗した後、前記複数のアバター特徴の第１のアバター特徴の外観であって、前記顔の追跡が失敗したと判定する前に検出された前記第１の顔の特徴の変化特性に基づいて、前記第１のアバター特徴の外観が更新され、前記第１のアバター特徴の外観を更新することが、
前記第１の顔の特徴が前記顔の追跡が失敗したことを検出する前の前記第１の変化特性を有するという判定に従って、前記仮想アバターの前記第１のアバター特徴の外観を、前記顔の追跡が失敗したときの前記アバターの外観とは異なる第１の外観に更新ことと、
前記第１の顔の特徴が、前記顔の追跡が失敗したことを検出する前の前記第１の変化特性とは異なる第２の変化特性を有するという判定に従って、前記仮想アバターの前記第１のアバター特徴の外観を、前記顔の追跡に失敗したときの前記アバターの外観とは異なり且つ前記第１の外観とは異なる第２の外観に更新することと、を含む、第１のアバター特徴の外観を更新する、命令を含む、非一時的コンピュータ可読記憶媒体。 - 表示装置と、
１つ以上のカメラと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムが、
前記ディスプレイ装置を介して、前記１つ以上のカメラの視野内の顔であって、前記顔が、第１の顔の特徴を含む複数の検出された顔の特徴を含む、顔のポーズの検出された変化に応じて外観を変化させる複数のアバター特徴を有する仮想アバターを表示し、
前記第１の顔の特徴の変化を含む第１のポーズの変化を有する顔が前記１つ以上のカメラの視野で検出された後、前記１つ以上のカメラの視野内の前記顔の追跡が失敗したことを判定し、
前記１つ以上のカメラの視野内の前記顔の追跡が失敗したと判定したことに応じて、前記顔の追跡が失敗した後、前記複数のアバター特徴の第１のアバター特徴の外観であって、前記顔の追跡が失敗したと判定する前に検出された前記第１の顔の特徴の変化特性に基づいて、前記第１のアバター特徴の外観が更新され、前記第１のアバター特徴の外観を更新することが、
前記第１の顔の特徴が前記顔の追跡が失敗したことを検出する前の前記第１の変化特性を有するという判定に従って、前記仮想アバターの前記第１のアバター特徴の外観を、前記顔の追跡が失敗したときの前記アバターの外観とは異なる第１の外観に更新ことと、
前記第１の顔の特徴が、前記顔の追跡が失敗したことを検出する前の前記第１の変化特性とは異なる第２の変化特性を有するという判定に従って、前記仮想アバターの前記第１のアバター特徴の外観を、前記顔の追跡に失敗したときの前記アバターの外観とは異なりかつ前記第１の外観とは異なる第２の外観に更新することと、を含む、第１のアバター特徴の外観を更新する、命令を含む、電子デバイス。 - 表示装置と、
１つ以上のカメラと、
ディスプレイ装置を介して、１つ以上のカメラの視野内の顔のポーズの検出された変化に応じて外観を変化させる複数のアバター特徴を有する仮想アバターを表示する手段であって、顔が、第１の顔の特徴を含む複数の検出された顔の特徴を含む手段と、
前記第１の顔の特徴の変化を含む第１のポーズの変化を有する顔が前記１つ以上のカメラの視野で検出された後、前記１つ以上のカメラの視野内の前記顔の追跡が失敗したことを判定する手段と、
前記１つ以上のカメラの視野内の前記顔の追跡が失敗したと判定したことに応じて、前記顔の追跡が失敗した後、前記複数のアバター特徴の第１のアバター特徴の外観を更新する手段とを備え、前記顔の追跡が失敗したと判定する前に検出された前記第１の顔の特徴の変化特性に基づいて、前記第１のアバター特徴の外観が更新され、前記第１のアバター特徴の外観を更新することが、
前記第１の顔の特徴が前記顔の追跡が失敗したことを検出する前の前記第１の変化特性を有するという判定に従って、前記仮想アバターの前記第１のアバター特徴の外観を、前記顔の追跡が失敗したときの前記アバターの外観とは異なる第１の外観に更新することと、
前記第１の顔の特徴が、前記顔の追跡が失敗したことを検出する前の前記第１の変化特性とは異なる第２の変化特性を有するという判定に従って、前記仮想アバターの前記第１のアバター特徴の外観を、前記顔の追跡に失敗したときの前記アバターの外観とは異なりかつ前記第１の外観とは異なる第２の外観に更新することと、
を含む、電子デバイス。 - カメラとディスプレイとを有する電子デバイスにおいて、
仮想アバター生成インタフェースを表示することと、
前記仮想アバター生成インタフェースに仮想アバターのプレビューを表示することであって、前記仮想アバターのプレビューが、前記カメラの視野内にある顔の外観の変化に反応する、ことと、
前記仮想アバターのプレビューを表示しながら、前記仮想アバター生成インタフェースにおける入力を検出することと、
前記仮想アバター生成インタフェースにおける入力の検出に応じて、
前記入力が前記仮想アバターのプレビューから開始するという判定に従って、各時間における前記カメラの視野内の顔の表情を表す静的仮想アバターを生成することであって、各時間が、前記入力のタイミングに基づいて判定される、ことと、
前記入力が前記仮想アバター生成インタフェースの記録アフォーダンスのアクティブ化を含むという判定に従って、所定期間にわたって前記カメラの視野内の顔の表情の変化のシーケンスを表すアニメーション化された前記仮想アバターを生成することであって、前記所定期間が、前記入力のタイミングに基づいて判定される、ことと、
を含む方法。 - メッセージエリアを含むメッセージングインタフェースを表示することを更に含み、前記メッセージエリアが、通信の２人以上の参加者からのメッセージを含み、前記仮想アバター生成インタフェースが、前記メッセージングインタフェースと同時に表示される、請求項２６に記載の方法。
- 前記仮想アバター生成インタフェースを表示することが、前記メッセージングインタフェースの仮想キーボードの表示を前記仮想アバター生成インタフェースの表示に置き換えることを含む、請求項２７に記載の方法。
- 前記メッセージングインタフェースがメッセージ作成エリアを含み、前記入力が前記仮想アバターの前記プレビュー上のタップであり、前記方法が、
前記仮想アバター生成インタフェースにおける前記入力の検出に応じて、前記メッセージ作成エリアに前記静的仮想アバターを表示することを更に含む、請求項２７又は２８に記載の方法。 - 前記アバター生成インタフェースが、１つ以上の以前に生成された仮想アバターのコレクションを含む静的仮想アバターエリアを含み、前記方法が、
ユーザ入力に応じて、前記生成された仮想アバターを、前記１つ以上の以前に生成された仮想アバターのコレクションに追加することを更に含む、請求項２６から２９のいずれか一項に記載の方法。 - 前記仮想アバターを前記仮想アバターのコレクションに追加した後、前記仮想アバターのコレクションを第２のユーザと共有する要求を前記ユーザから受信し、それに応じて、前記仮想アバターのコレクションを前記第２のユーザに送信する、請求項３０に記載の方法。
- 前記入力が、前記仮想アバターの前記プレビューで始まり、前記メッセージエリア内の場所で終了し、前記方法が、
前記通信に関連付けられた参加者に前記静的仮想アバターを送信することを更に含む、請求項２７から３１のいずれか一項に記載の方法。 - 前記静的仮想アバターが、入力が前記仮想アバターの前記プレビューで検出された時点で前記カメラの前記視野内の前記顔の表情に基づいて決定される外観を有する、請求項３２に記載の方法。
- 前記仮想アバターの前記プレビューから前記入力の前記開始を検出するのに応じて、前記仮想アバターの前記プレビューが、前記カメラの視野内にある顔の外観の変化に反応するのを中止することを更に含む、請求項３２に記載の方法。
- 前記アニメーション化された仮想アバターを生成するための前記期間の満了に応じて、前記記録アフォーダンスの代わりに送信アフォーダンスを表示することと、
前記送信アフォーダンスを選択する入力の受信に応じて、前記生成されたアニメーション化された仮想アバターをリモートユーザに送信することと、
を更に含む、請求項２６から３１のいずれか一項に記載の方法。 - 前記アニメーション化された仮想アバターを生成するための前記期間の満了に応じて、前記記録アフォーダンスの代わりに確認アフォーダンスを表示することと、
前記送信アフォーダンスを選択する入力の受信に応じて、前記メッセージングインタフェースのメッセージ作成エリアに前記アニメーション化された仮想アバターの表現を表示することと、
を更に含む、請求項２７から３１のいずれか一項に記載の方法。 - 前記期間が、所定の時間に基づいており、前記方法が、
前記アニメーション化された仮想アバターを生成した後、前記仮想アバターの前記プレビューの表示を停止し、前記アニメーション化された仮想アバターのループバージョンを表示することを更に含み、前記アニメーション化された仮想アバターの前記ループバージョンの表示が、前記アニメーションシーケンスの２回以上の表示を含む、請求項２６から３６のいずれか一項に記載の方法。 - 前記アニメーション化された仮想アバターの前記ループバージョンが、第１の仮想アバターテンプレートを使用して表示され、前記方法が、
第２の仮想アバターテンプレートの表現を含む複数の他の仮想アバターテンプレートの表現を表示することであって、前記第２の仮想アバターテンプレートが、前記第１の仮想アバターテンプレートとは異なる、ことと、
前記アニメーション化された仮想アバターの前記ループバージョンの表示を開始した後、前記第１の仮想アバターテンプレート表現を選択するユーザ入力の受信に応じて、前記アニメーション化された仮想アバターの前記ループバージョンの前記表示を更新して、前記第２の仮想アバターテンプレートを反映することと、
を更に含む、請求項３７に記載の方法。 - 前記仮想アバター生成インタフェースの起動に応じて、前記仮想アバターの前記プレビューが自動的に表示される、請求項２６から３８のいずれか一項に記載の方法。
- 前記カメラの前記視野内の前記顔の第１の物理的特徴の特性の検出に応じて、前記検出された特性に基づいて、前記仮想アバターの前記表示されたプレビューの第１の物理的特徴を更新することを更に含み、前記顔の前記第１の物理的特徴のタイプが、前記表示されたプレビューの前記第１の物理的特徴のタイプと同じである、請求項２６から３９のいずれか一項に記載の方法。
- 前記カメラの前記視野内の前記顔の第２の物理的特徴の特性の検出に応じて、前記検出された特性に基づいて、前記仮想アバターの前記表示されたプレビューの第２の物理的特徴を更新することを更に含み、前記顔の前記第２の物理的特徴のタイプが、前記表示されたプレビューの前記第２の物理的特徴のタイプとは異なる、請求項２６から４０のいずれか一項に記載の方法。
- 前記カメラの前記視野内の前記顔の動きの検出に応じて、前記仮想アバターの物理モデル及び前記検出された動きに基づいて前記仮想アバターの前記表示されたプレビューの第３の物理的特徴を更新することを更に含む、請求項２６から４１のいずれか一項に記載の方法。
- 前記仮想アバターの前記プレビューが、所定の仮想アバターテンプレートに基づいており、前記方法が、
前記所定の仮想アバターテンプレートに関連付けられた１つ以上の所定の動作に基づいて前記仮想アバターの前記プレビューを更新することを更に含む、請求項２６から４２のいずれか一項に記載の方法。 - 前記カメラの前記視野内で前記顔がもはや検出されなくなったという判定に応じて、前記仮想アバターの前記プレビューの前記表示を徐々にフェードすることを更に含む、請求項２６から４３のいずれか一項に記載の方法。
- 前記カメラの前記視野内で前記顔がもはや検出されなくなったという判定に応じて、前記顔が前記カメラによってもはや適切に検出されなくなったことを示すメッセージを表示することを更に含む、請求項２６から４４のいずれか一項に記載の方法。
- 前記カメラの前記視野内で前記顔がもはや検出されなくなったという判定に応じて、前記顔が前記視野内でもはや検出されなくなる前の期間中に発生していた前記顔の外観の変化に基づいて前記仮想アバターの前記プレビューの前記表示を更新することを更に含む、請求項２６から４５のいずれか一項に記載の方法。
- 前記顔が前記カメラの前記視野内でもはや検出されなくなる前の期間中に発生していた前記顔の外観の変化に基づいて前記仮想アバターの前記プレビューの前記表示を更新することが、前記仮想アバターの前記更新が徐々に停止するように、経時的に前記仮想アバターの前記プレビューの前記更新を徐々に遅らせることを含む、請求項４６に記載の方法。
- ディスプレイ及びカメラを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項２６から４７のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
- ディスプレイと、
カメラと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、請求項２６から４７のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - ディスプレイと、
カメラと、請求項２６から４７のいずれか一項のいずれかに記載の方法を実行する手段と、を備える、電子デバイス。 - ディスプレイ及びタッチ感知面を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
仮想アバター生成インタフェースを表示し、
前記仮想アバター生成インタフェースに仮想アバターのプレビューであって、前記仮想アバターのプレビューが、前記カメラの視野内にある顔の外観の変化に反応する、仮想アバターのプレビューを表示し、
前記仮想アバターのプレビューを表示しながら、前記仮想アバター生成インタフェースにおける入力を検出し、
前記仮想アバター生成インタフェースにおける入力の検出に応じて、
前記入力が前記仮想アバターのプレビューから開始するという判定に従って、各時間であって、各時間が、前記入力のタイミングに基づいて判定される、各時間における前記カメラの視野内の顔の表情を表す静的仮想アバターを生成し、
前記入力が前記仮想アバター生成インタフェースの記録アフォーダンスのアクティブ化を含むという判定に従って、所定期間であって、前記所定期間が、前記入力のタイミングに基づいて判定される、所定期間にわたって前記カメラの視野内の顔の表情の変化のシーケンスを表すアニメーション化された前記仮想アバターを生成する、命令を含む、非一時的コンピュータ可読記憶媒体。 - ディスプレイと、
カメラと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムが、
仮想アバター生成インタフェースを表示し、
前記仮想アバター生成インタフェースに仮想アバターのプレビューであって、前記仮想アバターのプレビューが、前記カメラの視野内にある顔の外観の変化に反応する、仮想アバターのプレビューを表示し、
前記仮想アバターのプレビューを表示しながら、前記仮想アバター生成インタフェースにおける入力を検出し、
前記仮想アバター生成インタフェースにおける入力の検出に応じて、
前記入力が前記仮想アバターのプレビューから開始するという判定に従って、各時間であって、各時間が、前記入力のタイミングに基づいて判定される、各時間における前記カメラの視野内の顔の表情を表す静的仮想アバターを生成し、
前記入力が前記仮想アバター生成インタフェースの記録アフォーダンスのアクティブ化を含むという判定に従って、所定期間であって、前記所定期間が、前記入力のタイミングに基づいて判定される、所定期間にわたって前記カメラの視野内の顔の表情の変化のシーケンスを表すアニメーション化された前記仮想アバターを生成する、命令を含む、電子デバイス。 - 仮想アバター生成インタフェースを表示し、前記仮想アバター生成インタフェースにおいて仮想アバターのプレビューを表示するディスプレイであって、前記仮想アバターのプレビューが、カメラの視野内にある顔の外観の変化に反応するディスプレイと、
カメラと、
前記仮想アバターのプレビューを表示しながら、前記仮想アバター生成インタフェースにおける入力を検出する手段と、
前記仮想アバター生成インタフェースにおける入力の検出に応じて、
前記入力が前記仮想アバターのプレビューから開始するという判定に従って、各時間であって、各時間が、前記入力のタイミングに基づいて判定される、各時間における前記カメラの視野内の顔の表情を表す静的仮想アバターを生成し、
前記入力が前記仮想アバター生成インタフェースの記録アフォーダンスのアクティブ化を含むという判定に従って、所定期間であって、前記所定期間が、前記入力のタイミングに基づいて判定される、所定期間にわたって前記カメラの視野内の顔の表情の変化のシーケンスを表すアニメーション化された前記仮想アバターを生成する手段と、を備える、電子デバイス。 - カメラとディスプレイとを有する電子デバイスにおいて、
仮想アバター生成インタフェースを表示することと、
前記仮想アバター生成インタフェースに仮想アバターのプレビューを表示することであって、前記仮想アバターが前記カメラの視野内にある顔の外観の変化に反応する場合にプレビューする、ことと、
前記カメラの視野内にある前記顔の顔面表情の変化に基づいて、アニメーション化された仮想アバターを生成する要求を受信することと、
前記アニメーション化された仮想アバターを生成する要求の受信に応じて、前記カメラの視野における前記顔の顔面表情のシーケンスを記録することと、
前記カメラの視野における前記顔の顔面表情を記録した後、前記アニメーション化された仮想アバターの生成する要求に応じて記録された顔面表情のシーケンスに基づくアニメーションシーケンスを含む前記アニメーション化された仮想アバターのループバージョンを表示することであって、前記アニメーション化された仮想アバターのループバージョンの表示が、前記アニメーションシーケンスの２回以上の表示を含む、ことと、を含む、方法。 - タイマーの満了に応じて前記顔面表情のシーケンスの記録を停止することを更に含む、請求項５４に記載の方法。
- ユーザ入力の受信に応じて、前記顔面表情のシーケンスの記録を停止することを更に含む、請求項５４に記載の方法。
- 前記プレビューの表示を、前記アニメーション化された仮想アバターのループバージョンの表示に置き換えることを更に含む、請求項５４から５６のいずれか一項に記載の方法。
- 前記アニメーション化された仮想アバターを生成する要求が、前記仮想アバター生成インタフェースに表示された記録アフォーダンスの選択を含み、前記方法が、
前記カメラの視野における前記顔の顔面表情を記録した後、前記記録アフォーダンスの表示を送信アフォーダンスに置き換えることを更に含む、請求項５４から５７のいずれか一項に記載の方法。 - 前記アニメーション化された仮想アバターのループバージョンが、第１の仮想アバターテンプレートを使用して表示され、前記方法が、
第２の仮想アバターテンプレートの表現を含む複数の他の仮想アバターテンプレートの表現を表示することであって、前記第２の仮想アバターテンプレートが、前記第１の仮想アバターテンプレートとは異なる、ことと、
前記アニメーション化された仮想アバターのループバージョンの表示を開始した後、前記第１の仮想アバターテンプレート表現を選択するユーザ入力の受信に応じて、前記アニメーション化された仮想アバターのループバージョンの表示を更新して、前記第２の仮想アバターテンプレートを反映することと、
を更に含む、請求項５４から５８のいずれか一項に記載の方法。 - 前記仮想アバターの前記プレビューが、第２のアバターテンプレートに基づいており、前記方法が、
前記カメラの視野内の前記顔の第１の物理的特徴の第１の特性の検出に応じて、前記検出された第１の特性に基づいて、表示された前記仮想アバターのプレビューの第１の物理的特徴を更新することであって、前記表示されたプレビューの前記第１の物理的特徴が、第１の特徴タイプを有する、ことと、
前記第１のグラフィカル要素の選択に対応するユーザ入力を受信した後、及び前記カメラの視野内の前記顔の前記第１の物理的特徴の第２の特性の検出に応じて、前記検出された第２の特性に基づいて前記仮想アバターの表示されたプレビューの第２の物理的特徴を更新することであって、前記表示されたプレビューの前記第２の物理的特徴が、前記第１の特徴タイプとは異なる第２の特徴タイプを有する、ことと、
を更に含む、請求項５９に記載の方法。 - 第１の仮想アバターテンプレートの表現を含む仮想アバターテンプレートの複数の表現を表示することと、
前記第１の仮想アバターテンプレートの表現の選択に対応するユーザ入力の受信に応じて、前記アニメーション化された仮想アバターのループバージョンの表示を前記第１の仮想アバターテンプレートに対応するように更新することと、
を更に含む、請求項５４から６０のいずれか一項に記載の方法。 - 前記仮想アバターテンプレートの複数の表現をスクロールする要求に対応するユーザ入力の受信に応じて、前記仮想アバターテンプレートの複数の表現の一部ではない第２のグラフィカル要素を表示するために前記仮想アバターテンプレートの複数の表現の表示をスクロールすることを更に含み、前記スクロールが、前記要求に対応する前記ユーザ入力の速度に基づいている、請求項６０又は６１に記載の方法。
- 前記要求に対応する前記ユーザ入力の受信に応じて、１つの仮想アバターテンプレートから異なる仮想アバターテンプレートに変化する現在選択されている前記仮想アバターテンプレートに対応する可聴出力及び／又は触知出力を生成することを更に含む、請求項６２に記載の方法。
- 前記アニメーション化された仮想アバターでのユーザ入力、前記アニメーション化された仮想アバターを保存する要求に対応する入力の受信に応じて、前記アニメーション化された仮想アバターのデータを前記電子デバイス上のデータベースに記憶することを更に含む、請求項５４から６３のいずれか一項に記載の方法。
- 前記顔の顔面表情のシーケンスを記録することが、所定の仮想アバターテンプレートの離散マッピングポイントの値の時間シーケンスを記録することを含む、請求項５４から６４のいずれか一項に記載の方法。
- 前記アニメーション化された仮想アバターをリモートデバイスのリモートユーザに送信する要求を受信することと、
前記リモートデバイスが第１のセットの基準を満たすという判定に従って、前記アニメーション化された仮想アバターの第１のバージョンを前記リモートデバイスのユーザに送信することと、
前記リモートデバイスが第１のセットの基準を満たさないという判定に従って、前記第１のバージョンとは異なる前記アニメーション化された仮想アバターの第２のバージョンを前記リモートデバイスのユーザに送信することと、
を更に含む、請求項５４から６５のいずれか一項に記載の方法。 - 前記アニメーション化された仮想アバターのループバージョンを表示しながら、前記顔面表情のシーケンスを記録している間に記録されたサウンドと所定のアバターテンプレートに関連付けられたオーディオフィルタとに基づいてオーディオデータを再生することを更に含む、請求項５４から６６のいずれか一項に記載の方法。
- 前記アニメーション化された仮想アバターのループバージョンを表示しながら、前記顔面表情のシーケンスを記録している間に記録されたサウンドに基づいてオーディオデータを再生することと、
ミュートアフォーダンスの選択に対応するユーザ入力の受信に応じて、前記オーディオデータの再生を停止することと、
を更に含む、請求項５４から６６のいずれか一項に記載の方法。 - 前記アニメーション化された仮想アバターをリモートユーザに送信する要求の受信に応じて、
前記アニメーション化された仮想アバターのループバージョンの表示に関連付けられたオーディオデータがミュートされている間に、前記アニメーション化された仮想アバターを前記リモートユーザに送信する要求が受信されたという判定に従って、前記アニメーション化された仮想アバターのサウンドデータを送信することなく、前記アニメーション化された仮想アバターを表すデータを前記リモートユーザに送信することと、
前記アニメーション化された仮想アバターのループバージョンの表示に関連付けられたオーディオデータがミュートされなかった間に、前記アニメーション化された仮想アバターを前記リモートユーザに送信する要求が受信されたという判定に従って、前記アニメーション化された仮想アバターのサウンドデータとともに、前記アニメーション化された仮想アバターを表すデータをリモートユーザに送信することと、
を更に含む、請求項５４から６８のいずれか一項に記載の方法。 - 前記アニメーション化された仮想アバターを生成する要求の受信に応じて、前記カメラの視野内にある前記顔の第１の顔の動きを記録することを更に含み、前記アニメーション化された仮想アバターのループバージョンの表示が、前記アニメーション化された仮想アバターの物理モデル及び前記第１の顔の動きに基づいて前記仮想アバターをアニメーション化することを含む、請求項５４から６９のいずれか一項に記載の方法。
- 前記顔面表情のシーケンスを記録している間に前記カメラの視野内にある前記顔の特定の特徴が閾値時間を超えて特定のポーズで維持されていることを検出することに応じて、前記アニメーション化された仮想アバターに、前記顔の特定のポーズに対応する所定のアニメーション表現を追加することを更に含む、請求項５４から７０のいずれか一項に記載の方法。
- 前記顔面表情のシーケンスを記録しながら、前記カメラとは別個の入力機構を介してユーザ入力を受信することに応じて、第１の表情を前記顔面表情のシーケンスに追加することを更に含み、前記第１の顔面表情が、前記入力機構を介して受信した前記ユーザ入力に基づいている、請求項５４から７１のいずれか一項に記載の方法。
- ディスプレイ及びカメラを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項５４から７２のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
- ディスプレイと、
カメラと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、請求項５４から７２のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - ディスプレイと、
カメラと、請求項５４から７２のいずれか一項のいずれかに記載の方法を実行する手段と、を備える、電子デバイス。 - ディスプレイ及びタッチ感知面を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
仮想アバター生成インタフェースを表示し、
前記仮想アバター生成インタフェースに仮想アバターであって、前記仮想アバターが前記カメラの視野内にある顔の外観の変化に反応する場合にプレビューする、仮想アバターのプレビューを表示し
前記カメラの視野内にある前記顔の顔面表情の変化に基づいて、アニメーション化された仮想アバターを生成する要求を受信し、
前記アニメーション化された仮想アバターを生成する要求の受信に応じて、前記カメラの視野における前記顔の顔面表情のシーケンスを記録し、
前記カメラの視野における前記顔の顔面表情を記録した後、前記アニメーション化された仮想アバターの生成する要求に応じて記録された顔面表情のシーケンスに基づくアニメーションシーケンスを含む前記アニメーション化された仮想アバターのループバージョンを表示する命令を含み、前記アニメーション化された仮想アバターのループバージョンの表示が、前記アニメーションシーケンスの２回以上の表示を含む、非一時的コンピュータ可読記憶媒体。 - ディスプレイと、
カメラと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムが、
仮想アバター生成インタフェースを表示し、
前記仮想アバター生成インタフェースに仮想アバターであって、前記仮想アバターが前記カメラの視野内にある顔の外観の変化に反応する場合にプレビューし、仮想アバターのプレビューを表示し、
前記カメラの視野内にある前記顔の顔面表情の変化に基づいて、アニメーション化された仮想アバターを生成する要求を受信し、
前記アニメーション化された仮想アバターを生成する要求の受信に応じて、前記カメラの視野における前記顔の顔面表情のシーケンスを記録し、
前記カメラの視野における前記顔の顔面表情を記録した後、前記アニメーション化された仮想アバターの生成する要求に応じて記録された顔面表情のシーケンスに基づくアニメーションシーケンスを含む前記アニメーション化された仮想アバターのループバージョンを表示する、命令を含み、前記アニメーション化された仮想アバターのループバージョンの表示が、前記アニメーションシーケンスの２回以上の表示を含む、電子デバイス。 - 仮想アバター生成インタフェースを表示し、仮想アバター生成インタフェースにおいて仮想アバターのプレビューを表示するディスプレイであって、仮想アバターのプレビューが、カメラの視野内にある顔の外観の変化に反応するディスプレイと、
カメラと、
カメラの視野内にある顔の顔面表情の変化に基づいて、アニメーション化された仮想アバターを生成する要求を受信する手段と、
アニメーション化された仮想アバターを生成する要求の受信に応じて、カメラの視野における顔の顔面表情のシーケンスを記録する手段と、
カメラのビューにある顔の顔面表情を記録した後、アニメーション化された仮想アバターの生成する要求に応じて記録された顔面表情のシーケンスに基づくアニメーションシーケンスを含むアニメーション化された仮想アバターのループバージョンを表示する手段であって、アニメーション化された仮想アバターのループバージョンの表示が、アニメーションシーケンスの２回以上の表示を含む手段と、を備える、電子デバイス。 - １つ以上のカメラとディスプレイ装置とを有する電子デバイスにおいて、
前記ディスプレイ装置を介して、前記１つ以上のカメラの視野内の顔の変化に応じて外観が変化する仮想アバターを表示することであって、前記仮想アバターが、
第１の部分、及び
前記第１の部分とは異なる第２の部分を含む、ことと、
前記ディスプレイ装置を介して、前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内での顔のポーズの変化を検出することと、
前記顔のポーズの変化の検出に応じて、
前記顔のポーズの変化が前記顔のポーズの第１のタイプの変化を含むという判定に従って、前記仮想アバターの外観を変化させることが、前記顔のポーズの第１のタイプの変化の大きさに応じて前記仮想アバターの前記第２の部分に対して前記仮想アバターの第１の部分を移動させることを含むことと、
前記顔のポーズの変化が前記顔のポーズの第２のタイプの変化を含むという判定に従って、前記仮想アバターの外観を変化させることが、前記顔のポーズの第２のタイプの変化の大きさに基づいて前記仮想アバターの前記第１の部分及び前記仮想アバターの前記第２の部分の両方を移動させることを含むことと、を含む、ことと、を含む方法。 - 前記第１の部分が、前記顔のポーズの第１のタイプの変化と前記顔のポーズの第２のタイプの変化とに反応し、
前記第２の部分が、前記顔のポーズの第１のタイプの変化に対する反応性を低下させ、前記顔のポーズの第２のタイプの変化に反応する、請求項７９に記載の方法。 - 前記第１の部分が、前記仮想アバターの上部部分であり、前記第２の部分が、前記仮想アバターの下部部分である、請求項７９に記載の方法。
- 前記仮想アバターの外観を変化させることが、
前記顔のポーズの変化が前記顔のポーズの第１のタイプの変化と前記顔のポーズの第２のタイプの変化との両方を含むという判定に従って、前記仮想アバターの外観を変化させることが、
前記顔のポーズの第１のタイプの変化の大きさに基づいて、前記仮想アバターの前記第２の部分に対して前記仮想アバターの前記第１の部分を移動させることと、
前記顔のポーズの第２のタイプの変化の大きさに基づいて、前記仮想アバターの前記第１の部分及び前記仮想アバターの前記第２の部分の両方を移動させることと、を含み、更に含む、請求項７９及び８０に記載の方法。 - 前記顔のポーズの変化が、第１のタイプの変化のみを含み、前記顔のポーズの第１のタイプの変化の大きさに基づいて前記仮想アバターの前記第２の部分に対して前記仮想アバターの前記第１の部分を移動させることが、前記仮想アバターの前記第２の部分を移動させることなく前記仮想アバターの前記第１の部分を移動させることを含む、請求項８１又は８２に記載の方法。
- 前記仮想アバターが、前記第１の部分及び前記第２の部分とは異なる第３の部分を含み、前記顔のポーズの変化が前記顔のポーズの第１のタイプの変化を含むという判定に更に従って、前記仮想アバターの前記第２の部分に対して前記仮想アバターの前記第３の部分を移動させ、前記第２の部分に対する前記第３の部分の移動が、前記第２の部分に対する前記第１の部分の移動よりも小さい、請求項８１又は８２に記載の方法。
- 前記顔のポーズの変化が、第２のタイプの変化のみを含み、前記顔のポーズの第２のタイプの変化の大きさに基づいて前記仮想アバターの前記第１の部分及び前記仮想アバターの前記第２の部分の両方を移動させることが、前記仮想アバターの前記第２の部分の位置に対する前記仮想アバターの前記第１の部分の相対位置を維持することを含む、請求項８１又は８２に記載の方法。
- 前記仮想アバターの前記第３の部分が、前記仮想アバターの前記第１の部分と前記仮想アバターの前記第２の部分との間に位置する、請求項８４に記載の方法。
- 前記仮想アバターの前記第２の部分に対して前記仮想アバターの前記第３の部分を移動させることが、前記仮想アバターの前記第１の部分と前記仮想アバターの前記第２の部分との間に延びる軸の周りで前記仮想アバターの前記第３の部分を移動させることを含む、請求項８６に記載の方法。
- 前記１つ以上のカメラの視野内で前記顔のポーズの変化を検出する前に、前記仮想アバターの前記第１の部分が、前記仮想アバターの前記第２の部分から視覚的に描写されない、請求項７９から８７のいずれか一項に記載の方法。
- 前記仮想アバターの前記第１の部分が、前記仮想アバターの頭の特徴の少なくとも一部であり、前記仮想アバターの前記第２の部分が、前記仮想アバターの首の特徴の少なくとも一部である、請求項７９から８８のいずれか一項に記載の方法。
- 前記１つ以上のカメラの視野内で前記顔のポーズの変化を検出する前に、前記顔が前記１つ以上のカメラの視野に対して第１の向きに向けられ、
前記１つ以上のカメラの視野内で前記顔のポーズの変化を検出する前に、前記仮想アバターが、前記第１の向きとは異なる第２の向きで表示される、請求項７９に記載の方法。 - 前記仮想アバターの前記第１の部分の動き又は前記仮想の第２の部分の動きが、１つ以上の物理モデルに応じて生じる、請求項７９に記載の方法。
- １つ以上のカメラ及びディスプレイ装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項７９から９１のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
- １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、請求項７９から９１のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、請求項７９から９１のいずれか一項のいずれかに記載の方法を実行する手段と、を備える、電子デバイス。 - １つ以上のカメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
前記ディスプレイ装置を介して、前記１つ以上のカメラの視野内の顔の変化に応じて外観が変化する仮想アバターであって、前記仮想アバターが、
第１の部分、及び
前記第１の部分とは異なる第２の部分を含む、仮想アバターを表示し、
前記ディスプレイ装置を介して、前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内での顔のポーズの変化を検出し、
前記顔のポーズの変化の検出に応じて、前記仮想アバターの外観を変化させることが、
前記顔のポーズの変化が前記顔のポーズの第１のタイプの変化を含むという判定に従って、前記仮想アバターの外観を変化させることが、前記顔のポーズの第１のタイプの変化の大きさに応じて前記仮想アバターの前記第２の部分に対して前記仮想アバターの第１の部分を移動させることを含むことと、
前記顔のポーズの変化が前記顔のポーズの第２のタイプの変化を含むという判定に従って、前記仮想アバターの外観を変化させることが、前記顔のポーズの第２のタイプの変化の大きさに基づいて前記仮想アバターの前記第１の部分及び前記仮想アバターの前記第２の部分の両方を移動させることと、を含む、命令を含む、非一時的コンピュータ可読記憶媒体。 - １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムが、
前記ディスプレイ装置を介して、前記１つ以上のカメラの視野内の顔の変化に応じて外観が変化する仮想アバターであって、前記仮想アバターが、
第１の部分、及び
前記第１の部分とは異なる第２の部分を含む、仮想アバターを表示し
前記ディスプレイ装置を介して、前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内での顔のポーズの変化を検出し、
前記顔のポーズの変化の検出に応じて、前記仮想アバターの外観を変化させることが、
前記顔のポーズの変化が前記顔のポーズの第１のタイプの変化を含むという判定に従って、前記仮想アバターの外観を変化させることが、前記顔のポーズの第１のタイプの変化の大きさに応じて前記仮想アバターの前記第２の部分に対して前記仮想アバターの第１の部分を移動させることを含むことと、
前記顔のポーズの変化が前記顔のポーズの第２のタイプの変化を含むという判定に従って、前記仮想アバターの外観を変化させることが、前記顔のポーズの第２のタイプの変化の大きさに基づいて前記仮想アバターの前記第１の部分及び前記仮想アバターの前記第２の部分の両方を移動させることを含む、命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、
前記ディスプレイ装置を介して、前記１つ以上のカメラの視野内の顔の変化に応じて外観が変化する仮想アバターを表示する手段であって、前記仮想アバターが、
第１の部分、及び
前記第１の部分とは異なる第２の部分を含む手段と、
前記ディスプレイ装置を介して、前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内での顔のポーズの変化を検出する手段と、
前記顔のポーズの変化の検出に応じて、前記仮想アバターの外観を変化させる手段であって、
前記顔のポーズの変化が前記顔のポーズの第１のタイプの変化を含むという判定に従って、前記仮想アバターの外観を変化させることが、前記顔のポーズの第１のタイプの変化の大きさに応じて前記仮想アバターの前記第２の部分に対して前記仮想アバターの第１の部分を移動させることを含むことと、
前記顔のポーズの変化が前記顔のポーズの第２のタイプの変化を含むという判定に従って、前記仮想アバターの外観を変化させることが、前記顔のポーズの第２のタイプの変化の大きさに基づいて前記仮想アバターの前記第１の部分及び前記仮想アバターの前記第２の部分の両方を移動させることと、を含む、手段とを備える、電子デバイス。 - １つ以上のカメラとディスプレイ装置とを有する電子デバイスにおいて、
前記ディスプレイ装置を介して、仮想アバターを表示することであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴及び前記１つ以上のカメラの視野内の前記顔の第２の物理的特徴の変化に反応する第１のアバター特徴、及び
第２のアバター特徴を含む、ことと、
ディスプレイ装置を介して、仮想アバターを表示しながら、１つ以上のカメラの視野内で顔の１つ以上の物理的特徴の変化を検出することと、
前記変化が前記第１の物理的特徴の変化を含むという判定に従って、
前記第１の物理的機能の変化に基づいて、前記仮想アバターの前記第１のアバター特徴を変更し、
前記第１の物理的特徴の変化に基づいて、前記第２のアバター特徴の変更を取り止めることと、
前記変化が前記第２の物理的特徴の変化を含むという判定に従って、
前記第２の物理的特徴の変化に基づいて、前記第１のアバター特徴を変更し、
前記第２の物理的機能の変化に基づいて、前記第２のアバター特徴の変更を取り止めることと、を含む、方法。 - 前記第２のアバター特徴が、前記第１の物理的特徴及び前記第２の物理的特徴とは異なる第３の物理的特徴の変化に反応し、前記方法が、
前記顔の前記１つ以上の物理的特徴の変化が、前記顔の前記第３の物理的特徴の変化を含むという判定に従って、
前記第３の物理的機能の変化に基づいて、前記第２のアバター特徴の変更を変更することを更に含む、請求項９８に記載の方法。 - 前記第１のアバター特徴が、前記第１の物理的特徴及び前記第２の物理的特徴のうちの少なくとも一方と解剖学的に異なり、前記第２のアバター特徴が、前記第３の物理的特徴に解剖学的に対応する、請求項９９に記載の方法。
- 前記第１の物理的特徴の変化に基づいて前記仮想アバターの前記第１のアバター特徴を変更することが、前記第１の物理的特徴の変化の大きさに基づいて前記第１のアバター特徴を変更することを含み、
前記第２の物理的特徴の変化に基づいて前記第１のアバター特徴を変更することが、前記第２の物理的特徴の変化の大きさに基づいて前記第１のアバター特徴を変更することを含む、請求項９８から１００のいずれか一項に記載の方法。 - 前記第３の物理的特徴の変化に基づいて前記第２のアバター特徴を変更することが、前記第３の物理的特徴の変化の大きさに基づいて前記第２のアバター特徴を変更することを含む、請求項９９に記載の方法。
- 前記第１の物理的特徴の変化に基づいて前記仮想アバターの前記第１のアバター特徴を変更することが、前記第１の物理的特徴のポーズの変化の方向に基づいて前記第１のアバター特徴の少なくとも一部のポーズを変更することを含み、前記第２の物理的特徴の変化に基づいて前記仮想アバターの前記第１のアバター特徴を変更することが、前記第２の物理的特徴のポーズの変化の方向に基づいて前記第１のアバター特徴の少なくとも一部のポーズを変更することを含む、請求項９８から１０２のいずれか一項に記載の方法。
- 前記第２の物理的特徴の変化に基づいて前記仮想アバターの前記第２のアバター特徴を変更することが、前記第３の物理的特徴のポーズの変化の方向に基づいて前記第２のアバター特徴の少なくとも一部のポーズを変更することを含む、請求項９９又は１０２に記載の方法。
- 前記第１の物理的特徴の変化が、前記顔の前記第１の物理的特徴の少なくとも垂直変位を含み、前記第１の物理的特徴の変化に基づいて前記第１のアバター特徴を変更することが、前記第１のアバター特徴の少なくとも一部の垂直変位及び前記第１のアバター特徴の少なくとも一部の水平変位のうちの少なくとも一方を含む方向における前記第１のアバター特徴を移動させることを含む、請求項９８から１０４のいずれか一項に記載の方法。
- 前記第１の物理的特徴の変化が、少なくとも前記顔の前記第１の物理的特徴の変位を含み、前記第１の物理的特徴の変化に基づいて前記仮想アバターの前記第１のアバター特徴を変更することが、前記第１のアバター特徴の少なくとも一部を回転させることを含む、請求項９８から１０４のいずれか一項に記載の方法。
- 前記顔の前記１つ以上の物理的特徴の変化が、第１の大きさの前記第１の物理的特徴の変化と、第２の大きさの前記第２の物理的特徴の変化とを含み、
前記仮想アバターの前記第１のアバター特徴を変更することが、前記第１の大きさと前記第２の大きさの両方に基づく変更の大きさによって前記第１のアバター特徴を変更することを含む、請求項９８から１０６のいずれか一項に記載の方法。 - 前記第１のアバター特徴がアバターの耳を含み、
前記第１の物理的特徴が、少なくともユーザの口の角領域を含み、
前記第１の物理的特徴の変化が、少なくとも前記少なくともユーザの口の角領域の変位を含み、
前記第１の物理的特徴の変化に基づいて前記第１のアバター特徴を変更することが、前記少なくともユーザの口の角領域の変位の大きさに基づいて前記アバターの耳の少なくとも一部を回転させることを含む、請求項１０６に記載の方法。 - 前記第１のアバター特徴がアバターの耳を含み、
前記第１の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記顔の前記１つ以上の物理的特徴の変化が、前記ユーザの眉毛の位置の垂直偏移を含み、
前記第１の物理的特徴の変化に基づいて前記仮想アバターの前記第１のアバター特徴を変更することが、前記アバターの耳の位置を水平に偏移することを含む、請求項９８から１０７のいずれか一項に記載の方法。 - 前記第２の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記顔の前記１つ以上の物理的特徴の変化が、前記ユーザの眉毛の位置の垂直偏移を含み、
前記第２の物理的特徴の変化に基づいて前記第１のアバター特徴を変更することが、前記アバターの耳の位置を垂直に偏移することを含む、請求項１０６に記載の方法。 - 前記第１のアバター特徴がアバターの耳を含み、
前記第１の物理的特徴が、少なくともユーザの目の一部を含み、
前記第２の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記第１の物理的特徴の変化が、前記ユーザの目の虹彩部分の変位及び前記ユーザの目の少なくとも一部のサイズの変化のうちの少なくとも一方を含み、
前記第２の物理的特徴の変化が、少なくとも前記ユーザの眉毛の少なくとも一部の垂直変位を含み、
前記第１の物理的特徴の変化に基づいて前記第１のアバター特徴を変更することが、前記第１の物理的特徴の変化が前記ユーザの目の虹彩部分の変位を含むとき、前記アバターの目の少なくとも一部を並進移動することを含み、
前記第１の物理的特徴の変化に基づいて前記第１のアバター特徴を変更することが、前記第１の物理的特徴の変化が前記ユーザの目の少なくとも一部のサイズの変化を含むとき、前記アバターの目の少なくとも一部のサイズを調整することを含み、
前記第２の物理的特徴の変化に基づいて前記第１のアバター特徴を変更することが、前記アバターの目の少なくとも一部の回転の度合いを調整することを含み、前記回転の度合いが、前記少なくともユーザの眉毛の一部の垂直変位に基づいている、請求項９８から１０７のいずれか一項に記載の方法。 - 前記第１のアバター特徴がアバターの口を含み、
前記第２のアバター特徴が、少なくともアバターの歯の一部を含み、
前記第１の物理的特徴が、少なくともユーザの唇の一部を含み、
前記第３の物理的特徴が、少なくともユーザの口の一部を含み、
前記第１の物理的特徴の変化が、第１の位置から第２の位置への前記少なくともユーザの唇の一部の変位を含み、
前記第１の物理的特徴の変化に基づいて前記仮想アバターの前記第１のアバター特徴を変更することが、前記少なくともユーザの唇の一部の前記第２の位置に基づいて前記アバターの口の形状を変更することを含み、
前記第３の物理的特徴の変化が、前記少なくともユーザの口の一部の開閉を含み、
前記第３の物理的特徴の変化に基づいて前記第２のアバター特徴を変更することが、前記アバターの歯の第１の部分と前記アバターの歯の第２の部分との間の垂直間隔を変更することを含み、前記垂直間隔の大きさが、前記少なくともユーザの口の一部の開閉の大きさに基づいている、請求項９９に記載の方法。 - 前記第１のアバター特徴が、少なくともアバターの鼻の一部を含み、
前記第１の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記第２の物理的特徴が、少なくともユーザの唇の一部を含み、
前記第１の物理的特徴の変化が、前記少なくともユーザの眉毛の一部の垂直変位を少なくとも含み、
前記第１の物理的特徴の変化に基づいて前記仮想アバターの前記第１のアバター特徴を変更することが、前記少なくともユーザの眉毛の一部の垂直変位の方向に基づいて前記アバターの鼻の位置を変更することを含み、前記アバターの鼻の位置が、前記少なくともユーザの眉毛の一部の垂直変位の方向に基づいて決定される方向に変更され、
前記第２の物理的特徴の変化が、前記少なくともユーザの唇の一部の水平変位及び前記少なくともユーザの唇の一部の垂直変位のうちの少なくとも一方を含み、
前記第２の物理的特徴の変化に基づいて前記仮想アバターの前記第１のアバター特徴を変更することが、前記少なくともユーザの唇の一部の水平変位の方向及び前記少なくともユーザの唇の一部の垂直変位の方向に基づいて前記アバターの鼻の位置を変更することを更に含み、前記アバターの鼻の位置が、前記少なくともユーザの唇の一部の水平変位の方向に対応する方向及び前記少なくともユーザの唇の一部の垂直変位の方向に対応する方向に更に変更される、請求項９８から１０７のいずれか一項に記載の方法。 - 前記第１のアバター特徴がアバターの髪の特徴を含み、
前記第１の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記第２の物理的特徴が、少なくともユーザの頭の一部を含み、
前記第１の物理的特徴の変化が、前記少なくともユーザの眉毛の一部の垂直変位を少なくとも含み、
前記第２の物理的特徴の変化が、前記ユーザの頭のポーズの変化を含み、
前記第１の物理的特徴の変化に基づいて前記仮想アバターの前記第１のアバター特徴を変更することが、前記少なくともユーザの眉毛の一部の垂直変位の方向に基づいて前記少なくともアバターの髪の特徴の一部を変位させることを含み、
前記第２の物理的特徴の変化に基づいて前記仮想アバターの前記第１のアバター特徴を変更することが、前記ユーザの頭のポーズの変化の方向又は大きさに基づいて前記少なくともアバターの髪の特徴の一部を回転させることを含む、請求項９８から１０７のいずれか一項に記載の方法。 - １つ以上のカメラ及びディスプレイ装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項９８から１１４のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
- １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、請求項９８から１１４のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、請求項９８から１１４のいずれか一項のいずれかに記載の方法を実行する手段と、を備える、電子デバイス。 - １つ以上のカメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴及び前記１つ以上のカメラの視野内の前記顔の第２の物理的特徴の変化に反応する第１のアバター特徴、及び
第２のアバター特徴を含む、仮想アバターを表示し、
ディスプレイ装置を介して、仮想アバターを表示しながら、１つ以上のカメラの視野内で顔の１つ以上の物理的特徴の変化を検出し、
前記変化が前記第１の物理的特徴の変化を含むという判定に従って、
前記第１の物理的機能の変化に基づいて、前記仮想アバターの前記第１のアバター特徴を変更し、
前記第１の物理的特徴の変化に基づいて、前記第２のアバター特徴の変更を取り止め、
前記変化が前記第２の物理的特徴の変化を含むという判定に従って、
前記第２の物理的特徴の変化に基づいて、前記第１のアバター特徴を変更し、
前記第２の物理的機能の変化に基づいて、前記第２のアバター特徴の変更を取り止める、命令を含む、非一時的コンピュータ可読記憶媒体。 - １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムが、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴及び前記１つ以上のカメラの視野内の前記顔の第２の物理的特徴の変化に反応する第１のアバター特徴、及び
第２のアバター特徴を含む、仮想アバターを表示し
ディスプレイ装置を介して、仮想アバターを表示しながら、１つ以上のカメラの視野内で顔の１つ以上の物理的特徴の変化を検出し、
前記変化が前記第１の物理的特徴の変化を含むという判定に従って、
前記第１の物理的機能の変化に基づいて、前記仮想アバターの前記第１のアバター特徴を変更し、
前記第１の物理的特徴の変化に基づいて、前記第２のアバター特徴の変更を取り止め、
前記変化が前記第２の物理的特徴の変化を含むという判定に従って、
前記第２の物理的特徴の変化に基づいて、前記第１のアバター特徴を変更し、
前記第２の物理的機能の変化に基づいて、前記第２のアバター特徴の変更を取り止める、命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、
前記ディスプレイ装置を介して、仮想アバターを表示する手段であって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴及び前記１つ以上のカメラの視野内の前記顔の第２の物理的特徴の変化に反応する第１のアバター特徴、及び
第２のアバター特徴を含む手段と、
ディスプレイ装置を介して、仮想アバターを表示しながら、１つ以上のカメラの視野内で顔の１つ以上の物理的特徴の変化を検出する手段と、
前記変化が前記第１の物理的特徴の変化を含むという判定に従って、
前記第１の物理的機能の変化に基づいて、前記仮想アバターの前記第１のアバター特徴を変更し、
前記第１の物理的特徴の変化に基づいて、前記第２のアバター特徴の変更を取り止める手段と、
前記変化が前記第２の物理的特徴の変化を含むという判定に従って、
前記第２の物理的特徴の変化に基づいて、前記第１のアバター特徴を変更し、
前記第２の物理的機能の変化に基づいて、前記第２のアバター特徴の変更を取り止める手段と、を備える、電子デバイス。 - １つ以上のカメラとディスプレイ装置とを有する電子デバイスにおいて、
前記ディスプレイ装置を介して、仮想アバターを表示することであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴と、
前記第１の物理的特徴の変化に反応する第２のアバター特徴と、
前記第１の物理的特徴の変化に主に反応しない第３のアバター特徴とを含む、ことと、
前記仮想アバターを表示しながら、前記第１の物理的特徴の変化を検出することと、
前記第１の物理的特徴の変化の検出に応じて、
前記第１の物理的特徴の検出された変化に基づいて、前記第１のアバター特徴を変更することと、
前記第１の物理的特徴の検出された変化に基づいて、前記第２のアバター特徴を変更することと、
前記第１の物理的特徴の検出された変化に基づいて、前記第３のアバター特徴の変更を取り止めることと、を含む、方法。 - 前記第１のアバター特徴が、前記第１の物理的特徴に解剖学的に対応し、前記第２のアバター特徴が、前記第１の物理的特徴に解剖学的に対応しない、請求項１２１に記載の方法。
- 前記第３のアバター特徴が、前記第２の物理的特徴の変化に反応し、前記第３のアバター特徴が、前記第２の物理的特徴に解剖学的に対応し、前記方法が、
前記仮想アバターを表示しながら、前記第２の物理的特徴の変化を検出することと、
前記第２の物理的特徴の変化の検出に応じて、
前記第２の物理的特徴の検出された変化に基づいて、前記第３のアバター特徴を変更することを更に含む、請求項１２１又は１２２に記載の方法。 - 前記第２のアバター特徴が、前記第２の物理的特徴の変化に反応する、請求項１２３に記載の方法。
- 前記第１のアバター特徴が、前記第２の物理的特徴の変化に反応する、請求項１２３に記載の方法。
- 前記第１の物理的特徴が、少なくともユーザの唇の一部を含み、
前記第２の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記第１のアバター特徴がアバターの口を含み、
前記第２のアバター特徴が、アバターの頭の側部に配置されたアバターの耳を含み、
前記第１の物理的特徴の変化が、第１の位置から第２の位置への前記少なくともユーザの唇の一部の変位を含み、
前記第２の物理的特徴の変化が、少なくとも前記ユーザの眉毛の少なくとも一部の垂直変位を含み、
前記第１の物理的特徴の検出された変化に基づいて前記第１のアバター特徴を変更することが、前記少なくともユーザの唇の一部の前記第２の位置に基づいて少なくとも前記アバターの口の形状を変更することを含み、
前記第１の物理的特徴の検出された変化に基づいて前記第２のアバター特徴を変更することが、前記アバターの耳の傾斜の度合いを調整することを含み、前記傾斜の度合いが、前記第１の位置から前記第２の位置までの前記少なくともユーザの唇の一部の変位の大きさ及び方向のうちの少なくとも一方に基づいている、請求項１２１に記載の方法。 - 前記第１の物理的特徴の変化が、第１の大きさの変化を含み、
前記第１の物理的特徴の検出された変化に基づいて前記第１のアバター特徴を変更することが、前記第１の大きさに基づく第１の変更の大きさだけ前記第１のアバター特徴を変更することを含み、
前記第１の物理的特徴の検出された変化に基づいて前記第２のアバター特徴を変更することが、前記第１の大きさに基づく第２の変更の大きさだけ前記第２のアバター特徴を変更することを含み、前記第２の変更の大きさが、前記第１の変更の大きさとは異なる、請求項１２１から１２６のいずれか一項に記載の方法。 - 前記第１の物理的特徴の変化が、第１のタイプの変化であり、
前記第１の物理的特徴の検出された変化に基づいて前記第１のアバター特徴を変更することが、第２のタイプの変化に基づいて前記第１のアバター特徴を変更することを含み、
前記第１の物理的特徴の検出された変化に基づいて前記第２のアバター特徴を変更することが、第３のタイプの変化に基づいて前記第１のアバター特徴を変更することを含み、前記第３のタイプの変化は、前記第２のタイプの変化とは異なる、請求項１２１から１２７のいずれか一項に記載の方法。 - 前記第１のアバター特徴がアバターの口を含み、
前記第２のアバター特徴が、少なくともアバターの顔の毛の一部を含み、
前記第１の物理的特徴が、少なくともユーザの口の一部を含み、
前記第１の物理的特徴の変化が、前記少なくともユーザの口の一部の変位を含み、
前記第１の物理的特徴の検出された変化に基づいて前記第１のアバター特徴を変更することが、前記少なくともユーザの口の一部の変位に基づいて前記アバターの口の形状を変更することを含み、
前記第１の物理的特徴の検出された変化に基づいて前記第２のアバター特徴を変更することが、前記少なくともユーザの口の一部の変位の大きさ又は方向に基づいて、
前記少なくともアバターの顔の毛の一部の場所、及び
前記少なくともアバターの顔の毛の一部の間隔、のうちの少なくとも一方を変更することを含む、請求項１２１から１２８のいずれか一項に記載の方法。 - 前記第１のアバター特徴がアバターの口を含み、
前記第２のアバター特徴がアバターの鼻を含み、
前記第１の物理的特徴が、少なくともユーザの口の一部を含み、
前記第１の物理的特徴の変化が、前記少なくともユーザの口の一部の変位を含み、
前記第１の物理的特徴の検出された変化に基づいて前記第１のアバター特徴を変更することが、前記少なくともユーザの口の一部の変位に基づいて前記アバターの口の形状を変更することを含み、
前記第１の物理的特徴の検出された変化に基づいて前記第２のアバター特徴を変更することが、前記少なくともユーザの口の一部の変位の大きさ又は方向に基づいて前記アバターの鼻の位置を変更することを含む、請求項１２１から１２８のいずれか一項に記載の方法。 - 前記仮想アバターが、前記第１の物理的特徴の変化に反応する第４のアバター特徴を更に含み、前記方法が、
前記第１の物理的特徴の変化の検出に応じて、
前記第１の物理的特徴の検出された変化に基づいて、前記第４のアバター特徴を変更することを更に含む、請求項１２１から１２８のいずれか一項に記載の方法。 - 前記第１の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記第１のアバター－特徴が、アバターの頭の上部に配置されたアバターアンテナ特徴を含み、
前記第２のアバター特徴が、前記アバター頭の側部に配置されたアバターの耳を含み、
前記第４のアバター特徴が、アバターの眉毛を含み、
前記第１の物理的特徴の変化が、前記少なくともユーザの眉毛の一部の変位を含み、
前記第１の物理的特徴の検出された変化に基づいて前記第１のアバター特徴を変更することが、前記アバターの頭の上部から前記アバターアンテナ特徴を拡張することを含み、前記アバターアンテナ特徴の拡張位置が、前記少なくともユーザの眉毛の一部の変位の大きさに基づいており、
前記第１の物理的特徴の検出された変化に基づいて前記第２のアバター特徴を変更することが、前記アバターの頭の側部から前記アバターの耳を拡張することを含み、前記アバターの耳の拡張位置が、前記少なくともユーザの眉毛の一部の変位の大きさに基づいており、
前記第１の物理的特徴の検出された変化に基づいて前記第４のアバター特徴を変更することが、前記少なくともアバターの眉毛の一部の回転の度合いを調整することを含み、前記回転の度合いが、前記少なくともユーザの眉毛の一部の変位の大きさに基づいている、請求項１３１に記載の方法。 - 前記第１の物理的特徴が、少なくともユーザの瞼の一部を含み、
前記第１のアバター特徴がアバターの瞼を含み、
前記第２のアバター特徴がアバターの目を含み、
前記第１の物理的特徴の変化が、前記少なくともユーザの瞼の一部の変位を含み、
前記第１の物理的特徴の検出された変化に基づいて前記第１のアバター特徴を変更することが、前記アバターの瞼を導入し、前記アバターの瞼を閉じた位置に向かって移動させることを含み、前記閉じた位置に向かう前記アバターの瞼の位置が、前記少なくともユーザの瞼の一部の変位の大きさに基づいており、
前記第１の物理的特徴の検出された変化に基づいて前記第２のアバター特徴を変更することが、前記少なくともユーザの瞼の一部の変位の大きさに基づいて前記アバターの目のサイズを調整することを含む、請求項１２１から１３１のいずれか一項に記載の方法。 - 前記第１の物理的特徴が、少なくともユーザの唇の一部を含み、
前記第１のアバター特徴がアバターの口を含み、
前記第２のアバター特徴がアバターの鼻を含み、
前記第１の物理的特徴の変化が、第１の位置から第２の位置への前記少なくともユーザの唇の一部の変位を含み、
前記第１の物理的特徴の検出された変化に基づいて前記第１のアバター特徴を変更することが、前記少なくともユーザの唇の一部の前記第２の位置に基づいて前記アバターの口の形状及び水平偏移のうちの少なくとも一方を変更することを含み、
前記第１の物理的特徴の検出された変化に基づいて前記第２のアバター特徴を変更することが、前記アバターの鼻の回転の度合いを調整することを含み、前記回転の度合いが、前記第１の位置から前記第２の位置までの前記少なくともユーザの唇の一部の変位の大きさ及び方向のうちの少なくとも一方に基づいている、請求項１２１に記載の方法。 - 前記第１の物理的特徴が、少なくともユーザの頬の一部を含み、
前記第１のアバター特徴がアバターの頬を含み、
前記第２のアバター特徴が、前記アバターの顔から離れて拡張するアバター特徴を含み、
前記第１の物理的特徴の変化が、第１の位置から拡張位置への前記少なくともユーザの頬の一部の変位を含み、
前記第１の物理的特徴の検出された変化に基づいて前記第１のアバター特徴を変更することが、前記アバターの頬を初期位置から拡張位置に変更することを含み、前記拡張位置が、前記第１の位置から前記拡張位置までの前記少なくともユーザの頬の一部の変位の大きさに基づいており、
前記第１の物理的特徴の検出された変化に基づいて前記第２のアバター特徴を変更することが、前記第１の位置から前記拡張位置までの前記少なくともユーザの頬の一部の変位の大きさに基づいて前記アバターの顔から離れて拡張する前記アバター特徴の位置を変更することを含む、請求項１２１又は１２２に記載の方法。 - 前記第１の物理的特徴が、少なくともユーザの頬の一部を含み、
前記第１のアバター特徴が、アバターの頭の側部に配置されたアバターの耳を含み、
前記第２のアバター－特徴が、前記アバターの頭の上部に配置されたアバターアンテナ特徴を含み、
前記第１の物理的特徴の変化が、第１の位置から拡張位置への前記少なくともユーザの頬の一部の変位を含み、
前記第１の物理的特徴の検出された変化に基づいて前記第１のアバター特徴を変更することが、前記アバターの頭の側部から前記アバターの耳を拡張することを含み、前記アバターの耳の拡張位置が、前記第１の位置から前記拡張位置までの前記少なくともユーザの頬の一部の変位の大きさに基づいており、
前記第１の物理的特徴における検出された変化に基づいて前記第２のアバター特徴を変更することが、前記アバターの頭の上部から前記アバターアンテナ特徴を拡張することを含み、前記アバターアンテナ特徴の拡張位置が、前記第１の位置から前記拡張位置までの前記少なくともユーザの頬の一部の変位の大きさに基づいている、請求項１２１に記載の方法。 - １つ以上のカメラ及びディスプレイ装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項１２１から１３６のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
- １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、請求項１２１から１３６のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、請求項１２１から１３６のいずれか一項のいずれかに記載の方法を実行する手段と、を備える、電子デバイス。 - １つ以上のカメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴と、
前記第１の物理的特徴の変化に反応する第２のアバター特徴と、
前記第１の物理的特徴の変化に主に反応しない第３のアバター特徴とを含む、仮想アバターを表示し、
前記仮想アバターを表示しながら、前記第１の物理的特徴の変化を検出し、
前記第１の物理的特徴の変化の検出に応じて、
前記第１の物理的特徴の検出された変化に基づいて、前記第１のアバター特徴を変更し、
前記第１の物理的特徴の検出された変化に基づいて、前記第２のアバター特徴を変更し、
前記第１の物理的特徴の検出された変化に基づいて、前記第３のアバター特徴の変更を取り止める、命令を含む、非一時的コンピュータ可読記憶媒体。 - １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムが、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴と、
前記第１の物理的特徴の変化に反応する第２のアバター特徴と、
前記第１の物理的特徴の変化に主に反応しない第３のアバター特徴とを含む、仮想アバターを表示し、
前記仮想アバターを表示しながら、前記第１の物理的特徴の変化を検出し、
前記第１の物理的特徴の変化の検出に応じて、
前記第１の物理的特徴の検出された変化に基づいて、前記第１のアバター特徴を変更し、
前記第１の物理的特徴の検出された変化に基づいて、前記第２のアバター特徴を変更し、
前記第１の物理的特徴の検出された変化に基づいて、前記第３のアバター特徴の変更を取り止める、命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、
前記ディスプレイ装置を介して、仮想アバターを表示する手段であって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴と、
前記第１の物理的特徴の変化に反応する第２のアバター特徴と、
前記第１の物理的特徴の変化に主に反応しない第３のアバター特徴とを含む、手段と、
前記仮想アバターを表示しながら、前記第１の物理的特徴の変化を検出する手段と、
前記第１の物理的特徴の変化の検出に応じて、
前記第１の物理的特徴の検出された変化に基づいて、前記第１のアバター特徴を変更し、
前記第１の物理的特徴の検出された変化に基づいて、前記第２のアバター特徴を変更し、
前記第１の物理的特徴の検出された変化に基づいて、前記第３のアバター特徴の変更を取り止める手段と、を備える、電子デバイス。 - １つ以上のカメラとディスプレイ装置とを有する電子デバイスにおいて、
前記ディスプレイ装置を介して、仮想アバターを表示することであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴と、
顔の第２の物理的特徴の変化が、第２の物理的特徴の第１の変化の範囲で起こるか、顔の第２の物理的特徴の第１の変化の範囲とは異なる第２の物理的特徴の第２の変化の範囲で起こるかに依存して、顔の第２の物理的特徴の変化に対して異なる方法で反応する第２のアバター特徴とを含む、ことと、
前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内の前記顔の物理的特徴のそれぞれの第１の変化を検出することと、
前記それぞれの物理的特徴の第１の変化の検出に応じて、前記仮想アバターを変更することであって、
前記それぞれの物理的特徴の検出された前記第１の変化が前記第１の物理的特徴の変化であるという判定に従って、前記第１のアバター特徴を変更して、前記第１の物理的特徴の変化を反映し、
前記検出された第１の変化が前記第２の物理的特徴の変化であり、前記第２の物理的特徴の変化が前記第１の変化の範囲内であるという判定に従って、前記第２のアバター特徴の外観を第１の方法で変化させて前記第２の物理的特徴の変化を反映し、
前記検出された第１の変化が前記第２の物理的特徴の変化であり、前記第２の物理的特徴の変化が前記第２の変化の範囲内であるという判定に従って、前記第２のアバター特徴の外観を前記第１の方法で変化させて前記第２の物理的特徴の変化を反映することを取り止める、ことと、を含む、ことと、を含む、方法。 - 前記それぞれの物理的特徴の前記第１の変化の検出に更に応じて、
前記検出された第１の変化が前記第２の物理的特徴の変化であり、前記第２の物理的特徴の変化が前記第２の変化の範囲内であるという判定に従って、前記第２のアバター特徴の外観を第２の方法で変化させて前記第２の物理的特徴の変化を反映する、請求項１４３に記載の方法。 - 前記それぞれの物理的特徴の前記第１の変化の検出に更に応じて、
前記検出された第１の変化が前記第２の物理的特徴の変化であり、前記第２の物理的特徴の変化が前記第１の変化の範囲内であるという判定に従って、前記第２のアバター特徴の外観を前記第２の方法で変化させて前記第２の物理的特徴の変化を反映することを取り止める、請求項１４４に記載の方法。 - 前記第１の物理的特徴の変化を反映するように前記仮想アバターの前記第１のアバター特徴を変更することが、前記第１の物理的特徴の変化の大きさに基づいて前記第１のアバター特徴を変更することを含み、
前記第２の物理的特徴の変化を反映するように前記第１の方法で前記第２のアバター特徴の外観を変更することが、前記第２の物理的特徴の変化の第１の大きさに基づいて前記第２のアバター特徴を変更することを含み、前記第２の物理的特徴の変化を反映するように前記第２の方法で前記第２のアバター特徴の外観を変更することが、前記第２の物理的特徴の変化の第２の大きさに基づいて前記第２のアバター特徴を変更することを含む、請求項１４３から１４５のいずれか一項に記載の方法。 - 前記第１の物理的特徴の変化を反映するように前記仮想アバターの前記第１のアバター特徴を変更することが、前記第１の物理的特徴のポーズの変化の方向に基づいて前記第１のアバター特徴の少なくとも一部のポーズを変更することを含み、
前記第２の物理的特徴の変化を反映するように前記第１の方法で前記第２のアバター特徴の外観を変更することが、前記第２の物理的特徴のポーズの変化の方向に基づいて前記第２のアバター特徴の少なくとも一部のポーズを変更することを含み、
前記第２の物理的特徴の変化を反映するように前記第２の方法で前記第２のアバター特徴の外観を変更することが、前記第２の物理的特徴のポーズの変化の方向に基づいて前記第２のアバター特徴の少なくとも一部のポーズを変更することを含む、請求項１４３から１４６のいずれか一項に記載の方法。 - 前記第２の物理的特徴が、ユーザの瞼を含み、
前記第２のアバター特徴が、アバターの目を含み、
前記第２の変化の範囲内にある前記第２の物理的特徴の変化に基づいて前記第２の方法で前記第２のアバター特徴の外観を変更することが、前記アバターの目のサイズを小さくすることを含み、
前記第１の変化の範囲内にある前記第２の物理的特徴の変化に基づいて前記第１の方法で前記第２のアバター特徴の外観を変更することが、前記アバターの目のサイズを小さくすることを含まない、請求項１４５に記載の方法。 - 前記第２の物理的特徴が、ユーザの頬を含み、
前記第２のアバターが、アバターの頬を含み、
前記第２の変化の範囲内にある前記第２の物理的特徴の変化に基づいて前記第２の方法で前記第２のアバター特徴の外観を変更することが、前記アバターの頬に誇張されたアバター効果を導入することを含み、
前記第１の変化の範囲内にある前記第２の物理的特徴の変化に基づいて前記第２のアバター特徴の外観を前記第１の方法で変更することが、前記ユーザの頬の変化の大きさに基づいて前記アバターの頬を変更することを含む、請求項１４５に記載の方法。 - 前記第２の物理的特徴が、ユーザの眉毛を含み、
前記第２のアバターが、前記アバターの頭の上部部分を含み、
前記第２の変化の範囲内にある前記第２の物理的特徴の変化に基づいて前記第２の方法で前記第２のアバター特徴の外観を変更することが、前記アバターの頭の上部部分に誇張されたアバター効果を導入することを含み、
前記第１の変化の範囲内にある前記第２の物理的特徴の変化に基づいて前記第１の方法で前記第２のアバター特徴の外観を変更することが、前記アバターの頭の上部部分に誇張されたアバター効果を導入することを含まない、請求項１４５に記載の方法。 - 前記第２の物理的特徴の前記第１の変化の範囲と前記第２の物理的特徴の前記第２の変化の範囲が、前記第２の物理的特徴の潜在的な変化の範囲内の隣接範囲であり、
前記それぞれの物理的特徴の第１の変化が、前記第１の変化の範囲内の第１の変化部分から前記第２の変化の範囲内の第２の変化部分への遷移を含む前記第２の物理的特徴の変化を含み、
前記第１の変化部分の終わりにある前記第２の物理的特徴の変化を反映しているときの前記第２のアバター特徴の外観が、前記第２の変化部分の開始時に前記第２の物理的特徴の変化を反映しているときの前記第２のアバター特徴の外観に略類似している、請求項１４３から１５０のいずれか一項に記載の方法。 - 前記第２のアバター特徴の外観を変化させる前記第１の方法が、前記第２のアバター特徴の外観を変化させる前記第２の方法とは異なる、請求項１４４から１５１のいずれか一項に記載の方法。
- 前記それぞれの物理的特徴の第１の変化が検出されている間に表示される前記仮想アバターが、第１の仮想アバターテンプレートに基づいており、
前記方法が、前記それぞれの物理的特徴の第１の変化の検出に応じて、前記第１の仮想アバターテンプレートに基づいて前記仮想アバターを変更した後、
前記第１の仮想アバターテンプレートとは異なる第２の仮想アバターテンプレートに基づく仮想アバターを表示しながら、前記第２の物理的特徴の第２の変化を検出することと、
前記第２の物理的特徴の第２の変化の検出に応じて、前記第２の物理的特徴の第２の変化を反映するように前記第２のアバター特徴を変更することと、を含み、前記第２のアバター特徴の外観が、前記第２の物理的特徴の変化が前記第１の変化の範囲内又は前記第２の変化の範囲内であるかどうかにかかわらず同じ方法で変化する、請求項１４４から１５１のいずれか一項に記載の方法。 - 前記検出された第１の変化が前記第２の物理的特徴の変化であり、前記第２の物理的特徴の変化が前記第１の変化の範囲から前記第２の変化の範囲への変化であるという判定に従って、前記第２のアバター特徴の所定の構成に基づいて前記第２のアバター特徴を変更することを備える、請求項１４３から１５３のいずれか一項に記載の方法。
- 前記第２の物理的特徴の前記第１の変化の範囲と前記第２の物理的特徴の前記第２の変化の範囲が、前記第２の物理的特徴の可能な変化の範囲内の隣接範囲であり、
前記それぞれの物理的特徴の第１の変化が、前記第２の変化の範囲内の第１の変化部分から前記第１の変化の範囲内の第２の変化部分への遷移を含む前記第２の物理的特徴の変化を含み、
前記第２の物理的特徴の変化が前記第２の変化の範囲内の前記第１の変化部分から前記第１の変化の範囲内の前記第２の部分へと遷移するとき、前記第２のアバター特徴の外観が、前記第２の物理的特徴の変化の大きさに基づく第２のアバター特徴の構成から前記第２のアバター特徴の所定の構成へと変化する、請求項１４３から１５３のいずれか一項に記載の方法。 - １つ以上のカメラ及びディスプレイ装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項１４３から１５５のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
- １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、請求項１４３から１５５のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、請求項１４３から１５５のいずれか一項のいずれかに記載の方法を実行する手段と、を備える、電子デバイス。 - １つ以上のカメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴と、
顔の第２の物理的特徴の変化が、第２の物理的特徴の第１の変化の範囲で起こるか、顔の第２の物理的特徴の第１の変化の範囲とは異なる第２の物理的特徴の第２の変化の範囲で起こるかに依存して、顔の第２の物理的特徴の変化に対して異なる方法で反応する第２のアバター特徴とを含む、仮想アバターを表示し、
前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内の前記顔の物理的特徴のそれぞれの第１の変化を検出し、
前記それぞれの物理的特徴の第１の変化の検出に応じて、前記仮想アバターを変更する、命令を含み、前記仮想アバターを変更することは、
前記それぞれの物理的特徴の検出された前記第１の変化が前記第１の物理的特徴の変化であるという判定に従って、前記第１のアバター特徴を変更して、前記第１の物理的特徴の変化を反映し、
前記検出された第１の変化が前記第２の物理的特徴の変化であり、前記第２の物理的特徴の変化が前記第１の変化の範囲内であるという判定に従って、前記第２のアバター特徴の外観を第１の方法で変化させて前記第２の物理的特徴の変化を反映し、
前記検出された第１の変化が前記第２の物理的特徴の変化であり、前記第２の物理的特徴の変化が前記第２の変化の範囲内であるという判定に従って、前記第２のアバター特徴の外観を前記第１の方法で変化させて前記第２の物理的特徴の変化を反映することを取り止めることを含む、非一時的コンピュータ可読記憶媒体。 - １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムが、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴と、
顔の第２の物理的特徴の変化が、第２の物理的特徴の第１の変化の範囲で起こるか、顔の第２の物理的特徴の第１の変化の範囲とは異なる第２の物理的特徴の第２の変化の範囲で起こるかに依存して、顔の第２の物理的特徴の変化に対して異なる方法で反応する第２のアバター特徴とを含む、仮想アバターを表示し、
前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内の前記顔の物理的特徴のそれぞれの第１の変化を検出し、
前記それぞれの物理的特徴の第１の変化の検出に応じて、前記仮想アバターを変更する、命令を含み、前記仮想アバターを変更することは、
前記それぞれの物理的特徴の検出された前記第１の変化が前記第１の物理的特徴の変化であるという判定に従って、前記第１のアバター特徴を変更して、前記第１の物理的特徴の変化を反映し、
前記検出された第１の変化が前記第２の物理的特徴の変化であり、前記第２の物理的特徴の変化が前記第１の変化の範囲内であるという判定に従って、前記第２のアバター特徴の外観を第１の方法で変化させて前記第２の物理的特徴の変化を反映し、
前記検出された第１の変化が前記第２の物理的特徴の変化であり、前記第２の物理的特徴の変化が前記第２の変化の範囲内であるという判定に従って、前記第２のアバター特徴の外観を前記第１の方法で変化させて前記第２の物理的特徴の変化を反映することを取り止めることを含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、
前記ディスプレイ装置を介して、仮想アバターを表示する手段であって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴と、
顔の第２の物理的特徴の変化が、第２の物理的特徴の第１の変化の範囲で起こるか、顔の第２の物理的特徴の第１の変化の範囲とは異なる第２の物理的特徴の第２の変化の範囲で起こるかに依存して、顔の第２の物理的特徴の変化に対して異なる方法で反応する第２のアバター特徴とを含む、手段と、
前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内の前記顔の物理的特徴のそれぞれの第１の変化を検出する手段と、
前記それぞれの物理的特徴の第１の変化の検出に応じて、前記仮想アバターを変更する手段であって、
前記それぞれの物理的特徴の検出された前記第１の変化が前記第１の物理的特徴の変化であるという判定に従って、前記第１のアバター特徴を変更して、前記第１の物理的特徴の変化を反映し、
前記検出された第１の変化が前記第２の物理的特徴の変化であり、前記第２の物理的特徴の変化が前記第１の変化の範囲内であるという判定に従って、前記第２のアバター特徴の外観を第１の方法で変化させて前記第２の物理的特徴の変化を反映し、
前記検出された第１の変化が前記第２の物理的特徴の変化であり、前記第２の物理的特徴の変化が前記第２の変化の範囲内であるという判定に従って、前記第２のアバター特徴の外観を前記第１の方法で変化させて前記第２の物理的特徴の変化を反映することを取り止めることを含む、手段と、を備える、電子デバイス。 - １つ以上のカメラとディスプレイ装置とを有する電子デバイスにおいて、
前記ディスプレイ装置を介して、仮想アバターを表示することであって、前記仮想アバターが、前記１つ以上のカメラの視野内の顔の１つ以上の物理的特徴の変化に反応する複数のアバター特徴を含む、ことと、
前記仮想アバターを表示しながら、前記顔の複数の物理的特徴の変化を検出することであって、前記顔の複数の物理的特徴が、前記複数のアバター特徴の１つ以上に対応する第１の物理的特徴及び前記複数のアバター特徴のいずれにも対応しない第２の物理的特徴を含む、ことと、
前記顔の前記複数の物理的特徴の変化の検出に応じて、
前記複数のアバター特徴のそれぞれのアバター特徴の外観を変化させることであって、前記それぞれのアバター特徴の変化の大きさ及び／又は方向が、前記第１の物理的特徴の変化の大きさ又は方向に基づく、ことと、
前記顔の１つ以上の物理的特徴の変化を検出する前に、前記アバター特徴を含まない前記仮想アバターの一部を変形することであって、前記アバター特徴の一部の変形の大きさ及び／又は方向が、前記第２の物理的特徴の変化の大きさ及び／又は方向に基づいている、ことと、を含む、
方法。 - 前記顔の複数の物理的特徴の変化を検出する前に表示される前記複数のアバター特徴が、前記顔の物理的特徴の現在位置にかかわらず表示される、請求項１６２に記載の方法。
- 前記１つ以上の物理的特徴が第３の物理的特徴を含み、前記方法が、
前記第３の物理的特徴の第１の物理的特徴値が、第１のアバター特徴包含閾値を下回り、前記仮想アバターが、前記第３の物理的特徴に少なくとも部分的に反応する第１のアバター特徴を含まないとき、前記第１の物理的特徴値から第２の物理的特徴値まで前記第３の物理的特徴の変化を検出することと、
前記第３の物理的特徴の前記第２の物理的特徴値が前記第１のアバター特徴包含閾値を満たすか又はそれを超えるのに応じて、前記第１のアバター特徴を含めるように前記仮想アバターを変更することと、
前記第３の物理的特徴の前記第２の物理的特徴値が前記第１のアバター特徴包含閾値を満たさないか又はそれを超えないのに応じて、前記第１のアバター特徴を含めるように前記仮想アバターを変更することを取り止めることと、を更に含む、請求項１６２に記載の方法。 - 前記第１の物理的特徴が、少なくともユーザの目の一部を含み、
前記それぞれのアバター特徴が、少なくともアバターの目の一部を含み、
前記第２の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記顔の前記複数の物理的特徴の変化を検出することが、より広く開いた前記少なくともユーザの目の一部と、上昇した前記少なくともユーザの眉毛の一部とを検出することを含み、
前記それぞれのアバター特徴の外観を変化させることが、より広く前記少なくともアバターの目の一部を開くことを含み、
前記顔の前記１つ以上の物理的特徴の変化を検出する前に前記アバター特徴を含まない前記仮想アバターの一部を変形することが、アバターの眉毛特徴を導入することにより前記少なくともアバターの目の一部の上の前記仮想アバターの一部を変形することを含む、請求項１６２から１６４のいずれか一項に記載の方法。 - 前記第３の物理的特徴が、少なくともユーザの目の一部を含み、
前記第１のアバター特徴が、少なくともアバターの瞼の一部を含み、
前記少なくともユーザの目の一部のサイズが閾値サイズ値よりも大きい場合、前記第１のアバター特徴包含閾値が満たされるか又は超えられ、
前記第１のアバター特徴を含むように前記仮想アバターを変更することが、前記少なくともアバターの眉毛の一部を含むように前記仮想アバターを変更することを含む、請求項１６４に記載の方法。 - 前記第１の物理的特徴が、少なくともユーザの目の一部を含み、
前記それぞれのアバター特徴が、少なくともアバターの目の一部を含み、
前記第２の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記顔の前記複数の物理的特徴の変化を検出することが、狭くした前記少なくともユーザの目の一部と、下降した前記少なくともユーザの眉毛の一部とを検出することを含み、
前記それぞれのアバター特徴の外観を変化させることが、前記少なくともアバターの目の一部を閉じることを含み、
前記顔の前記１つ以上の物理的特徴の変化を検出する前に前記アバター特徴を含まない前記仮想アバターの一部を変形することが、アバターの眉毛特徴を導入することにより前記少なくともアバターの目の一部の上の前記仮想アバターの一部を変形し、アバターの頬特徴を導入することにより前記少なくともアバターの目の一部の下の前記仮想アバターの一部を変形することを含む、請求項１６２から１６４のいずれか一項に記載の方法。 - 前記第３の物理的特徴が、少なくともユーザの目の一部を含み、
前記第１のアバター特徴が、少なくともアバターの瞼の一部及び少なくともアバターの頬の一部を含み、
前記少なくともユーザの目の一部のサイズが閾値サイズ値よりも小さい場合、前記第１のアバター特徴包含閾値が満たされるか又は超えられ、
前記第１のアバター特徴を含むように前記仮想アバターを変更することが、前記少なくともアバターの眉毛の一部及び前記少なくともアバターの頬の一部を含むように前記仮想アバターを変更することを含む、請求項１６４に記載の方法。 - 前記第１の物理的特徴が、少なくともユーザの目の一部を含み、
前記それぞれのアバター特徴が、少なくともアバターの目の一部を含み、
前記第２の物理的特徴が、少なくともユーザの瞼の一部を含み、
前記顔の前記複数の物理的特徴の変化を検出することが、狭くした前記少なくともユーザの目の一部と、下降した前記少なくともユーザの瞼の一部とを検出することを含み、
前記それぞれのアバター特徴の外観を変化させることが、前記少なくともアバターの目の一部を閉じることを含み、
前記顔の前記１つ以上の物理的特徴の変化を検出する前に前記アバター特徴を含まない前記仮想アバターの一部を変形することが、アバターの瞼特徴を導入することにより前記アバターの目の一部を変形することを含む、請求項１６２に記載の方法。 - 前記第１の物理的特徴が、少なくともユーザの唇の一部を含み、
前記それぞれのアバター特徴が、少なくともアバターの口の一部を含み、
前記顔の前記複数の物理的特徴の変化を検出することが、しかめるポーズを有する前記少なくともユーザの唇の一部を検出することを含み、
前記それぞれのアバター特徴の外観を変化させることが、しかめるポーズを有するアバターの唇のセットを含めるように前記少なくともアバターの口の一部を変更することを含む、請求項１６２に記載の方法。 - 前記第１の物理的特徴が、少なくともユーザの唇の一部を含み、
前記それぞれのアバター特徴が、少なくともアバターのくちばしの一部を含み、
前記顔の前記複数の物理的特徴の変化を検出することが、しかめるポーズを有する前記少なくともユーザの唇の一部を検出することを含み、
前記それぞれのアバター特徴の外観を変化させることが、しかめるポーズを有するアバターの唇のセットを含めるように前記少なくともアバターのくちばしの一部を変更することを含む、請求項１６２に記載の方法。 - 前記１つ以上の物理的特徴が、前記複数のアバター特徴のいずれにも対応しない第３の物理的特徴を含み、前記方法が、
前記顔の１つ以上の物理的特徴の変化を検出する前に、前記アバター特徴を含まない前記仮想アバターの第２の部分を変形することであって、前記アバター特徴の第２の部分の変形の大きさ又は方向が、前記第３の物理的特徴の変化の大きさ又は方向に基づいている、ことを更に含む、請求項１６２に記載の方法。 - 前記第２の物理的特徴が、少なくともユーザの瞼の一部を含み、
前記第３の物理的特徴が、少なくともユーザの頬の一部を含み、
前記顔の前記複数の物理的特徴の変化を検出することが、閉じた前記少なくともユーザの瞼の一部と、前記少なくともユーザの頬の一部の変化とを検出することを含み、
前記顔の前記１つ以上の物理的特徴の変化を検出する前に前記アバター特徴を含まない前記仮想アバターの一部を変形することが、アバターの瞼特徴を導入することにより前記仮想アバターの一部を変形することを含み、
前記顔の前記１つ以上の物理的特徴の変化を検出する前に前記アバター特徴を含まない前記仮想アバターの第２の部分を変形することが、頬特徴を導入することにより前記仮想アバターの第２の部分を変形することを含む、請求項１７２に記載の方法。 - 前記第２の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記顔の前記複数の物理的特徴の変化を検出することが、上昇した前記少なくともユーザの眉毛の一部を検出することを含み、
前記顔の前記１つ以上の物理的特徴の変化を検出する前にアバター特徴を含まない前記仮想アバターの一部を変形することが、アバターの頭の上部部分から伸びる１つ以上の突起を導入することにより前記アバターの頭の上部部分を変形することを含む、請求項１６２に記載の方法。 - 前記第３の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記第１のアバター特徴が、１つ以上の突起を含み、
前記少なくともユーザの眉毛の一部の垂直変位の大きさが変位閾値よりも大きい場合、前記第１のアバター特徴包含閾値が満たされるか又は超えられ、
前記第１のアバター特徴を含めるように前記仮想アバターを変更することが、アバターの頭の少なくとも上部部分に配置された前記１つ以上の突起を含むように前記仮想アバターを変更することを含む、請求項１６４に記載の方法。 - 前記第１の物理的特徴が、少なくともユーザの頬の一部を含み、
前記それぞれのアバター特徴が、少なくともアバターの頬の一部を含み、
前記顔の前記複数の物理的特徴の変化を検出することが、拡張ポーズを有する前記少なくともユーザの頬の一部を検出することを含み、
前記それぞれのアバター特徴の外観を変化させることが、前記アバターの頬から延びる１つ以上の突起を含むように前記少なくともアバターの頬の一部を変更することを含む、請求項１６２に記載の方法。 - 前記第３の物理的特徴が、少なくともユーザの頬の一部を含み、
前記第１のアバター特徴が、１つ以上の突起を含み、
前記少なくともユーザの頬の一部が閾値拡張値よりも大きく拡張されると、前記第１のアバター特徴包含閾値が満たされるか又は超えられ、
前記第１のアバター特徴を含むように前記仮想アバターを変更することが、少なくともアバターの頬の一部に配置された前記１つ以上の突起を含むように前記仮想アバターを変更することを含む、請求項１６４に記載の方法。 - 前記第３の物理的特徴が、少なくともユーザの眉毛の一部を含み、
前記第１のアバター特徴が、前記仮想アバターの下部部分の上の前記仮想アバターの上部部分の湾曲した向きを含み、
前記少なくともユーザの眉毛の一部の垂直変位の大きさが変位閾値よりも大きい場合、前記第１のアバター特徴包含閾値が満たされるか又は超えられ、
前記第１のアバター特徴を含むように前記仮想アバターを変更することが、前記仮想アバターの下部部分を中心に湾曲するように前記仮想アバターの上部部分を変更することを含む、請求項１６４に記載の方法。 - １つ以上のカメラ及びディスプレイ装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項１６２から１７８のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
- １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、請求項１６２から１７８のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、請求項１６２から１７８のいずれか一項のいずれかに記載の方法を実行する手段と、を備える、電子デバイス。 - １つ以上のカメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、前記１つ以上のカメラの視野内の顔の１つ以上の物理的特徴の変化に反応する複数のアバター特徴を含み、仮想アバターを表示し
前記仮想アバターを表示しながら、前記顔の複数の物理的特徴であって、前記顔の複数の物理的特徴が、前記複数のアバター特徴の１つ以上に対応する第１の物理的特徴及び前記複数のアバター特徴のいずれにも対応しない第２の物理的特徴を含む、前記顔の複数の物理的特徴の変化を検出し、
前記顔の前記複数の物理的特徴の変化の検出に応じて、
前記複数のアバター特徴のそれぞれのアバター特徴であって、前記それぞれのアバター特徴の変化の大きさ及び／又は方向が、前記第１の物理的特徴の変化の大きさ又は方向に基づいている、それぞれのアバター特徴の外観を変化させ、
前記顔の１つ以上の物理的特徴の変化を検出する前に、前記アバター特徴を含まない前記仮想アバターの一部であって、前記アバター特徴の一部の変形の大きさ及び／又は方向が、前記第２の物理的特徴の変化の大きさ及び／又は方向に基づいている、前記仮想アバターの一部を変形する、命令を含む非一時的コンピュータ可読記憶媒体。 - １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムが、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、前記１つ以上のカメラの視野内の顔の１つ以上の物理的特徴の変化に反応する複数のアバター特徴を含み、仮想アバターを表示し
前記仮想アバターを表示しながら、前記顔の複数の物理的特徴であって、前記顔の複数の物理的特徴が、前記複数のアバター特徴の１つ以上に対応する第１の物理的特徴及び前記複数のアバター特徴のいずれにも対応しない第２の物理的特徴を含む、前記顔の複数の物理的特徴の変化を検出し、
前記顔の前記複数の物理的特徴の変化の検出に応じて、
前記複数のアバター特徴のそれぞれのアバター特徴であって、前記それぞれのアバター特徴の変化の大きさ及び／又は方向が、前記第１の物理的特徴の変化の大きさ又は方向に基づいている、それぞれのアバター特徴の外観を変化させ、
前記顔の１つ以上の物理的特徴の変化を検出する前に、前記アバター特徴を含まない前記仮想アバターの一部であって、前記アバター特徴の一部の変形の大きさ及び／又は方向が、前記第２の物理的特徴の変化の大きさ及び／又は方向に基づいている、前記仮想アバターの一部を変形する、命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、
前記ディスプレイ装置を介して、前記仮想アバターを表示する手段であって、前記仮想アバターが、前記１つ以上のカメラの視野内の顔の１つ以上の物理的特徴の変化に反応する複数のアバター特徴を含む、手段と、
前記仮想アバターを表示しながら、前記顔の複数の物理的特徴の変化を検出する手段であって、前記顔の複数の物理的特徴が、前記複数のアバター特徴の１つ以上に対応する第１の物理的特徴及び前記複数のアバター特徴のいずれにも対応しない第２の物理的特徴を含む、手段と、
前記顔の前記複数の物理的特徴の変化の検出に応じて、
前記複数のアバター特徴のそれぞれのアバター特徴であって、前記それぞれのアバター特徴の変化の大きさ及び／又は方向が、前記第１の物理的特徴の変化の大きさ又は方向に基づいている、それぞれのアバター特徴の外観を変化させ
前記顔の１つ以上の物理的特徴の変化を検出する前に、前記アバター特徴を含まない前記仮想アバターの一部であって、前記アバター特徴の一部の変形の大きさ及び／又は方向が、前記第２の物理的特徴の変化の大きさ及び／又は方向に基づいている、前記仮想アバターの一部を変形する手段と、を備える、電子デバイス。 - １つ以上のカメラとディスプレイ装置とを有する電子デバイスにおいて、
前記ディスプレイ装置を介して、仮想アバターを表示することであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴を含む、ことと、
前記仮想アバターを表示しながら、前記第１の物理的特徴の変化の大きさを有する前記第１の物理的特徴の変化を検出することと、
前記第１の物理的特徴の変化の検出に応じて、
前記第１の物理的特徴の変化が前記物理的特徴値の第１の範囲内にあるという判定に従って、前記第１の物理的特徴の変化の大きさに基づく前記第１のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させることと、
前記第１の物理的特徴の変化が前記物理的特徴値の第１の範囲とは異なる前記物理的特徴値の第２の範囲内にあるという判定に従って、前記第１のアバター特徴の変化の大きさとは異なりかつ前記第１の物理的特徴の変化の大きさに基づく第２のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させることと、を含む、方法。 - 前記第１のアバター特徴がアバターの唇であり、
前記顔の前記第１の物理的特徴がユーザの唇であり、
前記物理的特徴値の第１の範囲が、前記ユーザの唇の弛緩状態に対応する弛緩状態値を含み、
前記物理的特徴値の第２の範囲が、前記ユーザの唇の変位状態に対応する第１の変位状態値を含み、
前記第１のアバター特徴の変化の大きさが、前記第２のアバター特徴の変化の大きさよりも小さい、請求項１８５に記載の方法。 - 前記第１のアバター特徴がアバターの口であり、
前記顔の前記第１の物理的特徴がユーザの口であり、
前記物理的特徴値の第１の範囲が、前記ユーザの口の弛緩状態に対応する弛緩状態値を含み、
前記物理的特徴値の第２の範囲が、前記ユーザの口の変位状態に対応する第１の変位状態値を含み、
前記第１のアバター特徴の変化の大きさが、前記第２のアバター特徴の変化の大きさよりも小さい、請求項１８５に記載の方法。 - 前記第１のアバター特徴がアバターの目であり、
前記顔の前記第１の物理的特徴がユーザの瞼であり、
前記物理的特徴値の第１の範囲が、前記ユーザの瞼の弛緩状態に対応する弛緩状態値を含み、
前記物理的特徴値の第２の範囲が、前記ユーザの瞼の変位状態に対応する第１の変位状態値を含み、
前記第１のアバター特徴の変化の大きさが、前記第２のアバター特徴の変化の大きさよりも小さい、請求項１８５に記載の方法。 - 前記第１のアバター特徴がアバターの目であり、
前記顔の前記第１の物理的特徴がユーザの目であり、
前記物理的特徴値の第１の範囲が、前記ユーザの目の弛緩状態に対応する弛緩状態値を含み、
前記物理的特徴値の第２の範囲が、前記ユーザの目の変位状態に対応する第１の変位状態値を含み、
前記第１のアバター特徴の変化の大きさが、前記第２のアバター特徴の変化の大きさよりも小さい、請求項１８５に記載の方法。 - 前記第１のアバター特徴がアバターの鼻であり、
前記顔の前記第１の物理的特徴がユーザの唇であり、
前記物理的特徴値の第１の範囲が、前記ユーザの唇の弛緩状態に対応する弛緩状態値を含み、
前記物理的特徴値の第２の範囲が、前記ユーザの唇の変位状態に対応する第１の変位状態値を含み、
前記第１のアバター特徴の変化の大きさが、前記第２のアバター特徴の変化の大きさよりも小さい、請求項１８５に記載の方法。 - 前記第１のアバター特徴がまた、前記１つ以上のカメラの視野内の前記顔の第２の物理的特徴の変化にも反応し、前記方法が、
前記仮想アバターを表示しながら、前記第２の物理的特徴の変化の大きさで前記第２の物理的特徴の変化を検出することと、
前記第２の物理的特徴の変化の検出に応じて、
前記第２の物理的特徴の変化が物理的特徴値の第３の範囲内にあるという判定に従って、前記第２の物理的特徴の変化の大きさに基づく第３のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させることと、
前記第２の物理的特徴の変化が前記物理的特徴値の第３の範囲とは異なる第４の物理的特徴値の範囲内にあるという判定に従って、前記第３のアバター特徴の変化の大きさとは異なりかつ前記第２の物理的特徴の変化の大きさに基づく第４のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させることと、を更に含む、請求項１９０に記載の方法。 - 前記ユーザの口の弛緩状態が、第１のユーザの口の形状を有し、
前記ユーザの口の変位状態が、第２のユーザの口の形状を有し、
前記第１のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させることが、前記第１のユーザの口の形状に対応しない１つ以上の形状を想定するように前記アバターの口を変化させることを含み、
前記第２のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させることが、前記第２のユーザの口の形状に対応しない１つ以上の形状を想定するように前記アバターの口を変化させることを含む、請求項１８６に記載の方法。 - 前記仮想アバターが、前記カメラの視野内の前記顔の第３の物理的特徴の変化に反応する第２のアバター特徴を含み、
前記第３の物理的特徴が、前記第３の物理的特徴の動きの所定範囲に基づく可能な物理的特徴値の範囲を有し、
前記第２のアバター特徴が、前記第２のアバター特徴の動きの所定範囲に基づく可能なアバター特徴値の範囲を有し、
前記第２のアバター特徴の動きの所定範囲が、前記第３の物理的特徴の動きの所定範囲よりも大きく、
前記方法が、
前記第２のアバター特徴が、前記第３の物理的特徴の検出された第１の物理的特徴値に基づく前記第２のアバター特徴の第１のアバター特徴値を有するとき、前記第３の物理的特徴の前記第１の物理的特徴値から前記第３の物理的特徴の前記第２の物理的特徴値への前記第３の物理的特徴の変化を検出することと、
前記第３の物理的特徴の変化の検出に応じて、前記第２のアバター特徴の前記第１のアバター特徴値から、前記第２のアバター特徴の動きの所定範囲内にある前記第２のアバター特徴の前記第２のアバター特徴値へと前記第２のアバター特徴を変化させることと、を含み、
前記第２のアバター特徴の前記第２のアバター特徴値が、前記第３の物理的特徴の動きの所定範囲に対する前記第３の物理的特徴の前記第２の物理的特徴値の相対値に基づいており、
前記第２のアバター特徴の前記第１のアバター特徴値と前記第２のアバター特徴の前記第２のアバター特徴値との差が、前記第３の物理的特徴の前記第１の物理的特徴値と前記第３の物理的特徴の前記第２の物理的特徴値との差よりも大きい、請求項１８５から１９２のいずれか一項に記載の方法。 - １つ以上のカメラ及びディスプレイ装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項１８５から１９３のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
- １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、請求項１８５から１９３のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、請求項１８５から１９３のいずれか一項のいずれかに記載の方法を実行する手段と、を備える、電子デバイス。 - １つ以上のカメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴を含む、仮想アバターを表示し、
前記仮想アバターを表示しながら、前記第１の物理的特徴の変化の大きさを有する前記第１の物理的特徴の変化を検出し、
前記第１の物理的特徴の変化の検出に応じて、
前記第１の物理的特徴の変化が前記物理的特徴値の第１の範囲内にあるという判定に従って、前記第１の物理的特徴の変化の大きさに基づく前記第１のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させ、
前記第１の物理的特徴の変化が前記物理的特徴値の第１の範囲とは異なる前記物理的特徴値の第２の範囲内にあるという判定に従って、前記第１のアバター特徴の変化の大きさとは異なりかつ前記第１の物理的特徴の変化の大きさに基づく第２のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させる、命令を含む、非一時的コンピュータ可読記憶媒体。 - １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムが、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴を含む、仮想アバターを表示し、
前記仮想アバターを表示しながら、前記第１の物理的特徴の変化の大きさを有する前記第１の物理的特徴の変化を検出し、
前記第１の物理的特徴の変化の検出に応じて、
前記第１の物理的特徴の変化が前記物理的特徴値の第１の範囲内にあるという判定に従って、前記第１の物理的特徴の変化の大きさに基づく前記第１のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させ、
前記第１の物理的特徴の変化が前記物理的特徴値の第１の範囲とは異なる前記物理的特徴値の第２の範囲内にあるという判定に従って、前記第１のアバター特徴の変化の大きさとは異なりかつ前記第１の物理的特徴の変化の大きさに基づく第２のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させる、命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、
前記ディスプレイ装置を介して、仮想アバターを表示する手段であって、前記仮想アバターが、
前記１つ以上のカメラの視野内の顔の第１の物理的特徴の変化に反応する第１のアバター特徴を含む、手段と、
前記仮想アバターを表示しながら、前記第１の物理的特徴の変化の大きさを有する前記第１の物理的特徴の変化を検出する手段と、
前記第１の物理的特徴の変化の検出に応じて、
前記第１の物理的特徴の変化が前記物理的特徴値の第１の範囲内にあるという判定に従って、前記第１の物理的特徴の変化の大きさに基づく前記第１のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させ、
前記第１の物理的特徴の変化が前記物理的特徴値の第１の範囲とは異なる前記物理的特徴値の第２の範囲内にあるという判定に従って、前記第１のアバター特徴の変化の大きさとは異なりかつ前記第１の物理的特徴の変化の大きさに基づく第２のアバター特徴の変化の大きさだけ前記第１のアバター特徴を変化させる、手段と、を備える、電子デバイス。 - １つ以上のカメラとディスプレイ装置とを有する電子デバイスにおいて、
前記ディスプレイ装置を介して、仮想アバターを表示することであって、前記仮想アバターが基準フレーム内にそれぞれの空間位置を有し、前記それぞれの空間位置が、前記１つ以上のカメラの視野内の顔の位置に基づいている、ことと、
前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内の顔の位置の変化をそれぞれの量だけ検出することと、
前記１つ以上のカメラの視野内での顔の位置の変化の検出に応じて、
前記顔の位置の変化が第１の方向の第１の変化成分を含むという判定に従って、前記第１の変化成分の大きさ及び第１の変更係数に基づいて前記基準フレーム内の前記仮想アバターの前記空間位置を変更することと、
前記位置の変化が、前記第１の方向とは異なる第２の方向の第２の変化成分を含むという判定に従って、前記第２の変化成分の大きさ及び前記第１の変更係数とは異なる第２の変更係数に基づいて前記基準フレーム内の前記仮想アバターの前記空間位置を変更することと、を含む、方法。 - 前記１つ以上のカメラの視野内の前記顔の位置の変化を検出することが、前記第１の変化成分を含む前記顔の位置の変化を検出することを含み、
前記第１の変化成分が、前記１つ以上のカメラの視野に対する水平変化成分であり、
前記第１の変更係数が減衰係数であり、
前記基準フレーム内の前記仮想アバターの前記空間位置を変更することが、前記第１の変化成分の大きさよりも小さい大きさだけ、水平方向の前記空間位置を変更することを含む、請求項２００に記載の方法。 - 前記１つ以上のカメラの視野内の前記顔の位置の変化を検出することが、前記第１の変化成分を含む前記顔の位置の変化を検出することを含み、
前記第１の変化成分が、前記１つ以上のカメラの視野に対する垂直変化成分であり、
前記第１の変更係数が減衰係数であり、
前記基準フレーム内の前記仮想アバターの前記空間位置を変更することが、前記第１の変化成分の大きさよりも小さい大きさだけ、垂直方向の前記空間位置を変更することを含む、請求項２００に記載の方法。 - 前記１つ以上のカメラの視野内の前記顔の位置の変化を検出することが、前記第１の変化成分を含む前記顔の位置の変化を検出することを含み、
前記第１の変化成分が、前記１つ以上のカメラの視野に対する深度関連変化成分であり、
前記第１の変更係数が減衰係数であり、
前記基準フレーム内の前記仮想アバターの前記空間位置を変更することが、前記第１の変化成分の大きさよりも小さい大きさだけ、深度関連方向の前記空間位置を変更することを含む、請求項２００に記載の方法。 - 前記１つ以上のカメラの視野内の前記顔の位置の変化を検出することが、前記第１の変化成分を含む前記顔の位置の変化を検出することを含み、
前記第１の変化成分が、前記１つ以上のカメラの視野に対する縦軸周りの顔の回転を含み、
前記第１の変更係数が、中立変更係数又は増幅変更係数であり、
前記基準フレーム内の前記仮想アバターの前記空間位置を変更することが、前記第１の変化成分の大きさと少なくとも等しい大きさだけ、前記縦軸周りの前記仮想アバターの前記空間位置を回転させることを含む、請求項２００に記載の方法。 - 前記１つ以上のカメラの視野内の前記顔の位置の変化を検出することが、前記第１の変化成分を含む前記顔の位置の変化を検出することを含み、
前記第１の変化成分が、前記１つ以上のカメラの視野に対する横軸周りの顔の傾斜を含み、
前記第１の変更係数が、中立変更係数又は増幅変更係数であり、
前記基準フレーム内の前記仮想アバターの前記空間位置を変更することが、前記第１の変化成分の大きさと少なくとも等しい大きさだけ、前記横軸周りの前記仮想アバターの前記空間位置を傾斜させることを含む、請求項２００に記載の方法。 - 前記１つ以上のカメラの視野内の前記顔の位置の変化を検出することが、前記第１の変化成分を含む前記顔の位置の変化を検出することを含み、
前記第１の変化成分が、前記１つ以上のカメラの視野に対する疑似的なＺ軸周りの顔の回転を含み、
前記第１の変更係数が、中立変更係数又は増幅変更係数であり、
前記基準フレーム内の前記仮想アバターの前記空間位置を変更することが、前記第１の変化成分の大きさと少なくとも等しい大きさだけ、前記疑似的なＺ軸周りの前記仮想アバターの前記空間位置を回転させることを含む、請求項２００に記載の方法。 - 前記１つ以上のカメラの視野内の前記顔の位置の変化を検出することが、前記第１の変化成分を含む前記顔の位置の変化を検出することを含み、
前記第１の変更係数が、前記第１の変化成分の大きさに適用される乗数であり、前記乗数が１未満の値を有し、
前記基準フレーム内の前記仮想アバターの前記空間位置を変更することが、前記第１の変化成分の大きさよりも小さい大きさだけ、前記仮想アバターの前記空間位置を変更することを含む、請求項２００から２０３のいずれか一項に記載の方法。 - 前記１つ以上のカメラの視野内の前記顔の位置の変化を検出することが、閾値を超える前記顔の位置の変化を検出することを含み、前記方法が、
前記閾値を超える前記顔の位置の変化の検出に応じて、前記１つ以上のカメラの視野内の前記顔の位置の変化に基づいて前記基準フレーム内の前記仮想アバターの前記空間位置を変更することを取り止めることを更に含む、請求項２００から２０６のいずれか一項に記載の方法。 - 前記１つ以上のカメラの視野内の前記顔の位置の変化を検出することが、前記第１の変化成分及び前記第２の変化成分を含む前記顔の位置の変化を検出することを含み、
前記第１の変化成分が、前記１つ以上のカメラの視野内での並進移動軸に沿った前記顔の移動を含み、
前記第２の変化成分が、前記１つ以上のカメラの視野内での回転軸周りの前記顔の回転を含み、
前記第１の変更係数が減衰係数であり、
前記第２の変更係数が減衰係数ではなく、
前記第１の変化成分の大きさ及び第１の変更係数に基づいて前記基準フレーム内の前記仮想アバターの前記空間位置を変更することが、前記第１の変化成分の大きさよりも小さい大きさだけ、前記並進移動軸に沿って前記空間位置を変更することを含み、
前記第２の変化成分の大きさ及び第２の変更係数に基づいて前記基準フレーム内の前記仮想アバターの前記空間位置を変更することが、前記第２の変化成分の大きさと少なくとも等しい大きさだけ、前記回転軸の周りの前記空間位置を変更することを含む、請求項２００から２０７のいずれか一項に記載の方法。 - １つ以上のカメラ及びディスプレイ装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項２００から２０９のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
- １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、請求項２００から２０９のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、請求項２００から２０９のいずれか一項のいずれかに記載の方法を実行する手段と、を備える、電子デバイス。 - １つ以上のカメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが基準フレーム内にそれぞれの空間位置を有し、前記それぞれの空間位置が、前記１つ以上のカメラの視野内の顔の位置に基づいている、仮想アバターを表示し、
前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内の顔の位置の変化をそれぞれの量だけ検出し、
前記１つ以上のカメラの視野内での顔の位置の変化の検出に応じて、
前記顔の位置の変化が第１の方向の第１の変化成分を含むという判定に従って、前記第１の変化成分の大きさ及び第１の変更係数に基づいて前記基準フレーム内の前記仮想アバターの前記空間位置を変更し、
前記位置の変化が、前記第１の方向とは異なる第２の方向の第２の変化成分を含むという判定に従って、前記第２の変化成分の大きさ及び前記第１の変更係数とは異なる第２の変更係数に基づいて前記基準フレーム内の前記仮想アバターの前記空間位置を変更する、命令を含む、非一時的コンピュータ可読記憶媒体。 - １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムが、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが基準フレーム内にそれぞれの空間位置を有し、前記それぞれの空間位置が、前記１つ以上のカメラの視野内の顔の位置に基づいている、仮想アバターを表示し、
前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内の顔の位置の変化をそれぞれの量だけ検出し、
前記１つ以上のカメラの視野内での顔の位置の変化の検出に応じて、
前記顔の位置の変化が第１の方向の第１の変化成分を含むという判定に従って、前記第１の変化成分の大きさ及び第１の変更係数に基づいて前記基準フレーム内の前記仮想アバターの前記空間位置を変更し、
前記位置の変化が、前記第１の方向とは異なる第２の方向の第２の変化成分を含むという判定に従って、前記第２の変化成分の大きさ及び前記第１の変更係数とは異なる第２の変更係数に基づいて前記基準フレーム内の前記仮想アバターの前記空間位置を変更する、命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、
前記ディスプレイ装置を介して、仮想アバターを表示する手段であって、前記仮想アバターが基準フレーム内にそれぞれの空間位置を有し、前記それぞれの空間位置が、前記１つ以上のカメラの視野内の顔の位置に基づいている、手段と、
前記仮想アバターを表示しながら、前記１つ以上のカメラの視野内の顔の位置の変化をそれぞれの量だけ検出する手段と、
前記１つ以上のカメラの視野内での顔の位置の変化の検出に応じて、
前記顔の位置の変化が第１の方向の第１の変化成分を含むという判定に従って、前記第１の変化成分の大きさ及び第１の変更係数に基づいて前記基準フレーム内の前記仮想アバターの前記空間位置を変更し、
前記位置の変化が、前記第１の方向とは異なる第２の方向の第２の変化成分を含むという判定に従って、前記第２の変化成分の大きさ及び前記第１の変更係数とは異なる第２の変更係数に基づいて前記基準フレーム内の前記仮想アバターの前記空間位置を変更する手段と、を備える、電子デバイス。 - １つ以上のカメラとディスプレイ装置とを有する電子デバイスにおいて、
前記ディスプレイ装置を介して、仮想アバターを表示することであって、前記仮想アバターが、前記１つ以上のカメラの視野内の顔の１つ以上の物理的特徴の変化に反応する、ことと、
前記仮想アバターを表示しながら、前記顔の１つ以上の物理的特徴の第１の構成を検出することと、
前記顔の１つ以上の物理的特徴の前記第１の構成を検出している間、
前記１つ以上の物理的特徴の前記第１の構成が、アニメーション基準を満たすために少なくとも第１の閾値時間だけ前記第１の構成が維持されるという要件を含む前記アニメーション基準を満たすという判定に従って、第１のアニメーション効果を含むように前記仮想アバターを変更することと、
前記アニメーション基準を満たさない１つ以上の物理的特徴の前記第１の構成に従って、前記第１のアニメーション効果を含めるための前記仮想アバターの変更を取り止めることと、を含む、方法。 - 前記仮想アバターが１つ以上のアバター特徴を含み、前記方法が、
前記顔の１つ以上の物理的特徴の前記第１の構成の検出に応じて、前記顔の前記１つ以上の物理的特徴の前記第１の構成に基づいて前記１つ以上のアバター特徴のうちの少なくとも１つを変更することを更に含む、請求項２１６に記載の方法。 - 前記第１のアニメーション効果が、前記表示された仮想アバターとは異なる１つ以上の仮想オブジェクトを視覚的に導入することを含む、請求項２１６に記載の方法。
- 前記１つ以上の物理的特徴の前記第１の構成が、前記顔の物理的特徴のうちの２つ以上の所定の相対的空間位置決めのセットから前記顔の物理的特徴のうちの２つ以上の第１の所定の相対的空間位置決めを含むとき、前記１つ以上の物理的特徴の前記第１の構成が前記アニメーション基準を満たし、前記１つ以上の仮想オブジェクトが、前記第１の所定の相対的空間位置決めに基づいて決定される、請求項２１８に記載の方法。
- 前記顔の物理的特徴のうちの２つ以上の前記第１の所定の相対的空間位置決めが、少なくとも顔の上唇及び下唇をしかめること並びに前記顔の閉じた顎によって形成されるしかめる表現に対応し、前記１つ以上の仮想オブジェクトが、１つ以上のハートを含む、請求項２１９に記載の方法。
- 前記顔の物理的特徴のうちの２つ以上の前記第１の所定の相対的空間位置決めが、前記口の中央部よりも低い少なくとも前記口の第１の角及び第２の角によって形成される悲しい表情に対応し、前記１つ以上の仮想オブジェクトが、１つ以上の涙を含む、請求項２１９に記載の方法。
- 前記顔の物理的特徴のうちの２つ以上の前記第１の所定の相対的空間位置決めが、下降位置を有する前記顔の少なくとも２つの眉毛によって形成される眉毛をひそめることに対応し、前記１つ以上の仮想オブジェクトが、１つ以上の嵐雲を含む、請求項２１９に記載の方法。
- 前記顔の物理的特徴のうちの２つ以上の前記第１の所定の相対的空間位置決めが、少なくとも前記顔の２つの目を狭くすることによって形成される睨みに対応し、前記１つ以上の仮想オブジェクトが、１つ以上のレーザービームを含む、請求項２１９に記載の方法。
- 前記第１のアニメーション効果を含むように前記仮想アバターを変更することが、前記仮想アバターに対して移動する前記１つ以上の仮想オブジェクトのアニメーションを表示することを更に含む、請求項２１８から２２３のいずれか一項に記載の方法。
- 前記仮想アバターに対して移動する前記１つ以上の仮想オブジェクトのアニメーションが、出発位置から目的位置までの前記１つ以上の仮想オブジェクトのアニメーション化された移動を表示することを含み、前記１つ以上の仮想オブジェクトのそれぞれについて、前記目的位置には、分布関数に基づいて前記仮想アバターに対して所定位置が割り当てられる、請求項２２４に記載の方法。
- 前記仮想アバターに対して移動する前記１つ以上の仮想オブジェクトのアニメーションが、前記仮想アバターの表示された向きに基づく方向を有する移動を含む、請求項２２４に記載の方法。
- 前記１つ以上の仮想オブジェクトが、分布関数に基づいて選択された時間間隔で放出される複数の仮想オブジェクトである、請求項２１８から２２６のいずれか一項に記載の方法。
- 前記仮想アバターが、複数の仮想アバターテンプレートのうちの第１の仮想アバターテンプレートに対応し、前記第１のアニメーション効果の視覚的特性が、前記第１の仮想アバターテンプレートに基づいている、請求項２１６から２２７のいずれか一項に記載の方法。
- 前記第１のアニメーション効果を含むように前記仮想アバターを変更した後、
１つ以上の物理的特徴の前記第１の構成が追加のアニメーション基準を満たすという判定に従って、第２のアニメーション効果を含むように前記仮想アバターを変更することを更に含み、前記追加のアニメーション基準が、前記追加のアニメーション基準を満たすために前記第１のアニメーション効果を含むように前記仮想アバターを変更した後に前記第１の構成が少なくとも第２の閾値時間だけ維持されるという要件を含む、請求項２１６から２２８のいずれか一項に記載の方法。 - １つ以上の物理的特徴の前記第１の構成がアニメーション基準を満たし、前記アバターが前記第１のアニメーション効果を含むように変更され、前記方法が、
前記顔の１つ以上の物理的特徴の前記第１の構成を検出している間、前記顔の第１の物理的特徴の変化を検出することと、
前記アニメーション基準を満たす前記顔の前記第１の物理的特徴の変化の検出に応じて、前記顔の前記第１の物理的特徴の変化に基づいて第１のアバター特徴を変更することと、を更に含む、請求項２１６から２２９のいずれか一項に記載の方法。 - １つ以上のカメラ及びディスプレイ装置を備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項２１６から２３０のいずれか一項に記載の方法を実行する命令を含む、非一時的コンピュータ可読記憶媒体。
- １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、請求項２１６から２３０のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、請求項２１６から２３０のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。 - １つ以上のカメラと表示装置とを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムは、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、前記１つ以上のカメラの視野内の顔の１つ以上の物理的特徴の変化に反応する、仮想アバターを表示し、
前記仮想アバターを表示しながら、前記顔の１つ以上の物理的特徴の第１の構成を検出し、
前記顔の１つ以上の物理的特徴の前記第１の構成を検出している間、
前記１つ以上の物理的特徴の前記第１の構成が、アニメーション基準を満たすために少なくとも第１の閾値時間だけ前記第１の構成が維持されるという要件を含む前記アニメーション基準を満たすという判定に従って、第１のアニメーション効果を含むように前記仮想アバターを変更し、
前記アニメーション基準を満たさない１つ以上の物理的特徴の前記第１の構成に従って、前記第１のアニメーション効果を含めるための前記仮想アバターの変更を取り止める、命令を含む、非一時的コンピュータ可読記憶媒体。 - １つ以上のカメラと、
表示装置と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備える電子デバイスであって、前記１つ以上のプログラムが、
前記ディスプレイ装置を介して、仮想アバターであって、前記仮想アバターが、前記１つ以上のカメラの視野内の顔の１つ以上の物理的特徴の変化に反応する、仮想アバターを表示し、
前記仮想アバターを表示しながら、前記顔の１つ以上の物理的特徴の第１の構成を検出し、
前記顔の１つ以上の物理的特徴の前記第１の構成を検出している間、
前記１つ以上の物理的特徴の前記第１の構成が、アニメーション基準を満たすために少なくとも第１の閾値時間だけ前記第１の構成が維持されるという要件を含む前記アニメーション基準を満たすという判定に従って、第１のアニメーション効果を含むように前記仮想アバターを変更し、
前記アニメーション基準を満たさない１つ以上の物理的特徴の前記第１の構成に従って、前記第１のアニメーション効果を含めるための前記仮想アバターの変更を取り止める、命令を含む、電子デバイス。 - １つ以上のカメラと、
表示装置と、
前記ディスプレイ装置を介して、仮想アバターを表示する手段であって、前記仮想アバターが、前記１つ以上のカメラの視野内の顔の１つ以上の物理的特徴の変化に反応する、手段と、
前記仮想アバターを表示しながら、前記顔の１つ以上の物理的特徴の第１の構成を検出する手段と、
前記顔の１つ以上の物理的特徴の前記第１の構成を検出している間、
前記１つ以上の物理的特徴の前記第１の構成が、アニメーション基準を満たすために少なくとも第１の閾値時間だけ前記第１の構成が維持されるという要件を含む前記アニメーション基準を満たすという判定に従って、第１のアニメーション効果を含むように前記仮想アバターを変更し、
前記アニメーション基準を満たさない１つ以上の物理的特徴の前記第１の構成に従って、前記第１のアニメーション効果を含めるための前記仮想アバターの変更を取り止める手段と、を備える、電子デバイス。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023169627A JP2024001091A (ja) | 2017-05-16 | 2023-09-29 | 絵文字の記録及び送信 |
Applications Claiming Priority (22)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762507177P | 2017-05-16 | 2017-05-16 | |
| US62/507,177 | 2017-05-16 | ||
| DKPA201770393 | 2017-05-29 | ||
| DKPA201770393A DK201770393A1 (en) | 2017-05-16 | 2017-05-29 | Emoji recording and sending |
| US201762556412P | 2017-09-09 | 2017-09-09 | |
| US62/556,412 | 2017-09-09 | ||
| US201762557121P | 2017-09-11 | 2017-09-11 | |
| US62/557,121 | 2017-09-11 | ||
| DKPA201770720 | 2017-09-22 | ||
| DKPA201770721A DK179867B1 (en) | 2017-05-16 | 2017-09-22 | RECORDING AND SENDING EMOJI |
| DKPA201770721 | 2017-09-22 | ||
| DKPA201770720A DK179948B1 (en) | 2017-05-16 | 2017-09-22 | Recording and sending Emoji |
| US15/870,195 | 2018-01-12 | ||
| US15/870,195 US10521091B2 (en) | 2017-05-16 | 2018-01-12 | Emoji recording and sending |
| US15/940,232 US10379719B2 (en) | 2017-05-16 | 2018-03-29 | Emoji recording and sending |
| US15/940,232 | 2018-03-29 | ||
| US15/940,017 | 2018-03-29 | ||
| US15/940,017 US10845968B2 (en) | 2017-05-16 | 2018-03-29 | Emoji recording and sending |
| US201862671979P | 2018-05-15 | 2018-05-15 | |
| US62/671,979 | 2018-05-15 | ||
| PCT/US2018/033044 WO2018213500A1 (en) | 2017-05-16 | 2018-05-16 | Emoji recording and sending |
| JP2019563408A JP6967610B2 (ja) | 2017-05-16 | 2018-05-16 | 絵文字の記録及び送信 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019563408A Division JP6967610B2 (ja) | 2017-05-16 | 2018-05-16 | 絵文字の記録及び送信 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023169627A Division JP2024001091A (ja) | 2017-05-16 | 2023-09-29 | 絵文字の記録及び送信 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022023907A true JP2022023907A (ja) | 2022-02-08 |
Family
ID=64272571
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019563408A Active JP6967610B2 (ja) | 2017-05-16 | 2018-05-16 | 絵文字の記録及び送信 |
| JP2021173713A Pending JP2022023907A (ja) | 2017-05-16 | 2021-10-25 | 絵文字の記録及び送信 |
| JP2023169627A Pending JP2024001091A (ja) | 2017-05-16 | 2023-09-29 | 絵文字の記録及び送信 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019563408A Active JP6967610B2 (ja) | 2017-05-16 | 2018-05-16 | 絵文字の記録及び送信 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023169627A Pending JP2024001091A (ja) | 2017-05-16 | 2023-09-29 | 絵文字の記録及び送信 |
Country Status (6)
| Country | Link |
|---|---|
| US (4) | US10521948B2 (ja) |
| EP (1) | EP4366317A2 (ja) |
| JP (3) | JP6967610B2 (ja) |
| KR (5) | KR102549029B1 (ja) |
| AU (4) | AU2021201681C1 (ja) |
| DK (1) | DK180007B1 (ja) |
Families Citing this family (86)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USD618248S1 (en) * | 2008-09-23 | 2010-06-22 | Apple Inc. | Graphical user interface for a display screen or portion thereof |
| TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
| US10824297B2 (en) * | 2012-11-26 | 2020-11-03 | Google Llc | System for and method of accessing and selecting emoticons, content, and mood messages during chat sessions |
| US9465985B2 (en) | 2013-06-09 | 2016-10-11 | Apple Inc. | Managing real-time handwriting recognition |
| USD771112S1 (en) * | 2014-06-01 | 2016-11-08 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| DK179374B1 (en) * | 2016-06-12 | 2018-05-28 | Apple Inc | Handwriting keyboard for monitors |
| US9854156B1 (en) | 2016-06-12 | 2017-12-26 | Apple Inc. | User interface for camera effects |
| DK179978B1 (en) | 2016-09-23 | 2019-11-27 | Apple Inc. | IMAGE DATA FOR ENHANCED USER INTERACTIONS |
| DK179948B1 (en) | 2017-05-16 | 2019-10-22 | Apple Inc. | Recording and sending Emoji |
| DK180007B1 (en) | 2017-05-16 | 2020-01-16 | Apple Inc. | RECORDING AND SENDING EMOJI |
| DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
| CN109241810B (zh) * | 2017-07-10 | 2022-01-28 | 腾讯科技（深圳）有限公司 | 虚拟角色图像的构建方法及装置、存储介质 |
| USD843442S1 (en) | 2017-09-10 | 2019-03-19 | Apple Inc. | Type font |
| US10593087B2 (en) | 2017-10-23 | 2020-03-17 | Paypal, Inc. | System and method for generating emoji mashups with machine learning |
| JP7031228B2 (ja) * | 2017-10-26 | 2022-03-08 | 株式会社リコー | プログラム、画像表示方法、画像表示システム、情報処理装置 |
| KR102040858B1 (ko) * | 2017-11-29 | 2019-11-06 | 한국과학기술연구원 | 가상 공간의 인터랙션 분석 시스템 및 방법 |
| US10748525B2 (en) * | 2017-12-11 | 2020-08-18 | International Business Machines Corporation | Multi-modal dialog agents representing a level of confidence in analysis |
| JP7040043B2 (ja) * | 2018-01-25 | 2022-03-23 | セイコーエプソン株式会社 | 写真処理装置、写真データの生産方法および写真処理プログラム |
| CN110135226B (zh) * | 2018-02-09 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 表情动画数据处理方法、装置、计算机设备和存储介质 |
| KR102661019B1 (ko) | 2018-02-23 | 2024-04-26 | 삼성전자주식회사 | 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법 |
| US11573679B2 (en) * | 2018-04-30 | 2023-02-07 | The Trustees of the California State University | Integration of user emotions for a smartphone or other communication device environment |
| US10375313B1 (en) * | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
| DK201870380A1 (en) | 2018-05-07 | 2020-01-29 | Apple Inc. | DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES |
| US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| DK180212B1 (en) | 2018-05-07 | 2020-08-19 | Apple Inc | USER INTERFACE FOR CREATING AVATAR |
| WO2019221494A1 (en) * | 2018-05-14 | 2019-11-21 | Samsung Electronics Co., Ltd. | Electronic device for performing biometric authentication and method of operating the same |
| US10432805B1 (en) * | 2018-08-10 | 2019-10-01 | Kyocera Document Solutions, Inc. | Operation of a panel for a printer using a dial control |
| CN109358923B (zh) * | 2018-08-29 | 2024-04-12 | 华为技术有限公司 | 一种虚拟机器人形象的呈现方法及装置 |
| DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
| US10674072B1 (en) | 2019-05-06 | 2020-06-02 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
| JP1662142S (ja) * | 2018-10-12 | 2020-06-22 | ||
| JP1653584S (ja) * | 2018-10-12 | 2020-02-25 | ||
| JP1653585S (ja) * | 2018-10-12 | 2020-02-25 | ||
| JP1662141S (ja) * | 2018-10-12 | 2020-06-22 | ||
| JP1662143S (ja) * | 2018-10-13 | 2020-06-22 | ||
| KR102591686B1 (ko) * | 2018-12-04 | 2023-10-19 | 삼성전자주식회사 | 증강 현실 이모지를 생성하기 위한 전자 장치 및 그에 관한 방법 |
| US10796473B1 (en) * | 2018-12-11 | 2020-10-06 | Facebook, Inc. | Rendering post-capture artificial-reality effects based on artificial-reality state information |
| US11763089B2 (en) * | 2018-12-13 | 2023-09-19 | International Business Machines Corporation | Indicating sentiment of users participating in a chat session |
| US10785451B1 (en) * | 2018-12-21 | 2020-09-22 | Twitter, Inc. | Low-bandwidth avatar animation |
| KR20230173220A (ko) * | 2019-01-18 | 2023-12-26 | 스냅 아이엔씨 | 맞춤형 텍스트 메시지를 갖는 개인화 비디오 생성 시스템 및 방법 |
| US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| US11288880B2 (en) | 2019-01-18 | 2022-03-29 | Snap Inc. | Template-based generation of personalized videos |
| USD902221S1 (en) * | 2019-02-01 | 2020-11-17 | Apple Inc. | Electronic device with animated graphical user interface |
| USD900925S1 (en) * | 2019-02-01 | 2020-11-03 | Apple Inc. | Type font and electronic device with graphical user interface |
| USD900871S1 (en) | 2019-02-04 | 2020-11-03 | Apple Inc. | Electronic device with animated graphical user interface |
| KR102664688B1 (ko) * | 2019-02-19 | 2024-05-10 | 삼성전자 주식회사 | 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법 |
| CN109873756B (zh) * | 2019-03-08 | 2020-04-03 | 百度在线网络技术（北京）有限公司 | 用于发送信息的方法和装置 |
| US11182963B2 (en) * | 2019-04-03 | 2021-11-23 | Posnap, Inc. | Computerized system and method for providing a mobile augmented reality item display and selection experience |
| DK201970531A1 (en) | 2019-05-06 | 2021-07-09 | Apple Inc | Avatar integration with multiple applications |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11194467B2 (en) | 2019-06-01 | 2021-12-07 | Apple Inc. | Keyboard management user interfaces |
| USD956101S1 (en) | 2019-06-02 | 2022-06-28 | Apple Inc. | Type font and electronic device with graphical user interface |
| KR20190095184A (ko) * | 2019-07-25 | 2019-08-14 | 엘지전자 주식회사 | 멀티미디어 디바이스 및 그 제어 방법 |
| CN110472610B (zh) * | 2019-08-22 | 2023-08-01 | 王旭敏 | 一种自深度优化的人脸识别装置及其方法 |
| USD964458S1 (en) * | 2019-09-30 | 2022-09-20 | Apple Inc. | Type font |
| US11682154B2 (en) * | 2019-10-31 | 2023-06-20 | Gree, Inc. | Moving image processing method of a moving image viewed by a viewing user, a server device controlling the moving image, and a computer program thereof |
| US11128586B2 (en) * | 2019-12-09 | 2021-09-21 | Snap Inc. | Context sensitive avatar captions |
| US10972682B1 (en) * | 2019-12-12 | 2021-04-06 | Facebook, Inc. | System and method for adding virtual audio stickers to videos |
| US10735436B1 (en) * | 2020-02-05 | 2020-08-04 | Cyberark Software Ltd. | Dynamic display capture to verify encoded visual codes and network address information |
| DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
| US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
| US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
| AU2021290132C1 (en) | 2020-06-08 | 2024-04-18 | Apple Inc. | Presenting avatars in three-dimensional environments |
| US11128591B1 (en) * | 2020-08-27 | 2021-09-21 | Cisco Technology, Inc. | Dynamic interaction of a dynamic ideogram in an electronic messaging environment |
| US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
| WO2022079933A1 (ja) | 2020-10-14 | 2022-04-21 | 住友電気工業株式会社 | コミュニケーション支援プログラム、コミュニケーション支援方法、コミュニケーション支援システム、端末装置及び非言語表現プログラム |
| US11688117B2 (en) * | 2020-11-04 | 2023-06-27 | Sony Group Corporation | User expressions in virtual environments |
| US11509612B2 (en) * | 2020-12-15 | 2022-11-22 | Microsoft Technology Licensing, Llc | Modifying an avatar to reflect a user's expression in a messaging platform |
| US11593548B2 (en) | 2021-04-20 | 2023-02-28 | Snap Inc. | Client device processing received emoji-first messages |
| US11531406B2 (en) | 2021-04-20 | 2022-12-20 | Snap Inc. | Personalized emoji dictionary |
| US11888797B2 (en) * | 2021-04-20 | 2024-01-30 | Snap Inc. | Emoji-first messaging |
| US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US11714536B2 (en) * | 2021-05-21 | 2023-08-01 | Apple Inc. | Avatar sticker editor user interfaces |
| US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
| CN113542257B (zh) * | 2021-07-12 | 2023-09-26 | 维沃移动通信有限公司 | 视频处理方法、视频处理装置、电子设备和存储介质 |
| KR20230021924A (ko) * | 2021-08-06 | 2023-02-14 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 복수의 상태들의 우선 순위에 기반한 캐릭터 오브젝트 표시 방법 |
| WO2023044172A1 (en) * | 2021-09-20 | 2023-03-23 | Idoru, Inc. | Systems and method for calculating liability of a driver of a vehicle |
| USD1017618S1 (en) * | 2021-10-13 | 2024-03-12 | Zoom Video Communications, Inc. | Display screen or portion thereof with graphical user interface |
| US20230127495A1 (en) * | 2021-10-22 | 2023-04-27 | Lemon Inc. | System and method for animated emoji recording and playback |
| WO2023239620A1 (en) * | 2022-06-05 | 2023-12-14 | Apple Inc. | Sticker creation for messaging |
| JP7339420B1 (ja) * | 2022-12-20 | 2023-09-05 | カバー株式会社 | プログラム、方法、情報処理装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004287558A (ja) * | 2003-03-19 | 2004-10-14 | Matsushita Electric Ind Co Ltd | テレビ電話端末、並びに、仮想キャラ生成装置および仮想キャラ動作制御装置 |
| JP2006065683A (ja) * | 2004-08-27 | 2006-03-09 | Kyocera Communication Systems Co Ltd | アバタ通信システム |
| US20160328875A1 (en) * | 2014-12-23 | 2016-11-10 | Intel Corporation | Augmented facial animation |
| US20160328876A1 (en) * | 2014-12-23 | 2016-11-10 | Intel Corporation | Facial gesture driven animation of non-facial features |
Family Cites Families (326)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3859005A (en) | 1973-08-13 | 1975-01-07 | Albert L Huebner | Erosion reduction in wet turbines |
| JPS5650138A (en) | 1979-09-27 | 1981-05-07 | Nippon Telegr & Teleph Corp <Ntt> | Manufacture of optical fiber |
| US4826405A (en) | 1985-10-15 | 1989-05-02 | Aeroquip Corporation | Fan blade fabrication system |
| US5490245A (en) | 1993-08-12 | 1996-02-06 | Ast Research, Inc. | Component-based icon construction and customization system |
| JP2918499B2 (ja) | 1996-09-17 | 1999-07-12 | 株式会社エイ・ティ・アール人間情報通信研究所 | 顔画像情報変換方法および顔画像情報変換装置 |
| US5995119A (en) | 1997-06-06 | 1999-11-30 | At&T Corp. | Method for generating photo-realistic animated characters |
| KR100595924B1 (ko) | 1998-01-26 | 2006-07-05 | 웨인 웨스터만 | 수동 입력 통합 방법 및 장치 |
| US6466213B2 (en) | 1998-02-13 | 2002-10-15 | Xerox Corporation | Method and apparatus for creating personal autonomous avatars |
| US6173402B1 (en) | 1998-03-04 | 2001-01-09 | International Business Machines Corporation | Technique for localizing keyphrase-based data encryption and decryption |
| WO1999053443A1 (en) * | 1998-04-13 | 1999-10-21 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
| US7046838B1 (en) | 1999-03-30 | 2006-05-16 | Minolta Co., Ltd. | Three-dimensional data input method and apparatus |
| JP4306006B2 (ja) | 1999-03-30 | 2009-07-29 | コニカミノルタセンシング株式会社 | ３次元データ入力方法及び装置 |
| JP2001092783A (ja) | 1999-09-27 | 2001-04-06 | Hitachi Software Eng Co Ltd | 個人認証方法およびシステム、記録媒体 |
| US7369130B2 (en) | 1999-10-29 | 2008-05-06 | Hitachi Kokusai Electric Inc. | Method and apparatus for editing image data, and computer program product of editing image data |
| KR20010056965A (ko) | 1999-12-17 | 2001-07-04 | 박희완 | 부분 이미지 합성에 의한 인물 캐릭터 생성 방법 |
| US20010047365A1 (en) | 2000-04-19 | 2001-11-29 | Hiawatha Island Software Co, Inc. | System and method of packaging and unpackaging files into a markup language record for network search and archive services |
| US9064344B2 (en) | 2009-03-01 | 2015-06-23 | Facecake Technologies, Inc. | Image transformation systems and methods |
| GB0023681D0 (en) | 2000-09-27 | 2000-11-08 | Canon Kk | Image processing apparatus |
| US7688306B2 (en) | 2000-10-02 | 2010-03-30 | Apple Inc. | Methods and apparatuses for operating a portable device based on an accelerometer |
| US7218226B2 (en) | 2004-03-01 | 2007-05-15 | Apple Inc. | Acceleration-based theft detection system for portable electronic devices |
| WO2002039216A2 (en) | 2000-11-03 | 2002-05-16 | Outlet Group, Llc | Method and system of an integrated business topography and virtual 3d network portal |
| US6570557B1 (en) | 2001-02-10 | 2003-05-27 | Finger Works, Inc. | Multi-touch system and method for emulating modifier keys via fingertip chords |
| US6930718B2 (en) | 2001-07-17 | 2005-08-16 | Eastman Kodak Company | Revised recapture camera and method |
| JP2003150550A (ja) | 2001-11-14 | 2003-05-23 | Toshiba Corp | 情報処理システム |
| US20030154446A1 (en) | 2002-01-28 | 2003-08-14 | Constant Nicholas Robert | Character-based, graphically expressive mobile messaging system |
| US7227976B1 (en) | 2002-07-08 | 2007-06-05 | Videomining Corporation | Method and system for real-time facial image enhancement |
| US7027054B1 (en) | 2002-08-14 | 2006-04-11 | Avaworks, Incorporated | Do-it-yourself photo realistic talking head creation system and method |
| US8553037B2 (en) | 2002-08-14 | 2013-10-08 | Shawn Smith | Do-It-Yourself photo realistic talking head creation system and method |
| US6919892B1 (en) | 2002-08-14 | 2005-07-19 | Avaworks, Incorporated | Photo realistic talking head creation system and method |
| GB0220748D0 (en) | 2002-09-06 | 2002-10-16 | Saw You Com Ltd | Improved communication using avatars |
| US7180524B1 (en) | 2002-09-30 | 2007-02-20 | Dale Axelrod | Artists' color display system |
| US7908554B1 (en) | 2003-03-03 | 2011-03-15 | Aol Inc. | Modifying avatar behavior based on user action or mood |
| JP2006520053A (ja) | 2003-03-03 | 2006-08-31 | アメリカ オンライン インコーポレイテッド | 通信するためにアバターを使用する方法 |
| WO2005010725A2 (en) | 2003-07-23 | 2005-02-03 | Xow, Inc. | Stop motion capture tool |
| US6973299B2 (en) | 2003-08-01 | 2005-12-06 | Microsoft Corporation | Unified contact list |
| JP2005115480A (ja) | 2003-10-03 | 2005-04-28 | Toshiba Social Automation Systems Co Ltd | 認証システム及びコンピュータ読み取り可能な記憶媒体 |
| JP2007528240A (ja) | 2004-02-12 | 2007-10-11 | アリヴァンディ，ベスジョン | 仮想環境から商品を作成するためのシステムおよび方法 |
| US20050202748A1 (en) | 2004-03-11 | 2005-09-15 | Beanhead Toys & Entertainment | Freestanding, reconfigurable, disposable character form and kit for making same |
| US7969447B2 (en) | 2004-05-06 | 2011-06-28 | Pixar | Dynamic wrinkle mapping |
| JP4449723B2 (ja) | 2004-12-08 | 2010-04-14 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| KR100511210B1 (ko) | 2004-12-27 | 2005-08-30 | 주식회사지앤지커머스 | 의사 쓰리디 이미지 생성기법을 토대로 한 이용자 적응인공지능 토탈 코디네이션 방법과, 이를 이용한 서비스사업방법 |
| US8488023B2 (en) | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
| US20060294465A1 (en) | 2005-06-22 | 2006-12-28 | Comverse, Inc. | Method and system for creating and distributing mobile avatars |
| US8963926B2 (en) | 2006-07-11 | 2015-02-24 | Pandoodle Corporation | User customized animated video and method for making the same |
| JP2007052770A (ja) | 2005-07-21 | 2007-03-01 | Omron Corp | 監視装置 |
| US7424218B2 (en) | 2005-07-28 | 2008-09-09 | Microsoft Corporation | Real-time preview for panoramic images |
| JP2007036928A (ja) | 2005-07-29 | 2007-02-08 | Sharp Corp | 携帯情報端末装置 |
| US20070081081A1 (en) | 2005-10-07 | 2007-04-12 | Cheng Brett A | Automated multi-frame image capture for panorama stitching using motion sensor |
| WO2007066662A1 (ja) | 2005-12-05 | 2007-06-14 | Pioneer Corporation | コンテンツ検索装置、コンテンツ検索システム、コンテンツ検索システム用サーバ装置、コンテンツ検索方法及びコンピュータプログラム並びに検索機能付きコンテンツ出力装置 |
| US7657849B2 (en) | 2005-12-23 | 2010-02-02 | Apple Inc. | Unlocking a device by performing gestures on an unlock image |
| US8370360B2 (en) | 2005-12-31 | 2013-02-05 | G & G Commerce Ltd. | Merchandise recommending system and method thereof |
| US8620038B2 (en) | 2006-05-05 | 2013-12-31 | Parham Aarabi | Method, system and computer program product for automatic and semi-automatic modification of digital images of faces |
| US8766983B2 (en) | 2006-05-07 | 2014-07-01 | Sony Computer Entertainment Inc. | Methods and systems for processing an interchange of real time effects during video communication |
| JP4807167B2 (ja) | 2006-07-06 | 2011-11-02 | オムロン株式会社 | なりすまし検知装置 |
| US20080052242A1 (en) | 2006-08-23 | 2008-02-28 | Gofigure! Llc | Systems and methods for exchanging graphics between communication devices |
| WO2008064483A1 (en) | 2006-11-30 | 2008-06-05 | James Andrew Wanless | A method and system for providing automated real-time contact information |
| US8705720B2 (en) | 2007-02-08 | 2014-04-22 | Avaya Inc. | System, method and apparatus for clientless two factor authentication in VoIP networks |
| US20080242423A1 (en) | 2007-03-27 | 2008-10-02 | Shelford Securities, S.A. | Real-money online multi-player trivia system, methods of operation, and storage medium |
| JP5219184B2 (ja) | 2007-04-24 | 2013-06-26 | 任天堂株式会社 | トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 |
| US20080300572A1 (en) | 2007-06-01 | 2008-12-04 | Medtronic Minimed, Inc. | Wireless monitor for a personal medical device system |
| WO2008151424A1 (en) | 2007-06-11 | 2008-12-18 | Darwin Dimensions Inc. | Metadata for avatar generation in virtual environments |
| KR20090002176A (ko) | 2007-06-20 | 2009-01-09 | 엔에이치엔(주) | 네트워크 상에서 게임 아바타의 랭킹을 제공하는 시스템 및그 방법 |
| GB2450757A (en) | 2007-07-06 | 2009-01-07 | Sony Comp Entertainment Europe | Avatar customisation, transmission and reception |
| US8549412B2 (en) | 2007-07-25 | 2013-10-01 | Yahoo! Inc. | Method and system for display of information in a communication system gathered from external sources |
| US8726194B2 (en) | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
| US8146005B2 (en) | 2007-08-07 | 2012-03-27 | International Business Machines Corporation | Creating a customized avatar that reflects a user's distinguishable attributes |
| US20090055484A1 (en) | 2007-08-20 | 2009-02-26 | Thanh Vuong | System and method for representation of electronic mail users using avatars |
| KR102389147B1 (ko) | 2007-09-24 | 2022-04-21 | 애플 인크. | 전자 장치 내의 내장형 인증 시스템들 |
| US20090132371A1 (en) | 2007-11-20 | 2009-05-21 | Big Stage Entertainment, Inc. | Systems and methods for interactive advertising using personalized head models |
| CN101472158A (zh) | 2007-12-27 | 2009-07-01 | 上海银晨智能识别科技有限公司 | 基于人脸检测的网络摄像装置及图像形成方法 |
| US8600120B2 (en) | 2008-01-03 | 2013-12-03 | Apple Inc. | Personal computing device control using face detection and recognition |
| WO2009100020A2 (en) | 2008-01-31 | 2009-08-13 | University Of Southern California | Facial performance synthesis using deformation driven polynomial displacement maps |
| WO2009101153A2 (en) | 2008-02-13 | 2009-08-20 | Ubisoft Entertainment S.A. | Live-action image capture |
| JP2009211166A (ja) | 2008-02-29 | 2009-09-17 | Toshiba Corp | 認証装置、認証方法及び認証プログラム |
| US9513704B2 (en) | 2008-03-12 | 2016-12-06 | Immersion Corporation | Haptically enabled user interface |
| US20110025707A1 (en) | 2009-02-17 | 2011-02-03 | Robb Fujioka | Virtual Marketplace Accessible To Widgetized Avatars |
| US20100211899A1 (en) | 2009-02-17 | 2010-08-19 | Robb Fujioka | Virtual Marketplace Accessible To Widgetized Avatars |
| US9744466B2 (en) | 2008-03-13 | 2017-08-29 | Mattel, Inc. | Widgetized avatar and a method and system of creating and using same |
| US20100211900A1 (en) | 2009-02-17 | 2010-08-19 | Robb Fujioka | Virtual Marketplace Accessible To Widgetized Avatars |
| US8169438B1 (en) | 2008-03-31 | 2012-05-01 | Pixar | Temporally coherent hair deformation |
| US8832552B2 (en) | 2008-04-03 | 2014-09-09 | Nokia Corporation | Automated selection of avatar characteristics for groups |
| JP5383668B2 (ja) | 2008-04-30 | 2014-01-08 | 株式会社アクロディア | キャラクタ表示用データの生成装置および方法 |
| US20120081282A1 (en) | 2008-05-17 | 2012-04-05 | Chin David H | Access of an application of an electronic device based on a facial gesture |
| US8401284B2 (en) | 2008-05-28 | 2013-03-19 | Apple Inc. | Color correcting method and apparatus |
| WO2009149076A1 (en) | 2008-06-02 | 2009-12-10 | Nike International, Ltd. | System and method for creating an avatar |
| JP2010028404A (ja) | 2008-07-18 | 2010-02-04 | Hitachi Ltd | 記録再生装置 |
| US10983665B2 (en) | 2008-08-01 | 2021-04-20 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for implementing user interface |
| US8941642B2 (en) | 2008-10-17 | 2015-01-27 | Kabushiki Kaisha Square Enix | System for the creation and editing of three dimensional models |
| US8584031B2 (en) * | 2008-11-19 | 2013-11-12 | Apple Inc. | Portable touch screen device, method, and graphical user interface for using emoji characters |
| JP5256001B2 (ja) | 2008-11-20 | 2013-08-07 | 京セラドキュメントソリューションズ株式会社 | 色調整装置、方法及びプログラム |
| US20100153847A1 (en) | 2008-12-17 | 2010-06-17 | Sony Computer Entertainment America Inc. | User deformation of movie character images |
| US20100169376A1 (en) | 2008-12-29 | 2010-07-01 | Yahoo! Inc. | Visual search engine for personal dating |
| US8289130B2 (en) | 2009-02-19 | 2012-10-16 | Apple Inc. | Systems and methods for identifying unauthorized users of an electronic device |
| CN101930284B (zh) | 2009-06-23 | 2014-04-09 | 腾讯科技（深圳）有限公司 | 一种实现视频和虚拟网络场景交互的方法、装置和系统 |
| JP5423379B2 (ja) * | 2009-08-31 | 2014-02-19 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| US8601573B2 (en) | 2009-09-17 | 2013-12-03 | International Business Machines Corporation | Facial recognition for document and application data access control |
| CN101692681A (zh) | 2009-09-17 | 2010-04-07 | 杭州聚贝软件科技有限公司 | 一种在话机终端上实现虚拟形象互动界面的方法和系统 |
| US20110074807A1 (en) | 2009-09-30 | 2011-03-31 | Hitachi, Ltd. | Method of color customization of content screen |
| KR101651128B1 (ko) | 2009-10-05 | 2016-08-25 | 엘지전자 주식회사 | 이동 단말기 이것의 애플리케이션 실행 제어 방법 |
| JP5035372B2 (ja) | 2010-03-17 | 2012-09-26 | カシオ計算機株式会社 | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム |
| US9542038B2 (en) | 2010-04-07 | 2017-01-10 | Apple Inc. | Personalizing colors of user interfaces |
| TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
| US8694899B2 (en) | 2010-06-01 | 2014-04-08 | Apple Inc. | Avatars reflecting user states |
| US20110298808A1 (en) | 2010-06-02 | 2011-12-08 | Toyota Motor Engineering & Manufacturing North America, Inc. | Animated Vehicle Attendance Systems |
| US20170098122A1 (en) | 2010-06-07 | 2017-04-06 | Affectiva, Inc. | Analysis of image content with associated manipulation of expression presentation |
| US10628985B2 (en) | 2017-12-01 | 2020-04-21 | Affectiva, Inc. | Avatar image animation using translation vectors |
| US20110304629A1 (en) | 2010-06-09 | 2011-12-15 | Microsoft Corporation | Real-time animation of facial expressions |
| US8749557B2 (en) | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
| US8488040B2 (en) | 2010-06-18 | 2013-07-16 | Microsoft Corporation | Mobile and server-side computational photography |
| JP5134653B2 (ja) | 2010-07-08 | 2013-01-30 | 株式会社バンダイナムコゲームス | プログラム及びユーザ端末 |
| KR101681096B1 (ko) | 2010-07-13 | 2016-12-01 | 삼성전자주식회사 | 얼굴 애니메이션 시스템 및 방법 |
| CN102347912B (zh) | 2010-08-02 | 2014-11-05 | 腾讯科技（深圳）有限公司 | 即时通讯软件中获取动态更新的方法及系统 |
| KR20120013727A (ko) | 2010-08-06 | 2012-02-15 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| US20120069028A1 (en) | 2010-09-20 | 2012-03-22 | Yahoo! Inc. | Real-time animations of emoticons using facial recognition during a video chat |
| US8830226B2 (en) | 2010-09-28 | 2014-09-09 | Apple Inc. | Systems, methods, and computer-readable media for integrating a three-dimensional asset with a three-dimensional model |
| US8558844B2 (en) | 2010-09-28 | 2013-10-15 | Apple Inc. | Systems, methods, and computer-readable media for changing colors of displayed assets |
| US9519396B2 (en) | 2010-09-28 | 2016-12-13 | Apple Inc. | Systems, methods, and computer-readable media for placing an asset on a three-dimensional model |
| EP2625820B1 (en) | 2010-10-08 | 2021-06-02 | Brian Lee Moffat | Private data sharing system |
| KR20140001930A (ko) | 2010-11-17 | 2014-01-07 | 어펙티바,아이엔씨. | 소셜 네트워크를 통한 정서의 공유 |
| CN102479388A (zh) | 2010-11-22 | 2012-05-30 | 北京盛开互动科技有限公司 | 基于人脸跟踪和分析的表情互动方法 |
| KR20120059994A (ko) | 2010-12-01 | 2012-06-11 | 삼성전자주식회사 | 표정 제어점을 이용한 아바타 제어 장치 및 방법 |
| CN102142149A (zh) | 2011-01-26 | 2011-08-03 | 深圳市同洲电子股份有限公司 | 一种联系人形象的获取方法及装置 |
| JP5673942B2 (ja) | 2011-02-15 | 2015-02-18 | 日本電気株式会社 | 携帯端末における認証情報入力装置、方法およびプログラム |
| GB201102794D0 (en) | 2011-02-17 | 2011-03-30 | Metail Ltd | Online retail system |
| US8686873B2 (en) | 2011-02-28 | 2014-04-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Two-way video and 3D transmission between vehicles and system placed on roadside |
| JP2012181704A (ja) | 2011-03-01 | 2012-09-20 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
| US9563703B2 (en) | 2011-03-10 | 2017-02-07 | Cox Communications, Inc. | System, method and device for sharing of playlists of authorized content with other users |
| JP5672109B2 (ja) | 2011-03-29 | 2015-02-18 | カシオ計算機株式会社 | 撮像装置及び撮像方法、並びにプログラム |
| US20120289290A1 (en) | 2011-05-12 | 2012-11-15 | KT Corporation, KT TECH INC. | Transferring objects between application windows displayed on mobile terminal |
| KR101558202B1 (ko) | 2011-05-23 | 2015-10-12 | 한국전자통신연구원 | 아바타를 이용한 애니메이션 생성 장치 및 방법 |
| US9013489B2 (en) | 2011-06-06 | 2015-04-21 | Microsoft Technology Licensing, Llc | Generation of avatar reflecting player appearance |
| US8902288B1 (en) | 2011-06-16 | 2014-12-02 | Google Inc. | Photo-image-based 3D modeling system on a mobile device |
| US9082235B2 (en) | 2011-07-12 | 2015-07-14 | Microsoft Technology Licensing, Llc | Using facial data for device authentication or subject identification |
| CN102298797A (zh) | 2011-08-31 | 2011-12-28 | 深圳市美丽同盟科技有限公司 | 三维虚拟试衣的方法、装置及系统 |
| CN102999934A (zh) | 2011-09-19 | 2013-03-27 | 上海威塔数字科技有限公司 | 计算机三维动画系统及动画方法 |
| US10262327B1 (en) | 2011-09-22 | 2019-04-16 | Glance Networks, Inc. | Integrating screen sharing sessions with customer relationship management |
| US8867849B1 (en) | 2011-10-05 | 2014-10-21 | Google Inc. | Suggesting profile images for a social network |
| JP5866728B2 (ja) | 2011-10-14 | 2016-02-17 | サイバーアイ・エンタテインメント株式会社 | 画像認識システムを備えた知識情報処理サーバシステム |
| CN102394919B (zh) | 2011-10-20 | 2013-12-25 | 福州瑞芯微电子有限公司 | 基于生理检测的心情交互网络平台系统 |
| KR101301794B1 (ko) * | 2011-11-04 | 2013-08-29 | (주)카카오 | 동적 이모티콘을 이용하는 인스턴트 메시징 서비스를 제공하는 방법 및 그 방법을 실행하는 이동 단말 |
| CN103116902A (zh) | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| JP5269972B2 (ja) | 2011-11-29 | 2013-08-21 | 株式会社東芝 | 電子機器及び三次元モデル生成支援方法 |
| CN103164117A (zh) | 2011-12-09 | 2013-06-19 | 富泰华工业（深圳）有限公司 | 外部操作设备、电子装置及其延时锁屏方法 |
| US20130147933A1 (en) | 2011-12-09 | 2013-06-13 | Charles J. Kulas | User image insertion into a text message |
| US9292195B2 (en) | 2011-12-29 | 2016-03-22 | Apple Inc. | Device, method, and graphical user interface for configuring and implementing restricted interactions for applications |
| CN106961621A (zh) | 2011-12-29 | 2017-07-18 | 英特尔公司 | 使用化身的通信 |
| US9747495B2 (en) | 2012-03-06 | 2017-08-29 | Adobe Systems Incorporated | Systems and methods for creating and distributing modifiable animated video messages |
| US9251360B2 (en) | 2012-04-27 | 2016-02-02 | Intralinks, Inc. | Computerized method and system for managing secure mobile device content viewing in a networked secure collaborative exchange environment |
| US9402057B2 (en) | 2012-04-02 | 2016-07-26 | Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. | Interactive avatars for telecommunication systems |
| WO2013152453A1 (en) | 2012-04-09 | 2013-10-17 | Intel Corporation | Communication using interactive avatars |
| WO2013152454A1 (en) | 2012-04-09 | 2013-10-17 | Intel Corporation | System and method for avatar management and selection |
| CN111275795A (zh) | 2012-04-09 | 2020-06-12 | 英特尔公司 | 用于化身生成、渲染和动画的系统和方法 |
| US8254647B1 (en) | 2012-04-16 | 2012-08-28 | Google Inc. | Facial image quality assessment |
| US10155168B2 (en) | 2012-05-08 | 2018-12-18 | Snap Inc. | System and method for adaptable avatars |
| WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| US9104908B1 (en) | 2012-05-22 | 2015-08-11 | Image Metrics Limited | Building systems for adaptive tracking of facial features across individuals and groups |
| US20130342672A1 (en) | 2012-06-25 | 2013-12-26 | Amazon Technologies, Inc. | Using gaze determination with device input |
| US20140115451A1 (en) | 2012-06-28 | 2014-04-24 | Madeleine Brett Sheldon-Dante | System and method for generating highly customized books, movies, and other products |
| US20140013422A1 (en) | 2012-07-03 | 2014-01-09 | Scott Janus | Continuous Multi-factor Authentication |
| CN102799383B (zh) | 2012-07-18 | 2014-05-14 | 腾讯科技（深圳）有限公司 | 移动终端屏幕截图方法、屏幕截图装置 |
| CN102841683B (zh) | 2012-07-24 | 2015-07-22 | 东莞宇龙通信科技有限公司 | 应用启动的方法及其通信终端 |
| US9936165B2 (en) | 2012-09-06 | 2018-04-03 | Intel Corporation | System and method for avatar creation and synchronization |
| US20140078144A1 (en) | 2012-09-14 | 2014-03-20 | Squee, Inc. | Systems and methods for avatar creation |
| US9826286B2 (en) | 2012-09-18 | 2017-11-21 | Viacom International Inc. | Video editing method and tool |
| US9314692B2 (en) | 2012-09-21 | 2016-04-19 | Luxand, Inc. | Method of creating avatar from user submitted image |
| KR102013443B1 (ko) | 2012-09-25 | 2019-08-22 | 삼성전자주식회사 | 이미지를 전송하기 위한 방법 및 그 전자 장치 |
| KR102001913B1 (ko) | 2012-09-27 | 2019-07-19 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 방법 |
| JP5964190B2 (ja) | 2012-09-27 | 2016-08-03 | 京セラ株式会社 | 端末装置 |
| US9746990B2 (en) | 2012-09-28 | 2017-08-29 | Intel Corporation | Selectively augmenting communications transmitted by a communication device |
| US8867786B2 (en) | 2012-10-31 | 2014-10-21 | Microsoft Corporation | Scenario-specific body-part tracking |
| US9696898B2 (en) | 2012-11-14 | 2017-07-04 | Facebook, Inc. | Scrolling through a series of content items |
| US20140157153A1 (en) | 2012-12-05 | 2014-06-05 | Jenny Yuen | Select User Avatar on Detected Emotion |
| WO2014094199A1 (en) | 2012-12-17 | 2014-06-26 | Intel Corporation | Facial movement based avatar animation |
| KR101958517B1 (ko) | 2012-12-29 | 2019-03-14 | 애플 인크. | 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스 |
| KR102049855B1 (ko) | 2013-01-31 | 2019-11-28 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
| US10708545B2 (en) | 2018-01-17 | 2020-07-07 | Duelight Llc | System, method, and computer program for transmitting face models based on face data points |
| US9148489B2 (en) | 2013-03-11 | 2015-09-29 | Qualcomm Incorporated | Exchanging a contact profile between client devices during a communication session |
| US20140279062A1 (en) | 2013-03-15 | 2014-09-18 | Rodan & Fields, Llc | Consultant tool for direct selling |
| US9298361B2 (en) | 2013-03-15 | 2016-03-29 | Apple Inc. | Analyzing applications for different access modes |
| US9747716B1 (en) | 2013-03-15 | 2017-08-29 | Lucasfilm Entertainment Company Ltd. | Facial animation models |
| KR102138512B1 (ko) | 2013-03-26 | 2020-07-28 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그의 제어 방법 |
| WO2014153689A1 (en) * | 2013-03-29 | 2014-10-02 | Intel Corporation | Avatar animation, social networking and touch screen applications |
| JP5603452B1 (ja) | 2013-04-11 | 2014-10-08 | 株式会社スクウェア・エニックス | ビデオゲーム処理装置、及びビデオゲーム処理プログラム |
| KR102080183B1 (ko) | 2013-04-18 | 2020-04-14 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 잠금 해제 방법 |
| IL226047A (en) | 2013-04-29 | 2017-12-31 | Hershkovitz Reshef May | A method and system for giving personal expressions |
| GB2515266B (en) | 2013-05-09 | 2018-02-28 | Disney Entpr Inc | Manufacturing Process for 3D Printed Objects |
| EP2808760B1 (en) | 2013-05-29 | 2023-08-16 | Dassault Systèmes | Body posture tracking |
| US9330513B2 (en) | 2013-05-31 | 2016-05-03 | Microsoft Technology Licensing, Llc | Resource management based on biometric data |
| US10019825B2 (en) | 2013-06-05 | 2018-07-10 | Intel Corporation | Karaoke avatar animation based on facial motion data |
| US9378576B2 (en) | 2013-06-07 | 2016-06-28 | Faceshift Ag | Online modeling for real-time facial animation |
| US9626493B2 (en) | 2013-06-08 | 2017-04-18 | Microsoft Technology Licensing, Llc | Continuous digital content protection |
| CN103294171A (zh) | 2013-06-24 | 2013-09-11 | 深圳市中兴移动通信有限公司 | 移动终端的省电方法和省电装置 |
| CN103346957B (zh) | 2013-07-02 | 2016-12-28 | 北京播思无线技术有限公司 | 一种根据联系人消息改变联系人头像表情的系统及方法 |
| CN103413072A (zh) | 2013-07-27 | 2013-11-27 | 金硕澳门离岸商业服务有限公司 | 保护应用程序的方法和装置 |
| JP6024617B2 (ja) | 2013-08-15 | 2016-11-16 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| JP6102648B2 (ja) | 2013-09-13 | 2017-03-29 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
| US9317954B2 (en) | 2013-09-23 | 2016-04-19 | Lucasfilm Entertainment Company Ltd. | Real-time performance capture with on-the-fly correctives |
| US9706040B2 (en) | 2013-10-31 | 2017-07-11 | Udayakumar Kadirvel | System and method for facilitating communication via interaction with an avatar |
| US9508197B2 (en) | 2013-11-01 | 2016-11-29 | Microsoft Technology Licensing, Llc | Generating an avatar from real time image data |
| WO2015069153A1 (en) | 2013-11-05 | 2015-05-14 | Telefonaktiebolaget L M Ericsson (Publ) | Methods of processing electronic files including combined close and delete, and related systems and computer program products |
| US10528219B2 (en) | 2015-08-10 | 2020-01-07 | Tung Inc. | Conversion and display of a user input |
| US10877629B2 (en) | 2016-10-13 | 2020-12-29 | Tung Inc. | Conversion and display of a user input |
| WO2015070416A1 (en) | 2013-11-14 | 2015-05-21 | Intel Corporation | Mechanism for facilitating dynamic simulation of avatars corresponding to changing user performances as detected at computing devices |
| US20150172238A1 (en) | 2013-12-18 | 2015-06-18 | Lutebox Ltd. | Sharing content on devices with reduced user actions |
| CN104753762B (zh) | 2013-12-31 | 2018-07-27 | 北京发现角科技有限公司 | 应用于即时通信的向头像图标中添加装饰物的方法和系统 |
| CN103886632A (zh) * | 2014-01-06 | 2014-06-25 | 宇龙计算机通信科技(深圳)有限公司 | 用户表情头像的生成方法及通信终端 |
| US9477878B2 (en) | 2014-01-28 | 2016-10-25 | Disney Enterprises, Inc. | Rigid stabilization of facial expressions |
| US20170164888A1 (en) | 2014-01-30 | 2017-06-15 | Konica Minolta, Inc. | Organ imaging device |
| KR102201738B1 (ko) | 2014-02-05 | 2021-01-12 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| CN104836879A (zh) | 2014-02-12 | 2015-08-12 | 腾讯科技（深圳）有限公司 | 通讯录的更新方法、服务器及系统 |
| US20150254886A1 (en) | 2014-03-07 | 2015-09-10 | Utw Technology Co., Ltd. | System and method for generating animated content |
| GB2539349A (en) | 2014-03-09 | 2016-12-14 | Diro Inc | Management of group-sourced contacts directories, systems and methods |
| WO2015137645A1 (ko) | 2014-03-13 | 2015-09-17 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
| CN106104633A (zh) * | 2014-03-19 | 2016-11-09 | 英特尔公司 | 面部表情和/或交互驱动的化身装置和方法 |
| CN104935497B (zh) | 2014-03-20 | 2020-08-14 | 腾讯科技（深圳）有限公司 | 一种通讯会话方法和装置 |
| US10845982B2 (en) * | 2014-04-28 | 2020-11-24 | Facebook, Inc. | Providing intelligent transcriptions of sound messages in a messaging application |
| US20170080346A1 (en) | 2014-05-01 | 2017-03-23 | Mohamad Abbas | Methods and systems relating to personalized evolving avatars |
| CN105099861A (zh) | 2014-05-19 | 2015-11-25 | 阿里巴巴集团控股有限公司 | 基于用户情绪的显示控制方法和显示控制装置 |
| US9628416B2 (en) * | 2014-05-30 | 2017-04-18 | Cisco Technology, Inc. | Photo avatars |
| US9207835B1 (en) * | 2014-05-31 | 2015-12-08 | Apple Inc. | Message user interfaces for capture and transmittal of media and location content |
| US9766702B2 (en) | 2014-06-19 | 2017-09-19 | Apple Inc. | User detection by a computing device |
| CN104112091A (zh) | 2014-06-26 | 2014-10-22 | 小米科技有限责任公司 | 文件锁定方法和装置 |
| US9904774B2 (en) | 2014-06-26 | 2018-02-27 | Xiaomi Inc. | Method and device for locking file |
| AU2014399149A1 (en) | 2014-06-27 | 2016-11-17 | Microsoft Technology Licensing, Llc | Data protection based on user and gesture recognition |
| US20160191958A1 (en) | 2014-12-26 | 2016-06-30 | Krush Technologies, Llc | Systems and methods of providing contextual features for digital communication |
| EP3172720A4 (en) * | 2014-07-25 | 2018-04-11 | Intel Corporation | Avatar facial expression animations with head rotation |
| US20160134840A1 (en) * | 2014-07-28 | 2016-05-12 | Alexa Margaret McCulloch | Avatar-Mediated Telepresence Systems with Enhanced Filtering |
| US9536228B2 (en) | 2014-07-31 | 2017-01-03 | Gretel, LLC | Contact management systems |
| US9561444B2 (en) | 2014-08-01 | 2017-02-07 | Electronic Arts Inc. | Resolving graphical conflicts between objects |
| CN105374055B (zh) | 2014-08-20 | 2018-07-03 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| US20160057087A1 (en) | 2014-08-21 | 2016-02-25 | Facebook, Inc. | Processing media messages based on the capabilities of the receiving device |
| US20160055370A1 (en) * | 2014-08-21 | 2016-02-25 | Futurewei Technologies, Inc. | System and Methods of Generating User Facial Expression Library for Messaging and Social Networking Applications |
| KR102367550B1 (ko) | 2014-09-02 | 2022-02-28 | 삼성전자 주식회사 | 생체 신호를 이용한 카메라 모듈의 제어 |
| KR101540544B1 (ko) | 2014-09-05 | 2015-07-30 | 서용창 | 캐릭터를 이용한 메시지 서비스 방법, 상기 방법을 수행하는 사용자 단말, 상기 방법을 포함하는 메시지 애플리케이션 |
| CN105139438B (zh) | 2014-09-19 | 2018-01-12 | 电子科技大学 | 视频人脸卡通动画生成方法 |
| CN106575445B (zh) | 2014-09-24 | 2021-02-05 | 英特尔公司 | 毛皮虚拟化身动画 |
| US9984487B2 (en) | 2014-09-24 | 2018-05-29 | Intel Corporation | Facial gesture driven animation communication system |
| US20160292903A1 (en) | 2014-09-24 | 2016-10-06 | Intel Corporation | Avatar audio communication systems and techniques |
| EP3198560A4 (en) * | 2014-09-24 | 2018-05-09 | Intel Corporation | User gesture driven avatar apparatus and method |
| US10572103B2 (en) | 2014-09-30 | 2020-02-25 | Apple Inc. | Timeline view of recently opened documents |
| US20160105388A1 (en) | 2014-10-09 | 2016-04-14 | Footspot, Inc. | System and method for digital media capture and related social networking |
| US9430696B2 (en) | 2014-10-09 | 2016-08-30 | Sensory, Incorporated | Continuous enrollment for face verification |
| US20160110922A1 (en) | 2014-10-16 | 2016-04-21 | Tal Michael HARING | Method and system for enhancing communication by using augmented reality |
| EP3614304A1 (en) | 2014-11-05 | 2020-02-26 | INTEL Corporation | Avatar video apparatus and method |
| CN104376160A (zh) | 2014-11-07 | 2015-02-25 | 薛景 | 真人模拟个性装饰搭配系统 |
| US9491258B2 (en) | 2014-11-12 | 2016-11-08 | Sorenson Communications, Inc. | Systems, communication endpoints, and related methods for distributing images corresponding to communication endpoints |
| MA41117A (fr) | 2014-12-05 | 2017-10-10 | Myfiziq Ltd | Imagerie d'un corps |
| WO2016101124A1 (en) | 2014-12-23 | 2016-06-30 | Intel Corporation | Sketch selection for rendering 3d model avatar |
| US10198594B2 (en) | 2014-12-30 | 2019-02-05 | Xiaomi Inc. | Method and device for displaying notification information |
| JP6152125B2 (ja) | 2015-01-23 | 2017-06-21 | 任天堂株式会社 | プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法 |
| JP6461630B2 (ja) | 2015-02-05 | 2019-01-30 | 任天堂株式会社 | 通信システム、通信装置、プログラム及び表示方法 |
| JP6511293B2 (ja) | 2015-02-26 | 2019-05-15 | 株式会社エヌ・ティ・ティ・データ | ユーザ監視システム |
| CN104753766B (zh) | 2015-03-02 | 2019-03-22 | 小米科技有限责任公司 | 表情发送方法及装置 |
| CN107533356A (zh) | 2015-03-09 | 2018-01-02 | 文塔纳3D有限责任公司 | 头像控制系统 |
| CN104732396A (zh) | 2015-03-24 | 2015-06-24 | 广东欧珀移动通信有限公司 | 一种支付控制方法及装置 |
| US10812429B2 (en) | 2015-04-03 | 2020-10-20 | Glu Mobile Inc. | Systems and methods for message communication |
| EP3281086B1 (en) | 2015-04-07 | 2022-01-26 | INTEL Corporation | Avatar keyboard |
| US20170069124A1 (en) | 2015-04-07 | 2017-03-09 | Intel Corporation | Avatar generation and animations |
| US20160307028A1 (en) | 2015-04-16 | 2016-10-20 | Mikhail Fedorov | Storing, Capturing, Updating and Displaying Life-Like Models of People, Places And Objects |
| US20160350957A1 (en) | 2015-05-26 | 2016-12-01 | Andrew Woods | Multitrack Virtual Puppeteering |
| KR102305525B1 (ko) | 2015-06-09 | 2021-09-27 | 삼성전자주식회사 | 이동 통신 시스템에서 단말을 이용하는 사용자 프로필 정보 공유 기법 |
| US20160364600A1 (en) | 2015-06-10 | 2016-12-15 | Microsoft Technology Licensing, Llc | Biometric Gestures |
| DE102016110903A1 (de) | 2015-06-14 | 2016-12-15 | Facense Ltd. | Head-Mounted-Devices zur Messung physiologischer Reaktionen |
| US9891933B2 (en) | 2015-06-24 | 2018-02-13 | International Business Machines Corporation | Automated testing of GUI mirroring |
| CN105100462A (zh) | 2015-07-10 | 2015-11-25 | 广州市久邦数码科技有限公司 | 一种自定义编辑主题的短信系统 |
| US20170018289A1 (en) | 2015-07-15 | 2017-01-19 | String Theory, Inc. | Emoji as facetracking video masks |
| US10171985B1 (en) | 2015-07-22 | 2019-01-01 | Ginko LLC | Method and apparatus for data sharing |
| CN104992102A (zh) | 2015-07-23 | 2015-10-21 | 京东方科技集团股份有限公司 | 一种消息显示方法及装置 |
| EP3329390A4 (en) | 2015-07-30 | 2019-04-03 | Intel Corporation | THROUGH EMOTIONS ADVANCED AVATAR ANIMATION |
| US20170046507A1 (en) | 2015-08-10 | 2017-02-16 | International Business Machines Corporation | Continuous facial recognition for adaptive data restriction |
| US11048739B2 (en) | 2015-08-14 | 2021-06-29 | Nasdaq, Inc. | Computer-implemented systems and methods for intelligently retrieving, analyzing, and synthesizing data from databases |
| EP3335195A2 (en) | 2015-08-14 | 2018-06-20 | Metail Limited | Methods of generating personalized 3d head models or 3d body models |
| WO2017043314A1 (ja) | 2015-09-09 | 2017-03-16 | 日本電気株式会社 | ガイダンス取得装置、ガイダンス取得方法及びプログラム |
| WO2017048898A1 (en) | 2015-09-18 | 2017-03-23 | Mazur Kai | Human-computer interface |
| US11138207B2 (en) | 2015-09-22 | 2021-10-05 | Google Llc | Integrated dynamic interface for expression-based retrieval of expressive media content |
| US20170083524A1 (en) | 2015-09-22 | 2017-03-23 | Riffsy, Inc. | Platform and dynamic interface for expression-based retrieval of expressive media content |
| CN105391843A (zh) | 2015-09-28 | 2016-03-09 | 努比亚技术有限公司 | 终端设备、信息发布方法及信息发布系统 |
| CA3042490A1 (en) | 2015-11-06 | 2017-05-11 | Mursion, Inc. | Control system for virtual characters |
| US10025972B2 (en) | 2015-11-16 | 2018-07-17 | Facebook, Inc. | Systems and methods for dynamically generating emojis based on image analysis of facial features |
| US10475225B2 (en) | 2015-12-18 | 2019-11-12 | Intel Corporation | Avatar animation system |
| US10664741B2 (en) | 2016-01-14 | 2020-05-26 | Samsung Electronics Co., Ltd. | Selecting a behavior of a virtual agent |
| CN105844101A (zh) | 2016-03-25 | 2016-08-10 | 惠州Tcl移动通信有限公司 | 一种基于智能手表的情绪数据处理方法、系统及智能手表 |
| US10366090B2 (en) | 2016-03-30 | 2019-07-30 | Facebook, Inc. | Displaying temporary profile content items on communication networks |
| KR20170112497A (ko) | 2016-03-31 | 2017-10-12 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| US10983689B2 (en) | 2016-05-18 | 2021-04-20 | Apple Inc. | Devices, methods, and graphical user interfaces for messaging |
| US10491553B2 (en) | 2016-05-26 | 2019-11-26 | International Business Machines Corporation | Dynamically integrating contact profile pictures into messages based on user input |
| CN106101358A (zh) | 2016-05-27 | 2016-11-09 | 珠海市魅族科技有限公司 | 一种联系人信息更新的方法及智能设备 |
| US9854156B1 (en) | 2016-06-12 | 2017-12-26 | Apple Inc. | User interface for camera effects |
| US10607386B2 (en) | 2016-06-12 | 2020-03-31 | Apple Inc. | Customized avatars and associated framework |
| EP3264251B1 (en) | 2016-06-29 | 2019-09-04 | Dassault Systèmes | Generation of a color of an object displayed on a gui |
| US10348662B2 (en) | 2016-07-19 | 2019-07-09 | Snap Inc. | Generating customized electronic messaging graphics |
| US11003898B2 (en) | 2016-07-25 | 2021-05-11 | BGR Technologies Pty Limited | Creating videos with facial expressions |
| US20180047200A1 (en) | 2016-08-11 | 2018-02-15 | Jibjab Media Inc. | Combining user images and computer-generated illustrations to produce personalized animated digital avatars |
| DK179978B1 (en) | 2016-09-23 | 2019-11-27 | Apple Inc. | IMAGE DATA FOR ENHANCED USER INTERACTIONS |
| CN110895439A (zh) | 2016-09-23 | 2020-03-20 | 苹果公司 | 头像创建和编辑 |
| US20180101989A1 (en) | 2016-10-06 | 2018-04-12 | Google Inc. | Headset removal in virtual, augmented, and mixed reality using an eye gaze database |
| JP6266736B1 (ja) | 2016-12-07 | 2018-01-24 | 株式会社コロプラ | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
| US10528801B2 (en) | 2016-12-07 | 2020-01-07 | Keyterra LLC | Method and system for incorporating contextual and emotional visualization into electronic communications |
| JP6240301B1 (ja) | 2016-12-26 | 2017-11-29 | 株式会社コロプラ | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
| US10242503B2 (en) | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
| US20180225263A1 (en) | 2017-02-06 | 2018-08-09 | Microsoft Technology Licensing, Llc | Inline insertion viewport |
| EP3580686B1 (en) | 2017-02-07 | 2023-03-15 | InterDigital VC Holdings, Inc. | System and method to prevent surveillance and preserve privacy in virtual reality |
| US10438393B2 (en) | 2017-03-16 | 2019-10-08 | Linden Research, Inc. | Virtual reality presentation of body postures of avatars |
| KR20180120449A (ko) | 2017-04-27 | 2018-11-06 | 삼성전자주식회사 | 프로필 이미지 공유 방법 및 이를 지원하는 전자 장치 |
| CN107171934B (zh) | 2017-05-05 | 2019-10-25 | 沈思远 | 即时通讯工具的信息处理方法、即时通讯客户端及系统 |
| DK180007B1 (en) | 2017-05-16 | 2020-01-16 | Apple Inc. | RECORDING AND SENDING EMOJI |
| DK179948B1 (en) | 2017-05-16 | 2019-10-22 | Apple Inc. | Recording and sending Emoji |
| US10397391B1 (en) | 2017-05-22 | 2019-08-27 | Ginko LLC | Two-way permission-based directory of contacts |
| JP6401841B1 (ja) | 2017-09-13 | 2018-10-10 | 株式会社コロプラ | 情報処理方法、コンピュータ、及びプログラム |
| US20190114037A1 (en) | 2017-10-17 | 2019-04-18 | Blend Systems, Inc. | Systems and methods for distributing customized avatars responsive to events |
| CN107613085A (zh) | 2017-10-31 | 2018-01-19 | 武汉诚迈科技有限公司 | 手机通讯录自动更新方法、服务器和用户终端 |
| CN111386553A (zh) | 2017-11-29 | 2020-07-07 | 斯纳普公司 | 用于电子消息传递应用的图形渲染 |
| KR102661019B1 (ko) | 2018-02-23 | 2024-04-26 | 삼성전자주식회사 | 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법 |
| KR102565755B1 (ko) | 2018-02-23 | 2023-08-11 | 삼성전자주식회사 | 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법 |
| US11062494B2 (en) | 2018-03-06 | 2021-07-13 | Didimo, Inc. | Electronic messaging utilizing animatable 3D models |
| WO2019183276A1 (en) | 2018-03-20 | 2019-09-26 | Wright Rocky Jerome | Augmented reality and messaging |
| JP7031009B2 (ja) | 2018-04-13 | 2022-03-07 | ライン プラス コーポレーション | アバター生成装置およびコンピュータプログラム |
| WO2019209431A1 (en) | 2018-04-23 | 2019-10-31 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
| US10607065B2 (en) | 2018-05-03 | 2020-03-31 | Adobe Inc. | Generation of parameterized avatars |
| CN110456965A (zh) | 2018-05-07 | 2019-11-15 | 苹果公司 | 头像创建用户界面 |
| DK180212B1 (en) | 2018-05-07 | 2020-08-19 | Apple Inc | USER INTERFACE FOR CREATING AVATAR |
| JP7090178B2 (ja) | 2018-05-07 | 2022-06-23 | グーグル エルエルシー | 顔面表情による遠隔アバターの操縦 |
| US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| US10953334B2 (en) | 2019-03-27 | 2021-03-23 | Electronic Arts Inc. | Virtual character generation from image or video data |
| DK201970531A1 (en) | 2019-05-06 | 2021-07-09 | Apple Inc | Avatar integration with multiple applications |
| AU2021290132C1 (en) | 2020-06-08 | 2024-04-18 | Apple Inc. | Presenting avatars in three-dimensional environments |
-
2018
- 2018-05-16 DK DKPA201870381A patent/DK180007B1/en not_active IP Right Cessation
- 2018-05-16 KR KR1020227029803A patent/KR102549029B1/ko active IP Right Grant
- 2018-05-16 US US15/981,754 patent/US10521948B2/en active Active
- 2018-05-16 JP JP2019563408A patent/JP6967610B2/ja active Active
- 2018-05-16 KR KR1020237021441A patent/KR102585858B1/ko active IP Right Grant
- 2018-05-16 KR KR1020237033560A patent/KR20230144661A/ko active Application Filing
- 2018-05-16 EP EP24165004.3A patent/EP4366317A2/en active Pending
- 2018-05-16 KR KR1020227017767A patent/KR102435337B1/ko active IP Right Grant
- 2018-05-16 KR KR1020227017766A patent/KR102439054B1/ko active IP Right Grant
-
2019
- 2019-11-06 US US16/676,087 patent/US10846905B2/en active Active
-
2020
- 2020-06-09 US US16/896,457 patent/US10997768B2/en active Active
-
2021
- 2021-03-17 AU AU2021201681A patent/AU2021201681C1/en active Active
- 2021-04-01 US US17/220,752 patent/US11532112B2/en active Active
- 2021-10-25 JP JP2021173713A patent/JP2022023907A/ja active Pending
-
2022
- 2022-05-17 AU AU2022203285A patent/AU2022203285B2/en active Active
-
2023
- 2023-09-22 AU AU2023233200A patent/AU2023233200B2/en active Active
- 2023-09-29 JP JP2023169627A patent/JP2024001091A/ja active Pending
-
2024
- 2024-01-25 AU AU2024200460A patent/AU2024200460A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004287558A (ja) * | 2003-03-19 | 2004-10-14 | Matsushita Electric Ind Co Ltd | テレビ電話端末、並びに、仮想キャラ生成装置および仮想キャラ動作制御装置 |
| JP2006065683A (ja) * | 2004-08-27 | 2006-03-09 | Kyocera Communication Systems Co Ltd | アバタ通信システム |
| US20160328875A1 (en) * | 2014-12-23 | 2016-11-10 | Intel Corporation | Augmented facial animation |
| US20160328876A1 (en) * | 2014-12-23 | 2016-11-10 | Intel Corporation | Facial gesture driven animation of non-facial features |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6967610B2 (ja) | 絵文字の記録及び送信 | |
| CN111563943B (zh) | 表情符号录制和发送 | |
| CN110378987B (zh) | 表情符号录制和发送 | |
| CN110520901B (zh) | 表情符号录制和发送 | |
| KR20240116836A (ko) | 이모지 레코딩 및 전송 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211029 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211029 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230213 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231016 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231024 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20231117 |