CN117321534A - 用于增强现实显示设备的触摸板导航 - Google Patents
用于增强现实显示设备的触摸板导航 Download PDFInfo
- Publication number
- CN117321534A CN117321534A CN202280035346.8A CN202280035346A CN117321534A CN 117321534 A CN117321534 A CN 117321534A CN 202280035346 A CN202280035346 A CN 202280035346A CN 117321534 A CN117321534 A CN 117321534A
- Authority
- CN
- China
- Prior art keywords
- input
- carousel
- touch pad
- receiving
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title description 14
- 230000000694 effects Effects 0.000 claims abstract description 94
- 230000004044 response Effects 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000015654 memory Effects 0.000 claims description 43
- 239000011521 glass Substances 0.000 description 59
- 230000006870 function Effects 0.000 description 36
- 238000004891 communication Methods 0.000 description 33
- 230000000875 corresponding effect Effects 0.000 description 29
- 230000007704 transition Effects 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 230000006855 networking Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000000844 transformation Methods 0.000 description 5
- 239000008186 active pharmaceutical agent Substances 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 238000010079 rubber tapping Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000007789 gas Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 241000245301 Nymphoides Species 0.000 description 1
- 235000000476 Nymphoides peltata Nutrition 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008261 resistance mechanism Effects 0.000 description 1
- 230000004266 retinal recognition Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
- G06F1/1692—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Abstract
公开了头戴式设备系统中的一个或更多个处理器执行的、用于接收和处理导航输入的方法,该头戴式设备系统包括一个或更多个显示设备、一个或更多个摄像装置以及大体竖直布置的触摸板。该方法包括:显示AR效果图标的第一轮播;接收触摸板上的第一水平输入;响应于第一水平输入,使AR效果图标的第一轮播旋转;接收触摸板上的第一触摸输入,该触摸输入用于选择处于第一轮播中的选择位置中的特定AR效果图标;显示通过一个或更多个摄像装置查看的场景,该场景被利用与特定AR效果图标对应的AR效果进行了增强;接收内容捕获用户输入;以及响应于内容捕获用户输入,捕获与该场景对应的新的内容项。
Description
相关申请数据
本申请要求于2021年9月20日提交的美国专利申请第17/448,169号和于2021年5月19日提交的美国临时专利申请第63/190,686号的权益,上述美国专利申请和美国临时专利申请的内容如同明确阐述一样通过引用并入本文。
技术领域
本公开内容总体上涉及具有用于增强现实或虚拟现实的显示器的头戴式设备,并且更特别地涉及包括用于对由头戴式设备或相关联的设备提供的内容或用户界面进行导航的触摸板的头戴式设备。
背景技术
头戴式设备可以实现为具有透明或半透明显示器,头戴式设备的用户可以通过该透明或半透明显示器查看周围环境。这样的设备使得用户能够通过该透明或半透明显示器观看以查看周围环境,并且还能够看到为显示而生成的表现为周围环境的一部分和/或叠加在周围环境上的对象(例如,虚拟对象诸如3D渲染、图像、视频、文本等)。这通常被称为“增强现实”。
头戴式设备还可以完全遮挡用户的视场并且显示用户可以通过其移动或被移动的虚拟环境。这通常被称为“虚拟现实”。如本文所使用的,除非上下文另有指示,否则术语“增强现实”或“AR”指的是如传统理解的增强现实和虚拟现实两者。
头戴式设备的用户可以访问消息收发应用或社交网络应用,以查看内容或与应用的其他用户共享内容。在一些情况下,可以由用户查看以及增强或修改实时内容或存储的内容。也就是说,用于增强的图像、视频或其他媒体可以从实时摄像装置捕获,或者可以从本地或远程数据存储装置检索。
如本文中所提及的,短语“增强现实体验”包括或指代与图像修改、过滤、媒体覆盖、变换等对应的各种图像处理操作,如本文中进一步所描述的。在一些示例中,这些图像处理操作提供了真实世界环境的交互体验,其中真实世界中的对象、表面、背景、照明等通过计算机生成的感知信息增强。在该上下文中,“增强现实效果”包括用于将选择的增强现实体验应用于图像或视频馈送所需的数据、参数和其他资产的集合。在一些示例中,增强现实效果由Snap公司以注册商标LENSES提供。
在一些示例中,增强现实效果包括被配置成以一些方式对在头戴式设备的GUI内呈现的图像数据进行修改或变换的增强现实(或“AR”)内容。例如,可以使用AR效果数据来执行对内容图像的复杂添加或变换,例如将兔耳添加至人的头部、添加具有背景颜色的浮动心、改变人的特征的比例、将增强添加至在头戴式设备上观看的场景中的界标、或许多其他这样的变换。这包括实时修改以及对存储的内容(例如图库中的视频片段)的修改两者,实时修改在使用与头戴式设备相关联的摄像装置捕获图像时修改图像,该图像然后在具有AR效果修改的情况下由头戴式设备显示,存储的内容可以使用AR效果修改。类似地,实时视频捕获可以与AR效果一起使用,以向头戴式设备的用户示出由设备的传感器当前捕获的视频图像将如何修改捕获的数据。这样的数据可以仅仅显示在屏幕上而不存储在存储器中,由设备传感器捕获的内容可以在具有AR效果修改或不具有AR效果修改(或者两者兼有)的情况下被记录和存储在存储器中,或者由设备传感器捕获的内容可以在具有AR效果修改的情况下通过网络102被发送至服务器或另一设备。
因此,AR效果以及用于使用AR效果修改内容的相关联的系统和模块可以涉及:对象(例如,面部、手部、身体、猫、狗、表面、对象等)的检测,在这样的对象离开、进入视频帧中的视场以及在视频帧中的视场四处移动时对这样的对象的跟踪,以及在这样的对象被跟踪时对这样的对象的修改或变换。在各种示例中,可以使用用于实现这样的变换的不同的方法。例如,一些示例可以涉及生成一个或多个对象的3D网格模型,以及使用视频内的模型的变换和动画纹理来实现变换。在其他示例中,可以使用对对象上的点的跟踪来将图像或纹理(其可以是二维或三维的)放置在所跟踪的定位处。在另外的示例中,可以使用视频帧的神经网络分析来将图像、模型或纹理放置在内容(例如,图像或视频帧)中。因此,AR效果数据可以包括以下两者:用于在内容中创建变换的图像、模型和纹理,以及利用对象检测、跟踪和放置(placement)实现这样的变换所需的附加建模和分析信息。
附图说明
为了容易地识别对任何特定元素或动作的讨论,附图标记中的一个或多个最高位数字指代该元素被首次引入时所在的图号。
图1是根据一些示例的头戴式设备的透视图。
图2示出了图1中的根据一些示例的头戴式设备的另外的视图。
图3是根据一些示例的示出包括图1中的头戴式设备的细节的联网系统300的框图。
图4是根据一些示例的其中可以部署本公开内容的联网环境的图解表示。
图5是根据另一示例的头戴式设备的透视图。
图6A至图6D示出了根据一些示例的由图1或图5的头戴式设备显示的一系列用户界面画面。
图7A和图7B示出了根据一些示例的由图1或图5的头戴式设备显示的另外的一系列用户界面画面。
图8A至图8C示出了根据一些示例的由图1或图5的头戴式设备显示的另外的一系列用户界面画面。
图9A至图9F示出了根据一些示例的由图1或图5的头戴式设备显示的另外的一系列用户界面画面。
图10示出了根据一些示例的可以由图1或图5的头戴式设备实现的用户界面流程图。
图11是根据一些示例的由图1或图5的头戴式设备响应于接收到触摸板上的用户输入而执行的操作的流程图。
图12是根据一些示例的由图1或图5的头戴式设备响应于接收到触摸板上的用户输入而执行的操作的流程图。
图13是示出根据一些示例的可以在其中实现本公开内容的软件架构的框图。
图14是根据一些示例的呈计算机系统形式的机器的图解表示,在该计算机系统中可以执行一组指令,以使机器执行所讨论的方法中的任何一种或更多种。
具体实施方式
已知的头戴式设备例如AR眼镜包括透明或半透明显示器,使得用户能够通过透明或半透明显示器观看以查看周围环境。附加信息或对象(例如,虚拟对象诸如3D渲染、图像、视频、文本等)在显示器上示出并且表现为周围环境的一部分和/或叠加在周围环境上,以为用户提供增强现实体验。显示器可以例如包括接收来自投影仪的光束的波导,但是可以使用用于向穿戴者呈现增强或虚拟内容的任何适当的显示器。
对头戴式设备的信息或用户界面的导航在一些情况下可以通过对相关联的设备例如智能电话的语音命令或输入来提供。在当前情况下,在头戴式设备上设置有触摸板,该触摸板可以用于向头戴式设备提供x-y触摸输入和敲击输入。由于触摸板可能具有有限的尺寸且显示器也可能具有有限的显示能力,或者由于尺寸、功率或其他考虑(例如,为了提供用户通过其仍可以查看真实世界的显示器),因此可能有必要简化头戴式设备与用户之间的交互。
所描述的用户界面流程使用基于头戴式设备硬件和软件的能力的特定模式,其通常具有与移动电话及移动电话的触摸屏相比不同的输入选项和不同的输出能力两者。例如,AR眼镜中使用的显示器可以比移动电话屏幕具有较窄的视场、具有不同的长宽比、并且可以能够呈现更少的细节。附加地,下面描述的触摸界面并不与显示器并置或平行。这些技术挑战可以通过提供其中每个场景显示的元素较少且具有对接收到的输入的特定响应的简化的用户界面画面来解决,从而改进头戴式设备和相关联的应用的功能。
在一个示例中,本文描述的头戴式设备使用绝对的、间接的定位以进行用户交互。在该示例中,不存在自由光标,也不存在如同在移动电话触摸屏上那样选择任何显示的元素的能力。头戴式设备间接地对触摸板上的用户手指运动进行转换以显示在绝对运动情况下的坐标、结合对一组特定的触摸板手势动作做出响应以进行项目选择的单个固定选择器、以及显示的导航提示,来允许对画面之间的逻辑过渡进行选择。
在一个示例中,一种头戴式设备系统中的一个或更多个处理器执行的、用于接收和处理导航输入的方法,该头戴式设备系统包括一个或更多个显示设备、一个或更多个摄像装置以及通常竖直布置的触摸板。该方法包括:显示AR效果图标的第一轮播;接收触摸板上的第一水平输入;响应于第一水平输入,使AR效果图标的第一轮播旋转;以及接收触摸板上的第一触摸输入,该触摸输入用于选择处于第一轮播中的选择位置中的特定AR效果图标。该方法还包括:显示通过一个或更多个摄像装置查看的场景,该场景被利用与特定AR效果图标对应的AR效果进行了增强;接收内容捕获用户输入;以及响应于内容捕获用户输入,捕获与该场景对应的新的内容项。
该方法还可以包括:在正在显示AR效果项的第一轮播的情况下,接收触摸板上的第一竖直输入;以及响应于第一竖直输入,显示包括多个内容项的第二轮播。
此外,该方法可以包括:接收触摸板上的第二水平输入;响应于第二水平输入使内容项的第二轮播旋转;接收触摸板上的第二触摸输入,该触摸输入用于选择处于第二轮播中的选择位置中的特定内容图标;以及响应于接收到第二触摸输入,显示另外的用户界面选项。
第一竖直输入可以是向下滑动,该方法还包括在第一轮播上方显示内容图标和向下的指针。在正在显示包括多个内容项的第二轮播的情况下,可以接收触摸板上的第二竖直输入,以及响应于第二竖直输入,可以显示AR效果项的第一轮播。
该方法还可以包括:在正在显示第一轮播的情况下,接收触摸板上的第三竖直输入,第三竖直输入的方向与第一竖直输入相反;以及响应于第三竖直输入,显示系统信息。
在另一示例中,一种头戴式设备系统包括:一个或更多个摄像装置;一个或更多个显示设备;大体竖直布置的触摸板;一个或更多个处理器;以及存储指令的存储器,该指令在由一个或更多个处理器执行时将系统配置成执行操作。还提供了一种非暂态计算机可读存储介质,该计算机可读存储介质包括指令,该指令在由包括一个或更多个显示设备、一个或更多个摄像装置以及大体竖直布置的触摸板的头戴式设备系统执行时使头戴式设备系统执行操作。
所述操作可以包括:显示AR效果图标的第一轮播;接收触摸板上的第一水平输入;响应于第一水平输入,使AR效果图标的第一轮播旋转;以及接收触摸板上的第一触摸输入,该触摸输入用于选择处于第一轮播中的选择位置中的特定AR效果图标。所述操作还包括:显示通过一个或更多个摄像装置查看的场景,该场景被利用与特定AR效果图标对应的AR效果进行了增强;接收内容捕获用户输入;以及响应于内容捕获用户输入,捕获与该场景对应的新的内容项。
所述操作还可以包括:在正在显示AR效果项的第一轮播的情况下,接收触摸板上的第一竖直输入;以及响应于第一竖直输入,显示包括多个内容项的第二轮播。
此外,所述操作可以包括:接收触摸板上的第二水平输入;响应于第二水平输入,使内容项的第二轮播旋转;接收触摸板上的第二触摸输入,该触摸输入用于选择处于第二轮播中的选择位置中的特定内容图标;以及响应于接收到第二触摸输入,显示另外的用户界面选项。
第一竖直输入可以是向下滑动,然后所述操作还包括在第一轮播上方显示内容图标和向下的指针。在正在显示包括多个内容项的第二轮播的情况下,可以接收触摸板上的第二竖直输入,以及响应于第二竖直输入,可以显示AR效果项的第一轮播。
所述操作还可以包括:在正在显示第一轮播的情况下,接收触摸板上的第三竖直输入,第三竖直输入的方向与第一竖直输入相反,以及响应于第三竖直输入,显示系统信息。
根据以下附图、描述和权利要求,其他技术特征对于本领域技术人员可以是非常明显的。
图1是根据一些示例的头戴式设备(例如,眼镜100)的透视图。眼镜100可以包括框架102,框架102由任何合适的材料例如塑料或金属制成,所述任何合适的材料包括任何合适的形状记忆合金。在一个或更多个示例中,框架102包括由桥接部112连接的第一光学元件保持器或左光学元件保持器104(例如,显示器或透镜保持器)以及第二光学元件保持器或右光学元件保持器106。可以分别在左光学元件保持器104和右光学元件保持器106内设置第一光学元件或左光学元件108以及第二光学元件或右光学元件110。右光学元件110和左光学元件108中的每一个可以是透镜、显示器、显示组件或前述的组合。可以在眼镜100中设置任何合适的显示组件。
框架102附加地包括左臂件或左镜腿件120以及右臂件或右镜腿件122。在一些示例中,整个框架102可以由单件材料形成,以具有统一或一体的构造。
眼镜100可以包括诸如计算机118的计算设备,该计算设备可以具有任何合适的类型以便由框架102携带,并且在一个或更多个示例中,该计算设备可以具有合适的尺寸和形状以至少部分地设置在镜腿件120和镜腿件122之一中。计算机118可以包括一个或更多个处理器以及存储器、无线通信电路系统和电源。如下面所讨论的,计算机118包括低功率电路系统、高速电路系统和显示处理器。各种其他示例可以包括不同配置的或以不同方式集成在一起的这些元件。计算机118的各方面的附加细节可以如下面讨论的数据处理器302所示来实现。
计算机118附加地包括电池116或其他合适的便携式电力供应装置。在一个示例中,电池116设置在左镜腿件120中并且电耦接至设置在右镜腿件122中的计算机118。眼镜100可以包括适用于为电池116充电的连接器或端口(未示出)、无线接收器、发射器或收发器(未示出)、或者这样的设备的组合。
眼镜100包括摄像装置114。尽管描绘了两个摄像装置,但是其他示例考虑使用单个或附加(即,多于两个)摄像装置。在一个或更多个示例中,除了摄像装置114之外,眼镜100还包括任何数目的输入传感器或其他输入/输出设备。这样的传感器或输入/输出设备可以附加地包括生物识别传感器、位置传感器、运动传感器等。
眼镜100还可以包括触摸板124,该触摸板124安装至左镜腿件120和右镜腿件122中的一个或两个,或者与左镜腿件120和右镜腿件122中的一个或两个集成在一起。触摸板124通常竖直地布置,触摸板124在一个示例中与用户的镜腿近似平行。如本文中使用的,通常竖直对准意指触摸板至少相比于水平更为竖直,虽然优选比所述竖直更为竖直。附加的用户输入可以通过一个或更多个按钮126提供,在所示的实施方式中,一个或更多个按钮126被设置在左光学元件保持器104和右光学元件保持器106的外部上边缘上。一个或更多个触摸板124和按钮126提供了如下装置,眼镜100可以凭借该装置从眼镜100的用户接收输入。
图2从佩戴者的角度示出了眼镜100。为清楚起见,图1中示出的若干元件已经省略。如图1所描述的,图2所示的眼镜100包括分别固定在左光学元件保持器104和右光学元件保持器106中的每一个内的左光学元件108和右光学元件110。
眼镜100包括:前向光学组件202,其包括右投影仪204和右近眼显示器206;以及前向光学组件210,其包括左投影仪212和左近眼显示器216。
在一个实施方式中,近眼显示器是波导。波导包括反射结构或衍射结构(例如,光栅和/或光学元件例如镜子、透镜或棱镜)。由投影仪204发射的光208遇到近眼显示器206的波导的衍射结构,该衍射结构将光引向用户的右眼,以提供在右光学元件110上或在右光学元件110中的叠加由用户看到的真实世界的视图的图像。类似地,由投影仪212发射的光214遇到近眼显示器216的波导的衍射结构,该衍射结构将光引向用户的左眼,以提供在左光学元件108上或在左光学元件108中的叠加由用户看到的真实世界的视图的图像。
然而,应当理解,可以提供可以在前向视场中向用户显示图像的其他显示技术或配置。例如,替代提供投影仪204和波导,可以替代提供LCD、LED或者其他显示面板或表面。
在使用时,眼镜100的佩戴者将在近眼显示器上被呈现有信息、内容和各种用户界面。如下面更详细描述的,除了在相关联的设备例如图3所示的客户端设备328上提供语音输入或触摸输入之外,用户然后可以使用触摸板124和/或按钮126与眼镜100交互。
图3是示出根据一些示例的包括眼镜100的细节的联网系统300的框图。
联网系统300包括眼镜100、客户端设备328和服务器系统332。客户端设备328可以是智能电话、平板计算机、平板电话、膝上型计算机、接入点或能够使用低功率无线连接336和高速无线连接334两者与眼镜100连接的任何其他这样的设备。客户端设备328经由网络330连接至服务器系统332。网络330可以包括有线连接和无线连接的任何组合。服务器系统332可以是作为服务或网络计算系统的一部分的一个或更多个计算设备。客户端设备328以及服务器系统332和网络330的任何元件可以使用图13和图14中描述的软件架构1304或机器1400的细节来实现。
眼镜100包括数据处理器302、显示器310、一个或更多个摄像装置308以及附加的输入/输出元件316。输入/输出元件316可以包括麦克风、音频扬声器、生物识别传感器、附加传感器或与数据处理器302集成的附加显示元件。关于图13和图14进一步讨论了输入/输出元件316的示例。例如,输入/输出元件316可以包括任何I/O部件1406,I/O部件1406包括输出部件1428、运动部件1436等。在图2中讨论了显示器310的示例。在本文描述的特定示例中,显示器310包括用于用户的左眼和右眼中的每一个的显示器。
数据处理器302包括图像处理器306(例如,视频处理器)、GPU和显示驱动器338、跟踪模块340、接口312、低功率电路系统304和高速电路系统320。数据处理器302的部件通过总线342互连。
接口312是指被提供至数据处理器302的用户命令的任何源。在一个或更多个示例中,接口312是物理按钮,当按下该物理按钮时,将用户输入信号从接口312发送至低功率处理器314。低功率处理器314可以将按下这样的按钮然后立即释放作为捕获单个图像的请求来处理,反之亦然。低功率处理器314可以将在第一时间段内按下这样的按钮作为在按钮被按下时捕获视频数据以及在按钮被释放时停止视频捕获的请求来处理,其中将按钮被按下时捕获的视频存储为单个视频文件。可替选地,按下按钮达长时间段可以捕获静止图像。在其他示例中,接口312可以是能够接受与来自摄像装置308的数据请求相关联的用户输入的任何机械开关或物理接口。在其他示例中,接口312可以具有软件部件,或者可以与从另一源例如从客户端设备328无线接收的命令相关联。
图像处理器306包括用于接收来自摄像装置308的信号并且将来自摄像装置308的那些信号处理成适合存储在存储器324中或适合发送至客户端设备328的格式的电路系统。在一个或更多个示例中,图像处理器306(例如,视频处理器)包括针对处理来自摄像装置308的传感器数据而定制的微处理器集成电路(IC)、以及微处理器在操作中使用的易失性存储器。
低功率电路系统304包括低功率处理器314和低功率无线电路系统318。低功率电路系统304的这些元件可以实现为单独的元件或者可以在单个IC上实现为单个芯片上系统的一部分。低功率处理器314包括用于管理眼镜100的其他元件的逻辑。如上面所描述的,例如,低功率处理器314可以接受来自接口312的用户输入信号。低功率处理器314还可以被配置成经由低功率无线连接336从客户端设备328接收输入信号或指令通信。低功率无线电路系统318包括用于实现低功率无线通信系统的电路元件。BluetoothTMSmart,也称为BluetoothTM低功耗,是可以用于实现低功率无线电路系统318的低功率无线通信系统的一种标准实现方式。在其他示例中,可以使用其他低功率通信系统。
高速电路系统320包括高速处理器322、存储器324和高速无线电路系统326。高速处理器322可以是能够管理数据处理器302所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器322包括使用高速无线电路系统326管理高速无线连接334上的高速数据传输所需的处理资源。在某些示例中,高速处理器322执行诸如LINUX操作系统的操作系统或诸如图13的操作系统1312的其他这样的操作系统。除了任何其他职责之外,使用执行数据处理器302的软件架构的高速处理器322来管理与高速无线电路系统326的数据传输。在特定示例中,高速无线电路系统326被配置成实现电气和电子工程师协会(IEEE)802.11通信标准,其在本文也称为Wi-Fi。在其他示例中,高速无线电路系统326可以实现其他高速通信标准。
存储器324包括能够存储由摄像装置308和图像处理器306生成的摄像装置数据的任何存储装置。虽然存储器324被示出为与高速电路系统320集成,但是在其他示例中,存储器324可以是数据处理器302的单独的独立元件。在特定的这样的示例中,电气布线可以提供通过包括高速处理器322的芯片的从图像处理器306或低功率处理器314到存储器324的连接。在其他示例中,高速处理器322可以管理存储器324的寻址,使得低功率处理器314将在需要涉及存储器324的读或写操作的任何时候引导高速处理器322。
跟踪模块340估计眼镜100的姿势(pose)。例如,跟踪模块340使用来自摄像装置308和定位部件1440的图像数据和对应的惯性数据以及GPS数据来跟踪位置并且确定眼镜100相对于参照系(例如,真实世界环境)的姿势。跟踪模块340不断地收集和使用描述眼镜100的运动的更新后的传感器数据来确定更新后的眼镜100的三维姿势,该姿势指示相对于真实世界环境中的物理对象的相对位置和取向的变化。跟踪模块340允许眼镜100经由显示器310在用户的视场内将虚拟对象相对于物理对象视觉放置。
GPU和显示驱动器338可以在眼镜100以传统增强现实模式运行时使用眼镜100的姿势来生成要在显示器310上呈现的虚拟内容或其他内容的帧。在该模式下,GPU和显示驱动器338基于更新后的眼镜100的三维姿势来生成更新后的虚拟内容的帧,这反映了用户相对于用户真实环境中的物理对象的位置和取向的变化。
本文所描述的一个或更多个功能或操作也可以在驻留在眼镜100上或客户端设备328上或远程服务器上的应用中执行。例如,本文所描述的一个或更多个功能或操作可以由应用1306例如消息收发应用1346之一执行。
联网计算环境
图4是示出用于通过网络交换数据(例如,消息和相关联的内容)的示例消息收发系统400的框图。消息收发系统400包括客户端设备328的多个实例,多个实例中的每一个托管包括消息收发客户端402和其他应用404的若干应用。每个消息收发客户端402经由网络330(例如,因特网)通信地耦接至消息收发客户端402的其他实例(例如,托管在相应的其他客户端设备328上)、消息收发服务器系统406和第三方服务器408。消息收发客户端402还可以使用应用程序接口(API)与本地托管的应用404通信。
消息收发客户端402能够经由网络330与其他消息收发客户端402以及与消息收发服务器系统406通信并交换数据。在消息收发客户端402之间以及在消息收发客户端402与消息收发服务器系统406之间交换的数据包括功能(例如,用于激活功能的命令)以及有效载荷数据(例如,文本、音频、视频或其他多媒体数据)。
消息收发服务器系统406经由网络330向特定消息收发客户端402提供服务器侧功能。虽然消息收发系统400的特定功能在本文中被描述为由消息收发客户端402或由消息收发服务器系统406执行,但是特定功能在消息收发客户端402内或消息收发服务器系统406内的位置可以是设计选择。例如,在技术上可能优选的是:最初将特定技术和功能部署在消息收发服务器系统406内,但是之后将该技术和功能迁移至客户端设备328具有足够处理能力的消息收发客户端402。
消息收发服务器系统406支持向消息收发客户端402提供的各种服务和操作。这样的操作包括向消息收发客户端402发送数据、从消息收发客户端402接收数据以及对由消息收发客户端402生成的数据进行处理。作为示例,该数据可以包括消息内容、客户端设备信息、地理定位信息、媒体增强和叠加、消息内容持久化条件、社交网络信息和现场事件信息。通过经由消息收发客户端402的用户界面(UI)可用的功能来激活和控制消息收发系统400内的数据交换。
现在具体地转至消息收发服务器系统406,应用程序接口(API)服务器410耦接至应用服务器414并且向应用服务器414提供编程接口。应用服务器414通信地耦接至数据库服务器416,该数据库服务器416有助于对数据库420进行访问,该数据库420存储与由应用服务器414处理的消息相关联的数据。类似地,web服务器424耦接至应用服务器414,并且向应用服务器414提供基于web的接口。为此,web服务器424通过超文本传输协议(HTTP)和若干其他相关协议来处理传入的网络请求。
应用程序接口(API)服务器410在客户端设备328与应用服务器414之间接收和发送消息数据(例如,命令和消息有效载荷)。具体地,应用程序接口(API)服务器410提供一组接口(例如,例程和协议),该组接口可以由消息收发客户端402调用或查询以激活应用服务器414的功能。应用程序接口(API)服务器410开放由应用服务器414支持的各种功能,包括:账户注册;登录功能;经由应用服务器414从特定消息收发客户端402向另一消息收发客户端402发送消息,从消息收发客户端402向消息收发服务器412发送媒体文件(例如,图像或视频),以及供另一消息收发客户端402的可能访问;设置媒体数据的集合(例如,故事);检索客户端设备328的用户的朋友列表;检索这样的集合;检索消息和内容;对实体图(例如,社交图)添加和删除实体(例如,朋友);在社交图中定位朋友;以及打开应用事件(例如,与消息收发客户端402有关)。
应用服务器414托管若干服务器应用和子系统,包括例如消息收发服务器412、图像处理服务器418和社交网络服务器422。消息收发服务器412实现了若干消息处理技术和功能,特别是与从消息收发客户端402的多个实例接收到的消息中包括的内容(例如,文本和多媒体内容)的聚合和其他处理相关的消息处理技术和功能。如将进一步详细描述的,来自多个源的文本和媒体内容可以被聚合成内容的集合(例如,被称为故事或图库(gallery))。然后,使这些集合可用于消息收发客户端402。鉴于对这样的处理的硬件要求,也可以由消息收发服务器412在服务器侧执行数据的其他处理器和存储器密集型处理。
应用服务器414还包括图像处理服务器418,该图像处理服务器418专用于执行各种图像处理操作,通常相对于从消息收发服务器412发送或者在消息收发服务器412处接收的消息的有效载荷内的图像或视频,执行各种图像处理操作。
社交网络服务器422支持各种社交联网功能和服务,并且使这些功能和服务可用于消息收发服务器412。为此,社交网络服务器422维护并访问数据库420内的实体图。由社交网络服务器422支持的功能和服务的示例包括标识消息收发系统400中的特定用户与之有关系或该特定用户正在“关注”的其他用户,并且还包括标识特定用户的兴趣和其他实体。
返回到消息收发客户端402,外部资源(例如,应用404或小程序)的特征和功能经由消息收发客户端402的接口对用户可用。在该上下文中,“外部”是指应用404或小程序在消息收发客户端402外部的事实。外部资源通常由第三方提供,但是也可以由消息收发客户端402的创建者或提供者提供。消息收发客户端402接收对用于启动或访问这样的外部资源的特征的选项的用户选择。外部资源可以是安装在客户端设备328上的应用404(例如,“本地app”),或者是托管在客户端设备328上或远离客户端设备328(例如,在第三方服务器408上)的应用的小规模版本(例如,“小程序”)。应用的小规模版本包括应用(例如,应用的完整规模、本地版本)的特征和功能的子集,并且使用标记语言文档来实现。在一个示例中,应用的小规模版本(例如,“小程序”)是应用的基于web的标记语言版本,并且嵌入在消息收发客户端402中。除了使用标记语言文档(例如,.*ml文件)之外,小程序可以包括脚本语言(例如,.*js文件或.json文件)和样式表(例如,.*ss文件)。
响应于接收到对启动或访问外部资源的特征的选项的用户选择,消息收发客户端402确定选择的外部资源是基于web的外部资源还是本地安装的应用404。在一些情况下,可以例如通过在客户端设备328的主页画面上选择与应用404对应的图标而独立于消息收发客户端402并且与消息收发客户端402分开地启动本地安装在客户端设备328上的应用404。如本文所使用的,图标可以包括文字元素和图形元素中的一者或两者。这样的应用的小规模版本可以经由消息收发客户端402启动或访问,并且在一些示例中,小规模应用中没有部分或有限的部分可以在消息收发客户端402之外被访问。可以通过消息收发客户端402例如从第三方服务器408接收与小规模应用相关联的标记语言文档并处理这样的文档来启动小规模应用。
响应于确定外部资源是本地安装的应用404,消息收发客户端402通过执行与外部资源对应的本地存储的代码来指示客户端设备328启动外部资源。响应于确定外部资源是基于web的资源,消息收发客户端402与(例如)第三方服务器408通信以获得与所选择的外部资源对应的标记语言文档。然后消息收发客户端402处理获得的标记语言文档以在消息收发客户端402的用户界面内呈现基于web的外部资源。
消息收发客户端402可以向客户端设备328的用户或与这样的用户有关的其他用户(例如,“朋友”)通知在一个或更多个外部资源中发生的活动。例如,消息收发客户端402可以向消息收发客户端402中的对话(例如,聊天会话)中的参与者提供如下通知,所述通知与由用户群组中的一个或更多个成员对外部资源的当前或最近使用有关。可以邀请一个或更多个用户加入活跃的外部资源或启动最近使用但当前不活跃的(在该朋友群组中)外部资源。外部资源可以向对话中的参与者——使用相应消息收发客户端402的每个参与者提供与进入聊天会话中的用户的群组中的一个或更多个成员共享外部资源中的项、状况、状态或位置的能力。共享项可以是交互式聊天卡,聊天的成员可以利用该交互式聊天卡进行交互,例如以启动对应的外部资源、查看外部资源内的特定信息、或将聊天的成员带至外部资源内的特定位置或状态。在给定的外部资源内,可以在消息收发客户端402上向用户发送响应消息。外部资源可以基于外部资源的当前上下文在响应中选择性地包括不同的媒体项。
图5是根据另一示例的头戴式设备(例如,眼镜500)的透视图。可以看出,在该示例中,触摸板502被集成在框架504中,框架504的前部分环绕用户的眼睛。触摸板502在眼镜500中的存在因此不那么突兀并且头戴式设备的整体外观在美学上更令人愉悦。
通过使用轮播布置呈现一些用户界面元素(例如,图标或内容图库)来进行使用触摸板502在眼镜500上导航用户界面,所述轮播布置在图5中使用圆柱体比喻示出。如由眼镜500的佩戴者所见,用户界面元素(例如,文本508)以例如在圆柱体506的表面上以弯曲或类似弯曲的布置呈现。由眼镜500从用户接收到的沿触摸板502的向前和向后滑动输入510转换成用户界面元素围绕圆柱体506的旋转512。更具体地,在右手侧触摸板502上的向前滑动手势会导致圆柱体506的右手侧的向前移动,使得用户界面元素沿逆时针方向(如从上方查看)围绕圆柱体506的表面可感知地旋转,反之亦然。
在触摸板502上的向上或向下滑动手势通常转换成对不同的用户界面画面的选择或到不同的用户界面画面中的过渡,虽然该动作也可以转换成在当前用户界面画面中例如在眼镜100的近眼显示器216中呈现的缩放图像的放大或缩小中分别向上或向下滚动。
当由眼镜500继续接收向前或向后的滑动手势时,用户界面元素或内容通常会分别从右侧或左侧消失,同时附加的用户界面元素或内容会分别从左侧或右侧出现。当用户界面元素或内容朝向显示器的边缘移动时,可以提供视觉提示来说明圆柱体比喻。例如,用户界面元素朝向边缘从中心离开的移动可以引起特定元素的尺寸减小,反之亦然。此外,位于更靠近中心的内容或用户界面元素可以逐渐变得与外侧邻近的内容或用户界面元素交叠,其中随着这些元素接近圆柱体的边缘,它们会变得更加堆叠。根据实现方式,随着内容或用户界面元素朝向边缘移动,内容或用户界面元素本身可以围绕他们的中心轴旋转离开,或者内容或用户界面元素本身可以不围绕他们的中心轴旋转离开。也就是说,在一些情况下,当元素的尺寸减小或变得堆叠时,元素仍然面向用户。
图6示出了根据一些示例的由图1或图5的头戴式设备显示的一系列用户界面画面。更特别地,图6A是在一些示例中的在图1或图5中示出的眼镜的显示器310/216中的一个或两个上示出的用户界面画面602的示例。如从图中可见,用户界面画面602包括图标的轮播610,其在所示实施方式中包括在用户界面画面602上占据了从左至右的位置的AR效果图标612、AR效果图标614、AR效果图标616、AR效果图标618和AR效果图标620。还公开了占据轮播610中的中心位置624的空图标622。示出中心位置624的圆圈较大,以指示在该示例中在该位置中的图标可供选择,但是也可以指示在该位置中的图标已被选择或处于活跃状态。当在轮播610中的中心位置624中时,在示例中为纯色例如白色或黑色的空图标622指示没有图标或动作可供选择或已被选择。
此外,可以看出,轮播610中的图标沿从用户界面画面602的中心位置624到边缘的方向以逐渐更大的量交叠,以提供上面参照图5描述的圆柱体比喻。例如,AR效果图标612与AR效果图标614稍微交叠,AR效果图标614与AR效果图标616交叠更多,而AR效果图标616进而与AR效果图标618交叠甚至更多。在该圆柱体比喻的示例中,图标在整个轮播610上正面朝上示出并且(除了中心位置624中的图标之外)尺寸相同。在其他实现方式中,图标也可以或可替选地尺寸减小或旋转离开,如上面所讨论的。
在触摸板124/502上的向前或向后滑动输入将使得轮播610中的AR效果图标向左或向右移动,如下面参照图8A和图8B更详细讨论的。轮播移动的特定方向将取决于眼镜100/500的左侧或右侧的触摸板是否如上面所讨论的那样使用。在AR效果图标占据中心位置时,可以通过在触摸板124/502上敲击来选择该AR效果图标。
用户界面画面602还包括导航提示,以向用户提供关于在不同画面或模式之间进行过渡所需的输入的类型和方向的指示。导航提示提供了包括用于系统导航的取向提示和上下文提示两者的信息示意。导航提示示出了要采取的输入动作以及输入动作的目的地或结果两者。
例如,导航提示626包括内容图库图标630和指针632。内容图库图标630提供可以访问的内容图库的信息示意,并且向下的指针632提供在触摸板124/502上向下滑动将启动过渡到如由内容图库图标630所表明的图库画面的信息示意。导航提示626位于用户界面画面602中的在要求的用户输入的方向的起点处的位置中。也就是说,导航提示626位于用户界面画面602的顶部处,同时触摸板上的对应输入动作向下朝向触摸板的底部。
类似地,导航提示628包括指针634和设置图标636。设置图标636提供可以访问的设置画面的信息示意,并且向上的指针634提供在触摸板124/502上的向上滑动将启动过渡到如由设置图标636所表明的设置画面的信息示意。导航提示628位于用户界面画面602中的在要求的用户输入的方向的起点处的位置中。也就是说,导航提示628位于用户界面画面602的底部处,同时触摸板上的对应输入动作向上朝向触摸板124/502的顶部。
图6B是用户界面画面602与图6C的内容图库用户界面画面606之间的过渡画面的示例。如由上面讨论的内容图库图标630和指针632所提示,在显示用户界面画面602时,用户界面画面604开始响应于在触摸板124/502上接收到向下滑动而示出。
可以看出,在用户界面画面604中,轮播610、导航提示626和导航提示628都向下移动,这与在触摸板124/502上接收到的向下滑动一致。附加地,轮播610在中心位置624处向下弯曲,作为向下滑动输入的附加视觉确认。当接收到滑动输入时,内容图库图标630也会过渡至正方形。由于接收到的用户输入与导航提示628所对应的滑动方向相反,因此设置导航提示628也可以缩小尺寸或者变为灰色显示,以不强调该选项。
当在触摸板124/502上接收到持续的向下滑动超过特定预定点时,用户界面画面604将过渡到下面讨论的用户界面画面606。如果向下滑动在到达预定点之前终止,则用户界面画面604将迅速返回至用户界面画面602。
图6C是如由内容图库图标630和指针632提示并如上面讨论的响应于在显示用户界面画面602时在触摸板124/502上接收到向下滑动而示出的内容图库用户界面画面606的示例。
用户界面画面606包括内容项的轮播646,所述内容项可以例如是保存到内容图库的图像或视频,所述内容图库与用户相关联并且被存储在客户端设备328、眼镜100/500上或被远程存储。在一个示例中,内容项包括由用户使用客户端设备328或眼镜100/500已经捕获的同时已经应用了所选择的AR效果的图像或视频。
在所示示例中,可以看到轮播646包括用户界面画面606中的中心位置中的内容项650以及部分遮挡的内容项648和内容项652。如之前一样,在触摸板124/502上的向前或向后滑动输入将使得轮播646中的内容项向左或向右移动,其中当内容项650向左或向右移动时,内容项将顺序地替换中心位置中的当前内容项。内容项650移动的特定方向将取决于眼镜100/500的左侧或右侧的触摸板是否如上面所讨论的那样使用。通过在触摸板124/502上敲击可以选择占据中心位置的内容项650。下面将参照图9A讨论这样的选择的结果。
用户界面画面606还包括导航提示638,该导航提示638包括AR轮播图标640和指针642。如之前一样,导航提示638提供可以访问/返回至用户界面画面602中所示的AR效果轮播610的信息示意,并且向下的指针642提供在触摸板124/502上向下滑动将启动过渡到由AR轮播图标640所表明的用户界面画面602的信息示意。此外,如之前一样,导航提示638位于用户界面画面606中的在要求的用户输入的方向的起点处的位置中。也就是说,导航提示638位于用户界面画面606的顶部处,同时触摸板上的对应输入动作为向下朝向触摸板的底部。
还包括指示附加的用户界面选项在用户界面画面606中可用的菜单指示符或溢出(overflow)指示符图标644。指针的缺少指示不是通过在触摸板124/触摸板502上的竖直滑动而是通过在触摸板124/502上的长按来访问这些选项。在一个示例中,这样的长按将打开可以利用滚动输入导航、利用触摸输入选择、以及利用向下滑动取消的UI图标的轮播。在一个示例中,可选择的UI图标的轮播包括下面参照图9B讨论的缩放图标912、发送图标914和删除图标916。
图6D是在用户界面画面606与图6A的用户界面画面602之间显示的过渡用户界面画面608的示例。如由上面讨论的AR轮播图标640和指针642所提示,在显示用户界面画面606时,用户界面画面608开始响应于在触摸板124/502上接收到向下滑动而示出。
可以看出,在用户界面画面608中,轮播646、导航提示638和图标644都向下移动,这与在触摸板124/502上接收到的向下滑动一致。附加地,在中心位置624中的内容项650进一步向下移动并缩小尺寸,作为向下滑动输入的附加视觉确认。当接收到滑动输入时,内容图库图标630的尺寸也增大。
当在触摸板124/502上接收到的持续向下滑动超过特定预定点时,用户界面画面608将过渡到上面讨论的用户界面画面602。如果向下滑动在到达预定点之前终止,则用户界面画面608将迅速返回至用户界面画面606。
图7A和图7B示出了根据一些示例的由图1或图5的头戴式设备显示的另外一系列用户界面画面。更具体地,图7A和图7B示出了在显示用户界面画面602时在触摸板上接收到向上滑动时示出的一系列用户界面画面。在接收到由包括设置图标636和指针634的导航提示628提示的这样的向上滑动后,显示设置用户界面画面702。可以看出,用户界面画面702包括有关眼镜100/500或客户端设备328的各种信息,例如电池电量、扬声器音量、Wi-Fi网络标识和信号强度、显示器亮度、用户名和头像、时间、日期等。
如由指针704所指示的,在显示用户界面画面702时,在触摸板124/502上接收到向下滑动后,将返回至用户界面画面602。
图8A至图8C示出了根据一些示例的由图1或图5的头戴式设备显示的另外一系列用户界面画面。更具体地,图8A至图8C示出了使用图6A中的轮播610描绘对AR效果的选择和应用的示例用户界面。
图8A示出了其中空图标622占据轮播610中的中心位置624的用户界面画面602。在触摸板124/502上接收到适当的向前或向后滑动动作后,轮播610中的图标旋转或滚动至用户界面画面802中示出的位置,其中AR效果图标(例如,AR效果图标612)占据中心位置624。可以看出,AR效果图标612不仅通过将其显示在中心位置中,而且还通过与其在用户界面画面602中示出的前一位置相比尺寸增加而更加突出。在AR效果图标612占据中心位置624时,在用户界面画面802中还可以显示相关信息(bibliographic information)806,例如与AR效果图标612对应的AR效果的名称及其作者。
在用户界面画面802中的中心位置624中示出的AR效果图标612现在可供选择或激活。如由图8C一个示例中的用户界面画面804所示出的,接收由用户在触摸板124/502上的敲击引起与AR效果图标612对应的AR效果的应用。在该示例中,由摄像装置114中的一个或更多个捕获的实时场景包括已经由若干单独的AR效果例如3D文字AR效果810和浮动球体AR效果812增强的建筑808。如将理解的,与任何AR效果图标对应的AR效果可以包括若干单独的AR效果。
用户界面画面804还包括导航提示814,该导航提示814包括“退出”文本816和向下的指针818。在接收到如由导航提示814所表明的在触摸板124/502上的向下滑动后,用户界面画面804将消除,并且将返回至用户界面画面802。
当眼镜100/500处于图8C中所示的且上面描述的状态下时,可以使用眼镜上的按钮126之一启动对场景及其各种应用的AR效果的捕获。在一个示例中,接收到对左按钮126的短的按钮按下启动对场景的视频捕获,随后接收到对左按钮的长的按钮按下终止正在进行的视频捕获。如果没有正在进行的视频捕获,则接收到对左按钮的长的按钮按下启动静止图像捕获。当然,可以使用按钮按下和按钮持续时间的各种组合来启动和终止对内容项的捕获。在通过接收到在按钮126上的用户输入而启动的内容捕获完成时,显示下面描述的用户界面画面902。
图9A至图9F示出了根据一些示例的由图1或图5的头戴式设备显示的另外一系列用户界面画面。更具体地,图9A至图9F示出了描绘对内容项进行转发的示例用户界面。图9B中示出的是内容预览用户界面画面902,该内容预览用户界面画面902在如图9A所示出的显示用户界面画面606时通过接收到在触摸板124/502上的敲击(以选择轮播646中的中心位置中的内容项918)而到达或者在如上面参照图8C所描述的内容捕获终止之后到达。出于清楚的目的,图9的其余用户界面画面将参照内容图库用户界面画面606中的内容项918描述,但是应当理解,这些示例同样适用于刚刚捕获的内容。
图9B中示出的用户界面画面902包括内容项918、缩放图标912、发送图标914和删除图标916的预览。在示出的示例中,发送图标914作为关于要在用户界面画面902中接收的输入的初始默认值而被突出显示。在该状态下,接收到在触摸板124/触摸板502上的敲击将引起到接收方选择用户界面画面904的过渡。然而,在触摸板124/502上进行相关的向前或向后滑动输入后,缩放图标912或删除图标916可以被突出显示(并且因此是可选择的)。
在缩放图标912被选择时,接收到在触摸板124/502上的敲击将过渡至内容查看器用户界面(未示出)中,其中内容项918将被回放(在内容项是视频或gif或者具有动态AR效果的情况下),或者如果内容项918是静止图像则以较大的格式显示。如之前一样,在内容查看器用户界面中接收到向下滑动将返回至用户界面画面902。
在删除图标916被选择时,在触摸板124/502上接收到敲击将丢弃内容项918(可以在请求确认之后),并且返回至先前的用户界面,先前的用户界面可以是用户界面画面606或用户界面画面804。
在发送图标914被选择时,在触摸板124/502上接收到敲击将过渡至图9C的接收方选择用户界面画面904,其中示出了潜在接收方例如接收方922和接收方924的轮播920。在该上下文中,接收方可以是单个接收方、一组接收方(例如“早午餐俱乐部”接收方924、“最好的朋友”)或非人类接收方(例如“我的故事”接收方922)。例如,对非人类接收方的选择可以引起内容项被添加至社交媒体或消息收发应用馈送,或者指示场景的位置和识别用户信息的地图,只要已经获得允许这样做的适当权限。
如之前一样,在触摸板124/502上的向前或向后滑动输入将使得轮播920中的接收方向左或向右移动,其中当轮播920向左或向右滚动时,接收方顺序地替换中心位置中的接收方。轮播920响应于向前或向后滑动而移动的特定方向将取决于眼镜100/500的左侧或右侧的触摸板是否如上面参照图1所讨论的那样使用。
通过在触摸板124/502上敲击可以选择占据轮播920的中心位置的接收方。占据中心位置的接收方可以被突出显示,例如被包围在框架928中或者通过使用另一突出显示技术例如增大尺寸或通过相对于相邻接收方调节颜色。
在用户界面画面904中时,在触摸板124/502上接收到敲击输入将选择(或者如果已经选择,则取消选择)如图9D所示的在中心位置中的接收方924。如所示出的,已经选择的接收方使用打钩标记930指示。附加地,一旦已经选择了接收方,就会显示包括发送图标934和指针936的导航提示932。导航提示932位于用户界面画面908中的在要求的用户输入的方向的起点处的位置中。也就是说,导航提示932位于用户界面画面602的底部处,同时触摸板上的对应输入动作为向上朝向触摸板124/502的顶部。
如图9E所示出的,在选择了一个接收方之后,可以通过响应于在触摸板124/502上的向前或向后触摸输入对轮播920进行持续滚动来选择附加的接收方,以将另一接收方922带至中心位置624中,对另一接收方922的选择也使用打钩标记938示出。在如用户界面画面906或用户界面画面908所示出的已经选择一个或更多个接收方之后,如由导航提示932提示的在触摸板124/502上接收到向上滑动将引起到用户界面画面910的过渡。
如图9F所示出的,用户界面画面910包括发送图标934和所选择的接收方的云或列表940。还包括指示“敲击发送”的文本提示942。在触摸板124/500上接收到敲击输入将向选择的接收方发送内容项918。然后,眼镜100/500将根据如何到达用户界面画面902来返回至显示图8C的用户界面画面804或图9A和图6C的用户界面画面606。在其他示例中,眼镜可以返回至另一用户界面画面,例如用户界面画面602。
如由向下的指针926所示出,在触摸板124/502上接收到向下滑动时图9B至图9F中示出的用户界面画面将消除。在一个示例中,在显示用户界面画面910时接收到的向下滑动使得返回至用户界面画面908,而在显示用户界面画面904、用户界面画面906或用户界面画面908时接收到的向下滑动使得返回至用户界面画面902,而在显示用户界面画面902时接收到的向下滑动使得返回至用户界面画面606。
图10示出了根据一些示例的可以由眼镜100/500实现的用户界面流程图1000。流程图1000以眼镜100/500处于睡眠状态下开始。眼镜100/500在接收到在触摸板124/502上的触摸输入1004或在按钮126之一上的按下时唤醒。作为响应,在眼镜100/500被锁定的情况下,呈现用户界面画面1002,提示输入PIN码。可以看出,用户界面画面1002包括键盘显示器1006和输入字段1008。
如由敲击和滑动输入1010所示出的,通过在触摸板124/502上接收到的向前和向后滑动输入来遍历键盘显示器1006,并且在触摸板124/502上接收到敲击输入后,选择突出显示的数字以供包括并显示在输入字段1008中。在接收到正确的PIN码后,眼镜100/500将过渡至示出上面描述的AR效果轮播610的用户界面画面602。
接收到向下滑动输入1012从用户界面画面602过渡至与内容图库对应的用户界面画面606,以及接收到向下滑动输入1012从内容图库用户界面画面606过渡返回至用户界面画面602。
在用户界面画面606内,滑动输入1014可以用于在如上面参照图9A所讨论的内容项之间滚动。如由输入1016所示出的,在用户界面画面606内,接收到敲击输入过渡至表示如上面更详细讨论的内容项的预览的用户界面画面902,而在用户界面画面902中,接收到向下滑动返回至用户界面画面606。在用户界面画面902内,滑动输入1018可以用于选择如上面参照图9所讨论的缩放图标912、发送图标914或删除图标916。
如由输入1020所示出的,接收到向上滑动输入从用户界面画面602过渡至设置或系统信息用户界面画面702,而接收到向下滑动输入从用户界面画面702过渡返回至用户界面画面602。
类似地,如由输入1022所示出的,从其中图标在中心位置624中的用户界面画面602,接收到敲击输入使得显示应用AR效果的用户界面画面804,以及接收到向下滑动输入从用户界面画面804过渡返回至用户界面画面602。上面参照图6至图9描述了与图10相关联的附加功能或画面。
图11是示出根据一些示例的由眼镜100/500响应于接收到触摸板上的用户输入而执行的操作。出于说明的目的,流程图1100的操作在本文中被描述为串行地或线性地发生。然而,流程图1100的多个操作可以并行地发生。另外,流程图1100的操作不需要按所示出的顺序执行以及/或者流程图1100的一个或更多个框不需要被执行和/或可以由其他操作替换。
图11所示的操作通常将在眼镜100/500中的或与眼镜100/500相关联的相关硬件和数据处理器302上执行。出于清楚的目的,本文参照这样的示例讨论流程图1100。各种实现方式当然是可能的,其中所述操作中的一些操作发生在客户端设备328中的应用诸如消息收发应用1346中、服务器系统332上,或者其中客户端设备328上的一个应用调用另一应用或SDK以获得所需的功能。在一个示例中,在客户端设备328上运行的消息收发应用1346与眼镜100中的或与眼镜100相关联的相关硬件和数据处理器302之间联合执行操作。
该方法在操作1102处开始,其中眼镜100/500显示示出了AR效果轮播610的用户界面画面602,其中AR效果轮播610上方为导航提示626,并且AR效果轮播610下方为导航提示628。如所提及的,导航提示包括图标和指针,图标指示触摸板上的滑动输入的结果或目的地,而指针指示滑动输入的方向,其中导航提示位于用户界面画面602中的在要求的用户输入的方向的起点处的位置中。
在操作1104中,在触摸板124/502上接收到竖直(即向上或向下)触摸输入后,在操作1106中,眼镜100/500显示如由导航提示626或导航提示628所指示的对应的用户界面,例如,如上面参照图6和图7分别描述的用户界面画面606或用户界面画面702。在操作1108处,在该用户界面画面中接收到向下触摸输入后,在操作1110中,眼镜返回至在操作1102中的显示AR效果轮播610。
在操作1106处显示用户界面画面期间,在操作1120处接收到水平(例如,向前或向后)的触摸输入引起在操作1122处滚动所显示的项(如果合适,例如对于用户界面画面606而不是对于用户界面画面702),随后返回至在操作1106处显示相关用户界面画面。
在操作1106处显示用户界面画面期间,在操作1112处接收到敲击输入引起在操作1114处显示对应用户界面画面(如果合适,例如从用户界面画面606而不是从用户界面画面702),其中在用户界面画面上呈现如在操作1120至操作1122中所描述的通过滚动选择的项。例如,如在用户界面画面606中呈现的内容项918。然后,在操作1116处可以接收到另外的触摸输入,并且在操作1118处采取对应的动作。在本文中参照图9、图10和图13讨论这样的输入和对应动作的示例。
在操作1102处由眼镜100/500显示AR效果用户界面画面602期间,在操作1126处接收到水平(例如,向前或向后)的触摸输入引起在操作1128中滚动AR效果图标,如上面参照图6所讨论的。在AR效果图标处于中心位置中的情况下,在操作1130处接收到敲击输入后,显示用户界面画面804,在用户界面画面804中,在操作1132中将对应的AR效果应用至由摄像装置114查看的场景中。然后,在操作1134中接收到的另外的触摸输入将引起在操作1136中采取对应的动作。在本文中参照图8、图9、图10和图13讨论这样的输入和对应动作的示例。
在完成操作1118或1136中的对应动作后,眼镜100/300通常返回至用户界面画面602或用户界面画面606,以进行如本文所描述的另外的操作。
图12是示出根据一些示例的由眼镜100/500响应于接收到触摸板上的用户输入而执行的内容项选择和发送操作的流程图1200。出于说明的目的,流程图1200的操作在本文中被描述为串行地或线性地发生。然而,流程图1200的多个操作可以并行地发生。另外,流程图1200的操作不需要按所示顺序执行以及/或者流程图1200的一个或更多个框不需要执行和/或可以由其他操作替换。
图12所示的操作通常将在眼镜100/500中的或与眼镜100/500相关联的相关硬件和数据处理器302上执行。出于清楚的目的,本文参照这样的示例讨论流程图1200。各种实现方式当然是可能的,其中所述操作中的一些操作发生在客户端设备328中的应用诸如消息传送应用1346中、服务器系统332上,或者其中客户端设备328上的一个应用调用另一应用或SDK以获得所需的功能。在一个示例中,在客户端设备328上运行的消息收发应用1346与眼镜100中的或与眼镜100相关联的相关硬件和数据处理器302之间联合执行操作。
该方法在操作1202处开始,其中眼镜100/500显示内容预览用户界面画面902。如上面所讨论的,该画面可以通过滚动和敲击来选择用户界面画面606中的内容项或者由于在用户界面画面804中接收到的内容捕获用户输入而到达。用户界面画面902包括三个选项,在操作1204中可以响应于对水平触摸输入(向前或向后)进行响应的滚动和在触摸板124/502上接收到的触摸输入选择所述三个选项,如上面参照图9B所讨论的。
在删除图标916被选择时,在接收到触摸输入后,在操作1206中删除用户界面画面902中示出的内容项,并且在操作1208中眼镜100/500返回至在用户界面画面902之前显示的先前用户界面画面。在一个示例中,这将是用户界面画面606或用户界面画面804。
在缩放图标912被选择时,在操作1204中,在触摸板124/502上接收到敲击后,在操作1210中由眼镜100/500显示内容查看器用户界面,在内容查看器用户界面中回放在用户界面画面902中示出的内容项(在内容项是视频或gif或者具有动态AR效果的情况下),或者如果内容项是静止图像则以较大的格式显示。在操作1212中,在触摸板124/502上接收到向下滑动将使得在操作1214中返回至在操作1202处显示内容预览用户界面画面902。
在发送图标914被选择时,在操作1204中,在触摸板124/502上接收到敲击后,在操作1216中显示地址簿或接收方选择用户界面画面904,在地址簿或接收方选择用户界面画面904中示出潜在接收方的轮播920。
如之前一样,在操作1218中,在触摸板124/502上的向前或向后滑动输入将在操作1220中使得接收方选择轮播920中的接收方向左或向右移动,其中随着轮播向左或向右滚动,接收方将顺序地替换在中心位置中的接收方。
在操作1224中,可以响应于在操作1222中在触摸板124/502上的敲击输入而选择占据轮播920中的中心位置的接收方,或者如果已经选择,则取消选择。如上面参照图9D和图9E所讨论的,已经选择的接收方用打钩标记指示,并且一旦选择了接收方,就会显示“发送”导航提示。
在操作1226处如果未接收到与发送指令对应的触摸输入,则方法返回至操作1216,以允许在操作1218至操作1224中选择另外的接收方。如在用户界面画面906或用户界面画面908中示出的,在已经选择了一个或更多个接收方后,在操作1126处接收到发送输入例如如由导航提示932提示的在触摸板124/502上的向上滑动将引起在操作1228中过渡至确认用户输入画面,例如用户界面画面910。在操作1230处接收到确认用户输入例如响应于发送图标934的敲击输入,使得眼镜100/500或相关联的客户端设备328在操作1232中向选择的接收方发送内容项。
在操作1232中,在完成向选择的接收方发送内容项后,在操作1234中,眼镜100/300通常会根据如何到达内容预览用户界面画面902来返回至显示图8C的用户界面画面804或图9A/图6C的用户界面画面606。在其他示例中,眼镜可以返回至另一用户界面画面例如用户界面画面602,在该点处可以如本文描述的执行另外的操作。
图13是示出可以安装在本文中描述的设备中的任何一个或更多个设备上的软件架构1304的框图1300。软件架构1304由硬件例如包括处理器1320、存储器1326和I/O部件1338的机器1302支持。在该示例中,软件架构1304可以被概念化为层的堆栈,在该层的堆栈中,每个层提供特定的功能。软件架构1304包括诸如操作系统1312、库1308、框架1310和应用1306的层。在操作上,应用1306通过软件堆栈来调用API调用1350并且响应于API调用1350接收消息1352。
操作系统1312管理硬件资源并且提供公共服务。操作系统1312包括例如:内核1314、服务1316、以及驱动器1322。内核1314用作硬件与其他软件层之间的抽象层。例如,内核1314提供存储器管理、处理器管理(例如,调度)、部件管理、联网和安全设置等功能。服务1316可以为其他软件层提供其他公共服务。驱动器1322负责控制底层硬件或与底层硬件对接。例如,驱动器1322可以包括显示驱动器、摄像装置驱动器、或低功耗驱动器、闪存驱动器、串行通信驱动器(例如,通用串行总线(USB)驱动器)、/>驱动器、音频驱动器、电力管理驱动器等。
库1308提供由应用1306使用的低级别公共基础设施。库1308可以包括系统库1318(例如,C标准库),该系统库1318提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。另外,库1308可以包括API库1324,例如媒体库(例如,用于支持各种媒体格式的呈现和操纵的库,所述各种媒体格式例如运动图像专家组-4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层-3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))、图形库(例如,用于在显示器上的图形内容中以二维(2D)和三维(3D)呈现的OpenGL框架)、数据库库(例如,提供各种关系数据库功能的SQLite)、web库(例如,提供web浏览功能的WebKit)等。库1308还可以包括各种其他库1328,以向应用1306提供许多其他API。
框架1310提供由应用1306使用的高级别公共基础设施。例如,框架1310提供各种图形用户界面(GUI)功能、高级资源管理和高级位置服务。框架1310可以提供可以由应用1306使用的广泛的其他API,其中一些API可以特定于特定的操作系统或平台。
在示例中,应用1306可以包括家庭应用1336、联系人应用1330、浏览器应用1332、书籍阅读器应用1334、位置应用1342、媒体应用1344、消息收发应用1346、游戏应用1348和诸如第三方应用1340的各种各样的其他应用。应用1306是执行程序中限定的功能的程序。可以采用各种编程语言来创建以各种方式构造的应用1306中的一个或更多个,编程语言例如是面向对象的编程语言(例如,Objective-C、Java或C++)或过程编程语言(例如,C语言或汇编语言)。在特定示例中,第三方应用1340(例如,由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在诸如IOSTM、ANDROIDTM、Phone的移动操作系统或另一移动操作系统上运行的移动软件。在该示例中,第三方应用1340可以调用由操作系统1312提供的API调用1350以有助于本文中所描述的功能。
图14是机器1400的图解表示,在该机器1400中可以执行使机器1400执行本文中讨论的方法中的任何一种或更多种的指令1410(例如,软件、程序、应用、小程序、app或其他可执行代码)。例如,指令1410可以使机器1400执行本文中描述的方法中的任何一种或更多种。指令1410将通用的未编程的机器1400变换成被编程为以所描述的方式执行所描述和所示出的功能的特定机器1400。机器1400可以作为独立设备操作或者可以耦接(例如,联网)至其他机器。在联网部署中,机器1400可以以在服务器客户端网络环境中的服务器机器或客户端机器的能力进行操作,或者作为在对等(或分布式)网络环境中的对等机器进行操作。机器1400可以包括但不限于:服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、PDA、娱乐媒体系统、蜂窝电话、智能电话、移动设备、头戴式设备(例如,智能手表)、智能家居设备(例如,智能电器)、其他智能设备、web设备、网络路由器、网络交换机、网络桥接器或能够顺序地或以其他方式执行指定要由机器1400采取的动作的指令1410的任何机器。此外,虽然仅示出了单个机器1400,但是术语“机器”还应被认为包括单独地或联合地执行指令1410以执行本文中讨论的方法中的任何一种或更多种的机器的集合。
机器1400可以包括处理器1402、存储器1404和I/O部件1406,处理器1402、存储器1404和I/O部件1406可以被配置成经由总线1444彼此通信。在示例中,处理器1402(例如,中央处理单元(CPU)、简化指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、其它处理器或其任何合适的组合)可以包括例如执行指令1410的处理器1408和处理器1412。术语“处理器”旨在包括多核处理器,该多核处理器可以包括可以同时执行指令的两个或更多个独立处理器(有时被称为“核”)。尽管图14示出了多个处理器1402,但是机器1400可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如,多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器、或者其任意组合。
存储器1404包括主存储器1414、静态存储器1416和存储单元1418,所述主存储器1414、静态存储器1416和存储单元1418均可由处理器1402经由总线1444访问。主存储器1404、静态存储器1416和存储单元1418存储实现本文所述的方法或功能中的任何一种或更多种的指令1410。在由联网系统300执行指令1410期间,指令1410还可以全部地或部分地驻留在主存储器1414内、在静态存储器1416内、在机器可读介质1420内、在存储单元1418内、在处理器1402中的至少一个内(例如,在处理器的高速缓冲存储器内)或者在其任何合适的组合内。
I/O部件1406可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量结果等的各种部件。包括在特定机器中的特定I/O部件1406将取决于机器类型。例如,诸如移动电话的便携式机器可以包括触摸输入设备或其他这样的输入机构,而无头服务器(headless server)机器将可能不包括这样的触摸输入设备。要理解的是,I/O部件1406可以包括图14中未示出的许多其他部件。在各种示例中,I/O部件1406可以包括输出部件1428和输入部件1432。输出部件1428可以包括视觉部件(例如,诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、声学部件(例如,扬声器)、触觉部件(例如,振动马达、阻力机构)、其他信号发生器等。输入部件1432可以包括字母数字输入部件(例如,键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如,鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如,物理按钮、提供触摸或触摸姿势的位置和/或力的触摸屏、或其他触觉输入部件)、音频输入部件(例如,麦克风)等。
在另外的示例中,I/O部件1406可以包括:生物识别部件1434、运动部件1436、环境部件1438、或定位部件1440以及各种其他部件。例如,生物识别部件1434包括用于检测表达(例如,手部表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如,血压、心率、体温、出汗或脑电波)、识别人(例如,语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件1436包括加速度传感器部件(例如,加速计)、重力传感器部件、旋转传感器部件(例如,陀螺仪)等。环境部件1438包括例如照明传感器部件(例如,光度计)、温度传感器部件(例如,检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如,气压计)、声学传感器部件(例如,检测背景噪声的一个或更多个麦克风)、接近度传感器部件(例如,检测附近对象的红外传感器)、气体传感器(例如,为了安全而检测危险气体的浓度或者测量大气中的污染物的气体检测传感器)、或者可以提供与周围物理环境对应的指示、测量结果或信号的其他部件。定位部件1440包括位置传感器部件(例如,GPS接收器部件)、海拔传感器部件(例如,检测可以得到海拔的气压的高度计或气压计)、取向传感器部件(例如,磁力计)等。
可以使用各种各样的技术来实现通信。I/O部件1406还包括通信部件1442,通信部件1442能够进行操作以分别经由耦接(coupling)1430和耦接1426将联网系统300耦接至网络1422或设备1424。例如,通信部件1442可以包括与网络1422对接的网络接口部件或另一合适的设备。在另外的示例中,通信部件1442可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、部件(例如,/>低功耗)、部件以及经由其他模态提供通信的其他通信部件。设备1424可以是另一机器或各种各样的外围设备中的任何外围设备(例如,经由USB耦接的外围设备)。
此外,通信部件1442可以检测标识符或者包括可操作以检测标识符的部件。例如,通信部件1442可以包括射频识别(RFID)标签读取器部件、NFC智能标签检测部件、光学读取器部件(例如,用于检测下述的光学传感器:一维条形码,例如,通用产品代码(UPC)条形码;多维条形码,例如,快速响应(QR)代码、Aztec代码、数据矩阵、数据图示符(Dataglyph)、麦克斯码(MaxiCode)、PDF417、超代码、UCC RSS-2D条形码和其他光学代码)、或者声学检测部件(例如,用于识别标记的音频信号的麦克风)。另外,可以经由通信部件1442得到各种信息,例如经由因特网协议(IP)地理定位的位置、经由信号三角测量的位置、经由检测可以指示特定位置的NFC信标信号的位置等。
各种存储器(例如,存储器1404、主存储器1414、静态存储器1416和/或处理器1402的存储器)和/或存储单元1418可以存储由本文中描述的方法或功能中的任何一个或更多个实现或使用的指令和数据结构(例如,软件)中的一组或更多组。这些指令(例如,指令1410)在由处理器1402执行时使各种操作实现所公开的示例。
可以经由网络接口设备(例如,通信部件1442中包括的网络接口部件),使用传输介质并且使用许多公知的传输协议中的任意一种传输协议(例如,超文本传输协议(HTTP)),通过网络1422来发送或接收指令1410。类似地,可以使用传输介质经由耦接1426(例如,对等耦接)将指令1410发送或接收至设备1424。
“载波信号”是指能够存储、编码或携载由机器执行的指令的任何无形介质并且包括数字或模拟通信信号或其他无形介质以有助于这样的指令的通信。指令可以经由网络接口设备使用传输介质通过网络发送或接收。
“客户端设备”是指与通信网络接口以从一个或更多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、桌上型计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问网络的任何其他通信设备。
“通信网络”是指网络的一个或更多个部分,该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另外类型的网络或者两个或更多个这样的网络的组合。例如,网络或网络的一部分可以包括无线网络或蜂窝网络,并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中,耦接可以实现各种类型的数据传输技术中的任何数据传输技术,例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、GSM演进的增强型数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动通讯系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他数据传输技术、其他长距离协议或其他数据传输技术。
“部件”是指具有由功能或子例程调用、分支点、API或被提供用于对特定处理或控制功能进行分区或模块化的其他技术定义的边界的设备、物理实体或逻辑。部件可以经由其接口与其他部件组合以执行机器处理。部件可以是被设计用于与其他部件一起使用的封装功能硬件单元,并且通常执行相关功能的特定功能的程序的一部分。部件可以构成软件部件(例如,在机器可读介质上实现的代码)或硬件部件。“硬件部件”是能够执行某些操作的有形单元,并且可以以某种物理方式来配置或布置。在各种示例中,可以通过软件(例如,应用或应用部分)将一个或更多个计算机系统(例如,独立计算机系统、客户端计算机系统或服务器计算机系统)或者计算机系统的一个或更多个硬件部件(例如,处理器或处理器组)配置为进行操作以执行如本文描述的某些操作的硬件部件。也可以机械地、电子地或以其任何合适的组合来实现硬件部件。例如,硬件部件可以包括被永久地配置成执行某些操作的专用电路系统或逻辑。硬件部件可以是专用处理器,例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件部件还可以包括通过软件被临时配置成执行某些操作的可编程逻辑或电路系统。例如,硬件部件可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件而配置,硬件部件就成为被唯一地定制成执行所配置功能的特定机器(或机器的特定部件),而不再是通用处理器。将理解的是,可以由于成本和时间考虑来驱动对机械地在专用且永久配置的电路系统中实现硬件部件或者在临时配置(例如,通过软件配置)的电路系统中实现硬件部件的决定。相应地,短语“硬件部件”(或“硬件实现的部件”)应当被理解成包含有形实体,即被物理构造、永久配置(例如,硬连线)或临时配置(例如,编程)成以某种方式操作或者执行本文中描述的某些操作的实体。考虑硬件部件被临时配置(例如,被编程)的示例,硬件部件中的每一个无需在任一时刻被配置或实例化。例如,在硬件部件包括通过软件配置而成为专用处理器的通用处理器的情况下,该通用处理器可以在不同时间处被配置为各自不同的专用处理器(例如,包括不同的硬件部件)。软件相应地对一个或多个特定处理器进行配置,以例如在一个时刻处构成特定硬件部件并且在不同时刻处构成不同的硬件部件。硬件部件可以向其他硬件部件提供信息以及从其他硬件部件接收信息。因此,描述的硬件部件可以被认为通信地耦接。在同时存在多个硬件部件的情况下,可以通过在两个或更多个硬件部件之间或者在两个或更多个硬件部件之中的信号传输(例如,通过适当的电路和总线)来实现通信。在多个硬件部件在不同时间被配置或实例化的示例中,可以例如通过将信息存储在多个硬件部件可以访问的存储器结构中并且在存储器结构中检索信息来实现这样的硬件部件之间的通信。例如,一个硬件部件可以执行操作,并且将该操作的输出存储在与其通信地耦接的存储器设备中。然后,另外的硬件部件可以在随后的时间访问存储器设备,以检索所存储的输出并对其进行处理。硬件部件还可以发起与输入设备或输出设备的通信,并且可以对资源进行操作(例如,信息的收集)。本文描述的示例方法的各种操作可以至少部分地通过临时配置(例如,通过软件)或永久配置成以执行相关操作的一个或更多个处理器来执行。无论是临时配置还是永久配置,这样的处理器可以构成进行操作以执行本文中描述的一个或更多个操作或功能的处理器实现的部件。如本文中使用的,“处理器实现的部件”是指使用一个或更多个处理器实现的硬件部件。类似地,本文中描述的方法可以至少部分地由处理器实现,其中特定的一个或更多个处理器是硬件的示例。例如,方法的操作中的至少一些可以由一个或更多个处理器或者处理器实现的部件执行。此外,一个或更多个处理器还可以进行操作以支持“云计算”环境中的相关操作的执行或作为“软件即服务”(SaaS)进行操作。例如,操作中的至少一些可以由一组计算机(作为包括处理器的机器的示例)来执行,其中这些操作可以经由网络(例如,因特网)和经由一个或更多个适当的接口(例如,API)来访问。操作中的某些操作的执行可以分布在处理器之间,不仅驻留在单个机器内,而且跨多个机器部署。在一些示例中,处理器或处理器实现的部件可以位于单个地理位置中(例如,在家庭环境、办公室环境或服务器群内)。在其他示例中,处理器或处理器实现的部件可以跨多个地理定位分布。
“计算机可读介质”是指机器存储介质和传输介质两者。因此,这些术语包括存储设备/介质和载波/调制数据信号两者。术语“机器可读介质”、“计算机可读介质”和“设备可读介质”意指相同的事物并且可以在本公开内容中互换使用。
“短暂消息”是指可以在时间有限的持续时间内访问的消息。短暂消息可以是文本、图像、视频等。短暂消息的访问时间可以由消息发送者设置。替选地,访问时间可以是默认设置或者由接收方指定的设置。无论设置技术如何,该消息都是暂时的。
“机器存储介质”是指存储可执行指令、例程和/或数据的单个或多个存储设备和/或介质(例如,集中式或分布式数据库、和/或相关联的高速缓存和服务器)。因此,该术语应当被视为包括但不限于固态存储器以及光学和磁介质,包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和/或设备存储介质的具体示例包括:非易失性存储器,包括例如半导体存储器设备,例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、FPGA和闪存设备;磁盘,例如内部硬盘和可移动磁盘;磁光盘;以及CD-ROM和DVD-ROM盘。术语“机器存储介质”、“设备存储介质”、“计算机存储介质”意指相同的事物并且可以在本公开内容中互换地使用。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”明确地排除了载波、调制数据信号和其他这样的介质,所述载波、调制数据信号和其他这样的介质中的至少一些被涵盖在术语“信号介质”中。
“处理器”是指根据控制信号(例如,“命令”、“操作码”、“机器码”等)操纵数据值并且产生被应用于操作机器的对应输出信号的任何电路或虚拟电路(通过在实际处理器上执行的逻辑模拟的物理电路)。例如,处理器可以是中央处理单元(CPU)、简化指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)或其任何组合。处理器还可以是具有可以同时执行指令的两个或更多个独立处理器(有时称为“核”)的多核处理器。
“信号介质”是指能够存储、编码或携载由机器执行的指令的任何无形介质,并且“信号介质”包括数字或模拟通信信号或其他无形介质以有助于软件或数据的通信。术语“信号介质”应当被视为包括任何形式的调制数据信号、载波等。术语“调制数据信号”意指使其特性中的一个或更多个特性以将信息编码在信号中的方式来设置或改变的信号。术语“传输介质”和“信号介质”意指相同的事物,并且可以在本公开内容中互换使用。
在不脱离本公开内容的范围的情况下,可以对所公开的示例进行改变和修改。这些以及其他改变或修改旨在包括在如所附权利要求书中所表达的本公开内容的范围内。
Claims (20)
1.一种头戴式设备系统中的一个或更多个处理器执行的、用于接收和处理导航输入的方法,所述头戴式设备系统包括一个或更多个显示设备、一个或更多个摄像装置以及大体竖直布置的触摸板,所述方法包括:
显示AR效果图标的第一轮播;
接收所述触摸板上的第一水平输入;
响应于所述第一水平输入,使AR效果图标的所述第一轮播旋转;
接收所述触摸板上的第一触摸输入,该触摸输入用于选择处于所述第一轮播中的选择位置中的特定AR效果图标;
显示通过所述一个或更多个摄像装置查看的场景,所述场景被利用与所述特定AR效果图标对应的AR效果进行了增强;
接收内容捕获用户输入;以及
响应于所述内容捕获用户输入,捕获与所述场景对应的新的内容项。
2.根据权利要求1所述的方法,还包括:
在正在显示AR效果项的所述第一轮播的情况下,接收所述触摸板上的第一竖直输入;以及
响应于所述第一竖直输入,显示包括多个内容项的第二轮播。
3.根据权利要求2所述的方法,还包括:
接收所述触摸板上的第二水平输入;
响应于所述第二水平输入,使内容项的所述第二轮播旋转;
接收所述触摸板上的第二触摸输入,该触摸输入用于选择处于所述第二轮播中的选择位置中的特定内容图标;以及
响应于接收到所述第二触摸输入,显示另外的用户界面选项。
4.根据权利要求2所述的方法,其中,所述第一竖直输入是向下滑动,所述方法还包括:
在所述第一轮播上方显示内容图标和向下的指针。
5.根据权利要求2所述的方法,还包括:
在正在显示包括多个内容项的所述第二轮播的情况下,接收所述触摸板上的第二竖直输入;以及
响应于所述第二竖直输入,显示AR效果项的所述第一轮播。
6.根据权利要求5进一步所述的方法,其中,所述第一竖直输入是向下滑动,所述方法还包括:
在所述第二轮播上方显示轮播图标和向下的指针。
7.根据权利要求2所述的方法,还包括:
在正在显示所述第一轮播的情况下,接收所述触摸板上的第三竖直输入,所述第三竖直输入的方向与所述第一竖直输入相反;以及
响应于所述第三竖直输入,显示系统信息。
8.一种头戴式设备系统,包括:
一个或更多个摄像装置;
一个或更多个显示设备;
大体竖直布置的触摸板;
一个或更多个处理器;以及
存储指令的存储器,所述指令在由所述一个或更多个处理器执行时将所述系统配置成执行包括以下的操作:
显示AR效果图标的第一轮播;
接收所述触摸板上的第一水平输入;
响应于所述第一水平输入,使AR效果图标的所述第一轮播旋转;
接收所述触摸板上的第一触摸输入,该触摸输入用于选择处于所述第一轮播中的选择位置中的特定AR效果图标;
显示通过所述一个或更多个摄像装置查看的场景,所述场景被利用与所述特定AR效果图标对应的AR效果进行了增强;
接收内容捕获用户输入;以及
响应于所述内容捕获用户输入,捕获与所述场景对应的新的内容项。
9.根据权利要求8所述的头戴式设备系统,其中,所述操作还包括:
在正在显示AR效果项的所述第一轮播的情况下,接收所述触摸板上的第一竖直输入;以及
响应于所述第一竖直输入,显示包括多个内容项的第二轮播。
10.根据权利要求9所述的头戴式设备系统,其中,所述操作还包括:
接收所述触摸板上的第二水平输入;
响应于所述第二水平输入,使内容项的所述第二轮播旋转;
接收所述触摸板上的第二触摸输入,该触摸输入用于选择处于所述第一轮播中的选择位置中的特定内容图标;以及
响应于接收到所述第二触摸输入,显示另外的用户界面选项。
11.根据权利要求9所述的头戴式设备系统,其中,所述第一竖直输入是向下滑动,所述操作还包括:
在所述第一轮播上方显示内容图标和向下的指针。
12.根据权利要求9所述的头戴式设备系统,其中,所述操作还包括:
在正在显示包括多个内容项的所述第二轮播的情况下,接收所述触摸板上的第二竖直输入;以及
响应于所述第二竖直输入,显示AR效果项的所述第一轮播。
13.根据权利要求12所述的头戴式设备系统,其中,所述第一竖直输入是向下滑动,所述操作还包括:
在所述第一轮播上方显示内容图标和向下的指针。
14.根据权利要求12所述的头戴式设备系统,其中,所述操作还包括:
在正在显示所述第一轮播的情况下,接收所述触摸板上的第三竖直输入,所述第三竖直输入的方向与所述第一竖直输入相反;以及
响应于所述第三竖直输入,显示系统信息。
15.一种非暂态计算机可读存储介质,所述计算机可读存储介质包括指令,所述指令在由包括一个或更多个显示设备、一个或更多个摄像装置以及大体竖直布置的触摸板的头戴式设备系统执行时使所述头戴式设备系统执行包括以下的操作:
显示AR效果图标的第一轮播;
接收所述触摸板上的第一水平输入;
响应于所述第一水平输入,使AR效果图标的所述第一轮播旋转;
接收所述触摸板上的第一触摸输入,该触摸输入用于选择处于所述第一轮播中的选择位置中的特定AR效果图标;
显示通过所述一个或更多个摄像装置查看的场景,所述场景被利用与所述特定AR效果图标对应的AR效果进行了增强;
接收内容捕获用户输入;以及
响应于所述内容捕获用户输入,捕获与所述场景对应的新的内容项。
16.根据权利要求15所述的计算机可读存储介质,其中,其中,所述操作还包括:
在正在显示AR效果项的所述第一轮播的情况下,接收所述触摸板上的第一竖直输入;以及
响应于所述第一竖直输入,显示包括多个内容项的第二轮播。
17.根据权利要求16所述的计算机可读存储介质,其中,所述操作还包括:
接收所述触摸板上的第二水平输入;
响应于所述第二水平输入,使内容项的所述第二轮播旋转;
接收所述触摸板上的第二触摸输入,该触摸输入用于选择处于所述第一轮播中的选择位置中的特定内容图标;以及
响应于接收到所述第二触摸输入,显示另外的用户界面选项。
18.根据权利要求16所述的计算机可读存储介质,其中,所述操作还包括:
在所述第一轮播上方显示内容图标和向下的指针。
19.根据权利要求16所述的计算机可读存储介质,其中,所述操作还包括:在正在显示包括多个内容项的所述第二轮播的情况下,接收所述触摸板上的第二竖直输入;以及
响应于所述第二竖直输入,显示AR效果项的所述第一轮播。
20.根据权利要求16所述的计算机可读存储介质,其中,所述操作还包括:
在正在显示所述第一轮播的情况下,接收所述触摸板上的第三竖直输入,所述第三竖直输入的方向与所述第一竖直输入相反;以及
响应于所述第三竖直输入,显示系统信息。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163190686P | 2021-05-19 | 2021-05-19 | |
US63/190,686 | 2021-05-19 | ||
US17/448,169 US11928306B2 (en) | 2021-05-19 | 2021-09-20 | Touchpad navigation for augmented reality display device |
US17/448,169 | 2021-09-20 | ||
PCT/US2022/072397 WO2022246418A1 (en) | 2021-05-19 | 2022-05-18 | Touchpad navigation for augmented reality display device |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117321534A true CN117321534A (zh) | 2023-12-29 |
Family
ID=84103796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280035346.8A Pending CN117321534A (zh) | 2021-05-19 | 2022-05-18 | 用于增强现实显示设备的触摸板导航 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11928306B2 (zh) |
EP (1) | EP4341770A1 (zh) |
KR (1) | KR20240010012A (zh) |
CN (1) | CN117321534A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11880542B2 (en) | 2021-05-19 | 2024-01-23 | Snap Inc. | Touchpad input for augmented reality display device |
Family Cites Families (87)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7971156B2 (en) | 2007-01-12 | 2011-06-28 | International Business Machines Corporation | Controlling resource access based on user gesturing in a 3D captured image stream of the user |
US20090012788A1 (en) | 2007-07-03 | 2009-01-08 | Jason Andre Gilbert | Sign language translation system |
US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
US8487938B2 (en) | 2009-01-30 | 2013-07-16 | Microsoft Corporation | Standard Gestures |
US10175848B2 (en) | 2009-02-09 | 2019-01-08 | Nokia Technologies Oy | Displaying a display portion including an icon enabling an item to be added to a list |
US8856691B2 (en) | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
US8312392B2 (en) * | 2009-10-02 | 2012-11-13 | Qualcomm Incorporated | User interface gestures and methods for providing file sharing functionality |
US20140171036A1 (en) | 2009-11-18 | 2014-06-19 | Gwendolyn Simmons | Method of communication |
US8751215B2 (en) | 2010-06-04 | 2014-06-10 | Microsoft Corporation | Machine based sign language interpreter |
US10528130B2 (en) * | 2010-07-23 | 2020-01-07 | Telepatheye Inc. | Unitized eye-tracking wireless eyeglasses system |
WO2012097168A2 (en) * | 2011-01-12 | 2012-07-19 | Seven Networks, Inc. | Unified access and management of events across multiple applications and associated contacts thereof |
US10509466B1 (en) | 2011-05-11 | 2019-12-17 | Snap Inc. | Headwear with computer and optical element for use therewith and systems utilizing same |
US20130232148A1 (en) * | 2012-03-01 | 2013-09-05 | Microsoft Corporation | Content mapping |
US9583032B2 (en) * | 2012-06-05 | 2017-02-28 | Microsoft Technology Licensing, Llc | Navigating content using a physical object |
US20150370320A1 (en) | 2014-06-20 | 2015-12-24 | Medibotics Llc | Smart Clothing with Human-to-Computer Textile Interface |
US9230160B1 (en) | 2012-08-27 | 2016-01-05 | Amazon Technologies, Inc. | Method, medium, and system for online ordering using sign language |
CN103049761B (zh) | 2013-01-21 | 2016-08-03 | 中国地质大学(武汉) | 基于手语手套的手语识别方法及系统 |
US9041741B2 (en) * | 2013-03-14 | 2015-05-26 | Qualcomm Incorporated | User interface for a head mounted display |
US9633080B2 (en) | 2013-05-28 | 2017-04-25 | Microsoft Technology Licensing, Llc | Hierarchical entity information for search |
US10439972B1 (en) | 2013-05-30 | 2019-10-08 | Snap Inc. | Apparatus and method for maintaining a message thread with opt-in permanence for entries |
US9742713B2 (en) | 2013-05-30 | 2017-08-22 | Snap Inc. | Apparatus and method for maintaining a message thread with opt-in permanence for entries |
US9705831B2 (en) | 2013-05-30 | 2017-07-11 | Snap Inc. | Apparatus and method for maintaining a message thread with opt-in permanence for entries |
US9558756B2 (en) | 2013-10-29 | 2017-01-31 | At&T Intellectual Property I, L.P. | Method and system for adjusting user speech in a communication session |
KR102201736B1 (ko) * | 2014-01-15 | 2021-01-12 | 엘지전자 주식회사 | 탈착형 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법 |
US9928874B2 (en) | 2014-02-05 | 2018-03-27 | Snap Inc. | Method for real-time video processing involving changing features of an object in the video |
US9351118B2 (en) * | 2014-04-11 | 2016-05-24 | Keith Crutchfield | Apparatus, systems and methods for visually connecting people |
US9276886B1 (en) | 2014-05-09 | 2016-03-01 | Snapchat, Inc. | Apparatus and method for dynamically configuring application component tiles |
US9537811B2 (en) | 2014-10-02 | 2017-01-03 | Snap Inc. | Ephemeral gallery of ephemeral messages |
US9225897B1 (en) | 2014-07-07 | 2015-12-29 | Snapchat, Inc. | Apparatus and method for supplying content aware photo filters |
US9432314B2 (en) * | 2014-08-15 | 2016-08-30 | Microsoft Technology Licensing, Llc | Quick navigation of message conversation history |
US10284508B1 (en) | 2014-10-02 | 2019-05-07 | Snap Inc. | Ephemeral gallery of ephemeral messages with opt-in permanence |
US9385983B1 (en) | 2014-12-19 | 2016-07-05 | Snapchat, Inc. | Gallery of messages from individuals with a shared interest |
CN107690651B (zh) | 2015-04-16 | 2022-06-28 | 罗伯特·博世有限公司 | 用于自动化手语识别的系统和方法 |
US10503264B1 (en) | 2015-06-16 | 2019-12-10 | Snap Inc. | Radial gesture navigation |
US11106273B2 (en) | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
US10055895B2 (en) | 2016-01-29 | 2018-08-21 | Snap Inc. | Local augmented reality persistent sticker objects |
JP2017174300A (ja) | 2016-03-25 | 2017-09-28 | 富士ゼロックス株式会社 | 情報処理装置、情報処理方法およびプログラム |
US9965467B2 (en) | 2016-03-28 | 2018-05-08 | Avaya Inc. | Sign language communication with communication devices |
US10628664B2 (en) | 2016-06-04 | 2020-04-21 | KinTrans, Inc. | Automatic body movement recognition and association system |
US10031718B2 (en) * | 2016-06-14 | 2018-07-24 | Microsoft Technology Licensing, Llc | Location based audio filtering |
US10102423B2 (en) | 2016-06-30 | 2018-10-16 | Snap Inc. | Object modeling and replacement in a video stream |
US11404056B1 (en) | 2016-06-30 | 2022-08-02 | Snap Inc. | Remoteless control of drone behavior |
US11635872B2 (en) | 2016-11-22 | 2023-04-25 | Snap Inc. | Smart carousel of image modifiers |
US10446059B2 (en) | 2016-12-07 | 2019-10-15 | Thomas William Pryor | Hand motion interpretation and communication apparatus |
US10579869B1 (en) | 2017-07-18 | 2020-03-03 | Snap Inc. | Virtual object machine learning |
US10591730B2 (en) | 2017-08-25 | 2020-03-17 | II Jonathan M. Rodriguez | Wristwatch based interface for augmented reality eyewear |
US11847426B2 (en) | 2017-11-08 | 2023-12-19 | Snap Inc. | Computer vision based sign language interpreter |
US10217488B1 (en) | 2017-12-15 | 2019-02-26 | Snap Inc. | Spherical video editing |
US10962809B1 (en) | 2018-01-10 | 2021-03-30 | Snap Inc. | Eyewear device with finger activated touch sensor |
US11092998B1 (en) | 2018-01-12 | 2021-08-17 | Snap Inc. | Eyewear device with fingerprint sensor for user input |
US11227626B1 (en) | 2018-05-21 | 2022-01-18 | Snap Inc. | Audio response messages |
US10725540B2 (en) * | 2018-06-29 | 2020-07-28 | International Business Machines Corporation | Augmented reality speed reading |
JP2020035293A (ja) | 2018-08-31 | 2020-03-05 | Dynabook株式会社 | 電子機器及び制御方法 |
KR20210058969A (ko) | 2018-09-28 | 2021-05-24 | 스냅 인코포레이티드 | 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템 |
US10796482B2 (en) | 2018-12-05 | 2020-10-06 | Snap Inc. | 3D hand shape and pose estimation |
US11012390B1 (en) | 2019-03-28 | 2021-05-18 | Snap Inc. | Media content response in a messaging system |
US20200310601A1 (en) | 2019-03-29 | 2020-10-01 | Snap Inc. | Dynamic media selection menu |
US11036368B1 (en) | 2019-03-29 | 2021-06-15 | Snap Inc. | Messaging system with message transmission user interface |
US10762716B1 (en) | 2019-05-06 | 2020-09-01 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying objects in 3D contexts |
US11106342B1 (en) | 2019-06-03 | 2021-08-31 | Snap Inc. | User interfaces to facilitate multiple modes of electronic communication |
US11307747B2 (en) | 2019-07-11 | 2022-04-19 | Snap Inc. | Edge gesture interface with smart interactions |
US11410401B2 (en) | 2019-08-28 | 2022-08-09 | Snap Inc. | Beautification techniques for 3D data in a messaging system |
KR20220062338A (ko) | 2019-09-09 | 2022-05-16 | 스냅 인코포레이티드 | 스테레오 카메라들로부터의 손 포즈 추정 |
US11169600B1 (en) | 2019-12-06 | 2021-11-09 | Snap Inc. | Virtual object display interface between a wearable device and a mobile device |
US11087728B1 (en) | 2019-12-21 | 2021-08-10 | Snap Inc. | Computer vision and mapping for audio applications |
US11062498B1 (en) | 2019-12-30 | 2021-07-13 | Snap Inc. | Animated pull-to-refresh |
US11237702B2 (en) | 2019-12-31 | 2022-02-01 | Snap Inc. | Carousel interface for post-capture processing in a messaging system |
US11488358B2 (en) | 2020-02-05 | 2022-11-01 | Snap Inc. | Augmented reality session creation using skeleton tracking |
US11200742B1 (en) * | 2020-02-28 | 2021-12-14 | United Services Automobile Association (Usaa) | Augmented reality-based interactive customer support |
US11675494B2 (en) | 2020-03-26 | 2023-06-13 | Snap Inc. | Combining first user interface content into second user interface |
US11409368B2 (en) | 2020-03-26 | 2022-08-09 | Snap Inc. | Navigating through augmented reality content |
US11960651B2 (en) | 2020-03-30 | 2024-04-16 | Snap Inc. | Gesture-based shared AR session creation |
US20210407203A1 (en) | 2020-06-29 | 2021-12-30 | Ilteris Canberk | Augmented reality experiences using speech and text captions |
US20210405761A1 (en) * | 2020-06-29 | 2021-12-30 | Ilteris Canberk | Augmented reality experiences with object manipulation |
US11925863B2 (en) | 2020-09-18 | 2024-03-12 | Snap Inc. | Tracking hand gestures for interactive game control in augmented reality |
US11546505B2 (en) | 2020-09-28 | 2023-01-03 | Snap Inc. | Touchless photo capture in response to detected hand gestures |
CN116615686A (zh) | 2020-12-16 | 2023-08-18 | 斯纳普公司 | 用于语音翻译的包括手语的护目镜 |
EP4272064A1 (en) | 2020-12-29 | 2023-11-08 | Snap, Inc. | Micro hand gestures for controlling virtual and graphical elements |
US11531402B1 (en) | 2021-02-25 | 2022-12-20 | Snap Inc. | Bimanual gestures for controlling virtual and graphical elements |
US11734959B2 (en) | 2021-03-16 | 2023-08-22 | Snap Inc. | Activating hands-free mode on mirroring device |
US11908243B2 (en) | 2021-03-16 | 2024-02-20 | Snap Inc. | Menu hierarchy navigation on electronic mirroring devices |
WO2022216784A1 (en) | 2021-04-08 | 2022-10-13 | Snap Inc. | Bimanual interactions between mapped hand regions for controlling virtual and graphical elements |
EP4327185A1 (en) | 2021-04-19 | 2024-02-28 | Snap, Inc. | Hand gestures for animating and controlling virtual and graphical elements |
WO2022246418A1 (en) | 2021-05-19 | 2022-11-24 | Snap Inc. | Touchpad navigation for augmented reality display device |
US11880542B2 (en) | 2021-05-19 | 2024-01-23 | Snap Inc. | Touchpad input for augmented reality display device |
WO2022246399A1 (en) | 2021-05-19 | 2022-11-24 | Snap Inc. | Touchpad input for augmented reality display device |
EP4342196A1 (en) | 2021-05-19 | 2024-03-27 | Snap, Inc. | Beacons for localization and content delivery to wearable devices |
-
2021
- 2021-09-20 US US17/448,169 patent/US11928306B2/en active Active
-
2022
- 2022-05-18 KR KR1020237043585A patent/KR20240010012A/ko unknown
- 2022-05-18 EP EP22729404.8A patent/EP4341770A1/en active Pending
- 2022-05-18 CN CN202280035346.8A patent/CN117321534A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US11928306B2 (en) | 2024-03-12 |
EP4341770A1 (en) | 2024-03-27 |
KR20240010012A (ko) | 2024-01-23 |
US20220374131A1 (en) | 2022-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102482303B1 (ko) | 증강 현실 의인화 시스템 | |
US11972090B2 (en) | Interface carousel for use with image processing software development kit | |
US11698822B2 (en) | Software development kit for image processing | |
US11809633B2 (en) | Mirroring device with pointing based navigation | |
US20240094865A1 (en) | Selecting items displayed by a head-worn display device | |
US20220197027A1 (en) | Conversation interface on an eyewear device | |
WO2022246418A1 (en) | Touchpad navigation for augmented reality display device | |
KR20230118687A (ko) | 안경류 디바이스 상의 ar/vr 콘텐츠를 리센터링함 | |
KR20230119005A (ko) | 안경류 디바이스 상의 제스처 제어 | |
KR20230011349A (ko) | 디바이스의 후면 부분 상의 트랙패드 | |
KR20230119004A (ko) | 안경류 디바이스 상의 대화 인터페이스 | |
KR20230116938A (ko) | 안경류 디바이스 상의 미디어 콘텐츠 플레이어 | |
CN117321534A (zh) | 用于增强现实显示设备的触摸板导航 | |
US11880542B2 (en) | Touchpad input for augmented reality display device | |
US20230154445A1 (en) | Spatial music creation interface | |
CN117561497A (zh) | 用于增强现实显示设备的触摸板输入 | |
US11863596B2 (en) | Shared augmented reality session creation | |
US20230377223A1 (en) | Hand-tracked text selection and modification | |
EP4315005A1 (en) | Interface with haptic and audio feedback response |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |