CN110045816A - 近眼显示器和系统 - Google Patents
近眼显示器和系统 Download PDFInfo
- Publication number
- CN110045816A CN110045816A CN201910021093.9A CN201910021093A CN110045816A CN 110045816 A CN110045816 A CN 110045816A CN 201910021093 A CN201910021093 A CN 201910021093A CN 110045816 A CN110045816 A CN 110045816A
- Authority
- CN
- China
- Prior art keywords
- user
- hand
- gesture
- controller
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001508 eye Anatomy 0.000 claims abstract description 109
- 230000003287 optical effect Effects 0.000 claims abstract description 69
- 238000003384 imaging method Methods 0.000 claims abstract description 35
- 230000033001 locomotion Effects 0.000 claims description 53
- 210000003811 finger Anatomy 0.000 claims description 41
- 210000003813 thumb Anatomy 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 30
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 2
- 230000036544 posture Effects 0.000 description 35
- 239000011521 glass Substances 0.000 description 24
- 238000000034 method Methods 0.000 description 21
- 230000004438 eyesight Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 230000003213 activating effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000002708 enhancing effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 210000003746 feather Anatomy 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 4
- PLXMOAALOJOTIY-FPTXNFDTSA-N Aesculin Natural products OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](O)[C@H]1Oc2cc3C=CC(=O)Oc3cc2O PLXMOAALOJOTIY-FPTXNFDTSA-N 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 240000002299 Symphytum officinale Species 0.000 description 1
- 235000005865 Symphytum officinale Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000011253 protective coating Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明涉及一种近眼显示器和系统。该系统包括近眼显示器(NED)，近眼显示器包括具有电子显示器的光学组件、被配置为捕获用户的手的图像的成像传感器、以及被配置为捕获用户的眼睛的图像的眼睛成像传感器。该系统还包括控制器，控制器被配置为使用所捕获的眼睛的图像来确定眼睛追踪信息，眼睛追踪信息指示视线定向，其中，视线定向终止于第一位置。控制器基于所捕获的用户的手的图像来确定用户的手的姿势指示捏手势。控制器还识别局部区域中的位于第一位置的对象，并且更新显示指令以使电子显示器显示对人工现实环境中的对象的选择的指示。
Description
技术领域
本公开总体涉及对象和眼睛追踪，并且具体地涉及在人工现实系统中与人工现实对象的远距离交互。
背景技术
人工现实系统通常依赖于形状因数比传统的虚拟现实(VR)头戴式设备小的可穿戴设备。人工现实系统的使用对用户交互提出了新的挑战。在人工现实系统中，先前的用户与局部区域交互的方法可能是不够的或者不是最优的。例如，在不使用人工现实的情况下，用户可能需要与局部区域中的设备进行物理交互，以便能够在该设备中引起改变。然而，对于人工现实的用户，设备和用户体验都可以被升级以允许用户使用除了简单的物理交互之外的方法在设备中引起改变。然而，用户体验的这种变化应该是用户直观理解的，并且应该在技术上是可行的。在人工现实中的用户交互的现有方法不是很直观，并且没有利用人工现实系统的技术能力，并且因此不是最优的使用。
发明内容
一种近眼显示(NED)系统提供图形元素(例如，叠加)作为控制作为人工现实环境一部分的物理对象的方式。本文中描述的系统包括近眼显示器(NED)，近眼显示器包括是并且具有被配置为根据显示指令显示图像的电子显示器的光学组件、被配置为捕获用户的手的图像的成像传感器、以及被配置为在眼睛看向NED周围的局部区域时捕获用户的眼睛的图像的眼睛成像传感器。系统还包括控制器，控制器被配置为使用所捕获的眼睛的图像来确定眼睛追踪信息，眼睛追踪信息指示视线定向，其中视线定向终止于第一位置。控制器基于所捕获的用户的手的图像确定用户的手的姿势指示捏手势。捏手势由用户的拇指和食指的移动形成，使得用户的拇指和食指的远端之间的距离在阈值内，并且视线定向在用户的拇指和食指的远端之间。控制器还识别局部区域中的位于第一位置的对象，并更新显示指令以使电子显示器显示对人工现实环境中的对象的选择的指示。该选择的指示显示在人工现实环境中的对象的位置的阈值距离内。
附图说明
图1是根据一个或多个实施方式的眼镜设备的示图。
图2是根据一个或多个实施方式的图1的眼镜设备的截面。
图3是根据一个或多个实施方式的NED系统的框图。
图4示出了根据一个或多个实施方式的由NED系统检测用户的视线与用户的手之间的交点的示例。
图5A示出了根据一个或多个实施方式的应用于NED的用于在局部区域中致动物理控制的示例性NED滤波器显示。
图5B示出了根据一个或多个实施方式的在局部区域中的物理控制的致动期间应用于图5A的NED的示例性NED滤波器显示。
图5C示出了根据一个或多个实施方式的应用于图5B的NED的用于完成局部区域中的物理控制的致动的示例性NED滤波器显示。
图6A示出了根据一个或多个实施方式的应用于NED的用于在局部区域中致动开关控制的示例性NED滤波器显示。
图6B示出了根据一个或多个实施方式的在局部区域中的物理控制的致动期间应用于图6A的NED的示例性NED滤波器显示。
图7A示出了根据一个或多个实施方式的应用于NED的用于局部区域中的可变控制的调节的示例性NED滤波器显示。
图7B示出了根据一个或多个实施方式的在局部区域中调节可变控制期间应用于图7A的NED的示例性NED滤波器显示。
图7C示出了根据一个或多个实施方式的应用于图7B的NED的用于局部区域中的可变控制的替代调节的示例性NED滤波器显示。
图8A示出了根据一个或多个实施方式的应用于NED的用于使用捏手势与上下文菜单进行交互的示例性NED滤波器显示。
图8B示出了根据一个或多个实施方式的在捏运动期间应用于图8A的NED的用于使用捏手势与上下文菜单进行交互的示例性NED滤波器显示。
图8C示出了根据一个或多个实施方式的在显示上下文菜单期间应用于图8B的NED的示例性NED滤波器显示。
图9A示出了根据一个或多个实施方式的由于捏手势而在信息菜单的显示之前应用于NED的示例性NED滤波器显示。
图9B示出了根据一个或多个实施方式的由于捏手势而在信息菜单的显示期间应用于图9A的NED的示例性NED滤波器显示。
图10A示出了根据一个或多个实施方式的在利用视线使用捏手势的投射操纵之前应用于NED的示例性NED滤波器显示。
图10B示出了根据一个或多个实施方式的在利用视线使用捏手势的投射操纵期间应用于图10A的NED的示例性NED滤波器显示。
图10C示出了根据一个或多个实施方式的在利用视线使用捏手势的投射操纵之后应用于图10B的NED的示例性NED滤波器显示。
图10D示出了根据一个或多个实施方式的在使用具有视线的捏手势的替代投射操纵之后应用于图10B的NED的示例性NED滤波器显示。
图11是示出根据一个或多个实施方式的用于在NED中提供远距离对象操纵的方法的流程图。
附图仅出于说明的目的描绘了本公开的实施方式。本领域技术人员将从下面的描述中容易地认识到，在不背离本文中所描述的公开的原理或推崇的益处的情况下，可以采用本文中所示的结构和方法的可选实施方式。
具体实施方式
本发明的实施方式可以包括或结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式调整的现实的形式，其可以包括例如虚拟现实(VR)、人工现实(AR)、混合现实(MR)、混合式现实、或其中的一些组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获(例如，现实世界)的内容组合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且其中的任一种可以在单信道中或在多信道(例如向观看者产生三维效果的立体视频)中呈现。此外，在一些实施方式中，人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，执行活动)的应用程序、产品、附件、服务或其某种组合相关联。提供人工现实内容的人工现实系统可以在各种平台上实现，该平台包括连接到主机计算机系统的头戴式显示器(HMD)、独立HMD、移动设备或计算系统、或能够向一个或多个观看者提供人工现实内容的任何其他硬件平台。
此外，在一些实施方式中，眼镜设备包括眼睛追踪系统。眼睛追踪系统包括一个或多个光源和相机。眼镜设备还包括光学组件，光学组件可包括电子显示器或显示路径元件(例如波导显示器)、透镜或透镜叠层(例如通电的光学元件、校正透镜或UV透镜)、或显示器和/或透镜的组合。
眼睛追踪系统可以与追踪手势的系统结合使用，以确定用户眼睛的视线定向，并确定在捏手势时该视线定向是否也在用户的拇指和食指之间。这种方法可由系统用于确定局部区域或环境中的兴趣点或焦点元素。可以使用诸如用户的手的垂直移动的附加动作来进一步与局部区域中的兴趣点或元素交互。这允许在人工现实环境中针对环境对象进行更细粒度的操纵时提高精确度。在下面的描述中，将呈现关于具有视线定向追踪的眼镜、用于追踪用户的手的系统以及在局部区域中操纵对象的方法的细节。
近眼显示系统概述
图1是根据一个或多个实施方式的眼镜设备100的示图。在一些实施方式中，眼镜设备100是用于向用户呈现媒体的近眼显示器(NED)。由眼镜设备100呈现的媒体的示例包括一个或多个图像、文本、视频、音频、或其一些组合。在一些实施方式中，经由外部设备(例如，扬声器和/或耳机)呈现音频，该外部设备从眼镜设备100、控制台(未示出)或两者接收音频信息并且基于音频信息呈现音频数据。眼镜设备100可以被配置为作为人工现实NED来操作。在一些实施方式中，眼镜设备100可以用计算机生成的元素(例如，图像、视频、声音等)来增强物理的、现实世界的环境的视图。
图1所示的眼镜设备100包括框架105和光学组件110，光学组件110被边115包围。光学组件110在可见光谱中基本上是透明的(例如，允许一百分比的透射率)，并且还可以包括基本上透明的电子显示器。框架105耦接到一个或多个光学元件。在一些实施方式中，框架105可以表示眼镜镜片的框架。光学组件110可以被配置为供用户观看由眼镜设备100呈现的内容。例如，眼镜设备110可以包括用于将一个或多个图像光引导到用户的眼睛的至少一个波导显示组件(未示出)。波导显示组件包括例如波导显示器、堆叠波导显示器、堆叠波导和通电的光学元件、变焦波导显示器或其某种组合。例如，波导显示器可以是单色的并且包括单个波导。在一些实施方式中，波导显示器可以是多色的并且包括单个波导。在又一实施方式中，波导显示器是多色的并且包括单色波导的堆叠阵列，每个单色波导与不同波段的光相关联，即每个的源具有不同的颜色。变焦波导显示器是能够调整从波导显示器发射的图像光的焦点位置的显示器。在一些实施方式中，波导显示器组件可以包括一个或多个单色波导显示器(即，单色波导显示器或堆叠的多色波导显示器)和变焦波导显示器的组合。波导显示器在美国专利申请号15/495,373中有详细描述，其全部内容通过引用并入本文中。
在一些实施方式中，光学组件110可包括一个或多个透镜或其他层，例如用于过滤紫外光的透镜(即，太阳镜透镜)、偏振透镜、校正透镜或处方透镜、安全透镜、3D透镜、着色透镜(例如，黄色着色眼镜)、互易焦平面透镜或不改变用户视图的透明透镜。光学组件110可以包括一个或多个附加层或涂层，例如保护涂层、或用于提供任何前述透镜功能的涂层。在一些实施方式中，光学组件110可以包括一个或多个波导显示组件、一个或多个透镜和/或一个或多个其他层或涂层的组合。
图2是根据一个或多个实施方式的图1所示的眼镜设备100的截面200。光学组件110容纳在框架105中，框架105在围绕光学组件110的截面中被遮蔽。用户的眼睛220被示出，虚线从眼睛220的瞳孔引出并向外延伸以示出眼睛的视野。眼箱(eye box)230示出了如果用户佩戴眼镜设备100的话眼睛220所定位的位置。眼镜设备100包括眼睛追踪系统。
眼睛追踪系统确定用户眼睛220的眼睛追踪信息。所确定的眼睛追踪信息可以包括关于用户的眼睛220在眼箱230中的位置的信息，例如，关于眼睛视线的角度的信息。眼箱表示显示器输出端的三维体积，其中用户的眼睛位于该三维体积中以接收图像光。
在一个实施方式中，眼睛追踪系统包括一个或多个光源以以特定波长或波长的特定波段(例如，红外)来照亮眼睛。光源可以被放置在框架105上，使得来自光源的照明被引导到用户的眼睛(例如，眼箱230的位置)。光源可以是能够产生可见光或红外光的任何设备，例如发光二极管。光源对用户眼睛的照明可以辅助眼睛追踪器240捕获具有更多细节的用户眼睛的图像。眼睛追踪器240接收从光源发射并从眼睛220反射的光。眼睛追踪器240捕获用户的眼睛的图像，并且眼睛追踪器240或外部控制器可以分析所捕获的图像以测量用户的视线点(即，眼睛位置)、用户的眼睛220的运动(即，眼睛移动)或两者。眼睛追踪器240可以是位于框架105上在能够捕获用户的(一只或两只)眼睛220的无障碍图像的位置处的相机或其他成像设备(例如，数码相机)。
在一个实施方式中，眼睛追踪系统部分地基于光源的反射的位置来确定眼睛220的深度信息。关于眼睛追踪器240如何确定深度信息的附加讨论可在例如美国申请号15/456,383和美国申请号15/335，634中找到，两者通过引用结合于此。在另一实施方式中，眼睛追踪器240不包括光源，而是在没有附加照明的情况下捕获用户的眼睛220的图像。
眼睛追踪器240可以嵌入在框架105的上部中，但是可以位于框架的任何部分，在该部分它可以捕获用户的眼睛的图像。虽然在图2中仅示出了一个眼睛追踪器240，但是眼镜设备100可以针对每只眼睛220包括多个眼睛追踪器240。
通过追踪用户的视线，眼睛追踪器240可以用于确定用户正在观看的位置。这可以与下面描述的系统相结合，该系统确定同一用户的手的手势。视线和特定手势两者的组合可以由系统检测，并且作为响应，系统可以基于手势和视线的组合来执行一些动作。
图3是根据一个或多个实施方式NED系统300的框图。图3所示的NED系统300包括耦接到控制器310的NED 305，其中控制器310耦接到成像设备315。虽然图3示出了包括一个NED 305和一个成像设备315的示例NED系统300，但是在其他实施方式中，NED系统300中可以包括任意数量的这些组件。在替代配置中，可以在NED系统300中包括不同和/或附加的组件。类似地，一个或多个组件的功能可以以与这里描述的不同的方式分布在组件之间。例如，控制器310的一些或全部功能可以包含在NED 305内。NED系统300可以在人工现实环境中操作。
NED 305向用户呈现内容。在一些实施方式中，NED 305是眼镜设备100。由NED 305呈现的内容的示例包括一个或多个图像、视频、音频、文本或其某种组合。在一些实施方式中，经由外部设备(例如，扬声器和/或耳机)呈现音频，外部设备从NED 305、控制器310或两者接收音频信息，并且基于音频信息呈现音频数据。在一些实施方式中，NED 305作为人工现实NED操作。在一些实施方式中，NED 305可以用计算机生成的元素(例如，图像、视频、声音等)来增强物理的、真实世界环境的视图。
NED 305包括用于每只眼睛的光学组件320、眼睛追踪器325、惯性测量单元(IMU)330、一个或多个位置传感器335和深度相机阵列(DCA)340。NED 305的一些实施方式具有与这里描述的那些不同的组件。类似地，功能可以以与这里描述的不同的方式分布在NED系统300中的其他组件中。在一些实施方式中，光学组件320根据从控制器310接收的数据向用户显示图像。在一个实施方式中，光学组件320对于可见光谱中的电磁辐射基本上是透明的(例如，具有一定程度的透射率)。
眼睛追踪器325追踪用户的眼睛移动。眼睛追踪器325包括用于捕获用户的眼睛的图像的相机。如关于图2所描述的，在眼睛追踪器240中示出了眼睛追踪器的放置的示例。基于检测到的眼睛移动，眼睛追踪器325可与控制器310通信以进行进一步处理。
在一些实施方式中，眼睛追踪器325允许用户基于检测到的眼睛移动与由控制器310呈现给用户的内容交互。用户与呈现的内容的示例交互包括：选择由控制器310呈现的内容的一部分(例如，选择呈现给用户的对象)、移动由控制器310呈现的光标或指针、通过由控制器310呈现的内容导航、基于用户的视线位置向用户呈现内容、或与呈现给用户的内容的任何其他合适的交互。
在一些实施方式中，NED 305可单独地或与控制器310或另一设备一起被配置为将从眼睛追踪器325获得的眼睛追踪信息用于各种显示和交互应用。各种应用包括但不限于提供用户界面(例如，基于视线的选择)、注意力估计(例如，用于用户安全)、视线相关显示模式、深度和视差校正的度量缩放等。在一些实施方式中，基于从眼睛追踪单元接收到的关于用户眼睛的位置和定向的信息，控制器(例如，控制器310)确定提供给NED 305以在光学组件320上呈现给用户的内容的分辨率。光学组件320可以在用户的视线的中央凹区中提供内容(并且可以在该区域以更高的质量或分辨率提供内容)。
在另一个实施方式中，从眼睛追踪器325获得的眼睛追踪信息可用于确定用户的视线在局部区域中的位置。这可以与手势检测系统结合使用，以允许系统检测用户手势和视线的各种组合。如下面进一步详细描述的，在控制器310检测到用户的视线和手势的不同组合时，可以使控制器310向局部区域中的设备或其他对象发送另外的指令，或者响应于这些不同组合执行附加指令。
在一些实施方式中，眼睛追踪器325包括用于将光投射到用户的眼睛或用户的眼睛的一部分上的光源。光源是从眼睛反射并由眼睛追踪器325捕获的光源。
IMU 330是基于从一个或多个位置传感器335接收的测量信号生成IMU追踪数据的电子设备。位置传感器335响应于NED 305的运动生成一个或多个测量信号。位置传感器335的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、用于IMU 330的误差校正的类型的传感器、或其某种组合。位置传感器335可以位于IMU 330的外部、IMU 330的内部或其某种组合。
基于来自一个或多个位置传感器335的一个或多个测量信号，IMU 330生成指示NED 305相对于NED 305的初始位置的估计位置的IMU追踪数据。例如，位置传感器335包括用于测量平移运动(前/后、上/下、左/右)的多个加速度计和用于测量旋转运动(例如，俯仰、偏航和滚转)的多个陀螺仪。在一些实施方式中，IMU 330快速采样测量信号，并从采样的数据计算NED 305的估计位置。例如，IMU 330将从加速度计接收的测量信号随时间积分以估计速度向量，并且将速度向量随时间积分以确定NED 305上的参考点的估计位置。可替换地，IMU 330将采样的测量信号提供给控制器310，控制器310确定IMU追踪数据。参考点是可用于描述NED 305的位置的点。而参考点一般可以定义为空间中的一点；然而，实际上，参考点被定义为NED 305内(例如，IMU 330的中心)的点。
深度相机组件(DCA)340捕获描述围绕NED 305中的一些或全部的局部区域的深度信息的数据。可以捕获的数据可以包括从投射在局部区域上的结构化光图案捕获的信息、立体图像、飞行时间数据或使用其他深度测量技术捕获的深度信息。DCA340可以使用该数据(例如，基于结构化光图案的捕获部分)来计算深度信息，或者DCA340可以将该信息发送到另一设备(例如控制器710)，该设备可以使用来自DCA340的数据来确定深度信息。
DCA340包括光发生器、成像设备和控制器。DCA340的光发生器被配置为根据发射指令用照明光照亮局部区域。DCA340的成像设备包括透镜组件和检测器。透镜组件被配置为接收来自成像设备周围的局部区域的光，并将所接收的光的至少一部分引导到检测器。DCA340的控制器生成发射指令并将发射指令提供给光发生器。DCA 340的控制器还部分地基于所捕获的一个或多个图像来确定针对一个或多个对象的深度信息。
成像设备315可以用于随时间捕获用户的手的表示，以用于追踪用户的手(例如，通过每秒捕获用户的手的多个图像)。为了实现更精确的捕获，成像设备315能够捕获局部区域或环境的深度数据。这可以通过各种方式来实现，例如通过使用经由检测场景中的移动来生成3D数据的计算机视觉算法、通过发射栅格图案(例如，经由发射红外激光栅格)并根据来自栅格图案的反射的变化来检测深度、通过计算反射辐射(例如，反射的发射红外辐射)的飞行时间、和/或来自多个相机的用户(例如，双目视觉、立体摄影测量)。成像设备315可以定位成捕获大的空间区域，使得该空间区域内的所有手移动被捕获。在一个实施方式中，多于一个成像设备315用于捕获用户的手的图像。如下面进一步详细描述的，所捕获的用户的手的图像可以用于识别用户的各种手势。在检测到这些手势时，结合其它条件的满足，控制器可以执行某些相关联的动作。
在另一实施方式中，成像设备315还可以捕获局部区域中的一个或多个对象的图像，并且具体是环绕佩戴眼镜设备的用户的视野的区域，该眼镜设备包括NED 305。成像设备315还可以根据上述任何方法捕获局部区域中的这些一个或多个对象的深度数据。
虽然成像设备315在图3中示出为与NED 305分离，但是在一些实施方式中，成像设备附接到NED 305，例如附接到框架105，并且还可以是DCA 340的一部分。
成像设备315可以包括一个或多个相机、成像传感器、一个或多个摄像机、任何其他能够捕获图像的设备、或其某种组合。此外，成像设备315可以包括一个或多个硬件和软件滤波器(例如，用于增加信噪比)。图像追踪数据从成像设备315传送到控制器310，并且成像设备315从控制器310接收一个或多个校准参数以调整一个或多个成像参数(例如，焦距、焦点、帧频、ISO、传感器温度、快门速度、光圈等)。
控制器310根据从成像设备315或NED 305接收的信息将内容提供给NED 305以呈现给用户。在图3所示的示例中，控制器310包括输入接口345、应用程序存储器350、追踪模块355、手势识别(ID)模块360和执行引擎365。控制器310的一些实施方式具有与这里描述的那些不同的模块。类似地，下面进一步描述的功能可以以与这里描述的不同的方式分布在控制器310的组件之间。在一个实施方式中，控制器310是NED 305内的组件。
在一个实施方式中，控制器310包括输入接口345以接收附加的外部输入。这些外部输入可以是动作请求。动作请求是执行特定动作的请求。例如，动作请求可以是启动或结束一应用程序或在应用程序内执行特定动作。输入接口345可以从一个或多个输入设备接收输入。示例性输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求的任何其他合适的设备。在另一实施方式中，输入接口345从一个或多个射频(RF)信号接收器接收输入。这些可用于从局部区域中的RF标识符接收无线电信号，并且在一些情况下用于确定RF标识符的距离(基于信号强度)和位置(基于三角测量或其他方法)。在接收到动作请求之后，控制器310执行与该动作请求相对应的动作。在一些实施方式中，由控制器310执行的动作可以包括触觉反馈，触觉反馈可经由输入接口345传送到触觉反馈设备。
应用程序存储器350存储一个或多个应用程序以供控制器310执行。应用程序是一组指令，当由处理器执行时，该指令生成内容以呈现给用户。由应用程序生成的内容可以响应于经由NED 305的移动、输入接口345或眼睛追踪器325从用户接收的输入。应用程序的示例包括：游戏应用程序、会议应用程序、视频回放应用程序或其他合适的应用程序。
追踪模块355追踪NED 305的移动和佩戴NED 305的用户的手。为了追踪NED 305的移动，追踪模块355使用来自DCA 340、成像设备315、一个或多个位置传感器335、IMU 330或其某种组合的信息。例如，追踪模块355基于来自NED 305的信息确定NED 305的参考点在局部区域的映射中的位置。追踪模块355还可以使用来自IMU 330的指示NED 305的位置的数据来确定NED 305的参考点的位置。此外，在一些实施方式中，追踪模块355可以使用来自IMU 330的指示位置或NED 305的数据的部分以及来自DCA 340的局部区域的表示来预测NED 305的未来位置。追踪模块355可以将NED 305的估计或预测的未来位置提供给执行引擎365。
如上所述，追踪模块355还追踪用户的手和用户的手的手指，以便识别用户的手的各种姿势。每个姿势指示用户的手的位置。通过检测随时间变化的多个姿势的组合，追踪模块355能够确定用户的手的手势。这些手势进而可以转换成系统的各种输入。例如，在一个方向上使用单个手指的移动可以转换成系统中的按钮按压输入。
在一个实施方式中，追踪模块355使用深度学习模型来确定用户的手的姿势。深度学习模型可以是神经网络，例如卷积神经网络或残差神经网络。神经网络可以将从来自手的成像设备315的原始数据中提取的特征数据(例如，用户的手的深度信息，或者关于佩戴在用户的手上的任何输入设备上的定位器的位置的数据)作为输入。神经网络可以输出用户的手处于的最可能的姿势。可替换地，神经网络可以输出用户的手的关节的最可能位置的指示。关节是用户的手的位置，并且可以对应于用户的手中的实际物理关节，以及用户的手上可能需要用于在模拟中充分再现用户的手的运动的其他点。
如果神经网络输出关节的位置，则追踪模块355例如使用逆运动学原理另外将关节数据转换成姿势。例如，用户的手的各种关节的位置以及用户的手的关节和骨位置的自然和已知限制(例如，角度、长度等)允许追踪模块355使用逆运动学来基于关节信息确定用户的手的最可能姿势。姿势数据还可以包括用户的手的近似结构，例如以骨架、点网格或其他格式的形式。
使用训练数据训练神经网络。在一个实施方式中，训练数据从多个相机阵列(例如多个成像设备315)生成，该多个相机阵列捕获来自不同用户的不同手在不同姿势下的手移动，和/或由不同手佩戴的输入设备上的定位器。该训练数据的基础事实指示关节位置和/或手的姿势，并且可以使用人的验证来生成。
手势ID模块360基于由追踪模块355确定的姿势来识别用户的手的手势。手势ID模块360可以利用神经网络从特定的一系列姿势来确定手势。这样的神经网络可以使用作为输入数据计算的姿势(或关节)和指示最可能的手势的输出数据来训练。手势ID模块360可以使用其他方法来从姿势确定手势，例如测量3D空间中手的手指与一系列姿势的位置之间的距离和位置。如果每个姿势的这些距离和位置落在某些阈值内，则手势ID模块360可以指示存在特定手势。在一个实施方式中，手势ID模块360识别用户的捏手势。当用户的一只手上的用户的食指和拇指的远端在彼此的阈值距离内移动时，形成捏手势。当手势ID模块360识别出形成该手势的一系列姿势时，手势ID模块360确定形成捏手势。如下面进一步详细描述的，控制器310可以在检测到该捏手势以及其他条件时执行某些动作，例如由眼睛追踪器325确定的用户眼睛的特定视线方向。
使用这样的方法，追踪模块355能够确定用户的手的可能姿势，并且随着姿势的确定，手势ID模块360将用户的手的移动与预定义的手势匹配。这些手势可以用于指示在人工现实环境中的各种动作。
于2016年10月7日提交的美国申请号15/288,453号和2016年9月28日提交的美国申请号62/401,090描述了关于使用成像设备和输入设备追踪和确定手的位置的额外的详细信息，这两个申请的全部内容通过引用并入本文。
在另一实施方式中，追踪模块355还被配置为识别由成像设备315捕获的图像中的对象。为了执行该功能，追踪模块355可以首先在大量标记的对象数据上训练，或者耦接到可以在在线系统上的预训练的图像识别系统。在前一种情况下，追踪模块355包括机器学习模型(例如，卷积神经网络)，并且在标准图像对象库(例如，ImageNet)上或者在来自在线系统的大量用户提供的图像集上进行训练。这些用户提供的图像可以包括对象的大量图像，以及这些对象的标记(例如，使用字幕等)。可替换地，在后一种情况下，在线系统本身已经包括在上述用户提供和标记的图像上训练的机器学习模型。例如，在线系统可能已经具有对象识别系统，该对象识别系统接收图像并为每个对象输出标签。在这种情况下，使用在线系统上的模型而不是控制器310上的任何模型来执行对象识别。在识别对象之后，追踪模块355能够追踪由NED 305提供给用户的视野中的对象的位置。这可以通过连续识别由成像设备315捕获的每个帧中的用户来实现。一旦识别出对象，追踪模块355可以指示对象的位置以及对象在捕获图像中的边界(例如，与识别出的对象相对应的像素)。这可以通过光学组件310转换为由NED 305提供的用户视野中的对象的位置。
在一个实施方式中，控制器310另外包括执行引擎365。执行引擎365执行NED系统300内的应用程序，并从NED 305、输入接口345和/或追踪模块355接收位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于接收到的信息，执行引擎365确定要提供给NED 305以呈现/显示给用户的内容。例如，如果接收到的信息指示用户已经向左看，则执行引擎365生成用于NED 305的基于用户在人工现实环境中的移动的内容。类似地，如果从追踪模块355接收到的信息指示用户的手做出特定手势，则执行引擎365基于所识别的手势生成内容。此外，如果从NED 305接收到的信息指示用户的特定视线，则执行引擎365可以基于该视线生成内容。该内容可以包括对NED 305中的光学组件320的更新，使得向佩戴NED305的用户显示的内容改变。
执行引擎365还可以响应于从输入接口345接收到的动作请求，在控制器310上执行的应用程序内执行动作，并向用户提供该动作被执行的反馈。所提供的反馈可以是经由NED 305的视觉或听觉反馈。例如，执行引擎365可以从输入接口345接收打开应用程序的动作，并且作为响应，执行引擎365打开应用程序并经由NED 305将来自应用程序的内容呈现给用户。
除了确定用户的手的当前姿势之外，执行引擎365还可以根据一组显示指令(例如，像素数据、向量数据等)向光学组件320提供输出。到光学组件320的电子显示器的该输出可以包括用户的手的虚拟娱乐(使用计算机图形)，以及其他对象(虚拟或其他)，例如局部区域中的对象的轮廓、文本、图形、与佩戴NED 305的用户的视野内的对象重合的其他元素等。
执行引擎365可以从追踪模块355接收被追踪对象的指示。追踪模块355可以被预先配置为识别和追踪某些对象。这些对象可以提供一些控制功能，或者可以与其他详细信息或信息相关联。下面参考图5A至图10D描述此类对象的示例。在接收到被追踪对象的指示时，执行引擎365向光学组件320发送显示指令，以使光学组件320向用户显示各种元素，例如上下文菜单、控制用户界面元素、信息菜单等。这些显示的元素可以在由NED 305呈现的增强现实或人工现实环境中距用户看到的被追踪对象阈值距离处示出。
在一个实施方式中，执行引擎365可以首先识别由成像设备315捕获的局部区域中的可识别对象。可以根据预先编程的识别图案来识别对象。识别图案可以包括由追踪模块355的对象识别系统生成的对象的唯一标识符。识别图案可以包括由对象识别系统生成的使追踪模块355识别对象的输出参数的值(例如，由对象识别系统生成的置信度权重)。在另一实施方式中，识别图案可以是能够在不同定向和光照下用于再次识别对象的一些其他指纹、图案、标识符或其他数据。当遇到对象时，追踪模块355的对象识别系统可以基于对象的特征生成另一标识符。将该标识符与所存储的对象的识别图案进行比较，并且如果出现匹配，则将对象识别为与所存储的识别图案相关联的对象。
此外，在一些实施方式中，执行引擎365还利用局部区域中的附加追踪指示符来辅助对象的识别。如上所述，环境中的对象可以具有RF标识符，其可以由输入接口345经由一个或多个RF接收器接收。执行引擎365可以经由从RF接收器接收的信号并通过各种信号源定位机制(例如，三角测量、飞行时间、多普勒频移)使用来自对象的RF信号来确定具有RF标识符的对象的位置。该信息可以用于增强(例如，针对误差进行调整)基于图像的对象识别系统，或者可以用于替代基于图像的对象识别系统(例如，在基于图像的对象识别系统故障或具有高误差/不确定性的情况下)。执行引擎365还可以使用例如回射器(其可以响应于来自眼镜设备100的非可见光信号)、高对比度定位器、QR码、条形码、识别图像图案等其他追踪指示器来辅助识别对象，并且该信息可以存储在对象的识别图案中。
在识别到增强对象时，执行引擎365可以更新光学组件320的显示指令以在由NED系统300呈现的人工现实环境中呈现与增强对象相关的附加模拟或虚拟元素。该虚拟元素可以在人工现实环境中被定位在距增强对象的阈值距离(例如，1cm)处。执行引擎365可以计算增强对象在3D空间中的位置，并且将虚拟元素投射在显示器上，使得它们看起来在3D空间内并且靠近增强对象(在阈值距离内)。在检测到增强对象的移动时，执行引擎365可以提交更新的显示指令，以基于增强对象的移动来移动虚拟元素。
此外，执行引擎365从追踪模块355接收某些手势的指示，并且与从眼睛追踪器325接收的用户的眼睛视线方向相结合，可以执行与一个或多个识别的对象相关的某些指令。在一个实施方式中，执行引擎365从眼睛追踪器325接收用户的眼睛视线朝向识别的对象的指示。执行引擎365还从眼睛追踪器325接收用户的眼睛视线还通过用户的一只手的指示。执行引擎365还从追踪模块355接收指示，用户的眼睛视线所经过的用户的手正在执行特定手势，例如捏手势(由此用户的拇指食指在彼此的阈值距离内移动)或投掷手势(例如，捏手势之后是用户的手的移动，之后是捏手势的退出)。在这样的场景中，执行引擎365可以执行与在用户的眼睛视线的终点处的所识别的对象相关的某些指令，并且可以基于如追踪模块355所指示的由用户执行的任何附加手势来执行另外的指令。在一个实施方式中，指令包括从本地存储器或从网络检索与所识别的对象相关的信息。信息由执行引擎365组成显示元素，并且执行引擎365将显示显示元素的指令发送到光学组件320以向用户显示显示元素。下面参考图4至图11更详细地描述这种手势的附加示例。
虽然下面的描述主要是参考人工现实(例如，增强现实)环境来进行的，但是本文中描述的方法也可以应用于虚拟现实环境。在虚拟现实环境中，用户佩戴有头戴式设备，其具有不允许来自局部区域的光击中用户眼睛的电子显示器。相反，用户的视图仅包括由电子显示器显示的内容。在这种情况下，用户的眼睛视线可以是朝向虚拟对象而不是局部区域中的对象，并且用户可以在虚拟现实环境中看到他或她的手的虚拟表示而不是他或她的实际的手。
人工现实中带有视线追踪的远距离手势
下图示出了与视线追踪相结合的各种手势，以使得能够精确地远距离操纵和操作局部区域或区域内的对象。局部区域包括围绕佩戴NED 305的用户的真实物理环境，并且可以包括围绕用户的任何可见环境。手势和用户的视线信息可以由图3中描述的NED系统300检测。
具体地，下图描述了在用户的手执行各种手势时检测用户的视线与用户的手的交点的系统。与不确定用户的手和视线的交点的传统系统相比，这样的系统可以允许更精确地瞄准和操纵局部区域中的对象。例如，传统系统可以确定用户打算聚焦局部区域中的特定对象，并执行与这种关注相关的动作，而实际上用户并不打算聚焦这种焦点。作为另一示例，传统系统可能错误地确定用户的视线在特定对象上，但是由于测量误差或者由于系统在某些情况下可能仅追踪用户的一只眼睛的视线的事实，系统可能再次错误地确定用户的焦点对象。
在下面的描述中，术语垂直指示与重力向量(即，匹配重力方向的向量)基本平行(在阈值程度内)的轴。术语向上指示沿垂直轴的与重力方向最相反的方向，并且术语向下指示沿垂直轴的与向上的方向相反的方向。术语水平指示与垂直轴基本正交(至阈值程度)的轴。术语右指示沿着该水平轴的方向，并且基本上(即，在阈值范围内)从向上方向顺时针90度。术语左指示水平轴上与右方向指示的方向相反的方向。
图4示出了根据一个或多个实施方式的由NED系统300检测用户的在用户的视线与用户的手之间的交点的示例。在图4中，用户410佩戴图1中描述的眼镜设备100，并且该眼镜设备100包括如图3中描述的NED305和NED系统300的一些或全部的功能。用户的手414以特定姿势416在用户前面伸出。用户的视线418朝向位置420(由矩形形状表示)。如图所示，在NED系统300的控制器310检测到用户的手414在由用户的视线418形成的线的阈值距离内移动之后，控制器310可以响应于该检测利用附加的显示指令向NED 305的光学组件320的电子显示器发送更新。可替换地，响应于控制器310检测到用户的视线418与用户的两个手指(例如食指和拇指)的远端之间的点的交点而发送该更新，其中用户已经用他或她的手414执行了特定手势。控制器310还可以向位于用户的视线418的终点(即，位置420)处的对象发送指令。用户的视线418的终点是在用户的视线的起始位置和方向上的可见光射线被环境中的对象阻挡的点。在下面的图5A至图11的描述中，用户的头410、手414和视线418的定向与这里参照图4描述的定向类似。
图5A示出了根据一个或多个实施方式的应用于NED 305的示例性NED滤波器显示，用于在局部区域中致动物理控制。与图4的第三方概览透视图相比，图5A至图10D中所示的透视图是通过NED 305看到的视图，并且因此结合经过光学组件320到NED的用户的局部区域的视图，包括使用控制器310发送到光学组件320的电子显示器的显示指令生成的任何NED滤波器显示。基于用户的视线，局部区域的视图包括佩戴者的视野。因此，例如，在图5A中，用户的视线朝向门510，并且因此图5A所示的透视图朝向门。
图5A所示的视图描绘了局部区域中的各种对象，以及由NED 305在人工现实环境中提供的图像叠加(或NED滤波器显示)。在该实施方式中，人工现实环境是由NED 305通过附加内容(例如，图像)覆盖的局部区域中的真实的、非虚拟的对象的组合，如佩戴包括NED305的眼镜设备(例如眼镜设备100)的用户所看到的。
图5A还示出了处于张开姿势518的用户的手520。这里示出的张开姿势518是用户的食指和拇指的远端处于超过阈值(例如，3cm)的距离的情况。该张开姿势是一系列姿势(包括如下所述的形成捏手势的随后的闭合姿势)中的一个。
从所示场景的角度来看，用户的手520在门510的前面。该特定门510还包括卷帘512。由NED 305呈现的人工现实环境进一步在卷帘512的底边缘的区域附近(例如，在距离内)覆盖帘致动指示器514。指示器可以具有与周围对象不同的颜色、阴影、照明效果，以指示用户可以与指示器交互。指示器可以成形为要指示的对象的轮廓。这样的形状可以包括圆形、矩形、起始(start)形状等。帘致动指示器514还可以包括指示帘致动指示器514的移动方向的方向箭头。帘致动指示器514还可以包括用于指示帘致动指示器514的移动方向的方向箭头。当用户如下面参考图5B至图5C与该帘致动指示器514交互时，控制器310检测到该交互并致动卷帘512，该卷帘512例如经由无线接口被机械化并通信地耦接到控制器310。该致动可以基于控制器310对用户的手的特定移动的检测或者基于用户的手的某种手势。
图5B示出了根据一个或多个实施方式的在局部区域中的物理控制的致动期间应用于图5A的NED 305的示例性NED滤波器显示。在图5B中，用户的手520现在处于闭合姿势524，其中用户的拇指和食指的远端在彼此的阈值距离内。从张开姿势518的姿势变化被控制器310检测为捏手势。控制器310进一步确定用户的视线是否与用户的拇指和食指的远端之间的点相交。视线定向是在对象和用户眼睛的中央凹区之间的虚构射线。在这种情况下，对象是用户拇指和食指远端之间的点。
在检测到捏手势和用户的视线的交点在用户的食指和拇指的远端之间时，控制器310识别在用户的视线的终点处的对象。如上所述，用户的视线的终点是用户的视线的端点，在该端点处，用户的视线被对象阻挡，该对象对可见光基本上不透明。
在图5B的示例中，对象是卷帘512的底边缘。在识别出卷帘512的该底边缘时，控制器310向NED 305的光学组件320发送指令以改变帘致动指示器514以指示卷帘512控制的致动。对指示器的这种改变可以是形状、颜色、照明、所显示文本的添加的改变，以及可以引起用户注意的任何其他改变。在示出的示例中，该变化由表示帘致动指示器514的轮廓的较厚权重指示。在另一实施方式中，帘致动指示器514可以表示为内部发光的彩色轮廓，并且该变化是强度的增加(例如，轮廓的发光强度增加)。
图5C示出了根据一个或多个实施方式的应用于图5B的NED 305的用于完成局部区域中的物理控制的致动示例性NED滤波器显示。根据图5B，在图5C中，用户的手520沿着Y轴590Y在方向526上向下移动，同时仍然保持捏手势(即，闭合姿势524)。用户的手520沿Y轴590Y的移动也称为垂直移动手势。控制器310检测到用户的手的这种垂直移动手势或方向的改变，并且作为响应，控制器310向卷帘512发送指令以在由方向526指示的向下方向上致动卷帘512，从而使卷帘512的底边缘向下移动并覆盖门510的窗玻璃。控制器310可以指示卷帘512将卷帘512的底边缘移动到与在人工现实环境中投射到门510上的用户的手520的位置相匹配的位置。
控制器310还可以向光学组件320发送指令以移动帘致动指示器522的显示，使其仍然处于与其原始位置相同的X轴和Z轴(590X和590Z)位置，但是处于新的Y轴(590Y)位置，该Y轴位置接近投射到人工现实环境中的门510上的用户的手520的位置。
以上对卷帘512和对帘致动指示器522所做的调节以及用户的手的运动可以是连续的。然而，在某一点，控制器310可以检测到用户已经退出捏手势。这发生在用户的手520返回到张开姿势518之后。可替换地，在一些实施方式中，这发生在用户的食指和拇指的远端之间的距离超过阈值距离之后。此时，控制器310可以对卷帘512和帘致动指示器522进行最终调节，使得它们处于与用户的手520在用户的手退出捏手势之前的最后位置相对应的最终位置。为了确定该最终位置，控制器310可以将在手退出捏手势之前的用户的手的最终位置平移为在3D空间中投射到卷帘512上，并且将该投射位置确定为卷帘512的最终位置。
虽然上述示例描述了控制器310检测捏手势和用户的视线的交点在用户的食指和拇指的远端之间，但是在其他实施方式中，控制器310不检测用户的视线以识别对象(例如，图5A至图5C中的卷帘512)，而是通过从用户的瞳孔上的一点通过用户的食指和拇指的远端之间的一点绘制虚构射线并继续直到虚构射线到达对象。此外，尽管下面的描述是关于确定捏手势和用户的视线两者进行的，但是这里描述的第二方法(即，绘制虚构射线)也可以用于代替针对下面描述的示例确定用户的视线。
图6A示出了根据一个或多个实施方式的应用于NED 305的示例性NED滤波器显示，用于在局部区域中致动开关控制。
在图6A中，用户的手520处于张开姿势518。此外，用户的视线在用户的手的阈值距离内经过并终止于开关610。控制器310还指示光学组件320显示在人工现实环境中的开关指示器612，这里描述为具有发射光线的程式化灯泡，以及围绕开关在人工现实环境中的位置的轮廓。开关指示器612可以在AR环境中显示在距开关610自身的阈值距离以下。
图6B示出了根据一个或多个实施方式的在局部区域中的物理控制的致动期间应用于图6A的NED 305的示例性NED滤波器显示。在图6B中，用户的手520已经完成捏手势并且处于闭合姿势524(捏手势在前面描述)。随后，用户的手也在方向614上向下移动。
在用户的手向下移动之前，控制器310检测到用户的视线与用户的手相交(在用户的食指和拇指的远端之间)，并且进一步终止于开关610。此外，控制器310检测到用户的手520完成捏手势。这可以使控制器310用显示指令更新光学组件320以改变开关指示器612。该改变可以类似于对帘致动指示器514所做的改变(例如，增加指示器的强度)。
此外，控制器310可以在用户的手520基本上沿着Y轴(590Y)向下方向614移动的同时更新所显示的开关指示器612。控制器310可以指示光学组件320在开关指示器610移动之前将开关指示器612的显示移动到在用户的手的阈值距离内的位置，如投射到开关指示器612在3D中的平面上。在图6B的图示中，该平面沿着Z轴(590Z)固定并且平行于X轴和Y轴(590X和590Y)。
在用户的手520沿着Y轴590Y在向下方向614上移动而距用户的手520在形成捏手势的点处的原始位置超过阈值距离之后，控制器310可以进一步向作为用户的视线的终点的对象或与该对象相关的另一设备或元件发送指令，以便指示引起对象的基于用户的手520的移动方向的改变。在这种情况下，对象是开关610，并且因此控制器310向该开关或与开关610相关的设备(例如，灯泡)发送指令。发送的指令取决于用户的手520的移动方向。在这种情况下，用户的手520的向下方向指示关闭与开关610相关联的灯的指令。因此，控制器310向开关610或向与开关610相关联的灯泡发送指令以关闭灯。
此外，在这一点上，控制器310还可以向光学组件320发送指令以改变开关指示器612的显示，以指示由于被发送到对象的指令而引起的对象状态的改变。这里，状态的改变导致灯泡被关闭，并且因此开关指示器612可以被更新以指示灯被关闭，这里由程式化的暗灯泡示出。
此外，控制器310可以随后通过使用户的手返回到张开姿势518来检测用户已经退出捏手势。此时，控制器310可以更新光学组件320以使光学组件320在人工现实环境中在开关610处将开关指示器612显示回到其原始位置。
最后，用户可以可替换地在视线开关的同时对开关610执行捏手势，并且随后在与向下方向614相反的向上方向上移动他或她的手。在控制器310检测到这一点时，控制器310可以向与开关610相关联的开关或设备发送不同的指令，以接通灯(如果灯尚未接通)，并更新所显示的开关指示器612以指示这一变化。
图7A示出了根据一个或多个实施方式的应用于NED 305的用于局部区域中的可变控制的调节的示例性NED滤波器显示。在图7A中，用户的手520处于张开姿势518。此外，用户的视线与用户的手相交并且终止于温度控制器710。尽管特定对象被示出为温度控制器710，但在其他实施方式中，它可以是允许选择可变选项范围的任何类型的控制元件。控制器310还指示光学组件320显示在人工现实环境中的温度控制指示器712，这里描述为程式化的温度计，以及围绕温度控制器710在人工现实环境中的位置的轮廓。温度控制指示器712可以在人工现实环境中显示在距温度控制器710自身的阈值距离之下(即，接近温度控制器)。在具有可变选项范围的另一类型的控制元件的情况下，将示出表示该控制元件的可变选项范围的不同控制指示器。此外，指示当前温度设置的虚拟指示器可以在人工现实环境中以到温度控制器710的阈值距离显示。
图7B示出了根据一个或多个实施方式的应用于图7A的NED 305的在局部区域中可变控制的调节期间的示例性NED滤波器显示。在图7B中，用户的手520已经完成捏手势并且处于闭合姿势524(捏手势在前面描述)。随后，用户的手也沿着Y轴(590Y)在方向716上向上移动。
在用户的手520向上移动之前，控制器310检测到用户的视线与用户的手(在用户的食指和拇指的远端之间)相交，并且进一步终止于温度控制器710。此外，控制器310检测到用户的手520完成捏手势。这可以使控制器310用显示指令更新光学组件320以改变温度控制指示器712。该改变可以类似于对帘致动指示器514所做的改变(例如，增加指示器的强度)。
此外，控制器310可以在用户的手520基本上沿着Y轴590Y在向上方向716上移动的同时更新所显示的温度控制指示器712。控制器310可以指示光学组件320与用户的手一起移动温度控制指示器712。控制器310可以指示光学组件320在温度控制指示器712移动之前，将温度控制指示器712的显示移动到在投射到温度控制指示器712在人工现实环境中的平面上的用户的手的阈值距离内的位置。在图7B的图示中，该平面沿着Z轴590Z固定并且大致平行于X轴和Y轴(590X和590Y)。
在用户的手520在向上方向716上移动超过距用户的手520在形成捏手势的点处的原始位置阈值距离之后，控制器310可以进一步向作为用户的视线的终点的对象或与该对象相关的另一设备或元件送指令，以便指示引起对象的基于用户的手520的移动方向的改变。在这种情况下，对象是温度控制器710，并且因此控制器310向该温度控制器710或与温度控制器710相关的设备(例如，空调单元)发送指令。发送的指令取决于用户的手520的移动方向。在这种情况下，用户的手520的向上方向指示增加温度控制器710的温度设定点的指令。因此，控制器310向温度控制器710发送指令以增加温度设定点。
由于温度控制器710可以将温度设置为各种不同的值，因此由控制器310指示的温度设定点的增加可以取决于用户的手520保持捏手势，并且还保持在距形成捏手势的原始位置的阈值距离之外的持续时间。例如，控制器310可以指示温度控制器710与用户的手520保持在上述位置的持续时间成比例地增加温度设定点。此外，温度设定点的增加也可以或者可选地取决于用户的手520移动的距离。例如，控制器310可以指示温度控制器710与用户的手520从用户形成捏手势的原始位置移动的距离成比例地增加温度设定点。这种基于用户的手的持续时间和/或距离的可变控制可以应用于提供可变输出或响应的任何类型的类似控制选项，并且不限于温度控制。
此外，在这一点上，控制器310还可以向光学组件320发送指令以指示对温度控制器710所做的改变。代替改变温度控制指示器712，指令可以使光学组件320显示指示更新的数字温度设定点的温度指示器714。当温度设定点改变时，控制器310向光学组件320发送更新指令，以相应地更新温度指示器714。
此外，控制器310可以随后通过使用户的手返回到张开姿势518来检测用户已经退出捏手势。此时，控制器310可以更新光学组件320以使光学组件320将温度控制指示器712显示回到其在人工现实环境中的原始位置。
图7C示出了根据一个或多个实施方式的应用于图7B的NED 305的用于局部区域中的可变控制的替代调节的示例性NED滤波器显示。在图7C中，用户做出的捏手势和视线与图7B中的相同，但是用户的手不是沿向上方向移动，而是沿Y轴590Y沿向下方向720移动。在图7C中，用户做出的捏手势和视线与图7B中的捏手势和视线相同，但是用户的手不是沿向上方向移动，而是沿Y轴590Y沿向下方向720移动。因此，由控制器310发送到温度控制器710(或相关设备)的指令是降低温度设定点。类似地，显示不同的温度指示器718，指示温度设定点的降低。与向上方向一样，温度设定点的变化量和/或变化率可以取决于用户的手移动的距离和用户的手在移动的位置中保持的持续时间。
图8A示出了根据一个或多个实施方式的应用于NED 305的用于使用捏手势与上下文菜单进行交互的示例性NED滤波器显示。在图8A中，用户的手520处于张开姿势518。此外，用户的视线在用户的手的阈值距离内经过并终止于温度控制器710。尽管用户的视线终止的特定对象是温度控制器710，但在其他实施方式中，它可以是任何其他类型的控制元件。控制器310还指示光学组件320在人工现实环境中显示温度控制指示器712。
图8B示出了根据一个或多个实施方式的在捏运动期间应用于图8A的NED 305的用于使用捏手势与上下文菜单进行交互的示例性NED滤波器显示。在图8B中，用户的手520已经完成捏手势并且处于闭合姿势524(捏手势在前面描述)。随后，控制器310检测到用户的手也基本上沿着Z轴(590Z)在方向812上向外移动。该方向812可以朝向用户(例如，用户将她的手向后拉向她的身体)。捏手势和向外运动的这种组合可以称为推拉手势。
在用户的手520向外移动之前，控制器310检测到用户的视线与用户的手相交(在用户的食指和拇指的远端之间)，并且进一步终止于温度控制器710。此外，控制器310检测到用户的手520完成捏手势。这可以使控制器310用显示指令更新光学组件320以改变温度控制指示器712(类似于上述改变)。
此外，当用户的手520在向外方向812上移动时，控制器310可以更新所显示的温度控制指示器712。控制器310可以指示光学组件320沿着Z轴(590Z)移动温度控制指示器712的显示，以距人工现实环境中的用户的手阈值距离，或者与在人工现实环境中的用户的手保持相同距离和相对位置。此外，控制器310可以更新光学组件320以显示指示当前温度的虚拟温度指示器，类似于温度指示器718。
图8C示出了根据一个或多个实施方式的在显示上下文菜单期间应用于图8B的NED305的示例性NED滤波器显示。在图8C中，用户的手已经退出捏手势并且已经返回到张开姿势518。在用户的手返回到张开姿势518的位置处，控制器110用指令更新光学组件320，以在靠近图7A至图7C的温度控制指示器712的位置的位置处(例如，在距温度控制指示器712的位置的设定距离内)显示上下文菜单814来代替图7A至图7C所示的温度控制指示器712。上下文菜单812包括与作为用户的视线的终点的对象相关的一个或多个选项。在示出的示例中，由于温度控制器710是上述对象，所以上下文菜单812与温度控制相关，并且提供风扇被设置为“AUTO”或“ON”的选项。
控制器310还可以检测用户使用上下文菜单中的选项之一执行触摸手势(未示出)。当用户的手形成用户的一个手指被伸展的手势，并且手指在人工现实环境中距上下文菜单812中的上下文菜单选项之一的位置阈值距离(例如，2mm)内时，形成触摸手势。在检测到具有上下文菜单812的上下文菜单选项之一的触摸手势时，控制器310向温度控制器710(或与上下文菜单812相关联的其他对象)发送指令以执行与所选上下文菜单选项相关联的指令(例如，将风扇切换为ON)。控制器310还可以向光学组件320发送更新以从显示中移除上下文菜单812，并且再次在人工现实环境中在其靠近温度控制器710的原始位置处显示温度控制指示器712。
在一个实施方式中，控制器310可以检测指示上下文菜单812的取消的动作。该动作可以包括针对局部区域中单独对象的用户的视线的捏手势，或者可以包括与上下文菜单812的上下文菜单选项之一相邻的区域的触摸手势。这使得控制器310还从显示移除上下文菜单812(通过向光学组件320发送指令)。可替换地，上下文菜单812可以具有取消选项，并且当控制器310检测到具有该取消选项的触摸手势时，其从显示移除上下文菜单812。
图9A示出了根据一个或多个实施方式的在由于捏手势而在信息菜单的显示之前应用于NED 305的示例性NED滤波器显示。在图9A中，用户的手520处于张开姿势518。此外，用户的视线在阈值距离内经过到用户的手并且终止于绘画910。尽管用户的视线终止在其处的特定对象是绘画，但在其他实施方式中，它可以是任何其他类型的元素。在一个实施方式中，控制器310还指示光学组件320在人工现实环境中在绘画910附近显示指示器(未示出)。
图9B示出了根据实施方式的由于捏手势而在信息菜单的显示期间应用于图9B的NED的示例性NED滤波器显示。在图9B中，用户的手520已经完成捏手势并且处于闭合姿势524(捏手势在前面描述)。随后，用户的手也基本上沿着X轴(590X)在方向912上向右移动。检测到的沿着用户的手520的X轴(590X)的移动也可以称为水平移动手势。
在用户的手520向右移动之前，控制器310检测到用户的视线与用户的手相交(在用户的食指和拇指的远端之间)，并且进一步终止于画910。此外，控制器310检测到用户的手520完成捏手势。
一旦控制器310检测到用户的手520已经沿着方向912向右移动超过阈值距离，控制器310就向光学组件320发送更新，以显示与作为用户的视线的终点的对象(即，绘画910)相关的信息显示914。这里，信息显示914包括关于绘画910的信息。信息显示914显示在人工现实环境中的对象的阈值距离内(例如，5cm)，并且其大小使得信息显示914上的文本或其他信息对于用户是可读的。虽然控制器310使得当用户的手520沿着方向912向右移动时出现信息显示914，但在其他实施方式中，当用户的手520沿着另一方向(例如，左)移动时可以出现信息显示914。
此外，在一个实施方式中，当检测到用户的手520已经退出捏手势，用户的视线聚焦在不同的对象上，或者用信息显示914检测到触摸手势时，控制器310向光学组件320发送更新以移除信息显示914。
图10A示出了根据一个或多个实施方式的在利用视线使用捏手势的投射操纵之前应用于NED 305的示例性NED滤波器显示。在图10A中，用户的手520处于闭合姿势524。此外，用户的视线与用户的手的食指和拇指的远端之间的点相交，并且终止于显示器1010。尽管用户的视线终止在其处的特定对象是膝上型计算机显示器，但在其他实施方式中，它可以是任何其他类型的显示元件。在一个实施方式中，控制器310还指示光学组件320在显示器1010附近的人工现实环境中显示投射屏幕指示器1012。在检测到在当前位置处的用户的手的捏手势时，控制器310可以进一步指示光学组件320在投射屏幕指示器1012中显示变化。如图所示，投射屏幕指示符1012可以被设计成经由文本或图形向用户指示投射显示的能力。
图10B示出了根据一个或多个实施方式的在利用视线使用捏手势的投射操纵期间应用于图10A的NED 305的示例性NED滤波器显示。在图10B中，用户的手520沿方向1016朝向图示中的后壁1024移动。在检测到这种移动时，控制器310可以向光学组件320发送指令，以在人工现实环境中以到用户的手520的阈值距离向用户显示显示器1010的虚拟副本1014，如图所示。
图10C示出了根据一个或多个实施方式的在利用视线使用捏手势的投射操纵之后应用于图10B的NED 305的示例性NED滤波器显示。在图10C中，用户的手已经退出捏手势。此外，用户的手执行投掷手势。该投掷手势包括捏手势、用户的手的移动、以及随后用户的手的捏手势的退出(即，返回到张开姿势518)。在一个实施方式中，只有当用户的手的移动超过阈值速度时才检测到投掷手势。用户的手从用户的眼睛位置的投射终止于后壁1024。
当控制器310检测到投掷手势时，控制器310执行指令以对投掷手势的目标执行一些动作，在这种情况下，投掷手势的目标是后壁1024。在一个实施方式中，指令用于控制器310以确定用户的手的移动的路径在松开捏手势的位置处的投射是否结束于可投射表面处。在一个实施方式中，指令用于控制器310以确定用户的手的移动的路径在松开捏手势的位置处的投射是否结束于可投射表面处。在另一实施方式中，可以通过检测用户的视线定向指向哪里来确定目标，其中视线定向的终点是目标。控制器310可以存储局部区域中的可投射表面的列表。由于投影仪或显示器可用于在该表面上显示图像，因此可以将这些表面投射到该表面上。
在所示示例中，可以使用投影仪投射到后壁1024上。因此，控制器310指示作为显示器1010的一部分的膝上型计算机向投影仪发送显示器1010的镜像，以将显示器1010投射为后壁1024上的投射显示器1018。
在一个实施方式中，控制器310还可以检测用户的视线与用户的手的捏手势相交并且终止于投射显示器1018。控制器310还检测用户的手520的移动，同时仍然执行捏手势到用户的手的投射未终止于局部区域中的可投射表面(例如，在没有相关联的投影仪或显示器的墙壁或表面上)的位置。在这种情况下，控制器310可以向投射显示器1018的投影仪发送指令以禁用投射。
图10D示出了根据一个或多个实施方式的在使用具有视线的捏手势的替代投射操纵之后应用于图10B的NED 305的示例性NED滤波器显示。在图10D中，用户的手执行与先前在图10C中所示的显示器1010类似的“投掷”，然而，这次在双屏幕1022处松开用户的手520的捏手势。在这种情况下，控制器310将用户的手520的投射终点检测为双屏幕1022，并指示显示器1010的膝上型计算机将显示器1010的副本发送到双屏幕1022。
示例性流程
图11是示出根据实施方式的用于在NED系统中提供远距离对象操纵的方法的流程图。在一个实施方式中，流程图中的步骤可以由控制器310执行。在另一实施方式中，这些步骤可以由系统300中描述的另一组件执行。尽管流程图暗示了特定的顺序，但在其他实施方式中，流程图中的步骤可以以不同的顺序执行。
控制器310使用所捕获的眼睛的图像来确定眼睛追踪信息(1110)。眼睛追踪信息指示视线定向，并且视线定向终止于第一位置。例如，该第一位置可以是局部区域中的对象。
控制器310基于所捕获的用户的手的图像确定用户的手的姿势指示捏手势(1120)。捏手势由用户的拇指和食指的移动形成，使得用户的拇指和食指的远端之间的距离在阈值内。此外，先前所述的视线定向在用户的拇指和食指的远端之间，即，用户的视线在用户的拇指和食指之间经过(并且终止于该位置)。
控制器310识别局部区域中的位于第一位置的对象(1130)。例如，对象可以是开关、显示元件、致动器等。该对象可以经由允许控制器310控制或配置对象的通信接口耦接到NED系统。
控制器310更新显示指令，以使NED系统的光学组件(例如，光学组件320)的电子显示器显示对人工现实环境中的对象的选择的指示(1140)。选择的指示显示在人工现实环境中的对象的位置的阈值距离内。然后，用户可以通过执行各种手势(例如捏手势)并在各种方向上移动他或她的手来操纵对象。例如，通过执行捏手势并向下移动手，用户能够调整位于用户的视线结束处的开关以关闭。当控制器310检测到用户的手势和手的移动并向开关或其它控制单元发送指令以关闭由开关指示的目标时，可以实现这一点。
附加配置信息
以上对本公开实施方式的描述是为了说明的目的而呈现的；它并不旨在是详尽无遗的，也不是将本公开限于所公开的确切形式。相关领域的技术人员可以理解，根据上述公开，许多修改和变化是可能的。例如，虽然在上图所示的场景中使用特定对象作为示例，但是这些对象可以与其他对象互换以实现类似的效果。
本说明书的一些部分根据对信息的操作的算法和符号表示来描述本公开的实施方式。这些算法描述和表示通常由数据处理领域的技术人员使用，以将其工作的实质有效地传达给本领域的其他技术人员。这些操作虽然在功能上、计算上或逻辑上被描述，但应理解为通过计算机程序或等效电路、微代码等来实现。此外，还证明了，有时将这些操作安排称为模块是方便的，而又不失一般性。所描述的操作及其相关联的模块可以体现在软件、固件、硬件或其任何组合中。
本文中描述的任何步骤、操作或过程可以单独地或与其他设备组合地用一个或多个硬件或软件模块来执行或实现。在一个实施方式中，用计算机程序产品实现软件模块，计算机程序产品包括包含计算机程序代码的计算机可读介质，计算机程序代码可以由计算机处理器执行以执行所描述的步骤、操作或过程中的任一个或所有。
本公开的实施方式还可以涉及用于执行本文中的操作的装置。该装置可以为所需目的而专门构造，和/或其可包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这样的计算机程序可以存储在非瞬时的、有形的计算机可读存储介质中，或者适合于存储电子指令的任何类型的介质中，介质可以耦接到计算机系统总线。此外，本说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以增加计算能力的体系结构。
本公开的实施方式还可以涉及由本文中描述的计算过程产生的产品。这样的产品可以包括从计算过程得到的信息，其中该信息存储在非瞬时的、有形的计算机可读存储介质上，并且可以包括计算机程序产品的任何实施方式或本文中描述的其他数据组合。
最后，在说明书中使用的语言主要是出于可读性和指导目的而被选择的，并且它可能没有被选择来描绘或限定本发明的主题。因此，本公开的范围不受此详细描述的限制，而是受基于此的申请发布的任何权利要求的限制。因此，实施方式的公开旨在说明但不限制在所附权利要求中阐述的公开的范围。
Claims (20)
1.一种系统，包括：
近眼显示器(NED)，包括：
光学组件，所述光学组件具有被配置为根据显示指令显示图像的电子显示器；
成像传感器，被配置为捕获用户的手的图像；
眼睛成像传感器，被配置为在所述用户的眼睛看向所述NED周围的局部区域时捕获所述眼睛的图像；以及
控制器，被配置为：
使用所捕获的所述眼睛的图像来确定眼睛追踪信息，所述眼睛追踪信息指示视线定向，其中，所述视线定向终止于第一位置；
基于所捕获的所述用户的手的图像确定所述用户的手的姿势指示捏手势，所述捏手势由通过所述用户的拇指和食指的移动从而使得所述用户的拇指和食指的远端之间的距离在阈值内而形成，并且所述视线定向在所述用户的拇指和食指的所述远端之间；
识别所述局部区域中的位于所述第一位置的对象；以及
更新所述显示指令以使所述电子显示器显示对人工现实环境中的所述对象的选择的指示，所述选择的指示在所述人工现实环境中的所述对象的位置的阈值距离内。
2.根据权利要求1所述的系统，其中，所述控制器还被配置为：
向所述对象发送一个或多个可执行指令，所述可执行指令将由所述对象响应于所述捏手势来执行。
3.根据权利要求1所述的系统，其中，所述控制器还被配置为：
向与所述对象相关联的设备发送一个或多个可执行指令，所述可执行指令将由所述设备响应于所述捏手势来执行。
4.根据权利要求1所述的系统，其中，所述控制器还被配置为：
确定所述用户的手的姿势指示垂直移动手势，所述垂直移动手势由所述用户的手在垂直方向上的移动形成；并且
向所述对象发送可执行指令以引起所述对象的对应于所述垂直移动手势的方向的改变。
5.根据权利要求4所述的系统，其中，所述控制器还被配置为：
更新所述显示指令以使所述电子显示器显示所述人工现实环境中的所述改变的指示，所述改变的指示在所述人工现实环境中的所述对象的位置的阈值距离内。
6.根据权利要求1所述的系统，其中，所述控制器还被配置为：
确定所述用户的手的姿势指示水平移动手势，所述水平移动手势由所述用户的手在水平方向上的移动形成；并且
更新所述显示指令，以使所述电子显示器在所述人工现实环境中与所述人工现实环境中的所述对象的位置在阈值距离内的位置处显示与所述对象相关联的信息元素。
7.根据权利要求1所述的系统，其中，所述控制器还被配置为：
确定所述用户的手的姿势指示在与所述用户的所述视线定向相对应的直线路径在阈值程度内正交的二维(2D)平面中的移动；以及
向所述对象发送可执行指令以引起所述对象的对应于所述2D平面中的移动手势的方向的改变。
8.根据权利要求1所述的系统，其中，所述控制器还被配置为：
确定所述用户的手的姿势指示推拉移动手势，所述推拉移动由所述用户的手沿着与对应于所述用户的所述视线定向的直线路径在阈值程度内平行的方向的移动形成；并且
向所述对象发送可执行指令以引起所述对象的对应于所述推拉移动手势的方向的改变。
9.根据权利要求1所述的系统，其中，所述控制器还被配置为：
确定所述用户的手的姿势指示推拉移动手势，所述推拉移动由所述用户的手沿着与对应于所述用户的所述视线定向的直线路径在阈值程度内平行的方向的移动形成；以及
更新所述显示指令，以使所述电子显示器在所述人工现实环境中距所述人工现实环境中的所述用户的手的位置为阈值距离的位置处显示与所述对象相关联的模拟上下文菜单。
10.根据权利要求9所述的系统，其中，所述控制器还被配置为：
确定所述用户的手的姿势指示与所述模拟上下文菜单的上下文菜单选项之一相交的触摸手势，所述触摸手势由所述用户的手指中的至少一个手指至在所述上下文菜单选项之一的阈值距离内的移动形成；并且
向所述对象发送可执行指令，以引起所述对象的对应于所相交的上下文菜单选项的改变。
11.根据权利要求1所述的系统，其中，所述控制器还被配置为：
确定所述用户的手的姿势指示投掷手势，所述投掷手势由所述用户的手以超过阈值的移动速度的在一方向上的第一移动和所述用户的食指与拇指之间的距离的增加超过阈值的第二移动形成，所述第二移动发生在所述第一移动的阈值间隔内；并且
向所述对象发送可执行指令，以引起所述对象的基于所述投掷手势的所述第一移动的方向的改变。
12.根据权利要求11所述的系统，其中，所述控制器还被配置为：
识别由所述投掷手势的所述第一移动的方向指示的目标；并且其中，所述可执行指令使所述对象针对所述目标执行动作。
13.根据权利要求11所述的系统，其中，所述目标是选定图像呈现设备能够在其上呈现图像的表面，其中，所述对象包括显示器，并且其中，所述可执行指令使所述对象向所述选定图像呈现设备发送信号以呈现也在所述对象的所述显示器上呈现的图像。
14.一种近眼显示器(NED)，包括：
光学组件，所述光学组件具有被配置为根据显示指令显示图像的电子显示器；
成像传感器，被配置为捕获用户的手的图像；
眼睛成像传感器，被配置为在所述用户的眼睛看向所述NED周围的局部区域时捕获所述眼睛的图像；以及
控制器，被配置为：
使用所捕获的所述眼睛的图像来确定眼睛追踪信息，所述眼睛追踪信息指示视线定向，其中，所述视线定向终止于第一位置；
基于所捕获的所述用户的手的图像确定所述用户的手的姿势指示捏手势，所述捏手势由所述用户的拇指和食指的移动从而使得所述用户的拇指和食指的远端之间的距离在阈值内而形成，并且所述视线定向在所述用户的拇指和食指的所述远端之间；
识别所述局部区域中的位于所述第一位置的对象；以及
更新所述显示指令以使所述电子显示器显示对人工现实环境中的所述对象的选择的指示，所述选择的指示在所述人工现实环境中的所述对象的位置的阈值距离内。
15.根据权利要求14所述的NED，其中，所述控制器还被配置为：
向所述对象发送一个或多个可执行指令，所述可执行指令将由所述对象响应于所述捏手势来执行。
16.根据权利要求14所述的NED，其中，所述控制器还被配置为：
确定所述用户的手的姿势指示垂直移动手势，所述垂直移动手势由所述用户的手在垂直方向上的移动形成；并且
向所述对象发送可执行指令以引起所述对象的对应于所述垂直移动手势的方向的改变。
17.根据权利要求16所述的NED，其中，所述控制器还被配置为：
更新所述显示指令以使所述电子显示器显示所述人工现实环境中的所述改变的指示，所述改变的指示在所述人工现实环境中的所述对象的位置的阈值距离内。
18.根据权利要求14所述的NED，其中，所述控制器还被配置为：
确定所述用户的手的姿势指示水平移动手势，所述水平移动手势由所述用户的手在水平方向上的移动形成；以及
更新所述显示指令，以使所述电子显示器在所述人工现实环境中与所述人工现实环境中的所述对象的位置在阈值距离内的位置处显示与所述对象相关联的信息元素。
19.根据权利要求14所述的NED，其中，所述控制器还被配置为：
确定所述用户的手的姿势指示推拉移动手势，所述推拉移动由所述用户的手沿着与对应于所述用户的视线的直线路径在阈值程度内平行的方向的移动形成；并且
更新所述显示指令，以使所述电子显示器在所述人工现实环境中距所述人工现实环境中的所述用户的手的位置为阈值距离的位置处显示与所述对象相关联的模拟上下文菜单。
20.根据权利要求14所述的NED，其中，所述控制器还被配置为：
确定所述用户的手的姿势指示投掷手势，所述投掷手势由所述用户的手以超过阈值的移动速度在一方向上的第一移动和所述用户的食指与拇指之间的距离的增加超过阈值的第二移动形成，所述第二移动发生在所述第一移动的阈值间隔内；并且
向所述对象发送可执行指令，以引起所述对象的基于所述投掷手势的所述第一移动的方向的改变。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/867,634 US10739861B2 (en) | 2018-01-10 | 2018-01-10 | Long distance interaction with artificial reality objects using a near eye display interface |
| US15/867,634 | 2018-01-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110045816A true CN110045816A (zh) | 2019-07-23 |
| CN110045816B CN110045816B (zh) | 2022-05-31 |
Family
ID=67139495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910021093.9A Active CN110045816B (zh) | 2018-01-10 | 2019-01-09 | 近眼显示器和系统 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10739861B2 (zh) |
| CN (1) | CN110045816B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110824699A (zh) * | 2019-12-25 | 2020-02-21 | 歌尔科技有限公司 | 一种近眼显示设备的眼球追踪系统及近眼显示设备 |
| CN114174960A (zh) * | 2019-09-20 | 2022-03-11 | 脸谱科技有限责任公司 | 虚拟环境中的投影投射 |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9132352B1 (en) | 2010-06-24 | 2015-09-15 | Gregory S. Rabin | Interactive system and method for rendering an object |
| US10867445B1 (en) * | 2016-11-16 | 2020-12-15 | Amazon Technologies, Inc. | Content segmentation and navigation |
| US10914957B1 (en) | 2017-05-30 | 2021-02-09 | Apple Inc. | Video compression methods and apparatus |
| US11169613B2 (en) * | 2018-05-30 | 2021-11-09 | Atheer, Inc. | Augmented reality task flow optimization systems |
| US10527854B1 (en) * | 2018-06-18 | 2020-01-07 | Facebook Technologies, Llc | Illumination source for a waveguide display |
| US10810758B2 (en) * | 2018-06-27 | 2020-10-20 | General Electric Company | Method and system using augmentated reality for positioning of ECG electrodes |
| US10936051B2 (en) * | 2018-09-20 | 2021-03-02 | Dell Products, L.P. | Power management for gesture recognition in virtual, augmented, and mixed reality (xR) applications |
| US10833945B2 (en) * | 2018-11-13 | 2020-11-10 | International Business Machines Corporation | Managing downloading of content |
| US11288733B2 (en) * | 2018-11-14 | 2022-03-29 | Mastercard International Incorporated | Interactive 3D image projection systems and methods |
| US10877568B2 (en) * | 2018-12-19 | 2020-12-29 | Arizona Board Of Regents On Behalf Of Arizona State University | Three-dimensional in-the-air finger motion based user login framework for gesture interface |
| US11397463B2 (en) * | 2019-01-12 | 2022-07-26 | Microsoft Technology Licensing, Llc | Discrete and continuous gestures for enabling hand rays |
| US10936055B2 (en) * | 2019-01-24 | 2021-03-02 | Dell Products, L.P. | Encoding content for virtual, augmented, and mixed reality (xR) applications in connectivity-constrained environments |
| US10866563B2 (en) * | 2019-02-13 | 2020-12-15 | Microsoft Technology Licensing, Llc | Setting hologram trajectory via user input |
| WO2020166582A1 (ja) * | 2019-02-15 | 2020-08-20 | 株式会社Ｊｖｃケンウッド | 画像調整システム、画像調整装置、及び画像調整方法 |
| CN117590582A (zh) * | 2019-04-11 | 2024-02-23 | 三星电子株式会社 | 头戴式显示设备及其操作方法 |
| US11086475B1 (en) * | 2019-06-07 | 2021-08-10 | Facebook Technologies, Llc | Artificial reality systems with hand gesture-contained content window |
| US20200393156A1 (en) * | 2019-06-12 | 2020-12-17 | Alibaba Group Holding Limited | Temperature adjustment feedback system in response to user input |
| KR20190106851A (ko) * | 2019-08-27 | 2019-09-18 | 엘지전자 주식회사 | Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스 |
| WO2021073743A1 (en) * | 2019-10-17 | 2021-04-22 | Huawei Technologies Co., Ltd. | Determining user input based on hand gestures and eye tracking |
| EP4111291A4 (en) * | 2020-02-26 | 2023-08-16 | Magic Leap, Inc. | HAND GESTURE INPUT FOR A PORTABLE SYSTEM |
| CN111612780B (zh) * | 2020-05-27 | 2023-05-16 | 北京小米松果电子有限公司 | 人眼视力识别方法、装置及计算机存储介质 |
| US11804039B2 (en) * | 2020-05-28 | 2023-10-31 | Science House LLC | Systems, methods, and apparatus for enhanced cameras |
| US11995774B2 (en) * | 2020-06-29 | 2024-05-28 | Snap Inc. | Augmented reality experiences using speech and text captions |
| US11335068B2 (en) * | 2020-07-27 | 2022-05-17 | Facebook Technologies, Llc. | Systems and methods for user interaction with artificial reality environments |
| US20220051050A1 (en) * | 2020-08-12 | 2022-02-17 | Micron Technology, Inc. | Presentation of digitized images from user drawings |
| US11176755B1 (en) | 2020-08-31 | 2021-11-16 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
| US11227445B1 (en) | 2020-08-31 | 2022-01-18 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
| WO2022055820A1 (en) * | 2020-09-11 | 2022-03-17 | Sterling Labs Llc | Method of displaying selectable options |
| US11113893B1 (en) * | 2020-11-17 | 2021-09-07 | Facebook Technologies, Llc | Artificial reality environment with glints displayed by an extra reality device |
| DE102020214811A1 (de) | 2020-11-25 | 2022-05-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Betreiben einer Datenbrille und Datenbrille |
| US11409405B1 (en) | 2020-12-22 | 2022-08-09 | Facebook Technologies, Llc | Augment orchestration in an artificial reality environment |
| CN117480481A (zh) * | 2021-06-14 | 2024-01-30 | 苹果公司 | 内容堆栈 |
| US11762952B2 (en) | 2021-06-28 | 2023-09-19 | Meta Platforms Technologies, Llc | Artificial reality application lifecycle |
| WO2023028570A1 (en) * | 2021-08-27 | 2023-03-02 | Chinook Labs Llc | Displaying and manipulating user interface elements |
| US11880504B2 (en) * | 2021-09-28 | 2024-01-23 | Ramot At Tel-Aviv University Ltd. | Automatic preference quantification of displayed objects based on eye tracker data |
| US11748944B2 (en) | 2021-10-27 | 2023-09-05 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
| US11798247B2 (en) | 2021-10-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
| US11886646B2 (en) * | 2022-04-01 | 2024-01-30 | Snap Inc. | Personalized calibration of user interfaces |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130154913A1 (en) * | 2010-12-16 | 2013-06-20 | Siemens Corporation | Systems and methods for a gaze and gesture interface |
| US20140226131A1 (en) * | 2013-02-14 | 2014-08-14 | The Eye Tribe Aps | Systems and methods of eye tracking calibration |
| US20150130740A1 (en) * | 2012-01-04 | 2015-05-14 | Tobii Technology Ab | System for gaze interaction |
| US20150205494A1 (en) * | 2014-01-23 | 2015-07-23 | Jason Scott | Gaze swipe selection |
| US20150205362A1 (en) * | 2014-01-17 | 2015-07-23 | Korea Institute Of Science And Technology | User interface apparatus and method for controlling the same |
| US20150338651A1 (en) * | 2012-07-27 | 2015-11-26 | Nokia Corporation | Multimodal interation with near-to-eye display |
| CN105190481A (zh) * | 2013-03-15 | 2015-12-23 | 英特尔公司 | 响应于操作人员位置和手势的用户接口 |
| US20170061694A1 (en) * | 2015-09-02 | 2017-03-02 | Riccardo Giraldi | Augmented reality control of computing device |
| CN107368191A (zh) * | 2012-01-04 | 2017-11-21 | 托比股份公司 | 用于注视交互的系统 |
| US20180157398A1 (en) * | 2016-12-05 | 2018-06-07 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013093906A1 (en) * | 2011-09-19 | 2013-06-27 | Eyesight Mobile Technologies Ltd. | Touch free interface for augmented reality systems |
| US9552673B2 (en) * | 2012-10-17 | 2017-01-24 | Microsoft Technology Licensing, Llc | Grasping virtual objects in augmented reality |
| WO2014106823A2 (en) * | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities |
| US10228242B2 (en) * | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
| US9550419B2 (en) * | 2014-01-21 | 2017-01-24 | Honda Motor Co., Ltd. | System and method for providing an augmented reality vehicle interface |
| US9785247B1 (en) * | 2014-05-14 | 2017-10-10 | Leap Motion, Inc. | Systems and methods of tracking moving hands and recognizing gestural interactions |
| US10296359B2 (en) * | 2015-02-25 | 2019-05-21 | Bae Systems Plc | Interactive system control apparatus and method |
| GB201517101D0 (en) * | 2015-09-28 | 2015-11-11 | Univ Essex Entpr Ltd | Mixed-reality system |
| US11347054B2 (en) * | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
| JP6774367B2 (ja) * | 2017-04-11 | 2020-10-21 | 富士フイルム株式会社 | ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム |
| JP6257826B1 (ja) * | 2017-05-31 | 2018-01-10 | 株式会社コロプラ | 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置 |
| US20190129607A1 (en) * | 2017-11-02 | 2019-05-02 | Samsung Electronics Co., Ltd. | Method and device for performing remote control |
-
2018
- 2018-01-10 US US15/867,634 patent/US10739861B2/en active Active
-
2019
- 2019-01-09 CN CN201910021093.9A patent/CN110045816B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130154913A1 (en) * | 2010-12-16 | 2013-06-20 | Siemens Corporation | Systems and methods for a gaze and gesture interface |
| US20150130740A1 (en) * | 2012-01-04 | 2015-05-14 | Tobii Technology Ab | System for gaze interaction |
| CN107368191A (zh) * | 2012-01-04 | 2017-11-21 | 托比股份公司 | 用于注视交互的系统 |
| US20150338651A1 (en) * | 2012-07-27 | 2015-11-26 | Nokia Corporation | Multimodal interation with near-to-eye display |
| US20140226131A1 (en) * | 2013-02-14 | 2014-08-14 | The Eye Tribe Aps | Systems and methods of eye tracking calibration |
| CN105190481A (zh) * | 2013-03-15 | 2015-12-23 | 英特尔公司 | 响应于操作人员位置和手势的用户接口 |
| US20150205362A1 (en) * | 2014-01-17 | 2015-07-23 | Korea Institute Of Science And Technology | User interface apparatus and method for controlling the same |
| US20150205494A1 (en) * | 2014-01-23 | 2015-07-23 | Jason Scott | Gaze swipe selection |
| US20170061694A1 (en) * | 2015-09-02 | 2017-03-02 | Riccardo Giraldi | Augmented reality control of computing device |
| US20180157398A1 (en) * | 2016-12-05 | 2018-06-07 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114174960A (zh) * | 2019-09-20 | 2022-03-11 | 脸谱科技有限责任公司 | 虚拟环境中的投影投射 |
| CN110824699A (zh) * | 2019-12-25 | 2020-02-21 | 歌尔科技有限公司 | 一种近眼显示设备的眼球追踪系统及近眼显示设备 |
| CN110824699B (zh) * | 2019-12-25 | 2020-12-04 | 歌尔光学科技有限公司 | 一种近眼显示设备的眼球追踪系统及近眼显示设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110045816B (zh) | 2022-05-31 |
| US20190212827A1 (en) | 2019-07-11 |
| US10739861B2 (en) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110045816A (zh) | 近眼显示器和系统 | |
| CN110647237B (zh) | 在人工现实环境中基于手势的内容共享 | |
| US11157725B2 (en) | Gesture-based casting and manipulation of virtual content in artificial-reality environments | |
| CN110646938B (zh) | 近眼显示器系统 | |
| US11925863B2 (en) | Tracking hand gestures for interactive game control in augmented reality | |
| CN110018736B (zh) | 人工现实中的经由近眼显示器界面的对象增强 | |
| CN107004279B (zh) | 自然用户界面相机校准 | |
| CN103443742B (zh) | 用于凝视和姿势接口的系统和方法 | |
| KR20230074780A (ko) | 검출된 손 제스처들에 응답한 터치리스 포토 캡처 | |
| US11520399B2 (en) | Interactive augmented reality experiences using positional tracking | |
| CN103347437B (zh) | 3d映射环境中的凝视检测 | |
| US9986228B2 (en) | Trackable glasses system that provides multiple views of a shared display | |
| KR20190094381A (ko) | 혼합 현실 환경의 가상 사용자 입력 콘트롤들 | |
| WO2013185714A1 (zh) | 增强现实中识别对象的方法及系统和计算机 | |
| CN114730094A (zh) | 具有人工现实内容的变焦显示的人工现实系统 | |
| US11954268B2 (en) | Augmented reality eyewear 3D painting | |
| CN110377148B (zh) | 计算机可读介质、训练对象检测算法的方法及训练设备 | |
| KR20150093831A (ko) | 혼합 현실 환경에 대한 직접 상호작용 시스템 | |
| US10652525B2 (en) | Quad view display system | |
| CN103517742A (zh) | 手动且基于相机的化身控制 | |
| US10896545B1 (en) | Near eye display interface for artificial reality applications | |
| US20220256137A1 (en) | Position calculation system | |
| CN206906983U (zh) | 增强现实设备 | |
| CN207198800U (zh) | 一种手势识别的vr三维体验系统 | |
| Rompapas | Designing for large scale high fidelitycollaborative augmented reality experiences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Jin Zhenguo Inventor after: Albert Peter Huang Inventor before: Kenrik Zheng-Guo Jin Inventor before: Albert Peter Huang |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: California, USA Patentee after: Yuan Platform Technology Co.,Ltd. Address before: California, USA Patentee before: Facebook Technologies, LLC |
|
| CP01 | Change in the name or title of a patent holder |