CN110647237A - 在人工现实环境中基于手势的内容共享 - Google Patents

在人工现实环境中基于手势的内容共享 Download PDF

Info

Publication number
CN110647237A
CN110647237A CN201910395562.3A CN201910395562A CN110647237A CN 110647237 A CN110647237 A CN 110647237A CN 201910395562 A CN201910395562 A CN 201910395562A CN 110647237 A CN110647237 A CN 110647237A
Authority
CN
China
Prior art keywords
user
ned
hand
gesture
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910395562.3A
Other languages
English (en)
Other versions
CN110647237B (zh
Inventor
阿尔贝特·彼得·黄
丹尼尔·安德森
金振国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN110647237A publication Critical patent/CN110647237A/zh
Application granted granted Critical
Publication of CN110647237B publication Critical patent/CN110647237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及在人工现实环境中基于手势的内容共享。具体地，实施方式涉及一种用于向用户显示人工现实内容的近眼显示(NED)系统。在一些实施方式中，多个用户可以在局部区域中，每个用户使用不同的NED。第一NED的第一用户可以使用第一NED观看虚拟内容。该第一NED可以包括能够捕获该局部区域的图像的成像装置，允许该第一NED识别由该第一用户和/或由该局部区域中的其他用户执行的手势。在一些实施方式中，该第一NED可以响应于检测到由该第一用户执行的一个或多个预定手势，使用第二NED与第二用户共享显示给该第一用户的虚拟内容，以允许该第二用户通过该第二NED观看虚拟内容。

Description

在人工现实环境中基于手势的内容共享
技术领域
本发明的公开内容大体涉及一种手势和眼睛跟踪系统，并且具体地涉及在人工现实环境中基于手势的内容共享。
背景技术
增强现实系统通常依赖于可穿戴设备，这些设备具有比传统虚拟现实(VR)头戴式设备更小的外形。增强现实系统的使用对用户交互提出了新的挑战。在增强现实系统中，过去用户与局部区域交互的方法可能是不充分的或不是最佳的。例如，在不使用增强现实的情况下，用户可能需要与局部区域中的设备进行物理交互，以便能够改变该设备。然而，对于增强现实的用户，可以升级设备和用户体验以允许用户使用除简单的物理交互之外的方法在设备中引起改变。然而，用户体验中的这种变化应该是用户直观理解的，并且在技术上是可行的。增强现实中用户交互的当前方法不容易直观，并且未开拓增强现实系统的技术能力，因此不是最佳的使用方法。
发明内容
实施方式涉及一种用于向用户显示人工现实内容的近眼显示(NED)系统。在一些实施方式中，多个用户可以在局部区域中，每个用户使用不同的NED。第一NED的第一用户可以使用第一NED观看虚拟内容。该第一NED可以包括能够捕获局部区域的图像的成像装置，允许该第一NED识别由第一用户和/或由局部区域中的其他用户执行的手势。在一些实施方式中，第一NED可以响应于检测到由第一用户执行的一个或多个预定手势，使用第二NED与第二用户共享显示给第一用户的虚拟内容，以允许第二用户通过第二NED观看虚拟内容。
在一些实施方式中，该系统包括：NED，NED包括具有电子显示器的光学组件，电子显示器被配置成根据显示指令显示图像；以及成像装置，被配置成捕获NED的局部区域的一部分的一个或多个图像。该系统进一步包括控制器，控制器被配置为使用所捕获的一个或多个图像来确定位于局部区域内的NED的第一用户的手的位置，并且识别NED的局部区域内与第二NED相关联的第二用户。控制器被配置为使用NED向第一用户显示对应于第一内容项的第一虚拟对象。
在一些实施方式中，第一用户可通过执行可由系统的成像装置检测的一个或多个手势来与第二用户共享第一内容项，从而允许第二用户使用第二NED来查看和/或操纵内容项。例如，控制器可以向第二NED发送第一消息以使第二NED向第二用户显示第一虚拟对象的表示，其中，向第二用户遮蔽第一内容项中的与第一虚拟对象相对应的内容，并且基于手的一个或多个确定位置来识别由第一用户的手执行的手势，该手势对应于一个或多个手移动或手位置的预定序列。响应于识别手势，控制器向第二NED发送使第二NED能够访问第一内容项的第二消息，并且使得第二NED向第二用户显示第一虚拟对象的第二表示，其中，第一内容项中的对应于第一虚拟对象的内容对于第二用户是可见的。在一些实施方式中，手势可以包括第一用户的第一只手从第一用户的第二只手的阈值距离内开始在基本上水平的弧形路径上的移动，类似于打开书。在一些实施方式中，手势可包括第一用户的第一只手向第二用户的手的移动。此外，第一NED还可以检测第二用户的手向第一用户的第一只手的移动，以模拟对象在第一和第二用户之间的传递。
附图说明
图1是根据一个或多个实施方式的眼镜装置的示图。
图2是根据一个或多个实施方式的图1的眼镜装置的剖面图。
图3是根据一个或多个实施方式的具有眼睛跟踪器的NED系统的框图。
图4示出了根据一个或多个实施方式的可由眼镜装置向用户显示的虚拟菜单的实例。
图5是根据一个或多个实施方式的用于基于所识别的手势操纵人工现实环境的示例过程的流程图。
图6A示出了根据一个或多个实施方式的另一用户具有第一用户不能查看的内容的视图。
图6B示出了根据一个或多个实施方式的在另一用户已经与第一用户共享内容之后使得内容对于第一用户可见的视图。
图6C示出了根据一个或多个实施方式的另一用户通过使用指向设备共享内容的视图。
图7示出了根据一个或多个实施方式的共享数据的另一个实例。
图8示出了根据一个或多个实施方式的用于在NED系统的不同用户之间共享数据的示例过程的流程图。
附图仅出于说明的目的描绘了本公开内容的实施方式。本领域技术人员将从下面的描述中容易地认识到，在不背离在此描述的公开内容的原理或利益的情况下，可以采用在此示出的结构和方法的替代实施方式。
具体实施方式
本发明的实施方式可以包括或结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式调整的现实形式，人工现实可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实、或其一些组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕获的(例如，现实世界)内容组合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且其中的任何一个可以在单声道中或在多声道中呈现(诸如向观看者产生三维效果的立体视频)。另外，在一些实施方式中，人工现实还可以与应用程序、产品、附件、服务或其某种组合相关联，该应用程序、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，在人工现实中执行活动)。提供人造现实内容的人造现实系统可以在各种平台上实现，包括连接到主机系统的头戴式显示器(HMD)、独立HMD、移动设备或计算系统或能够向一个或多个观看者提供人造现实内容的任何其他硬件平台。
在一些实施方式中，近眼显示(NED)系统被配置为向NED系统的用户投射人造现实内容(例如，AR内容)。NED系统还包括手姿势和手势跟踪系统，以确定由NED系统的用户和/或具有NED系统的局部区域的其他个人执行的手位置和/或手势。基于所识别的手势，NED系统能够对在人工现实环境中显示的内容项执行各种功能，诸如与NED系统的其他用户或其他NED系统共享所显示的内容项。例如，观看所显示的内容项的NED系统的第一用户可能希望与局部区域中的第二用户共享内容项。类似于第一用户能够如何通过将对象交给第二用户来与第二用户共享现实世界的对象，第一用户可以执行模拟将对象交给第二用户的“传递”手势。此外，NED系统可以检测作为“传递”手势的一部分，第二用户执行模拟从第一用户接收对象的手势，并且作为响应，将内容项发送到第二用户，允许第二用户查看内容项。这样，NED系统的第一用户能够通过执行直观且类似于与现实世界中的对象交互的手势来与局部区域内的其他用户共享在虚拟环境中观看的内容项。
如本文所使用的，NED系统的局部区域可指围绕NED系统的NED的区域。在一些实施方式中，NED系统的局部区域可以指围绕NED系统的NED的区域的360°区域，其对于该区域处的NED的用户是潜在可见的。附加地，尽管下面的讨论主要涉及AR内容，但是应当理解，在其他实施方式中，NED系统可以在VR环境中向用户显示VR内容。
近眼显示系统概述
图1是根据一个或多个实施方式的眼镜装置100的示图。在一些实施方式中，眼镜装置100是用于向用户呈现媒体的近眼显示器(NED)。由眼镜装置100呈现的媒体的实例包括一个或多个图像、文本、视频、音频或其某种组合。在一些实施方式中，经由外部设备(例如，扬声器和/或耳机)呈现音频，该外部设备从眼镜装置100、控制台(未示出)或两者接收音频信息，并且呈现基于音频信息的音频数据。眼镜装置100可以被配置为作为人工现实NED操作。在一些实施方式中，眼镜装置100可以利用计算机生成的元素(例如，图像、视频、声音等)来增强物理的、真实世界环境的视图。
图1中所示的眼镜装置100。包括框架105和光学组件110，光学组件110由边缘115围绕。光学元件110在可见光谱中基本上是透明的(例如，允许百分比透射率)，并且还可以包括基本上透明的电子显示器。框架105耦接到一个或多个光学元件。在一些实施方式中，框架105可以表示眼镜的框架。光学组件110可以被配置成供用户观看由眼镜装置100呈现的内容。例如，眼镜装置110可以包括至少一个波导显示组件(未示出)，用于将一个或多个图像光引导到用户的眼睛。波导显示组件包括例如波导显示器、堆叠波导显示器、堆叠波导和有源光学元件、变焦波导显示器或其某种组合。例如，波导显示器可以是单色的并且包括单个波导。在一些实施方式中，波导显示器可以是多色的并且包括单个波导。在又一个实施方式中，波导显示器是多色的并且包括单色波导的堆叠阵列，每个单色波导与不同波段的光相关联，即每个光源具有不同的颜色。变焦波导显示器是能够调整从波导显示器发射的图像光的焦点位置的显示器。在一些实施方式中，波导显示器组件可包括一个或多个单色波导显示器(即，单色波导显示器或堆叠的多色波导显示器)和变焦波导显示器的组合。波导显示器在美国专利申请号15/495,373中被详细地描述，该专利申请通过引用的方式全部并入本文。
在一些实施方式中，光学组件110可包括一个或多个透镜或其他层，诸如用于过滤紫外线的透镜(即，太阳镜透镜)、偏振透镜、校正透镜或处方透镜、安全透镜、3D透镜、着色透镜(例如，黄色着色眼镜)、互易焦平面透镜或不改变用户视图的透明透镜。光学组件110可包括一个或多个附加层或涂层，例如保护涂层，或用于提供任何前述透镜功能的涂层。在一些实施方式中，光学组件110可包括一个或多个波导显示组件、一个或多个透镜和/或一个或多个其他层或涂层的组合。
图2是根据一个或多个实施方式的图1所示的眼镜装置100的部分200。光学组件110容纳在框架105中，框架105在围绕光学组件110的部分中被遮蔽。示出了用户的眼睛220，虚线从眼睛220的瞳孔引出并向外延伸以示出眼睛的视野。眼箱230示出如果用户佩戴眼镜装置100则眼睛220定位的区域。眼镜装置100包括眼睛跟踪系统。
眼睛跟踪系统确定用户眼睛220的眼睛跟踪信息。所确定的眼睛跟踪信息可以包括关于用户的眼睛220在眼箱230中的位置的信息，例如，关于眼睛注视的角度的信息。眼箱表示显示器输出端的三维体积，其中用户的眼睛位于该三维体积中以接收图像光。
在一个实施方式中，眼睛跟踪系统包括一个或多个光源以在特定波长或特定波段(例如，红外)内照亮眼睛。光源可以被放置在框架105上，使得来自光源的照明被引导到用户的眼睛(例如，眼箱230的位置)。光源可以是能够产生可见光、红外光的任何装置，诸如发光二极管。光源对用户眼睛的照明可以帮助眼睛跟踪器240捕获具有更多细节的用户眼睛的图像。眼睛跟踪器240接收从光源发射并从眼睛220反射的光。眼睛跟踪器240捕获用户的眼睛的图像，并且眼睛跟踪器240或外部控制器可以分析所捕获的图像以测量用户的注视点(即，眼睛位置)、用户的眼睛220的运动(即，眼睛移动)或两者。眼睛跟踪器240可以是位于框架105上能够捕获用户的眼睛220(一个或多个眼睛)的无障碍图像的位置处的照相机或其他成像装置(例如，数码相机)。
在一个实施方式中，眼睛跟踪系统部分地基于光源的反射的区域来确定眼睛220的深度信息。关于眼睛跟踪器240如何确定深度信息的附加讨论可在例如美国申请号15/456,383和美国申请号15/335,634中找到，两者通过引用结合于此。在另一个实施方式中，眼睛跟踪器240不包括光源，而是在没有附加照明的情况下捕获用户眼睛220的图像。
眼睛跟踪器240可以嵌入在框架105的上部，但是可以位于框架中的它可以捕获用户眼睛的图像的任何部分。而在图2中仅示出了一个眼睛跟踪器240。眼镜装置100可包括每只眼睛220的多个眼睛跟踪器240。
通过跟踪用户的凝视，眼睛跟踪器240可用于确定用户正在观看的位置。这可以与下面描述的系统相结合，该系统确定同一用户的手的手势。凝视和特定手势两者的组合可由系统检测，并且作为响应，系统可基于手势和凝视的组合来执行一些动作。
图3是根据一个或多个实施方式的NED系统300的框图。由图3所示的NED系统300包括耦接到控制器310的NED 305，其中控制器310耦接到成像装置315。尽管图3示出了包括一个NED 305和一个成像装置315的实例NED系统300，但是在其他实施方式中，在NED系统300中可以包括任何数量的这些组件。在替代配置中，可以在NED系统300中包括不同和/或附加的组件。类似地，一个或多个组件的功能可以以与这里描述的不同方式分布在组件之间。例如，控制器310的一些或全部功能可以包含在NED 305内。NED系统300可以在人工现实环境中操作。
NED 305向用户呈现内容。在一些实施方式中，NED 305是眼镜装置100。由NED 305呈现的内容的实例包括一个或多个图像、视频、音频、文本或其某种组合。在一些实施方式中，经由外部设备(例如，扬声器和/或耳机)呈现音频，所述外部设备从NED 305、控制器310或两者接收音频信息，并且基于所述音频信息呈现音频数据。在一些实施方式中，NED305作为人工现实NED操作。在一些实施方式中，NED 305可以用计算机生成的元素(例如，图像、视频、声音等)来增强物理的、真实世界环境的视图。
NED 305包括用于每只眼睛的光学组件320、眼睛跟踪器325、惯性测量单元(IMU)330、一个或多个位置传感器335和深度相机阵列(DCA)340。NED 305的一些实施方式具有与这里描述的那些不同的组件。类似地，功能可以以与这里描述的不同的方式分布在NED系统300中的其他组件中。在一些实施方式中，光学组件320根据从控制器310接收的数据向用户显示图像。在一个实施方式中，光学组件320对于可见光谱中的电磁辐射是基本上透明的(例如，透射率的程度)。
眼睛跟踪器325跟踪用户的眼睛移动。眼睛跟踪器325包括用于捕获用户眼睛的图像的相机。眼睛跟踪器240中示出了眼睛跟踪器的位置的实例，如关于图2所述。基于检测到的眼睛移动，眼睛跟踪器325可与控制器310通信以进行进一步处理。
在一些实施方式中，眼睛跟踪器325允许用户基于检测到的眼睛移动与控制器310呈现给用户的内容交互。用户与呈现内容的实例交互包括：选择由控制器310呈现的内容的一部分(例如，选择呈现给用户的对象)、移动由控制器310呈现的光标或指针、通过由控制器310呈现的内容进行导航、基于用户的凝视区域向用户呈现内容、或与呈现给用户的内容的其他任何合适的交互。
在一些实施方式中，NED 305单独地或与控制器310或与另一设备结合地，可以被配置为利用从眼睛跟踪器325获得的眼睛跟踪信息用于各种显示和应用程序交互。各种应用程序包括但不限于提供用户界面(例如，基于凝视的选择)、注意力估计(例如，用于用户安全)、凝视相关显示模式、深度和视差校正的度量缩放等。在一些实施方式中，基于从眼睛跟踪单元接收到的关于用户眼睛的位置和定向的信息，控制器(例如，控制器310)确定提供给NED 305用于在光学组件320上呈现给用户的内容的分辨率。光学组件320可以在用户的注视的中央凹区域中提供内容(并且可以在该区域以更高的质量或分辨率提供内容)。
在另一个实施方式中，从眼睛跟踪器325获得的眼睛跟踪信息可用于确定用户的凝视在局部区域中的位置。这可以与手势检测系统结合使用，以允许系统检测用户手势和凝视的各种组合。如下面进一步详细描述的，在控制器310检测到用户凝视和手势的不同组合时，可以使控制器310向局部区域中的设备或其他对象发送进一步的指令，或者响应于这些不同组合执行附加的指令。
在一些实施方式中，眼睛跟踪器325包括用于将光投射到用户的眼睛或用户的眼睛的一部分上的光源。光源是从眼睛反射并被眼睛跟踪器325捕获的光源。
IMU 330是基于从一个或多个位置传感器335接收的测量信号生成IMU跟踪数据的电子器件。位置传感器335响应于NED 305的运动产生一个或多个测量信号。位置传感器335的实例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、用于IMU 330的误差校正的类型的传感器、或其某种组合。位置传感器335可以位于IMU 330的外部、IMU 330的内部或其某种组合。
基于来自一个或多个位置传感器335的一个或多个测量信号，IMU330生成指示NED305相对于NED 305的初始位置的估计位置的IMU跟踪数据。例如，位置传感器335包括用于测量平移运动(前/后、上/下、左/右)的多个加速度计和用于测量旋转运动(例如，俯仰角、轴旋转和翻滚角)的多个陀螺仪。在一些实施方式中，IMU 330快速采样测量信号，并根据采样数据计算NED 305的估计位置。例如，IMU 330将从加速度计接收的测量信号随时间积分以估计速度向量，并且将速度向量随时间积分以确定NED 305上的参考点的估计位置。可选地，IMU 330将采样的测量信号提供给控制器310，控制器310确定IMU跟踪数据。参考点是可用于描述NED 305的位置的点。而参考点一般可定义为空间中的一点；然而，在实践中，参考点被定义为NED 305内的点(例如，IMU 330的中心)。
深度相机组件(DCA)340捕获描述围绕NED 305中的一些或全部的局部区域的深度信息的数据。可以捕获的数据可以包括从投射在局部区域上的结构化光图案捕获的信息、立体图像、飞行时间数据或使用其他深度测量技术捕获的深度信息。DCA 340可以使用该数据(例如，基于结构化光图案的捕获部分)来计算深度信息，或者DCA 340可以将该信息发送到另一设备，例如控制器710，该另一设备可以使用来自DCA 340的数据来确定深度信息。
DCA 340包括光发生器、成像装置和控制器。DCA 340的光发生器被配置为根据发射指令用照明光照射局部区域。DCA 340的成像装置包括透镜组件和检测器。透镜组件被配置成接收来自成像装置周围的局部区域的光，并将所接收的光的至少一部分引导到检测器。DCA 340的控制器生成发射指令并将发射指令提供给光发生器。DCA 340的控制器还部分地基于所捕获的一个或多个图像来确定一个或多个对象的深度信息。
成像装置315可用于捕获用户的手随时间的表示，以用于跟踪用户的手(例如，通过每秒捕获用户的手的多个图像)。为了实现更精确的捕获，成像装置315能够捕获局部区域或环境的深度数据。这可以通过各种装置实现，例如通过使用计算机视觉算法，其通过检测场景中的移动、通过发射栅格图案(例如，通过发射红外激光栅格)并根据来自栅格图案的反射的变化检测深度、通过计算反射辐射(例如，发射反射的红外辐射)的飞行时间、和/或从多个相机的用户(例如，双目视觉、立体摄影测量)来生成3D数据。成像装置315可以被定位成捕获大的空间区域，使得捕获该空间区域内的所有手移动。在一个实施方式中，多于一个的成像装置315用于捕获用户的手的图像。如下面进一步详细描述的，用户的手的捕获图像可用于识别用户的各种手势。在检测到这些手势时结合其他的满足条件，控制器可以执行某些相关联的动作。
在另一个实施方式中，成像装置315还可以捕获局部区域(并且特别是包括NED305的包围佩戴眼镜装置的用户的围绕视野的区域)中的一个或多个对象的图像。成像装置315还可根据上述方法中的任一者来捕获局部区域中的这一个或一个以上对象的深度数据。
尽管成像装置315在图3中与NED 305分开示出。在一些实施方式中，成像装置附接到NED 305，例如附接到框架105，并且还可以是DCA340的一部分。
成像装置315可包括一个或多个相机、成像传感器、一个或多个摄像机、能够捕获图像的任何其他设备、或其某种组合。附加地，成像装置315可包括一个或多个硬件和软件滤波器(例如，用于增加信噪比)。图像跟踪数据从成像装置315传送到控制器310，并且成像装置315从控制器310接收一个或多个校准参数以调整一个或多个成像参数(例如，焦距、聚焦、帧频、ISO、传感器温度、快门速度、光圈等)。
在一些实施方式中，NED 305可进一步包括音频传感器345。音频传感器345可以包括麦克风或其他类型的传感器，其被配置为从围绕NED305的局部区域捕获音频数据。音频数据可以包括NED系统300的用户或局部区域内的其他个人的语音、局部区域内的其他类型的噪声，和/或类似的。在一些实施方式中，音频传感器345可以与NED 305分开放置。
控制器310根据从成像装置315或NED 305接收的信息将内容提供给NED 305以呈现给用户。在图3中所示的实例。控制器310包括输入界面350、应用程序储存器355、跟踪模块360、手势识别(ID)模块365、语音识别模块370以及通信模块375、用户简档储存器380和执行引擎385。控制器310的一些实施方式具有与这里描述的那些不同的模块。类似地，下面进一步描述的功能可以以与这里描述的不同的方式分布在控制器310的组件之间。在一个实施方式中，控制器310是NED 305内的组件。
在一个实施方式中，控制器310包括输入界面350以接收附加的外部输入。这些外部输入可以是动作请求。动作请求是执行特定操作的请求。例如，动作请求可以是启动或结束应用程序，或者在应用程序中执行特定动作。输入界面350可以从一个或多个输入设备接收输入。实例输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求的任何其他合适的设备。在另一个实施方式中，输入界面350从一个或多个射频(RF)信号接收器接收输入。这些可用于从局部区域中的RF标识符接收无线电信号，并且在一些情况下用于确定RF标识符的距离(基于信号强度)和位置(基于三角测量或其他方法)。在接收到动作请求之后，控制器310执行与该动作请求相对应的动作。在一些实施方式中，由控制器310执行的动作可包括触觉反馈，触觉反馈可经由输入界面350传送到触觉反馈装置。在一些实施方式中，输入界面350可以包括与控制器310通信分开的组件，诸如能够与控制器310无线通信的移动设备。
应用程序储存器355存储一个或多个应用程序以供控制器310执行。应用程序是一组指令，当由处理器执行时生成内容以呈现给用户。由应用程序生成的内容可以响应于经由NED 305的移动、输入界面350、眼睛跟踪器325和/或音频传感器345从用户接收的输入。应用程序的实例包括：游戏应用程序、会议应用程序、视频回放应用程序或其他合适的应用程序。在一些实施方式中，应用程序储存器355可以进一步存储由一个或多个应用程序生成的内容。在其他实施方式中，所生成的内容可以存储在作为控制器310的一部分或作为与控制器310通信的外部设备而实现的分开的内容数据储存器(未示出)中。
跟踪模块360跟踪NED 305和佩戴NED 305的用户的手的移动。为了跟踪NED 305的移动，跟踪模块360使用来自DCA 340、成像装置315、一个或多个位置传感器335、IMU 330或其某种组合的信息。例如，跟踪模块360基于来自NED 305的信息确定NED 305的参考点在局部区域的映射中的位置。跟踪模块360还可以使用来自IMU 330的指示NED 305的位置的数据来确定NED 305的参考点的位置。附加地，在一些实施方式中，跟踪模块360可使用来自IMU 330的指示NED 305的位置的数据部分，以及来自DCA 340的局部区域的表示来预测NED305的未来区域。跟踪模块360可将NED 305的估计或预测的未来位置提供给执行引擎385。
如上所述，跟踪模块360还跟踪用户的手和用户的手的手指，以便识别用户的手的各种姿势。每个姿势指示用户的手的位置。通过检测随时间变化的多个姿势的组合，跟踪模块360能够确定用户的手的手势。这些手势又可转换成系统的各种输入。例如，在一个方向上使用单个手指的移动可以转换为系统中的按钮按压输入。
在一个实施方式中，跟踪模块360使用深度学习模型来确定用户的手的姿势。深层学习模型可以是神经网络，诸如卷积神经网络或残差神经网络。神经网络可提取来自手的成像装置315的原始数据(例如，用户的手的深度信息)或关于佩戴在用户的手上的任何输入装置上的定位器的位置的数据作为输入特征数据。神经网络可以输出用户的手处于的最可能的姿势。可选地，神经网络可以输出用户的手的关节的最可能位置的指示。关节是用户的手的位置，并且可以对应于用户的手中的实际物理关节，以及用户的手上可能需要以在模拟中充分再现用户的手的运动的其他点。
如果神经网络输出关节的位置，则跟踪模块360另外将关节数据转换成姿势。例如使用逆运动学原理。例如，用户手的各种关节的位置以及用户手的关节和骨位置的自然和已知限制(例如，角度、长度等)允许跟踪模块360使用逆运动学来基于关节信息确定用户手的最可能姿势。姿势数据还可以包括用户的手的近似结构，例如骨架、点网格或其他格式的形式。
使用训练数据对神经网络进行训练。在一个实施方式中，训练数据从多个摄像机阵列(诸如多个成像装置315)生成，该多个摄像机阵列捕获利用来自不同用户的不同手和/或由不同手佩戴的输入设备上的定位器在不同姿势下的手移动。为该训练数据标定过的真实数据指示关节位置和/或手的姿势，并且可以使用人的验证来生成。
在一个实施方式中，跟踪模块360用于跟踪用户的手的手指和手本身的移动，以便识别用户的手的各种手势和姿势。每个手势指示用户的手的位置。通过检测随时间变化的多个姿势的组合，跟踪模块360能够确定用户的手的手势。这些手势又可转换成系统的各种输入。例如，在一个方向上使用单个手指的移动可以转换为系统中的按钮按压输入。
跟踪模块360可以使用附加的神经网络来根据特定的一系列姿势来确定手势。这样的神经网络可以类似地被训练，使用计算过的姿势(或关节)作为输入数据，并且输出指示最可能的手势的数据。跟踪模块360可以使用其他方法来从姿势确定手势，诸如测量手的手指与3D空间中的一系列姿势的位置之间的距离和位置。如果每个姿势的这些距离和位置落在某些阈值内，则跟踪模块360可以指示存在特定手势。
使用这样的方法，跟踪模块360能够确定用户的手的可能姿势，并且随着姿势的确定，跟踪模块360能够将用户的手的移动与预定义的手势匹配。这些手势可用于指示增强现实环境中的各种动作。
手势ID模块365基于由跟踪模块360确定的姿势来识别用户的手的手势。手势ID模块365可利用神经网络从特定一系列姿势确定手势。这样的神经网络可以使用计算过的姿势(或关节)作为输入数据来训练并且输出指示最可能的手势的数据。手势ID模块365可以使用其他方法来从姿势确定手势，诸如测量手的手指与3D空间中的一系列姿势的位置之间的距离和位置。如果每个姿势的这些距离和位置落在某些阈值内，则手势ID模块365可以指示存在特定手势。在一个实施方式中，手势ID模块365识别用户的捏的手势。当在用户的一只手上的食指和拇指的末梢彼此在阈值距离内移动时，形成捏手势。当手势ID模块365识别出形成该手势的一系列姿势时，手势ID模块365确定形成了捏捏手势。如下面进一步详细描述的，当检测到所识别的手势时，控制器310可以与其他条件一起执行某些动作，诸如由眼睛跟踪器325确定的用户眼睛的特定注视方向、由音频传感器345捕获的音频数据等。
使用这样的方法，跟踪模块360能够确定用户的手的可能姿势，并且随着姿势确定，手势ID模块365将用户的手的移动与预定义的手势匹配。这些手势可用于指示在人工现实环境中的各种动作。
有关使用成像装置和输入设备跟踪和确定手部位置的其他详细信息，请参见于2016年10月7日提交的美国申请号15/288,453以及于2017年8月3日提交的美国申请号15/668,418，两者全部以引用方式并入。
在另一个实施方式中，跟踪模块360还被配置为识别由成像装置315捕获的图像中的对象。为了执行该功能，跟踪模块360可以首先在已标记对象数据或者耦接到可以是在线系统的预训练的图像识别系统的大量样本集上被训练。在前一种情况下，跟踪模块360包括机器学习模型(例如，卷积神经网络)，并且在标准图像对象库(例如，ImageNet)上或者在来自在线系统的大量用户提供的图像集上进行训练。这些用户提供的图像可以包括对象的大量图像，以及这些对象的标签(例如，使用标题等)。可选地，在后一种情况下，在线系统本身已经包括在上述用户提供和标记的图像上训练的机器学习模型。例如，在线系统可能已经有了一个对象识别系统，该系统接收图像并为每个对象输出一个标签。在这种情况下，使用在线系统上的模型而不是控制器310上的任何模型来执行对象识别。在识别对象之后，跟踪模块360能够跟踪对象在由NED 305提供给用户的视野中的位置。这可以通过连续识别由成像装置315捕获的每个帧中的用户来实现。一旦识别出对象，跟踪模块360可以指示对象的位置以及对象在捕获图像中的边界(例如，与识别出的对象相对应的像素)。这可以通过光学组件310转换成对象在由NED 305通过光学组件310提供的用户视野中的位置。
在一些实施方式中，控制器310包括语音识别模块370，语音识别模块370被配置为转录经由一个或多个音频传感器345接收的音频数据。在一些实施方式中，音频传感器345能够记录与NED系统300的用户或NED305的局部区域内的其他个人的语音相对应的音频数据。语音识别模块370使用一个或多个音频转录算法来解析接收到的音频数据并转录检测到的语音的转录。在一些实施方式中，转录可用于创建或操纵一个或多个内容项、向NED305的用户显示一个或多个虚拟对象、映射到可执行命令等。
在一些实施方式中，控制器310包括用于与诸如其他NED系统的其他系统通信的通信模块375，以允许NED系统300通过通信模块375与其他系统发送和接收命令和/或内容项。例如，不同NED系统的不同用户能够访问和查看他们各自AR环境中的不同内容项。通信模块375可以允许第一NED系统300的第一用户与第二NED系统的第二用户(其可以具有与第一NED系统300的结构类似的结构)发送和共享一个或多个内容项，以允许两个用户观看相同的内容。在一些实施方式中，通信模块375可基于从用户(例如，通过输入界面350、或通过执行一个或多个手势)接收的输入向外部系统发送一个或多个命令。
在一些实施方式中，NED系统300可由多个不同用户使用。NED系统300的每个用户可以与存储在用户简档储存器380中的账户或用户简档相关联。用户简档储存器380存储与每个用户相对应的用户信息，诸如用户属性、用户偏好、与用户相关联的内容等。在一些实施方式中，用户简档储存器380存储指示可由NED系统300的不同用户查看和/或修改的内容的许可信息。这样，NED系统300的不同用户能够通过NED 305观看不同的内容。例如，NED系统300的第一用户能够通过由NED 305虚拟对象投影的AR环境来查看描绘与第一用户的用户简档相关联的图像，该图像对于与不同用户简档相关联的NED系统300的第二用户是不可见的。
在一些实施方式中，代替将用户简档信息存储在用户简档储存器380中，NED系统300可以使用通信模块375访问诸如社交网络平台的在线系统，以便访问与不同用户相关联的用户简档信息。在一些实施方式中，NED系统300访问社交网络平台以识别NED系统300的不同用户之间的社交网络连接。基于社交网络连接，NED系统300可确定可向哪些用户显示哪些类型的内容(例如，与第一用户相关联的内容可由与第一用户具有“好友”关系的第二用户查看，但不能由与第一用户没有社交网络连接的第三用户查看)。
在一些实施方式中，不同的用户可以经由不同的NED 305同时使用NED系统300。例如，控制器310可以向第一NED 305发送显示指令以向第一用户显示第一AR环境，并向第二NED发送显示指令以向第二用户显示第二AR环境。这样，第一用户和第二用户中的每一个能够通过他们各自的AR环境来查看不同的虚拟对象。在一些实施方式中，响应于检测到由第一用户和/或第二用户执行的一个或多个预定手势，NED系统300可以使得在第一或第二AR环境中显示不同的内容。例如，如下面更详细地讨论的，NED系统300可以响应于检测到第一用户的特定手势，而在第二AR环境中向第二用户显示强调该手势的视觉风格。在一些实施方式中，响应于第一用户的手势，NED系统300可以改变内容项的权限，使得第二用户可以在第二AR环境中查看该内容项。
在一个实施方式中，控制器310附加地包括执行引擎385。执行引擎385执行NED系统300内的应用，并从NED 305、输入界面350和/或跟踪模块360接收位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于接收到的信息，执行引擎385确定要提供给NED 305以呈现/显示给用户的内容。例如，如果接收到的信息指示用户已经向左看，则执行引擎385生成用于NED 305的基于用户在人工现实环境中的移动的内容。类似地，如果从跟踪模块360接收到的信息指示用户的手做出特定手势，则执行引擎385基于所识别的手势生成内容。另外地，如果从NED 305接收到的信息指示用户的特定注视，则执行引擎385可基于该注视生成内容。该内容可以包括对NED 305中的光学组件320的更新，使得向佩戴NED 305的用户显示的内容改变。
执行引擎385还可以响应于从输入界面350接收到的动作请求，在控制器310上执行的应用内执行动作，并向用户提供该动作被执行的反馈。所提供的反馈可以是经由NED305的视觉或听觉反馈。例如，执行引擎385可以从输入界面350接收打开应用程序的动作，并且作为响应，执行引擎385打开应用程序并且经由NED 305将来自应用程序的内容呈现给用户。
在一个实施方式中，执行引擎370基于从跟踪模块360接收的原始关节数据来确定用户的手的当前姿势。在另一个实施方式中，执行引擎370基于姿势数据检测用户的手的手势。执行引擎370确定姿势和手势的方法类似于上文针对跟踪模块360描述的方法。在一个实施方式中，执行引擎370执行与上述用于跟踪模块360的方法类似的对象识别。
除了确定用户的手的当前姿势之外，执行引擎385还可以根据一组显示指令(例如，像素数据、矢量数据等)向光学组件320提供输出。到光学组件320的电子显示器的该输出可以包括用户的手以及其他对象(虚拟或其他方式)(诸如局部区域中的对象的轮廓、文本、图形、与佩戴NED305的用户的视野内的对象一致的其他元素等)的虚拟重现(使用计算机图形)。在一些实施方式中，执行引擎385向光学组件320提供输出，以使光学组件320在与用户的手的位置相对应的位置处向用户显示一个或多个要显示的虚拟对象。例如，如果用户用他们的手执行“捏”手势，则执行引擎385可向光学组件320提供指令以显示特定虚拟对象，使得即使用户移动他们的手，虚拟对象的以一角仍保持在用户的手的拇指和食指之间。
执行引擎385可以从跟踪模块360接收被跟踪对象的指示。跟踪模块360可以早先被配置为识别和跟踪某些对象。这些对象可以提供一些控制功能，或者可以与其他详细信息或信息相关联。当接收到被跟踪对象的指示时，执行引擎385向光学组件320发送显示指令，以使光学组件320向用户显示各种元素，例如上下文菜单、控制用户界面元素、信息菜单等。这些显示的元素可以在用户在由NED 305呈现的增强现实或人工现实环境中看到的与被跟踪对象的阈值距离处示出。
在一个实施方式中，执行引擎385可以首先识别由成像装置315捕获的局部区域中的可识别对象。可以根据预先编程的识别模式来识别对象。识别模式可以包括由跟踪模块360的对象识别系统生成的对象的唯一标识符。识别模式可以包括由对象识别系统生成的导致跟踪模块360识别对象的输出参数的值(例如，由对象识别系统生成的置信度权重)。在另一个实施方式中，识别模式可以是能够在不同方位和光照下再次用于识别对象的一些其他指纹、图案、标识符或其他数据。当遇到对象时，跟踪模块360的对象识别系统可基于对象的特征生成另一标识符。为对象将该标识符与所存储的识别模式进行比较，并且如果出现匹配，则将对象识别为与所存储的识别模式相关联的对象。
附加地，在一些实施方式中，执行引擎385还进一步利用局部区域中的附加跟踪指示符来辅助对象的识别。如上所述，环境中的对象可以具有RF标识符，其可以由输入界面350经由一个或多个RF接收器接收。执行引擎385可经由从RF接收器接收的信号并经由各种信号源定位机制(例如，三角测量、飞行时间、多普勒频移)使用来自对象的RF信号来确定具有RF标识符的对象的位置。该信息可用于增强(例如，对于误差进行调整)基于图像的对象识别系统，或者可用于替代基于图像的对象识别系统(例如，在基于图像的对象识别系统失败或具有高误差/不确定性的情况下)。执行引擎385还可以使用诸如复归反射器(其可以响应于来自眼镜装置100的非可见光信号)、高对比度定位器、QR码、条形码、识别图像模式等其他跟踪指示符来辅助识别对象，并且该信息可以存储在对象的识别模式中。在识别到增强对象后，执行引擎385可更新光学组件320的显示指令以在由NED系统300呈现的人工现实环境中呈现与增强对象相关的附加模拟或虚拟元件。虚拟元件可以被定位在增强对象的阈值距离(例如，1cm)处的人造现实环境中。执行引擎385可以计算增强对象在三维空间中的位置，并且将虚拟元素投影在显示器上，使得它们出现在在三维空间内并且靠近增强对象(在阈值距离内)。在检测到增强对象的移动时，执行引擎385可以提交更新的显示指令，以基于增强对象的移动来移动虚拟元素。
在一些实施方式中，一个或多个被跟踪对象可以对应于局部区域内的其他个体，诸如其他NED的用户。作为跟踪其他个体的一部分，执行引擎385可以识别由其他个体执行的手势，并且基于所识别的手势更新光学组件320的显示指令。例如，执行引擎385可以指示光学组件320显示对应于所识别的手势的视觉风格。在其他个体是其他NED系统的用户的一些实施方式中，执行引擎385可以基于由NED系统300的用户或由其他NED系统的用户执行的所识别的手势来与其他NED系统发送或接收内容。
响应于从跟踪模块360接收到某些手势的指示，执行引擎385可以执行与一个或多个识别的对象相关的某些指令。这可以允许用户通过使用手势直观地选择和操纵AR环境中的各种虚拟对象。例如，用户可以使用捏或抓手势来选择与AR环境内的内容项相对应的虚拟对象，将虚拟对象扔到AR环境的不同位置上，与其他用户共享与虚拟对象相关联的内容，和/或使用一个或多个虚拟界面元素来操纵虚拟对象。在一些实施方式中，指令还可以基于用户的注视方向(如由眼睛跟踪器325确定的)、用户或局部区域中的其他个人的转录语音(如由语音识别模块370确定的)和/或其某种组合。下面参考图4至图8进一步详细地描述这种手势的附加实例。图4至图5描述了用于在所显示虚拟菜单上选择虚拟界面对象的手势。图6A至图6C、图7和图8描述了用于在NED系统的不同用户或不同NED系统之间共享内容项的手势。
虽然下面的描述主要是参考人工现实(例如，增强现实)环境来进行的，但是这里描述的方法也可以应用于虚拟现实环境。在虚拟现实环境中，用户佩戴具有电子显示器的头戴式设备，该电子显示器不允许来自局部区域的光照射用户的眼睛。相反，用户的视图仅包括由电子显示器显示的内容。在这种情况下，用户的眼睛注视可以是朝向虚拟对象而不是局部区域中的对象，并且用户可以在虚拟现实环境中看到他或她的手的虚拟表示而不是他或她的实际手。
AR中的虚拟界面
在一些实施方式中，具有对象识别和手势跟踪能力的近眼显示器(NED)系统(例如，NED系统300)可允许NED系统300基于检测到的用户的手的手势来执行AR环境的操纵。在一些实施方式中，NED 305向NED系统的用户呈现AR环境中的虚拟界面，其可由用户使用手的手势来操纵。
图4示出了根据实施方式的可由眼镜装置410向用户显示的虚拟菜单的实例。图4中的视图是眼镜装置410和AR环境的视图。在一个实施方式中，眼镜装置410包括参照图3描述的NED系统300，并且因此包括控制器310、光学组件365等。在其它实施方式中，眼镜装置410对应于图3所示的NED 305，并且不包括控制器310。眼镜装置410的光学组件365可以向用户显示人工环境中的虚拟菜单430。这里，虚拟菜单430由一圈圆形对象表示，每个圆表示虚拟菜单选项。然而，在其它实施方式中，它们可以呈现其它形状和特征。例如，他们可以是球体、立方体、文本、或成形化(例如，斜体)像现实世界中的诸如按钮的对象等。
控制器310还可以检测到用户的手440正在用虚拟菜单选项之一执行触摸手势。当控制器310检测到用户的手指之一的末梢在人工现实环境中的虚拟菜单选项之一的阈值距离内(例如，2mm)时，检测到触摸手势。一旦检测到触摸手势，控制器310就可以执行与所选择或触摸的虚拟菜单选项相对应的选项。
在一些实施方式中，控制器310被配置为能够识别可由用户执行的不同类型的手势。如本文所使用的，“手势”可指用户的手440的一个或多个移动或位置的任意序列，所述一个或多个移动或位置可由控制器310识别或分类。在一些实施方式中，手势包括用户的手440的多个运动的序列。在一些实施方式中，手势还对应于用户的手440的特定位置或定向。控制器310可以响应于所识别的手势，基于所识别的特定手势执行操纵人工现实环境的一个或多个操作。如本文所使用的，用户的手的运动或位置可包括用户的手的手指/手指的特定运动或位置。
在一些实施方式中，控制器310检测具有虚拟菜单选项之一的捏拉手势。当用户的食指和拇指的末梢在彼此的阈值距离内(例如，5mm)并且它们围绕虚拟菜单选项之一时，检测为捏拉手势。此外，用户的手在朝向眼镜装置410的方向上移动(即，减小用户的手与眼镜装置之间的距离)。这种类型的手势可用于指示用户的状态指示符的虚拟菜单选项。一旦检测到这样的手势，控制器310就可以将由所选择的虚拟菜单选项指示的状态指示符应用于用户。例如，虚拟菜单选项可以指示“忙碌”的状态指示符。如果用户捏该选项并将其拉向用户，则控制器310可将“忙碌”状态指示符应用于用户，并将该状态发送到在线系统。在一些实施方式中，具有眼镜装置的其他用户可以随后看到该用户的此更新状态(其可以实时更新)。在其他实施方式中，虚拟菜单选项用于操纵显示给用户的AR环境，诸如通过显示与虚拟菜单选项相对应的内容项，在显示的内容项上执行与虚拟菜单选项相对应的操作等。
图5是根据一个或多个实施方式的用于基于所识别的手势操纵人工现实环境的示例过程的流程图。如上所述，在一些实施方式中，NED系统(例如，NED系统300)可包括成像装置(例如，成像装置315)或能够随时间捕获用户的手的表示以用于跟踪用户的手的其他类型的传感器。控制器(例如，控制器310)可(例如，使用跟踪模块360)基于所跟踪的用户的手的位置和移动来执行通过眼镜装置向用户显示的人工现实环境的一个或多个操纵。
控制器确定510与NED系统相关联的用户的手的位置。在一些实施方式中，由控制器确定的手的位置可以包括用户的手相对于用户身体的位置、用户的手相对于他们的另一只手的位置、用户的手的手指的位置、或其任何组合。
控制器基于第一组确定的手位置识别520第一手势。在一些实施方式中，控制器随时间跟踪用户的手的位置，以确定用户的手的移动。第一手势可以对应于用户的手的一个或多个确定的移动的序列。在一些实施方式中，当控制器检测到用户的手在朝向或远离用户身体的路径上的移动时，控制器分别识别拉手势或推手势。
可以基于用户的手的确定的位置或手势来识别第一手势(一个或多个)。在一个实施方式，控制器响应于确定用户的手在他们的身体的任一侧且他们的手掌向上，而识别耸肩手势。
在一些实施方式中，识别第一手势包括识别出用户的手相对于真实世界对象(例如，用户的身体或局部区域内的一些其他对象)移动到特定位置、或在手势的特别部分期间在人工现实环境中显示的虚拟对象、和/或在特定位置处实现特定手势。在一些实施方式中，作为识别拉动手势的一部分，控制器确定在拉动手势的开始处用户的手的位置对应于特定显示的虚拟对象。
控制器基于所识别的手势执行530对人工现实环境的操纵。在一些实施方式中，控制器使眼镜装置显示新的虚拟对象作为人工现实环境的一部分、改变现有的虚拟对象(例如，如何显示虚拟对象、和/或虚拟对象的设置)等。在一些实施方式中，控制器响应于所识别的手势，改变与NED系统300相关联的设置(例如，用户的状态、与用户相关联的数据段的设置等)，与诸如与局部区域或另一NED系统300中的现实世界对象相关联的控制器的另一系统(例如，通过通信模块375)通信。在一些实施方式中，操纵基于用户的手在手势期间(例如，相对于虚拟对象、现实世界对象等)的特定时间点的位置。下面更详细地描述特定手势及其效果的示例。
虚拟现实环境中的数据共享
在一些实施方式中，具有对某些内容的访问权的用户可能希望与其他用户共享该内容，或者能够接收由其他用户共享的内容。NED系统300可用于在不同用户之间快速且容易地共享内容，同时限制未经授权的用户观看内容。
图6A至图6C示出了根据一个或多个实施方式在人工现实环境中共享数据的实例图。图6A至图6C示出了从第一NED系统的第一用户的角度来看的图像。
图6A示出了根据一个或多个实施方式的其中第二用户具有第一用户不能查看的内容的视图。第一NED系统(例如，NED系统300)的第一用户能够在由第一NED系统300显示的第一AR环境内看到第二用户605。第二用户605可以是佩戴第二NED系统的第二NED 610的用户，并且因此可以通过第二NED 610观看由第二NED系统显示的第二AR环境。在一些实施方式中，在第二AR环境中由第二NED 610向第二用户605显示的虚拟对象对于第一AR环境中的第一用户是不可见的，反之亦然。
虽然出于讨论的目的，第一和第二用户被称为与第一和第二NED系统相关联，但是应当理解，在一些实施方式中，两个用户可以使用相同的NED系统。例如，NED系统300可包括由不同用户佩戴的多个NED 305，每个用户具有对不同内容的访问(例如，通过对应于每个用户的不同账户或简档)。
在一些实施方式中，第二用户605可以在由第二NED 610显示的第二AR环境内查看与内容项相对应的虚拟对象，该内容项可以潜在地在第一AR环境中与第一用户共享，以下称为“可共享”。在一些实施方式中，可共享内容项可包括第二用户605在第二AR环境中可查看的任何内容项。在一些实施方式中，第二用户605可以手动指定(例如，经由一个或多个手势或通过第二NED系统的输入界面)哪些内容项可以潜在地与第一用户共享。在其他实施方式中，可查看的一个或多个内容项是否对第二用户可共享可以基于第一用户与第二用户之间的关系(例如，第一用户和第二用户之间的社交网络连接)。
响应于第二用户605执行特定手势，第二NED系统可以向第二用户605显示虚拟对象，该虚拟对象包含第二用户605在第二AR环境中可查看的可共享内容项。如图6A所示，第二用户605通过将他们的前臂615保持在第二用户605的腰部以上的高度处的水平位置来执行“查看手腕上的数据”手势，使得他们的凝视方向(由第二NED系统的眼睛跟踪器确定)在他们的手腕620的预定距离内(例如，与手腕620上方的预定范围内的点相交)。作为响应，第二NED系统可以在第二用户的手腕620上方向第二用户605显示与内容项相对应的虚拟对象。此外，如果第二NED系统是与第一NED系统分开的NED系统，则第二NED系统可以向第一用户使用的第一NED系统300发送指示，指示存在正由第二用户605观看的可共享内容项。该指示可以包括通过第二NED系统的通信模块无线发送的消息。在一些实施方式中，第二NED系统使用近场通信、蓝牙或其他类型的方向传输技术直接向第一NED系统300发送指示。在其他实施方式中，第二NED系统可以通过中间平台(例如，通过社交网络平台)向第一NED系统300发送指示。例如，第一和第二NED系统都可以通过无线因特网连接访问社交网络平台，该无线因特网连接可以用于在第一和第二NED系统之间传输数据。
响应于通过通信模块375接收到第二用户605正在观看可以潜在地与第一用户共享的内容的指示，第一NED系统300向第一AR环境中的第一用户显示指示第二用户605当前正在观看可共享内容项的虚拟对象625。虚拟对象625可以显示在基于第二用户605的位置的位置处，诸如第二用户605的手腕620上方的预定距离处(即，邻近于第二用户605的手腕620)，并且可以具有与虚拟对象对应的形状，该虚拟对象对应于第二用户605正在查看的可共享内容项。因为第二用户605正在观看的内容尚未与第一用户共享，所以虚拟对象625不包含第二用户605正在观看的实际内容。相反，虚拟对象625可以包括十字或其他符号，指示第二用户605正在观看的内容项当前未被共享。这样，使第一用户知道第二用户605正在查看可共享内容项，但不能查看实际内容项。
在一些实施方式中，第二NED系统基于第二用户的姿势来识别第一NED系统605。第二NED系统(未示出)的成像装置可以被配置为识别第一用户和/或第一用户佩戴的第一NED305。这样，如果第二用户605被定向为使得第一用户落入第二用户605佩戴的第二NED 610的视场，则第二NED系统可以将第二用户605正在查看的可共享数据的指示发送到第一NED系统。
在一些实施方式中，第二NED系统响应于由第一用户佩戴的第一NED系统的NED305在由第二用户605佩戴的第二NED系统的第二NED610的NED的一定接近度内而识别第一NED系统300。例如，第一NED系统300的NED 305可以发射能够被第二NED系统的第二NED 610检测到的有限范围信号，例如上面参考图3描述的RF信号。在其他实施方式中，第一用户或第二用户605可以启动第一和第二NED系统之间的连接(例如，使用移动设备，未示出)，从而允许在第一和第二NED系统之间交换内容项。
图6B示出了在第二用户605已经与第一用户共享内容项之后的视图，使得内容项对第一用户可见。第二用户605可以通过执行一个或多个手势来选择与第一用户共享内容项。例如，第二用户605可以执行“打开书”手势，其中，第二用户605使用第一只手630“捏”虚拟对象的角，虚拟对象与第二用户605在第二AR环境内正在查看的可共享内容项相对应。在一些实施方式中，角可以对应于虚拟对象的特定角(例如左下角)。“捏”动作可对应于第二用户605在对应于虚拟对象的角(例如，顶点)的位置处至少将他们的拇指和食指保持在一起(或在阈值距离内)。作为响应，只要第二用户605继续将他们的拇指和食指保持在一起(或在阈值距离内)，第二NED系统就可以继续在与第一手630相关联的特定位置显示虚拟对象(例如，使得虚拟对象的角对应于用户的拇指和食指之间的“捏”的位置)，即使用户的第一手630移动也一样。然后，第二用户605用他们的第二只手635执行包括弧移动640的“打开”手势，其中第二只手635开始于他们捏着的第一只手630的阈值距离内，并且在弧形路径上沿基本水平的方向移动，就像翻转书籍的书页一样。在一些实施方式中，第二用户605必须在初始“捏”手势的阈值时间内执行“打开”手势。
响应于检测到上述“捏”和“打开”手势，第二NED系统可以将可共享内容发送到第一NED系统300，使得虚拟对象625被转换成向第一用户显示可共享内容的虚拟对象645。这样，第一NED系统300的第一用户能够查看内容。在第一和第二NED系统是相同的NED系统的实施方式中，NED系统可以改变可共享内容项的许可，使得第一用户能够查看第一AR环境内的内容项。一旦第一用户能够查看内容项，则可共享内容项可被称为“已共享的内容项”。
在一些实施方式中，在第二用户605已经执行了允许第一用户通过虚拟对象645查看共享内容的手势(例如，“捏”和“打开”手势)之后，虚拟对象645可以保持“附接到”第二用户605，因为显示在第一AR环境中的虚拟对象645的位置相对于第二用户605保持固定(例如，在第二用户605的第一手630的“捏”位置)。虚拟对象645可以被显示在第一AR环境中的一位置处，该位置镜像与第二AR环境中显示的可共享内容项相对应的虚拟对象的位置，但是在3D空间中被平移以匹配第一NED305的视角。当第二用户605继续在第二AR环境中捏住虚拟对象时，虚拟对象645可以继续在第一AR环境中显示，以镜像第二AR环境中的虚拟对象(例如，使得虚拟对象645看起来被第二用户605捏住)。这样，第一用户可能难以清楚地查看共享内容620，特别是在第二用户605正在移动的情况下。
图6C示出了第二用户605将共享内容“传递”给第一用户的视图，从而允许第一用户更清楚地查看共享内容。在一些实施方式中，响应于第一NED系统300检测到第一用户和第二用户605执行“传递”手势，第二用户605将共享内容“传递”给第一用户。“传递”手势可以对应于第一用户的手650在朝向第二用户的手(例如，第一手630)的路径上移动，同时第二用户的手630在朝向第一用户的手650的路径上移动，使得手650和手630在彼此的阈值距离内(例如，5cm)。在一些实施方式中，在移动的初始部分期间，第二用户的手630定向在述“捏”手势上，并且虚拟对象645继续显示在“捏”的位置(如上所述)，以便第一和第二NED系统识别“传递”手势。这样，当第二用户605朝向第一用户的手650移动她的手630时，虚拟对象645与手630一起移动。在一些实施方式中，第一用户的手650在“传递”手势期间也处于特定方向，例如处于“捏”手势或手掌朝上。
响应于“传递”手势的检测，第一NED系统300在对应于第一用户而不是第二用户605的手650的位置(例如，在手650的“捏”位置、手掌650的上方等)显示对应于共享内容的虚拟对象645。在一些实施方式中，如果与第二用户605相关联的第二NED系统也检测到“传递”手势，并且向第一NED系统300发送指示“传递”手势已经被检测到的指示，则虚拟对象645仅被传递给第一用户。在一些实施方式中，第二用户605可以执行“传递”手势，而不执行图6B所示的“打开”手势。“传递”手势可以用作隐含的共享动作，使得第二NED系统将可共享内容发送到第一NED系统300并在对应于第一用户的手650的位置处显示虚拟对象645。
在一些实施方式中，一旦由第一NED系统300在第一AR环境中显示的虚拟对象645已经被传递给第一用户并显示在对应于第一用户的位置(例如，在第一用户的手650处)，第一用户可以对虚拟对象645或对应于虚拟对象645的共享内容执行一个或多个操纵(例如，执行一个或多个手势以改变内容、操纵如何显示内容等)。在一些实施方式中，将虚拟对象645从第二用户605移交给第一用户可以使得第一NED系统300将共享内容的副本存储到永久存储器中，或者对内容执行一些其他动作。在一些实施方式中，当与共享内容相对应的虚拟对象645从第二用户605传递到第一用户时，第二NED系统向第一NED系统300发送消息，授予第一用户操纵共享内容的许可。在一些实施方式中，第一NED系统和第二NED系统可以彼此通信，使得第一用户在第一NED系统300的第一AR环境中对共享内容执行的操纵被共享并与第二AR系统同步，从而允许第二用户605在内容被第一用户操纵时查看内容。在其他实施方式中，由第一用户执行的操纵被存储在第一NED系统中的内容的本地副本中(例如，在应用存储355和/或单独的内容数据存储内)，而由第二NED系统维护的内容的副本保持不变。
图7示出了根据一些实施方式的共享内容的另一个实例。如图7所示，佩戴与第二NED系统相关联的第二NED 710的第二用户705可以在第一NED系统300的第一用户的视野内可见。第二用户705可以与虚拟对象715相关联，该虚拟对象715对应于在第二用户705的手720附近的位置处向第一用户显示的可共享内容。在一些实施方式中，第二用户705可以手持指向设备725(例如，移动电话，遥控器，激光指示器，或其他设备)，其中虚拟对象715被显示在相对于指向设备725的位置(例如，虚拟对象715被显示为使得虚拟对象的诸如中心的指定位置与指向设备725所指向的位置相交)。指向设备725可以对应于如图3所示的输入界面350。
在一些实施方式中，第一NED系统还在第一AR环境中显示从指向设备725延伸的指针线730，其对应于指向设备725所指示的方向。在一些实施方式中，指针线730与指向设备725的对应于设备的最长尺寸的纵轴对准(例如平行)。
在一些实施方式中，第二NED系统的第二用户705可以使用指向设备725与第一用户共享可共享内容项。在一些实施方式中，第二用户705通过第二AR环境查看对应于在对应于指向设备720的位置处显示的可共享内容的虚拟对象。可以显示虚拟对象(对第一用户不可见)，使得指针线730与虚拟对象的中心相交。
第二NED系统可向第一NED系统300发送第二用户705正在查看与可共享内容项相对应的虚拟对象的指示，该可共享内容项可以潜在地与第一用户共享。作为响应，第一NED系统300向第一AR环境中的第一用户显示指示第二用户705正在查看可共享内容项的虚拟对象715。然而，因为内容尚未与第一用户共享，所以虚拟对象715不显示可共享内容项的实际内容。在一些实施方式中，虚拟对象715被显示在第一AR环境内的与第二AR环境中的位置相当的位置处，在第二AR环境中显示由第二用户705正查看的虚拟图像，但是该虚拟对象在3D空间中被平移以匹配第一NED 305的视角。
第二用户705可以使用指向设备725执行手势，以便与第一用户共享内容。在一些实施方式中，如果第二用户705将指向设备725指向第一用户，使得指针线730与第一用户相交至少一个阈值时间段，则第二NED系统可基于指针线730的定向来识别第一用户或第一NED系统300，并将第二用户705正在观看的可共享内容发送给第一NED系统300。在一些实施方式中，第二用户705还可以通过在指向设备720的界面元素上提供输入(例如，按下指向设备720上的按钮)来将可共享内容“传递”给第一用户。在一些实施方式中，第二用户705可以使用“打开”手势(例如，如图6B中所示)来共享内容。在一些实施方式中，第二用户705可以通过执行“传递”手势来共享内容，类似于第二用户705将指向设备725指向第一用户的方式，在“传递”手势中第二用户705将持有表示可共享内容的虚拟对象的手臂向第一用户延伸至少一个阈值时间段(例如，使用“捏”手势)。
图8示出了根据一些实施方式的用于在NED系统的不同用户之间共享数据的示例过程的流程图。在图8中所示的第二NED系统的第二用户(例如，佩戴图6A至图6C所示的第二NED 610的第二用户605)能够访问可共享内容项，并且可能希望与第一NED系统(例如，NED系统300)的第一用户共享一个或多个可共享内容项。如上所述，在一些实施方式中，第一和第二NED系统可以是维护与第一和第二用户相对应的不同账户或简档的相同NED系统，使得基于与内容相关联的一个或多个权限，第二用户可查看的内容不必是第一用户可查看的。
第二NED系统确定810第二NED系统的第二用户的手的位置。此外，第二NED系统识别820识别在与第二NED系统相关联的局部区域中的可以与其共享内容的第一用户。
第二NED系统向第二用户(例如，在第二AR环境内)显示830与可共享内容相关联的虚拟对象。在一些实施方式中，虚拟对象被显示在相对于第二用户的手的位置处。例如，第二NED系统可以确定第二用户正在执行如上所述的“查看手腕上的数据”手势，并且在第二用户的手腕上方的位置显示虚拟对象。
此外，第二NED系统向与第一用户相关联的第一NED系统300发送指令，使得第一NED系统300向第一AR环境中的第一用户显示840指示第二用户当前正在观看可共享内容的虚拟对象。然而，由于可共享内容尚未与第一用户共享，因此虚拟对象将不包含实际的可共享内容。虚拟对象可以显示在第一AR环境中与第二用户在第二AR环境中正在观看的与可共享内容相关联的虚拟对象相对应的区域处。虚拟对象可以包括一个或多个可视指示符，诸如十字、问号或其他符号，指示第二用户正在查看的可共享数据当前未被共享，并且因此在第一AR环境中不可见。
第二NED系统基于第二用户的一个或多个确定的手位置来识别850预定手势。在一些实施方式中，第二NED系统识别第二用户执行如上所述“捏”手势然后执行“打开”手势。在一些实施方式中，第二用户执行“传递”手势、使用指向设备的“指向”手势和/或指示第二用户希望与第一用户共享与在第二AR环境中显示的虚拟图像相关联的可共享内容的其他手势。在一些实施方式中，第一NED系统300还可以识别由第二用户执行的手势，并且响应于识别该手势，准备从第二NED系统接收可共享内容。
第二NED系统向第一NED系统300发送860可共享内容。响应于接收到内容，第一NED系统300向第一用户显示870对应于可共享内容的虚拟对象，使得可共享内容对第一用户可见。
其他配置信息
以上对公开内容的实施方式的描述是为了说明的目的而呈现的；它并不是详尽无遗的，也不是将公开内容案局限于所披露的确切形式。相关领域的技术人员可以理解，根据上述公开内容，许多修改和变化是可能的。
本说明书的一些部分根据对信息的操作的算法和符号表示来描述公开内容的实施方式。这些算法描述和表示通常由数据处理领域的技术人员使用，以他们的工作的实质有效地传达给本领域的其他技术人员。这些操作虽然在功能上、计算上或逻辑上被描述，但应理解为通过计算机程序或等效电路、微代码等来实现。此外，事实证明，有时将这些操作安排称为模块也是方便的，而又不失一般性。所描述的操作及其相关模块可体现在软件、固件、硬件或其任何组合中。
这里描述的任何步骤、操作或过程可以单独地或与其他设备组合地用一个或多个硬件或软件模块来执行或实现。在一个实施方式中，用计算机程序产品实现软件模块，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该计算机程序代码可由计算机处理器执行以执行所描述的步骤、操作或过程中的任一个或所有。
本公开的实施方式还可涉及用于执行本文中的操作的装置。该装置可以为所需的目的而专门构造，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这样的计算机程序可以存储在非瞬时的、有形的计算机可读存储介质中，或者适合于存储电子指令的任何类型的介质中，所述介质可以耦接到计算机系统总线。此外，本说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以增加计算能力的体系结构。
本公开的实施方式还可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中该信息存储在非瞬时的，有形的计算机可读存储介质上，并且可以包括计算机程序产品的任何实施方式或本文所述的其他数据组合。
最后，在说明书中使用的语言主要是出于可读性和指导目的而被选择的，并且它可能没有被选择来描绘或限定本发明的主题。因此，公开内容的范围不受该详细描述的限制，而是受基于此的申请而发布的任何权利要求的限制。因此，实施方式的公开内容旨在说明但不限制公开内容的范围，公开内容的范围在所附权利要求中阐述。

Claims (10)

1.一种系统，包括：
一种近眼显示器(NED)，包括：
光学组件，所述光学组件具有电子显示器，所述电子显示器被配置为根据显示指令显示图像；
成像装置，被配置为捕获所述NED的局部区域的一部分的一个或多个图像；以及
控制器，被配置为：
使用所捕获的一个或多个图像来确定位于所述局部区域内的所述NED的第一用户的手的位置；
识别所述NED的局部区域内的第二用户，所述第二用户与第二NED相关联；
使用所述NED向所述第一用户显示对应于第一内容项的第一虚拟对象；
向所述第二NED发送第一消息，使所述第二NED向所述第二用户显示所述第一虚拟对象的表示，其中，向所述第二用户遮蔽所述第一内容项中的对应于所述第一虚拟对象的内容；
基于所述手的一个或多个确定位置来识别由所述第一用户的手执行的手势，所述手势对应于一个或多个手移动或手位置的预定序列；以及
响应于识别所述手势，向所述第二NED发送使所述第二NED能够访问所述第一内容项的第二消息，并使所述第二NED向所述第二用户显示所述第一虚拟对象的第二表示，其中，所述第一内容项中的对应于所述第一虚拟对象的内容对所述第二用户可见。
2.根据权利要求1所述的系统，其中，所述控制器被配置成在虚拟环境中的与所述第一用户的身体的特定部分相对应的位置处，向所述第一用户显示与所述第一内容项对应的所述第一虚拟对象。
3.根据权利要求2所述的系统，其中，所述第一用户的身体的特定部分是所述第一用户的手。
4.根据权利要求1所述的系统，其中，所述手势对应于所述第一用户的第一只手的从与所述第一用户的第二只手的阈值距离内开始并且在弧形路径上沿基本水平方向移动的弧移动。
5.根据权利要求1所述的系统，其中，至所述第二NED的第一消息使所述第二NED在虚拟环境中的与所述第一用户的身体的特定部分相对应的位置处向所述第二用户显示所述第一虚拟对象的所述表示。
6.根据权利要求5所述的系统，其中，所述控制器进一步被配置成：
识别由所述第一用户执行的第二手势；
响应于识别所述第二手势的执行，向所述第二NED发送第三消息，使所述第二NED在所述虚拟环境中的与所述第二用户的身体的特定部分相对应的位置处显示所述第一虚拟对象的所述第二表示。
7.根据权利要求5所述的系统，其中，至所述第二NED的第三消息被配置为向所述第二NED的所述第二用户授予执行对所述第一内容项的操纵的许可。
8.根据权利要求5所述的系统，其中，第二手势包括第一移动，在所述第一移动中所述第一用户的手在朝向所述第二用户的手的路径上移动，使得所述第一用户的手移动到所述第二用户的手的阈值距离内。
9.根据权利要求8所述的系统，其中，所述第二手势进一步对应于所述第二用户的手在朝向所述第一用户的手的路径上移动。
10.根据权利要求8所述的系统，其中，所述第二手势进一步对应于所述第一用户的手被定向成使得所述第一用户的手上的所述第一用户的食指的末梢和所述第一用户的拇指的末梢在所述第一移动期间在彼此的阈值距离内。
CN201910395562.3A 2018-06-27 2019-05-13 在人工现实环境中基于手势的内容共享 Active CN110647237B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/020,158 US10712901B2 (en) 2018-06-27 2018-06-27 Gesture-based content sharing in artificial reality environments
US16/020,158 2018-06-27

Publications (2)

Publication Number Publication Date
CN110647237A true CN110647237A (zh) 2020-01-03
CN110647237B CN110647237B (zh) 2023-05-12

Family

ID=69007569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910395562.3A Active CN110647237B (zh) 2018-06-27 2019-05-13 在人工现实环境中基于手势的内容共享

Country Status (2)

Country Link
US (1) US10712901B2 (zh)
CN (1) CN110647237B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961082A (zh) * 2021-12-21 2022-01-21 潍坊幻视软件科技有限公司 Ar/mr技术中同步专属虚拟内容的系统和同步方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100146395A1 (en) * 2008-12-08 2010-06-10 Gustavo De Los Reyes Method and System for Exploiting Interactions Via A Virtual Environment
US20100306825A1 (en) * 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US10489656B2 (en) * 2017-09-21 2019-11-26 NEX Team Inc. Methods and systems for ball game analytics with a mobile device
US10783713B2 (en) * 2018-09-05 2020-09-22 International Business Machines Corporation Transmutation of virtual entity sketch using extracted features and relationships of real and virtual objects in mixed reality scene
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11182966B2 (en) * 2019-06-24 2021-11-23 At&T Intellectual Property I, L.P. System for collaboration of augmented reality events
JP2021018546A (ja) * 2019-07-18 2021-02-15 トヨタ自動車株式会社 車両用コミュニケーション装置および車両用コミュニケーションシステム
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
US11073902B1 (en) * 2019-12-30 2021-07-27 Facebook Technologies, Llc Using skeletal position to predict virtual boundary activation
CN111273775A (zh) * 2020-01-16 2020-06-12 Oppo广东移动通信有限公司 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质
US11960651B2 (en) * 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
WO2022170223A1 (en) * 2021-02-08 2022-08-11 Multinarity Ltd User interactions in extended reality
US20210326594A1 (en) * 2020-04-17 2021-10-21 James Patrick COSTELLO Computer-generated supplemental content for video
WO2022055822A1 (en) * 2020-09-11 2022-03-17 Sterling Labs Llc Method of interacting with objects in an environment
US20220121284A1 (en) * 2020-10-16 2022-04-21 Ian Walsh Wearable motion capture device with haptic feedback
US11544343B1 (en) * 2020-10-16 2023-01-03 Splunk Inc. Codeless anchor generation for detectable features in an environment
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
US11908243B2 (en) * 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
JP2024514614A (ja) 2021-04-13 2024-04-02 アップル インコーポレイテッド 環境内で没入型体験を提供するための方法
KR20240009984A (ko) * 2021-05-19 2024-01-23 스냅 인코포레이티드 전자 안경류 디바이스로부터 맥락에 맞는 시각 및 음성 검색
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
EP4303697A1 (de) * 2022-07-05 2024-01-10 Deutsche Telekom AG Virtuell aktivierte interaktion eines nutzers mit einem physischen objekt
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US12079442B2 (en) 2022-09-30 2024-09-03 Sightful Computers Ltd Presenting extended reality content in different physical environments
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12113948B1 (en) 2023-06-04 2024-10-08 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140091984A1 (en) * 2012-09-28 2014-04-03 Nokia Corporation Method and apparatus for providing an indication regarding content presented to another user
CN106659934A (zh) * 2014-02-24 2017-05-10 索尼互动娱乐股份有限公司 用于将头戴式显示器（hmd）内容与第二屏幕社交分享的方法和系统
CN106716306A (zh) * 2014-09-30 2017-05-24 索尼互动娱乐股份有限公司 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
CN107111365A (zh) * 2014-12-22 2017-08-29 国际商业机器公司 将虚拟空间中呈现的应用与物理显示器进行选择性配对
US20170324841A1 (en) * 2016-05-05 2017-11-09 Google Inc. Sharing in an augmented and/or virtual reality environment

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3517639B2 (ja) 2000-09-27 2004-04-12 キヤノン株式会社 複合現実感提示装置及びその方法並びに記憶媒体
US8350871B2 (en) 2009-02-04 2013-01-08 Motorola Mobility Llc Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system
KR101743948B1 (ko) 2010-04-07 2017-06-21 삼성전자주식회사 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
US8982471B1 (en) 2012-01-04 2015-03-17 Google Inc. HMD image source as dual-purpose projector/near-eye display
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9077846B2 (en) * 2012-02-06 2015-07-07 Microsoft Technology Licensing, Llc Integrated interactive space
US9898742B2 (en) * 2012-08-03 2018-02-20 Ebay Inc. Virtual dressing room
CN104583913B (zh) * 2013-06-26 2018-04-13 松下电器（美国）知识产权公司 用户界面装置及显示目标物操作方法
KR102119659B1 (ko) 2013-09-23 2020-06-08 엘지전자 주식회사 영상표시장치 및 그것의 제어 방법
KR102173123B1 (ko) 2013-11-22 2020-11-02 삼성전자주식회사 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
US20150201124A1 (en) 2014-01-15 2015-07-16 Samsung Electronics Co., Ltd. Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures
KR20160138806A (ko) 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
US20170068416A1 (en) 2015-09-08 2017-03-09 Chian Chiu Li Systems And Methods for Gesture Input
CN108431728A (zh) 2015-12-16 2018-08-21 索尼公司 信息处理设备、信息处理方法以及程序
US10521101B2 (en) 2016-02-09 2019-12-31 Microsoft Technology Licensing, Llc Scroll mode for touch/pointing control
US10140776B2 (en) 2016-06-13 2018-11-27 Microsoft Technology Licensing, Llc Altering properties of rendered objects via control points
EP3267289B1 (en) 2016-07-05 2019-02-27 Ricoh Company, Ltd. Information processing apparatus, position information generation method, and information processing system
WO2018012206A1 (ja) 2016-07-12 2018-01-18 富士フイルム株式会社 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
EP3293723A3 (en) 2016-09-09 2018-08-15 Samsung Electronics Co., Ltd. Method, storage medium, and electronic device for displaying images
AU2017328161B2 (en) 2016-09-13 2022-02-17 Magic Leap, Inc. Sensory eyewear
CN111033605A (zh) 2017-05-05 2020-04-17 犹尼蒂知识产权有限公司 混合现实环境中的情境应用
CN117891335A (zh) 2017-05-19 2024-04-16 奇跃公司 用于虚拟、增强和混合现实显示系统的键盘
US10445935B2 (en) 2017-05-26 2019-10-15 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
US20180359448A1 (en) * 2017-06-07 2018-12-13 Digital Myths Studio, Inc. Multiparty collaborative interaction in a virtual reality environment
US10521096B2 (en) 2017-07-24 2019-12-31 Disney Enterprises, Inc. Virtual reality experience control system
EP3467707B1 (en) 2017-10-07 2024-03-13 Tata Consultancy Services Limited System and method for deep learning based hand gesture recognition in first person view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140091984A1 (en) * 2012-09-28 2014-04-03 Nokia Corporation Method and apparatus for providing an indication regarding content presented to another user
CN106659934A (zh) * 2014-02-24 2017-05-10 索尼互动娱乐股份有限公司 用于将头戴式显示器（hmd）内容与第二屏幕社交分享的方法和系统
CN106716306A (zh) * 2014-09-30 2017-05-24 索尼互动娱乐股份有限公司 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联
CN107111365A (zh) * 2014-12-22 2017-08-29 国际商业机器公司 将虚拟空间中呈现的应用与物理显示器进行选择性配对
US20170324841A1 (en) * 2016-05-05 2017-11-09 Google Inc. Sharing in an augmented and/or virtual reality environment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961082A (zh) * 2021-12-21 2022-01-21 潍坊幻视软件科技有限公司 Ar/mr技术中同步专属虚拟内容的系统和同步方法

Also Published As

Publication number Publication date
US20200004401A1 (en) 2020-01-02
US10712901B2 (en) 2020-07-14
CN110647237B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
CN110646938B (zh) 近眼显示器系统
CN110045816B (zh) 近眼显示器和系统
CN110018736B (zh) 人工现实中的经由近眼显示器界面的对象增强
US10818092B2 (en) Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
US10521026B2 (en) Passive optical and inertial tracking in slim form-factor
EP3469457B1 (en) Modular extension of inertial controller for six dof mixed reality input
US10261595B1 (en) High resolution tracking and response to hand gestures through three dimensions
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
CN117120962A (zh) 用于控制虚拟和图形元素的映射手部区域之间的双手交互
KR20190094381A (ko) 혼합 현실 환경의 가상 사용자 입력 콘트롤들
US10896545B1 (en) Near eye display interface for artificial reality applications
EP4172736A1 (en) Integration of artificial reality interaction modes
US20130050069A1 (en) Method and system for use in providing three dimensional user interface
WO2019142560A1 (ja) 視線を誘導する情報処理装置
JP2023507867A (ja) 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
US11719931B2 (en) Augmented reality gaming using virtual eyewear beams
CN116204060A (zh) 鼠标指针基于手势的移动和操纵
CN118394205A (zh) 利用眼动追踪技术的混合现实交互

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant