CN110647239A - 人工现实环境中的虚拟内容的基于手势的投射和操纵 - Google Patents

人工现实环境中的虚拟内容的基于手势的投射和操纵 Download PDF

Info

Publication number
CN110647239A
CN110647239A CN201910465375.8A CN201910465375A CN110647239A CN 110647239 A CN110647239 A CN 110647239A CN 201910465375 A CN201910465375 A CN 201910465375A CN 110647239 A CN110647239 A CN 110647239A
Authority
CN
China
Prior art keywords
user
gesture
hand
virtual
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910465375.8A
Other languages
English (en)
Inventor
丹尼尔·安德森
阿尔贝特·彼得·黄
金振国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN110647239A publication Critical patent/CN110647239A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

实施方式涉及用于将人工现实内容显示给用户的近眼显示器(NED)系统并且涉及基于NED系统的用户执行的手势操纵所显示的内容项。NED系统的用户可执行模仿投掷对象的手势将内容项“投射”到由NED系统显示的人工现实(AR)环境中的目标位置。手势可包括：用户的手“抓取”或“捏住”与内容项对应的虚拟对象并且相对于他们的身体向后移动的第一部分，以及用户的手相对于他们的身体向前移动并且释放虚拟对象的第二部分。可基于与手势的第一部分的向后运动相关联的轨迹识别该目标位置。

Description

人工现实环境中的虚拟内容的基于手势的投射和操纵
技术领域
本公开内容大体上涉及手势(gesture，姿势)和眼睛跟踪系统，并且具体地，涉及人工现实环境中的虚拟内容的基于手势的投射和操纵。
背景技术
增强现实系统通常依靠具有比典型的虚拟现实(VR)头戴装置更小的形状因子的可穿戴装置。增强现实系统的使用对用户交互提出新的挑战。在增强现实系统中，用户与局部区域交互的先前方法可能是不够的或者不是最佳的。例如，在不使用增强现实的情况下，用户可能需要与装置在局部区域中进行物理交互，以便能够改变该装置。然而，对于增强现实的用户，可以升级装置和用户体验到允许用户使用除了简单的物理交互之外的方法改变装置。然而，用户体验中的此类变化应该对用户理解来说是直观的，并且在技术上应当是可行的。增强现实中的用户交互的当前方法尚不是直观的并且未开拓增强现实系统的技术能力，因此对于使用而言不是最佳的。
发明内容
实施方式涉及用于将人工现实内容显示给用户的近眼显示器(NED)系统并且涉及基于由NED系统的用户执行的手势操纵所显示的内容项。NED系统的用户可以执行模拟投掷对象的手势以将内容项“投射”到由NED系统显示的人工现实(AR)环境中的目标位置。该手势可包括：第一部分，其中用户的手“抓取”或“捏住”与内容项对应的虚拟对象并且相对于他们的身体向后移动；以及第二部分，其中用户的手相对于他们的身体向前移动并且释放虚拟对象。可以基于与手势的第一部分的向后运动相关联的轨迹识别该目标位置。
在一些实施方式中，该系统包括：NED，该NED包括光学组件，具有被配置为根据显示指令显示图像的电子显示器；以及成像装置，被配置为捕捉NED的局部区域的一部分的一个或多个图像。该系统进一步包括控制器，该控制器被配置为：使用所捕捉的一个或多个图像确定NED的用户位于局部区域内的手的位置，并且基于所确定的手位置，基于一个或多个所确定的手的位置识别由用户的手执行的手势的第一部分，该手势与一个或多个手移动或手位置的预定序列对应并且与内容项相关联。该控制器可以进一步确定局部区域内的和至少与所识别的手势的第一部分相关联的轨迹的延伸对应的位置，并且响应于基于一个或多个所确定的手的位置识别由用户的手执行的手势的第二部分，更新显示指令以使得电子显示器在所确定的位置处显示内容项的表示。
附图说明
图1是根据一个或多个实施方式的眼镜装置的示图。
图2是根据一个或多个实施方式的图1的眼镜装置的截面图。
图3是根据一个或多个实施方式的具有眼睛跟踪器的NED系统的框图。
图4示出了根据一个或多个实施方式的通过眼镜装置可以显示给用户的虚拟菜单的实例。
图5是根据一个或多个实施方式的基于所识别的手势操纵人工现实环境的示例性过程的流程图。
图6A示出了根据一个或多个实施方式的用户执行掷镖手势的第一部分以准备将虚拟对象投射到投射目标上。
图6B示出了根据一个或多个实施方式的用户执行掷镖手势的第二部分以将虚拟对象投射到投射目标上
图7示出了根据一个或多个实施方式的使用掷镖手势投射与内容项对应的虚拟对象的示例性过程的流程图。
图8A示出了根据一个或多个实施方式的其中用户正在“把持”与内容项对应的虚拟对象的AR环境中的虚拟界面元素。
图8B示出了根据一个或多个实施方式的其中用户使用虚拟界面元素操纵所把持的虚拟对象的AR环境。
图9A示出了根据一些实施方式的用户执行“切开”手势使菜单被显示在AR环境中。
图9B示出了根据一些实施方式的在执行“切开”手势后被显示给用户的包含接口虚拟界面元素的菜单。
附图仅为了说明的目的描述了本公开内容的实施方式。本领域技术人员从下列描述中容易认识到，在不背离本文中描述的本公开内容的原理或推崇的益处的情况下，可以采用本文中示出的结构和方法的替换实施方式。
具体实施方式
本发明的实施方式可包括人工现实系统或者可结合人工现实系统实现。人工现实是在呈现给用户之前已经按照某种形式调整的现实形式，例如，可包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合性现实、或者它们的某种组合和/或衍生。人工现实内容可包括完全生成的内容或者与捕捉的(例如，现实世界)内容结合的生成内容。人工现实内容可包括视频、音频、触觉反馈或者它们的某种组合，并且其中的任一个可能在单个通道或者多个通道中(诸如，给观看者产生三维效果的立体视频)呈现。另外，在一些实施方式中，人工现实还可以与例如用于创建人工现实中的内容和/或以其他方式在人工现实中使用(例如，在人工现实中执行活动)的应用程序、产品、配件、服务或者它们的某种组合相关联。提供人工现实内容的人工现实系统可以在各个平台上实现，该平台包括连接至主计算机系统的头戴式显示器(HMD)、独立的HMD、移动装置或计算系统、或者能够向一个或多个观看者提供人工现实的任何其他硬件平台。
在一些实施方式中，近眼显示器(NED)系统被配置为将人工现实内容投影给NED系统的用户。NED系统进一步包括手位姿和手势跟踪系统以确定手位置和/或由NED系统的用户和/或由NED系统的局部区域内的其他个体执行的手势。NED系统能够基于所识别的手势对所显示的内容项执行操纵。例如，在一些实施方式中，NED系统的用户可以通过执行模拟将内容项朝向理想的投射目标位置投掷的手势，将要显示的内容项“投射”在AR环境中的特定位置处(例如，“投射目标”处)。用户可以容易地理解这种类型的手势，允许用户以直观方式将各种内容项显示在预定的虚拟投射目标位置处或者在局部区域中的对象的表面上。在一些实施方式中，用户可以通过与一个或多个虚拟界面元素(诸如，在AR环境中显示的按钮)交互进一步操纵所显示的内容项。通过将他们的手移动至与所显示的虚拟界面元素相关联的位置，可以对所显示的内容项执行各种操作。
如本文中使用的，NED系统的局部区域可以指的是围绕NED系统的NED的区域。在一些实施方式中，NED系统的局部区域可以指的是围绕NED系统的NED的一位置的对在该位置处的NED的用户潜在地可见的360°区域。此外，尽管以下讨论主要指的是AR内容，但是应理解的是，在其他实施方式中，NED系统可以将VR环境中的VR内容显示给用户。
近眼显示器系统概述
图1是根据一个或多个实施方式的眼镜装置100的示图。在一些实施方式中，眼镜装置100是用于向用户呈现媒体的近眼显示器(NED)。由眼镜装置100呈现的媒体的实例包括一个或多个图像、文本、视频、音频、或它们的某种组合。在一些实施方式中，经由从眼镜装置100、操纵台(未示出)或者这两者接收音频信息并且基于音频信息呈现音频数据的外部装置(例如，扬声器和/或头戴耳机)呈现音频。眼镜装置100可以被配置为操作为人工现实NED。在一些实施方式中，眼镜装置100可以利用计算机生成元素(例如，图像、视频、声音等)增强物理的、真实世界环境的视图。
在图1中示出的眼镜装置100包括镜框105以及由镜框105围绕的光学组件110。光学组件110在可见光谱中基本上是透明的(例如，允许百分透射率)，并且还可包括基本上透明的电子显示器。镜框105耦接至一个或多个光学元件。在一些实施方式中，镜框105可以表示眼镜的框架。光学组件110可被配置为让用户看到由眼镜装置100呈现的内容。例如，眼镜装置110可以包括用于将一个或多个图像光引导至用户的眼睛的至少一个波导显示组件(未示出)。波导显示器组件例如包括波导显示器、堆叠的波导显示器、堆叠的波导和电动光学元件(stacked waveguide and powered optical elements)、变焦波导显示器或者它们的某种组合。例如，波导显示器可以是单色的并且包括单个波导。在一些实施方式中，波导显示器可以是多色的并且包括单个波导。在其他实施方式中，波导显示器是多色的并且包括单色波导的层叠阵列，其中单色波导各自与光的不同频带相关联，即，各自是不同颜色的源。变焦波导显示器是可以调整从波导显示器发射的图像光的焦点位置的显示器。在一些实施方式中，波导显示器组件可包括一个或多个单色波导显示器(即，单色波导显示器或者层叠的多色波导显示器)和变焦波导显示器的结合。在美国专利申请第15/495,373中详细描述了波导显示器，其全部内容通过引证结合于本文中。
在一些实施方式中，光学组件110可包括一个或多个透镜或其他层，诸如用于过滤紫外光的透镜(即，太阳镜透镜)、偏振透镜、矫正或矫治透镜、安全透镜、3D透镜、着色透镜(例如，黄色着色眼镜)、互逆焦平面透镜(reciprocal focal-plane lenses)、或者不会改变用户的视角的透明透镜。光学组件110可包括一个或多个附加层或涂层，诸如，防护性涂层，或者用于提供任一个上述透镜功能的涂层。在一些实施方式中，光学组件110可包括一个或多个波导显示器组件、一个或多个透镜和/或一个或多个其他层或涂层的组合。
图2是根据一个或多个实施方式的图1中示出的眼镜装置100的截面图200。光学组件110容纳在镜框105中，其被荫蔽在围绕光学组件110的部分中。示出了用户的眼睛220，其中虚线从眼睛220的瞳孔引出并且向外延伸示出眼睛的视野。如果用户佩戴眼镜装置100，窥视窗(eyebox)230示出了眼睛220所在的位置。眼镜装置100包括眼睛跟踪系统。
眼睛跟踪系统确定用户的眼睛220的眼睛跟踪信息。所确定的眼睛跟踪信息可包括有关用户的眼睛220在窥视窗230中的位置的信息，例如，有关眼睛凝视的角度的信息。窥视窗表示显示器的输出处的用户的眼睛接收图像光时所在的三维体积。
在一个实施方式中，眼睛跟踪系统包括一个或多个光源以特定波长或特定的波长频带内(例如，红外线)照射眼睛。光源可以位于镜框105上，使得来自光源的照射被引导至用户的眼睛(例如，窥视窗230的位置)。光源可以是能够产生可见的或红外光的任何装置，诸如，发光二极管。由光源对用户的眼睛的照射可以辅助眼睛跟踪器240更详细地捕捉用户的眼睛的图像。眼睛跟踪器240接收从光源发射并且从眼睛220反射的光。眼睛跟踪器240捕捉用户的眼睛的图像，并且眼睛跟踪器240或外部控制器可以分析所捕捉的图像以测量用户的凝视点(即，眼睛位置)、用户的眼睛220的运动(即，眼睛运动)或者这两者。眼睛跟踪器240可以是相机或位于镜框105上的能够捕捉用户的眼睛220(或者两只眼睛)的没有遮挡的图像的位置处的其他成像装置(例如，数码相机)。
在一个实施方式中，眼睛跟踪系统部分地基于光源的反射位置确定眼睛220的深度信息。例如，在美国申请第15/456,383号和美国申请第15/335,634号中找到了关于眼睛跟踪器240如何确定深度信息的另外讨论，它们的全部内容通过引证结合于本文中。在另一个实施方式中，眼睛跟踪器240不包括光源，而是在没有额外照明的情况下捕捉用户的眼睛220的图像。
眼睛跟踪器240可以嵌入镜框105的上部，但是可以位于镜框的可以捕捉用户的眼睛的图像的任何部分处。尽管在图2中仅示出了一个眼睛跟踪器240，但是眼镜装置100可包括多个眼睛跟踪器240用于每只眼睛220。
通过跟踪用户的目光(gaze，凝视)，眼睛跟踪器240可用于确定用户看向何处。这可以与以下描述的确定相同用户的手的手势的系统结合。可以通过该系统检测目光和特定手势这两者的结合，并且作为响应，该系统可以基于手势和目光的结合，执行一些动作。
图3是根据一个或多个实施方式的NED系统300的框图。图3示出的NED系统300包括耦接至控制器310的NED 305，其中控制器310耦接至成像装置315。尽管图3示出了包括一个NED 305和一个成像装置315的示例性NED系统300，但是在其他实施方式中，在NED系统300中可包括任意数量的这些部件。在可替换配置中，NED系统300中可包括不同的和/或附加部件。类似地，一个或多个部件的功能可以按照不同于本文中描述的方式分布在这些部件中。例如，在NED 305内可以包含控制器310的一些或者所有功能。NED系统300可以在人工现实环境中运行。
NED 305向用户呈现内容。在一些实施方式中，NED 305是眼镜装置100。由NED 305呈现的内容的实例包括一个或多个图像、视频、音频、文本、或它们的某些组合。在一些实施方式中，经由从NED 305、控制器310或者这两者接收音频信息以及基于音频信息呈现音频数据的外部装置(例如，扬声器和/或头戴耳机)呈现音频。在一些实施方式中，NED 305操作为人工现实NED。在一些实施方式中，NED 305可以利用计算机生成元素(例如，图像、视频、声音等)增强物理的、真实世界环境的视图。
NED 305包括：用于每只眼睛的光学组件320、眼睛跟踪器325、惯性测量单元(IMU)330、一个或多个位置传感器335以及深度相机阵列(DCA)340。NED 305的一些实施方式具有与本文中描述的那些部件不同的部件。类似地，功能可以与本文中描述的方式不同的方式在NED系统300中的其他部件中分配。在一些实施方式中，光学组件320根据从控制器310接收的数据向用户显示图像。在一个实施方式中，光学组件320对可见光谱中的电磁辐射(例如，按照透光程度)基本上是透明的。
眼睛跟踪器325跟踪用户的眼睛运动。眼睛跟踪器325包括用于捕捉用户的眼睛的图像的相机。如关于图2描述的，眼睛跟踪器240中示出了眼睛跟踪器的放置的实例。基于检测到的眼睛运动，眼睛跟踪器325可以与控制器310通信以用于进一步处理。
在一些实施方式中，眼睛跟踪器325允许用户基于检测到的眼睛运动与通过控制器310呈现给用户的内容交互。用户与呈现内容的示例性交互包括：选择由控制器310呈现的内容的一部分(例如，选择呈现给用户的对象)，移动由控制器310呈现的光标或指针，浏览由控制器310呈现的内容，基于用户的凝视位置将内容呈现给用户，或者与呈现给用户的内容的任何其他合适的交互。
在一些实施方式中，NED 305单独地或者与控制器310或另一个装置结合，可以被配置为将从眼睛跟踪器325获得的眼睛跟踪信息用于各种显示和交互应用程序。各种应用程序包括但不限于提供用户界面(例如，基于凝视的选择)、注意力估计(例如，为了用户安全)、凝视跟随显示模式、用于深度和视差校正的度量标度等。在一些实施方式中，基于从眼睛跟踪单元接收的有关用户的眼睛的位置和方向的信息，控制器(例如，控制器310)确定提供给NED 305的内容的分辨率以用于在光学组件320上呈现给用户。光学组件320可以在用户的凝视的中央凹区域中提供内容(并且可以在该区域提供更高质量或分辨率的内容)。
在另一个实施方式中，从眼睛跟踪器325获得的眼睛跟踪信息可以用于确定用户的凝视在局部区域中的位置。其可以结合手势检测系统使用，以允许该系统检测用户手势和凝视的不同组合。如以下进一步详细描述的，根据控制器310的检测，用户凝视和手势的不同组合可以使得控制器310将进一步的指令传输至装置或局部区域中的其他对象，或者响应于这些不同的组合执行额外指令。
在一些实施方式中，眼睛跟踪器325包括用于将光投射到用户的眼睛或用户的眼睛的一部分上的光源。光源是从眼睛反射并且由眼睛跟踪器325捕捉的光的源。
IMU 330是基于从一个或多个位置传感器335接收的测量信号生成IMU跟踪数据的电子装置。位置传感器335响应于NED 305的运动生成一个或多个测量信号。位置传感器335的实例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、用于IMU 330的误差校正的传感器类型、或者它们的某种组合。位置传感器335可以位于IMU 330的外部、IMU 330的内部、或它们的某种组合。
基于来自一个或多个位置传感器335的一个或多个测量信号，IMU 330生成指示NED 305相对于NED 305的初始位置的估计位置的IMU跟踪数据。例如，位置传感器335包括多个加速度计以测量平移运动(前/后、上/下、左/右)和多个陀螺仪以测量旋转运动(例如，倾斜、偏转和滚动)。在一些实施方式中，IMU 330对测量信号进行快速采样并且根据采样数据计算NED 305的估计位置。例如，IMU 330对从加速度计接收的测量信号在时间上求积分，以估计速度矢量，并且对速度矢量在时间上求积分，以确定NED 305上的参考点的估计位置。可替换地，IMU 330将采样的测量信号提供至控制器310，控制器310确定IMU跟踪数据。参考点是可以用于描述NED 305的位置的点。尽管参考点通常可以定义为空间中的点；然而，实际上，参考点被定义为NED 305内的点(例如，IMU 330的中心)。
深度相机组件(DCA)340捕捉描述围绕NED 305的一部分或全部的局部区域的深度信息的数据。可以捕捉的数据可包括从投射在局部区域上的结构光图案捕捉的信息、立体图像、飞行时间数据、或者使用其他深度测量技术捕捉的深度信息。DCA 340可以使用数据(例如，基于捕捉的一部分结构光图案)计算深度信息，或者DCA 340可以将该信息发送至诸如控制器710的可以使用来自DCA 340的数据确定深度信息的另一个装置。
DCA 340包括光生成器、成像装置和控制器。DCA 340的光生成器被配置为根据发射指令利用照明光照射局部区域。DCA 340的成像装置包括透镜组件和检测器。透镜组件被配置为接收来自围绕成像装置的局部区域的光并且将所接收的光的至少一部分引导至检测器。DCA 340的控制器生成发射指令并且将发射指令提供至光生成器。DCA 340的控制器部分地基于所捕捉的一个或多个图像进一步确定一个或多个对象的深度信息。
成像装置315可以用于捕捉用户的手随着时间推移的表现以用于跟踪用户的手(例如，通过每秒捕捉用户的手的多个图像)。为了实现更精确的捕捉，成像装置315能够捕捉局部区域或环境的深度数据。这可以通过各种方式实现，诸如，通过使用经由场景中的移动检测生成3D数据的计算机视觉算法，通过发射网格图案(例如，发射红外激光网格)并且根据网格图案反射中的变化检测深度、根据反射辐射(例如，作为被反射的发射红外辐射)的飞行时间的计算和/或根据多个相机(例如，双目视觉/立体摄影测量)的用户实现。成像装置315可以放置为捕捉大的空间区域，使得捕捉空间区域内的全部手移动。在一个实施方式中，多于一个成像装置315用于捕捉用户的手的图像。如以下进一步详细描述的，所捕捉的用户的手的图像可以用于识别用户的各种手势。一旦检测到这些手势，结合满足的其他条件，控制器可以执行某些相关联的动作。
在另一个实施方式中，成像装置315还可以捕捉局部区域中的一个或多个对象的图像，并且具体地，该区域包含穿戴包括NED 305的眼镜装置的用户的视野。成像装置315还可以根据以上描述的方法中的任一个捕捉局部区域中的一个或多个对象的深度数据。
尽管在图3中示出了与NED 305分离的成像装置315，但是在一些实施方式中，成像装置附接至NED 305，例如，附接至镜框105，并且还可以是DCA 340的一部分。
成像装置315可包括一个或多个相机、成像传感器、一个或多个摄像机、能够捕捉图像的任何其他装置、或者它们的某种组合。此外，成像装置315可包括一个或多个硬件和软件滤波器(例如，用于增大信噪比)。图像跟踪数据从成像设置315传送到控制器310，并且成像装置315从控制器310接收一个或多个校准参数来调节一个或多个成像参数(例如，焦距、焦点、帧速率、ISO、传感器温度、快门速度、光圈等)。
在一些实施方式中，NED 305可以进一步包括音频传感器345。音频传感器345可包括麦克风或者被配置为从围绕NED 305的局部区域捕捉音频数据的其他类型的传感器。音频数据可包括NED系统300的用户或局部区域内的其他个体的语音、局部区域内的其他类型的噪声等。在一些实施方式中，音频传感器345可以与NED 305分开设置。
控制器310根据从成像装置315或NED 305接收的信息将内容提供至NED 305以用于呈现给用户。在图3中示出的实例中，控制器310包括输入接口350、应用存储器355、跟踪模块360、手势识别(ID)模块365、语音识别模块370和通信模块375、用户个人资料存储器380和执行引擎385。控制器310的一些实施方式具有与本文中描述的那些模块不同的模块。类似地，可以按照与本文中描述的方式不同的方式在控制器310的部件中分配下面进一步描述的功能。在一个实施方式中，控制器310是NED 305内的部件。
在一个实施方式中，控制器310包括接收额外的外部输入的输入接口350。这些外部输入可以是动作请求。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用程序或者在应用程序内执行特定动作。输入接口350可以从一个或多个输入装置接收输入。示例性输入装置包括：键盘、鼠标、游戏控制器、或者用于接收动作请求的任何其他合适的装置。在另一个实施方式中，输入接口350从一个或多个射频(RF)信号接收器接收输入。这些可以用于从局部区域中的RF标识符接收无线电信号，并且在一些情况下，用于确定RF标识符的距离(基于信号强度)和位置(基于三角测量或其他方法)。在接收动作请求之后，控制器310执行与动作请求对应的动作。在一些实施方式中，通过控制器310执行的动作可包括触觉反馈，该触觉反馈可以经由输入接口350传输至触觉反馈装置。在一些实施方式中，输入接口350可包括与控制器310通信的单独部件，诸如，能够与控制器310无线通信的移动装置。
应用存储器350存储由控制器310执行的一个或多个应用程序。应用程序是一组指令，当由处理器执行时，生成用于呈现给用户的内容。应用程序生成的内容可以响应于经由NED 305的移动、输入接口350、眼睛跟踪器325和/或音频传感器345从用户接收的输入。应用程序的实例包括：游戏应用程序、会议应用程序、视频播放应用程序、或其他合适的应用程序。在一些实施方式中，应用存储器355可以进一步存储由一个或多个应用程序生成的内容。在其他实施方式中，生成的内容可以被存储在实现为控制器310的一部分或实现为与控制器310通信的外部装置的单独内容数据存储器(未示出)中。
跟踪模块360跟踪NED 305的移动以及穿戴NED 305的用户的手。为了跟踪NED 305的移动，跟踪模块360使用来自DCA 340、成像装置315、一个或多个位置传感器335、IMU 330或者它们的某种组合的信息。例如，跟踪模块360基于来自NED 305的信息确定NED 305的参考点在局部区域的映射中的位置。跟踪模块360还可以使用来自IMU 330的指示NED 305的位置的数据，确定NED 305的参考点的位置。另外，在一些实施方式中，跟踪模块360可以使用来自IMU 330的指示NED 305的位置的数据的部分以及来自DCA340的局部区域的表示的数据部分，预测NED 305的未来位置。跟踪模块360可以将估计的或预测的NED 305的未来位置提供至执行引擎385。
如所述，跟踪模块360还跟踪用户的手以及用户的手的手指，以便识别用户的手的各种位姿。每个位姿指示用户的手的位置。通过检测随着时间推移的多个位姿的结合，跟踪模块360能够确定用户的手的手势。这些手势接着可以转化成到系统的各种输入。例如，使用单个手指沿一个方向的移动可以转化成该系统中的按钮按压输入。
在一个实施方式中，跟踪模块360使用深度学习模型确定用户的手的位姿。深度学习模型可以是神经网络，诸如，卷积神经网络或者残差神经网络。神经网络可以将来自成像装置315的手的原始数据提取的数据(例如，用户的手的深度信息)、或者关于在佩戴在用户的手上的任何输入装置上的定位器的位置的数据用作输入特征。神经网络可以输出用户的手处于的最有可能的位姿。可替换地，神经网络可以输出用户的手的关节(joint)最有可能的位置的指示。关节是用户的手的位置，并且可以对应于用户的手中的实际的物理关节以及用户的手上的在模拟中充分再现用户的手的运动时可能需要的其他点。
如果神经网络输出关节的位置，则跟踪模块360例如使用逆运动学原理将关节数据另外转换为位姿。例如，用户的手的各个关节的位置连同用户的手的关节和骨骼位置的固有和已知的限制(例如，角度、长度等)，允许跟踪模块360使用逆运动学，基于关节信息确定用户的手的最有可能的位姿。位姿数据还可包括用户的手的例如以骨架、点网格或其他格式的近似结构。
使用训练数据训练神经网络。在一个实施方式中，从对于不同用户的不同手捕捉不同位姿的手移动的多个相机阵列(诸如多个成像装置315)和/或由不同手穿戴的输入装置上的定位器生成训练数据。该训练数据的真实数据(ground truth)指示手的关节位置和/或位姿，并且可以使用人类验证来生成。
在一个实施方式中，跟踪模块360用于跟踪用户的手的手指以及手本身的移动，以便识别用户的手的各种手势和位姿。每个位姿指示用户的手的位置。通过检测随着时间推移的多个位姿的结合，跟踪模块360能够确定用户的手的手势。这些手势进而可以转化成成系统的各种输入。例如，使用单个手指沿一个方向的移动可以转化成该系统中的按钮按压输入。
另外的神经网络可被跟踪模块360用来从特定的位姿顺序中确定位姿。可以使用作为输入数据的所计算的位姿(或者关节)并且利用指示最可能的手势的输出数据类似地训练此类神经网络。可以通过跟踪模块360使用其他方法从位姿中确定手势，诸如，手的手指之间的距离和位置以及3D空间中的位姿顺序的位置的测量。如果每个位姿的这些距离和位置落入某阈值内，则跟踪模块360可以指示存在特定手势。
使用此类方法，跟踪模块360能够确定用户的手的最有可能的位姿，并且利用位姿的确定，跟踪模块360能够将用户的手的移动与预定义的手势匹配。这些手势可以用于指示增强现实环境中的各种动作。
手势ID模块365基于由跟踪模块360确定的位姿识别用户的手的手势。手势ID模块365可以利用神经网络从特定的一系列位姿中确定手势。可以使用所计算的位姿(或者关节)作为输入数据并且利用指示最可能的手势的输出数据训练此类神经网络。可以通过手势ID模块365使用其他方法从位姿中确定手势，诸如，手的手指之间的距离和位置及3D空间中的一系列位姿的位置的测量。如果每个位姿的这些距离和位置落入某阈值内，则手势ID模块365可以指示存在特定手势。在一个实施方式中，手势ID模块365识别用户的捏住手势。当用户的一只手上的用户的食指和拇指的远端在彼此的阈值距离内移动时形成捏住手势。当手势ID模块365识别到形成这个手势的一系列位姿时，手势ID模块365确定形成捏住手势。如以下进一步详细描述的，当所识别的手势与诸如由眼睛跟踪器325确定的用户的眼睛的特定的凝视方向、由音频传感器345捕捉的音频数据等其他条件一起被检测到时，控制器310可以执行某些动作。
使用此类方法，跟踪模块360能够确定用户的手的最有可能的位姿，并且利用位姿的确定，手势ID模块365将用户的手的移动与预定义的手势匹配。这些手势可以用于指示增强现实环境中的各种动作。
在2016年10月7日提交的美国申请第15/288,453号和2017年8月3日提交的美国申请第15/668,418号中描述了关于使用成像装置和输入装置跟踪和确定手位置的其他详情，它们的全部内容通过引证结合于本文中。
在另一个实施方式中，跟踪模块360还被配置为识别通过成像装置315捕捉的图像中的对象。为了执行这个功能，跟踪模块360首先可以在标记的对象数据的大语料库上训练，或者耦接至预训练的图像识别系统(其可以是在线系统上)。在前一种情况下，跟踪模块360包括机器学习模型(例如，卷积神经网络)，并且在标准图像-对象库(例如，ImageNet)上训练，或者在来自在线系统的大的用户提供图像的集上训练。这些用户提供的图像可包括对象的大量图像以及这些对象的标记(例如，使用字幕等)。可替换地，在后一种情况下，在线系统本身已经包括在上述用户提供且标记的图像上训练的机器学习模型。例如，在线系统可以已经具有接收图像并且输出每个图像的标签的对象识别系统。在这种情况下，使用在线系统上的模型代替控制器310上的任意模型执行对象识别。在识别对象之后，跟踪模块360也能跟踪对象在由NED 305向用户提供的视野中的的位置。这个可以通过连续识别通过成像装置315捕捉的每个帧中的用户而实现。一旦识别到对象，跟踪模块360可以指示对象的位置、以及对象在所捕捉的图像中的边界(例如，对应于识别的对象的像素)。这可以通过光学组件310转化为在由NED 305提供的用户的视野中的对象的位置。
在一些实施方式中，控制器310包括被配置为转录经由一个或多个音频传感器345接收的音频数据的语音识别模块370。在一些实施方式中，音频传感器345能够记录与NED系统300的用户或者NED 305的局部区域内的其他个体的语音对应的音频数据。语音识别模块370使用一个或多个音频转录算法分析所接收的音频数据并且转录检测到的语音的抄本。在一些实施方式中，该抄本可以用于创建或操纵一个或多个内容项，将一个或多个虚拟对象显示给NED 305的用户，映射为可执行的命令等。
在一些实施方式中，控制器310包括通信模块375，用于与其他系统(诸如，其他NED系统)通信，允许NED系统300通过通信模块375与其他系统间发送和接收命令和/或内容项。例如，不同的NED系统的不同用户也能访问和观看它们各自的AR环境中的不同的内容项。通信模块375可以允许第一NED系统300的第一用户与第二NED系统(可具有与第一NED系统300的结构相似的结构)的第二用户间传输和共享一个或多个内容项，允许这两个用户观看相同内容。在一些实施方式中，通信模块375可以基于(例如，通过输入接口350、或者通过执行一个或多个手势)从用户接收的输入，将一个或多个命令传输至外部系统。
在一些实施方式中，NED系统300可以由多个不同的用户使用。NED系统300的每个用户可以与存储在用户个人资料存储器385中的账号或用户个人资料相关联。用户个人资料存储器385存储与每个用户对应的用户信息，诸如，用户属性、用户偏好、与用户相关联的内容等。在一些实施方式中，用户个人资料存储器385存储指示可以由NED系统300的不同用户观看和/或修改的内容的许可信息。因而，NED系统300的不同用户能通过NED 305观看不同内容。例如，NED系统300的第一用户能够通过由NED 305投射的AR环境观看描述与第一用户的用户个人资料相关联的图像的虚拟对象，而该图像对NED系统300的与不同的用户个人资料相关联的第二用户不可见。
在一些实施方式中，不是用户个人资料信息存储在用户个人资料存储器380中，NED系统300可以使用通信模块375访问在线系统(诸如，社交网络平台)，以便访问与不同用户相关联的用户个人资料信息。在一些实施方式中，NED系统300访问社交网络平台以识别NED系统300的不同用户之间的社交网络联系。基于社交网络联系，NED系统300可以确定哪种类型的内容可以显示给哪些用户(例如，与第一用户相关联的内容可以被与第一用户具有“好友”关系的第二用户看到，但是不被与第一用户没有社交网络联系的第三用户看到)。
在一些实施方式中，不同用户可以经由不同的NED 305同时使用NED系统300。例如，控制器310可以将显示指令传输至第一NED 305以将第一AR环境显示给第一用户，并且将显示指令传输至第二NED以将第二AR环境显示给第二用户。因而，第一用户和第二用户中的每一个能够通过他们各自的AR环境观看不同的虚拟对象。在一些实施方式中，响应于检测到由第一和/或第二用户执行的一个或多个预定手势，NED系统300可以使得不同的内容在第一或第二AR环境中显示。例如，如以下更详细讨论的，响应于检测出第一用户的特定手势，NED系统300可以将强调该手势的视觉风格在第二AR环境中显示给第二用户。在一些实施方式中，响应于第一用户的手势，NED系统300可以改变内容项的许可，使得内容项可以在第二AR环境中被第二用户看到。
在一个实施方式中，控制器310另外包括执行引擎385。执行引擎385执行NED系统300内的应用程序，并且从NED 305、输入接口350和/或跟踪模块360接收位置信息、加速度信息、速度信息、预测的未来位置、或它们的某种组合。基于所接收的信息，执行引擎385确定提供至NED 305以呈现/显示给用户的内容。例如，如果所接收的信息指示用户看向左边，则执行引擎385基于用户在人工现实环境中的移动生成用于NED 305的内容。类似地，如果从跟踪模块360接收的信息指示用户的手做出特定手势，则执行引擎385基于所识别的手势生成内容。此外，如果从NED 305接收的信息指示用户的特定凝视，则执行引擎385可以基于该凝视生成内容。这个内容可包括更新NED 305中的光学组件320，使得显示给佩戴NED 305的用户的内容改变。
执行引擎385还可以响应于从输入接口350接收的动作请求，在控制器310上执行的应用程序内执行动作并且将执行该动作的反馈提供给用户。提供的反馈可以是经由NED305的视觉或听觉反馈。例如，执行引擎385可以从输入接口350接收打开应用程序的动作，并且作为响应，执行引擎385打开应用程序并且将应用程序的内容经由NED 305呈现给用户。
在一个实施方式中，执行引擎385基于从跟踪模块360接收的原始关节数据，确定用户的手的当前位姿。在另一个实施方式中，执行引擎385基于位姿数据检测用户的手的手势。其中执行引擎385确定位姿和手势的方法与以上对跟踪模块360所描述的方法相似。在一个实施方式中，执行引擎385执行与以上对跟踪模块360所描述的方法相似的对象识别。
除了确定用户的手的当前位姿之外，执行引擎385还可以根据一组显示指令(例如，像素数据、矢量数据等)提供到光学组件320的输出。到光学组件320的电子显示器的这个输出可包括用户的手、以及其他对象(虚拟的或其他方式的)的(使用计算机图形的)虚拟再造，诸如，局部区域中的对象的轮廓、文本、图形、与佩戴NED 305的用户的视野内的对象一致的其他元素等。在一些实施方式中，执行引擎385提供到光学组件320的输出以使得光学组件320在与用户的手的位置对应的位置处显示要显示给用户的一个或多个虚拟对象。例如，如果用户用他们的手执行“捏住”手势，则执行引擎385可以将指令提供至光学组件320以显示特定的虚拟对象，使得虚拟对象的一角保留在用户的手的拇指和食指之间，甚至用户移动他们的手时也如此。
执行引擎385可以从跟踪模块360接收所跟踪的对象的指示。跟踪模块360可被预先配置为识别和跟踪某些对象。这些对象可以提供一些控制功能或者可以与附加详情或信息相关联。一旦接收到所跟踪的对象的指示，执行引擎385将显示指令传输至光学组件320以使得光学组件320向用户显示各种元素，诸如，上下文菜单、控制用户界面单元、信息菜单等。当用户在通过NED 305呈现的增强或人工现实环境中观看时，可以在距所跟踪的对象的阈值距离处示出这些显示的元素。
在一个实施方式中，执行引擎385可以首先识别通过成像装置315捕捉的局部区域中的可识别的对象。可以根据预编程的识别图案识别对象。识别图案可包括通过跟踪模块360的对象识别系统生成的对象的唯一标识符。识别图案可包括对象识别系统生成的使得跟踪模块360识别对象的输出参数的值(例如，通过对象识别系统生成的置信度权重)。在另一个实施方式中，识别图案可以是一些其他指纹、图案、标识符、或能够用于在不同方位和照明下再次识别对象的其他数据。当遇到对象时，跟踪模块360的对象识别系统可以基于对象的特性生成另一个标识符。这个标识符与针对对象所存储的识别图案进行比较，并且如果出现匹配，则对象被识别为与所存储的识别图案相关联的对象。
另外，在一些实施方式中，执行引擎385进一步利用局部区域中的其他跟踪指示器帮助识别对象。如上所述，环境中的对象可具有RF标识符，该RF标识符可以经由一个或多个RF接收器而被输入接口350接收。执行引擎385经由从RF接收器接收的信号并且通过各种信号源定位机制(例如，三角测量、飞行时间、多普勒位移)，可以使用来自对象的RF信号来确定具有RF标识符的对象的位置。该信息可用于增强(例如，误差调整)基于图像的对象识别系统，或者该信息可以用于代替基于图像的对象识别系统(例如，在基于图像的对象识别系统出故障或者具有高误差/不确定性的情况下)。诸如反向反射器(可响应于来自眼镜装置100的非可见光信号)、高对比度定位器、QR码、条型码、识别图像图案等其他跟踪指示器，也可被执行引擎385用于帮助识别对象，并且该信息可存储在用于对象的识别图案中。一旦识别了增强对象，执行引擎385可以更新光学组件320的显示指令以在由NED系统300呈现的人工现实环境中呈现与增强对象有关的其他模拟或虚拟元素。虚拟元素可以在人工现实环境中位于距增强对象的阈值距离(例如，1cm)。执行引擎385可以计算3D空间中的增强对象的位置并且将虚拟元素投射在显示器上，使得它们仿佛在3D空间内并且靠近增强对象(在阈值距离内)。一旦检测到增强对象的移动，执行引擎385可以提交更新的显示指令以基于增强对象的移动来移动虚拟元素。
在一些实施方式中，一个或多个所跟踪的对象可以对应于局部区域内的其他个体，诸如，其他NED的用户。作为跟踪其他个体的一部分，执行引擎385识别由其他个体执行的手势，并且基于所识别的手势更新光学组件320的显示指令。例如，执行引擎385可以指示光学组件320显示与所识别的手势对应的视觉风格。在一些实施方式中，其他个体是其他NED系统的用户，执行引擎385可以基于所识别的由NED系统300的用户或由其他NED系统的用户执行的手势向其他NED系统传输或接收内容。
响应于从跟踪模块360接收某些手势的指示，执行引擎385可以执行与一个或多个所识别的对象相关的某些指令。这可以允许用户通过使用手势直观地选择和操纵AR环境中的各种虚拟对象。例如，用户可以使用捏住或抓取手势选择与AR环境内的内容项(例如，内容项的表示)对应的虚拟对象，将虚拟对象投射在AR环境的不同位置上，与其他用户共享与虚拟对象相关联的内容，和/或使用一个或多个虚拟界面元素操纵虚拟对象。在一些实施方式中，指令可以进一步基于用户的眼睛凝视方向(通过眼睛跟踪器325所确定的)、局部区域中的用户或其他个体的转录语音(通过语音识别模块370所确定的)、和/或它们的某种组合。以下参考图4至图8B更详细描述了这种手势的其他实例。图4至图5描述了用于在所显示的虚拟菜单上选择虚拟界面对象的手势。图6A至图6B和图7描述了用于在局部区域内的投射目标处显示虚拟对象的“掷镖”手势。图8A至图8B描述了用于经由虚拟界面元素操纵所显示的虚拟对象的手势。
尽管主要参考人工现实(例如，增强现实)环境进行了以下描述，但是本文中描述的方法还可以应用于虚拟现实环境。在虚拟现实环境中，用户穿戴具有电子显示器的头戴式装置，该电子显示器不允许来自局部区域的光照在用户的眼睛上。相反，用户的观看仅包括由电子显示器所显示的内容。在这种情况下，用户的眼睛凝视可以朝向虚拟对象而不是局部区域中的对象，并且用户可以在虚拟现实环境中看到他的或她的手的虚拟表示而不是他的或她的真实的手。
AR中的虚拟界面
在一些实施方式中，具有对象识别和手势跟踪能力的近眼显示器(NED)系统(例如，NED系统300)可以允许NED系统300基于检测出的用户手势执行AR环境的操纵。在一些实施方式中，NED 305为NED系统的用户呈现AR环境中的虚拟界面，用户可以使用手势操纵该虚拟界面。
图4示出了根据实施方式的可以通过眼镜装置410显示给用户的虚拟菜单的实例。图4中的视图是眼镜装置410和AR环境。在一个实施方式中，眼镜装置410包括参考图3描述的NED系统300，并且因此包括控制器310、光学组件365等。在其他实施方式中，眼镜装置410与图3中示出的NED 305对应，并且不包括控制器310。眼镜装置410的光学组件365可以向用户显示人工环境中的虚拟菜单430。虚拟菜单430在此由一圈圆形对象表示，其中，每个圆表示一个虚拟菜单选项。然而，在其他实施方式中，它们可以采取其他形状和特征。例如，它们可以是球体、立方体、文本或者有形(例如，拟物的)真实世界的对象，诸如，按钮等。
控制器310可以进一步检测用户的手440正在对一个虚拟菜单选项执行触摸手势。当控制器310检测用户的一个手指的远端在人工现实环境中的一个虚拟菜单选项的阈值距离(例如，2mm)内时，检测到触摸手势。一旦检测到触摸手势，控制器310可以执行与所选择的或触摸的虚拟菜单选项对应的选项。
在一些实施方式中，控制器310被配置为能够识别可以由用户执行的不同类型的手势。如本文中使用的，“手势”可以指的是能够由控制器310识别或分类的用户的手440的任何系列的一个或多个移动或位置。在一些实施方式中，手势包括用户的手440的多个运动的顺序。在一些实施方式中，手势还与用户的手440的特定位置或方向对应。响应于所识别的手势，控制器310可以基于所识别的特定的手势，执行操纵人工现实环境的一个或多个操作。如本文中使用的，用户的手的运动或位置可以包含用户的手的手指/指头的特定运动或位置。
在一些实施方式中，控制器310检测对一个虚拟菜单选项的捏拉手势。当用户的食指和拇指的远端在彼此的阈值距离(例如，5mm)内并且它们围绕一个虚拟菜单选项时，检测出捏拉手势。此外，用户的手沿着朝向眼镜装置410的方向移动(即，减少用户的手和眼镜装置之间的距离)。这种类型的手势可以用于表示用户的状态指示器的虚拟菜单选项。一旦检测出此类手势，控制器310可以将通过所选择的虚拟菜单选项指示的状态指示器应用于该用户。例如，虚拟菜单选项可以指示“忙碌”的状态指示器。如果用户捏住这个选项并且将其拉向用户，则控制器310可以将“忙碌”状态指示器应用于用户，并且将这个状态传输至在线系统。在一些实施方式中，具有眼镜装置的其他用户可以随后看到该用户的这个更新状态(可以实时更新)。在其他实施方式中，虚拟菜单选项用于诸如通过显示与虚拟菜单选项对应的内容项操纵显示给用户的AR环境，在所显示的内容项上执行与虚拟菜单选项对应的操作等。
图5是根据一个或多个实施方式的基于所识别的手势操纵人工现实环境的示例性过程的流程图。如上所述，在一些实施方式中，NED系统(例如，NED系统300)可包括成像装置(例如，成像装置315)或者能够随着时间的推移捕捉用户的手的表示的其他类型的传感器，以用于跟踪用户的手。控制器(例如，控制器310)可以基于跟踪的用户的手的位置和移动(例如，使用跟踪模块360)，执行对通过眼镜装置显示给用户的人工现实环境的一个或多个操纵。
控制器确定510与NED系统相关联的用户的手的位置。在一些实施方式中，由控制器确定的手的位置可包括用户的手相对于用户的身体的位置、用户的手相对于他们的其他手的位置、用户的手的手指的位置、或者它们的任意组合。
控制器基于所确定的第一组手位置识别520第一手势。在一些实施方式中，控制器随着时间的推移跟踪用户的手的位置以确定用户的手的移动。第一手势可以与所确定的用户的手的一个或多个移动的顺序对应。在一些实施方式中，当检测出用户的手在朝向用户的身体或远离用户的身体的路径上移动时，控制器分别识别轻拉手势或轻推手势。
可以基于所确定的用户的手的位置或位姿识别第一手势。在实施方式中，响应于确定用户的手在他们的身体的任一侧上，其中他们的手掌向上翻转，控制器识别耸肩手势。
在一些实施方式中，识别第一手势包括识别用户的手相对于真实世界对象(例如，用户的身体或者局部区域内的一些其他对象)或者在手势的特定部分期间在人工现实环境中显示的虚拟对象而移动到特定位置，和/或在特定位置处实现特定位姿。在一些实施方式中，作为识别轻拉手势的一部分，控制器确定在开始轻拉手势时用户的手的位置与特定显示的虚拟对象对应。
控制器基于所识别的手势执行530人工现实环境的操纵。在一些实施方式中，控制器使得眼镜装置显示新的虚拟对象作为人工现实环境的一部分，改变现有的虚拟对象(例如，显示虚拟对象的方式和/或虚拟对象的设置)等。在一些实施方式中，响应于所识别的手势，控制器改变与NED系统300相关联的设置(例如，用户的状态、与用户相关联的一段数据的设置等)，(例如，通过通信模块375)与另一个系统，诸如，与局部区域中的真实世界对象相关联的控制器或者另一个NED系统300通信等。在一些实施方式中，该操纵是基于用户的手(例如，关于虚拟对象、真实世界对象等)在手势期间的特定时间点的位置。以下更详细地描述特定手势的实例及其效果。
投射虚拟内容项掷镖手势
在一些实施方式中，不同类型的手势可以用于显示和操纵在AR环境中显示给用户的虚拟对象。例如，在一些实施方式中，NED系统(例如，NED系统300)的用户可以执行掷镖手势以将AR环境中的所显示的虚拟对象放置或“投射”在目标位置上。
图6A和图6B示出了根据一些实施方式的能够使用掷镖手势拾取和放置虚拟对象的NED系统的用户的实例。图6A示出了用户执行掷镖手势的第一部分以准备将虚拟对象投射到投射目标上。如本文中使用的，掷镖手势可以指的是包括第一运动和后面的第二运动的手势，在第一运动中，用户的手相对于用户的身体沿向后(即，后面)方向在肩膀高度以上移动，在第二运动中，用户的手相对于用户的身体沿向前(即，前面)方向在肩膀高度以上移动。在一些实施方式中，掷镖手势可要求用户的手的手指处于某个位置(例如，在向后运动期间好像捏住或抓取虚拟对象，并且在向前运动期间舒展开，好像释放虚拟对象)。此外，在向后运动期间可要求用户的手使手掌面向上并且肘部面向下，同时在向前运动期间使手掌背对用户的身体。在一些实施方式中，掷镖手势要求第一或第二运动至少具有阈值速度或移动范围。在一些实施方式中，第一或第二运动可以到达相对于用户的身体的某个位置处，诸如，在用户的耳朵的后面。
NED系统的用户能够访问、观看和操纵与内容项(例如，图像、视频等)对应的不同的虚拟对象。为了组织显示在AR环境中的虚拟对象，用户可能希望能够将与不同的内容项对应的虚拟对象放置在AR环境中的不同位置上。例如，如图6A所示，AR环境可以包含用户可以将各种虚拟对象放置在其上的投射目标605，从而允许用户组织虚拟对象并且立刻观看与不同的内容项对应的多个虚拟对象。每个投射目标605与限定用户通过NED 305观看到的AR环境内的区域的边界对应，并且可以由在AR环境中显示的包围与投射目标605对应的区域的虚拟边界(例如，虚线)标记。在其他实施方式中，NED系统识别用户可以将一个或多个内容项“投射”到其上的局部区域(例如，墙壁、桌子等)中的表面。
在一些实施方式中，内容项可以在AR环境内的第一位置处最初显示为虚拟对象610。用户可以执行“捏住”手势，以便“捏住”与内容项对应的虚拟对象，其中，用户可以移动他们的手靠近所显示的虚拟对象610并且在虚拟对象610的一部分(例如，虚拟对象610的一角)上靠拢他们的手指，使得他们的食指和拇指的远端在阈值距离内并且在虚拟对象610的一部分的对侧上。响应于检测执行的手势，NED系统在相对用户的手的特定位置处显示虚拟对象610(使得虚拟对象610的一部分出现在用户的食指和拇指之间，以看似被用户“捏住”)，并且只要用户继续“捏住”虚拟对象610，就根据用户的手的移动来移动虚拟对象610。因此，随着用户的手615移动，虚拟对象610被显示为保留在相对于用户的手615的相同位置中(例如，用户的食指和拇指的远端之间)，好像与用户的手615一起前进。
在图6A中，用户使用她的手615对虚拟对象610执行了“捏住”手势并且用她的手615执行了与相对于第一用户的身体的第一向后运动620(例如，朝向第一用户的背面)对应的第一运动。因为虚拟对象610被用户捏住，因此虚拟对象610可以在向后运动620的执行期间随着用户的手615移动。响应于识别第一向后运动，NED系统300可以识别与运动620相关联的轨迹625以及多个投射目标605中与轨迹625对应的投射目标630。所识别的轨迹625可基于手615在运动620的路线上行进的路径的一部分(例如，沿运动620的路径的相反方向)。在一些实施方式中，轨迹625反而可以基于由眼睛跟踪器325所确定的确定用户凝视方向(例如，与凝视方向成直线)、和/或由头部跟踪传感器(未示出)所确定的用户的头部方向或头部目光。所识别的投射目标630与在AR环境的区域上显示的与轨迹625或轨迹625的延伸相交的投射目标对应。NED系统300可以改变所识别的投射目标630显示在AR环境中的方式(例如，利用更粗的虚线边缘在图6A中示出的)，以便指示投射目标630与所识别的轨迹625对应并且已被“选中”。
在一些实施方式中，代替从多个虚拟的投射目标605选择投射目标630，NED系统300可以基于局部区域中的一个或多个对象(例如，其中所识别的轨迹625与墙壁或其他表明相交的位置)识别与轨迹625对应的投射目标630并且将目视指示器(例如，目标符号)显示在AR环境中的所识别的位置处。投射目标630可以与局部区域的对象(诸如，桌子或墙壁)的表面上与轨迹625或者轨迹625的延伸相交的位置对应。在一些实施方式中，如果在AR环境中不存在与轨迹625(或者它的延伸)相交的投射目标605，则可以基于局部区域的对象识别投射目标630。
图6B示出了根据一些实施方式的用户执行掷镖手势的第二部分以将虚拟对象投射到目标位置(例如，所识别的投射目标)上。如图6B所示，用户执行第二运动635，其与相对于用户的身体沿向前方向移动用户的手615对应。在一些实施方式中，第二运动635沿着在与运动620的相反方向之间的阈值角度内的路径移动。此外，作为第二运动635的一部分，用户可以改变他们的手指的位置以表示“释放”或“放手”虚拟对象610，其中，用户的手615的手掌面向远离用户的身体辐射的方向，并且用户的拇指和食指的远端至少分开阈值距离。在一些实施方式中，当用户释放虚拟对象610时，虚拟对象610可以被显示为远离用户的手移动，好像被用户扔掉一样。
响应于检测出第二运动630，NED系统300可以将AR环境中的虚拟对象610显示在所识别的投射目标630处。例如，NED系统300可以在投射目标630上显示虚拟对象610，虚拟对象610的大小制定为在至少一个尺寸上充满投射目标630的区域。在NED系统300识别局部区域内的表面上的投射目标630的实施方式中，NED系统在AR环境内的表面上的投射目标630的位置处以预定大小或者基于表面大小的大小来显示虚拟对象610。在一些实施方式中，用户能够将多个虚拟对象610投射到局部区域内的相同表面上。因为虚拟对象被投射在该表面上，因此投射到表面上的虚拟对象的布局可以改变，以便容纳显示在表面上的虚拟对象。在一些实施方式中，一个或多个投射目标630可以动态显示在局部区域中的表面上，从而表示虚拟对象610如果投射到表面上，布局将如何被显示。在其他虚拟对象被投射到该表面上时，该表面上的投射目标630可以自动调整，允许表面容纳多个投射的虚拟对象。
因而，通过掷镖手势的执行，用户可以将与内容项对应的各种虚拟对象投射到AR环境内的不同位置上，允许用户观看和组织多个内容项。在一些实施方式中，一旦用户投射了一个或多个虚拟对象，则用户可以在虚拟对象上执行一个或多个操纵(例如，拾取并在投射目标之间移动虚拟对象，重新调整所显示的对象的大小，删除一个或多个虚拟对象等)。在一些实施方式中，当虚拟对象610被显示在投射目标605上时，NED系统300可以在虚拟对象610上或者虚拟对象附近显示一个或多个界面元素640，允许用户使用界面元素640在虚拟对象610上执行操纵。
在一些实施方式中，在将一个或多个虚拟对象投射到AR环境中的位置上之后，用户可以使用一个或多个手势从它的投射目标去除所投射的虚拟对象。例如，用户可以基于定点方向(例如，通过他们的手朝向预期的虚拟对象定点)、凝视方向(例如，由眼睛跟踪器325确定的)、头部方向(例如，由头部跟踪传感器确定的)或者它们的某种组合选择投射的虚拟对象。一旦选择了虚拟对象，用户可以通过在虚拟对象上执行“捏住”手势并且在捏住虚拟对象的同时将他们的手沿向后(即，后面)方向移动从它的投射目标去除虚拟对象。在一些实施方式中，用户可以执行“捏住”手势以选择和捏住虚拟对象，而不必首先单独选择虚拟对象。
图7示出了根据一些实施方式的用于使用掷镖手势投射虚拟对象的示例性过程的流程图。NED系统300确定710NED 305的用户的手的一组位置，其中，该组位置与可以是如以上所描述的掷镖手势的一部分的第一向后运动对应。第一运动还可以包括用户“捏住”由NED 305显示在AR环境中的特定的虚拟对象。
NED系统300基于所确定的用户的手位置确定720在AR环境中的位置。在一些实施方式中，该位置基于由用户执行的第一运动的轨迹确定，并且可以与局部区域内的表面上的投射目标或位置对应。
NED系统300基于所确定的用户的手位置识别730由用户执行的第二运动。第二运动可以与以上所描述的掷镖手势的向前运动对应。
NED系统300基于所识别的第一和第二手势(共同形成掷镖手势)在所确定的位置处操纵740AR环境。在一些实施方式中，响应于识别掷镖手势，NED系统300在所确定的位置处(例如，在投射目标内)显示虚拟对象。
其他手势
图8A和图8B示出了根据一些实施方式的可以由NED系统的用户操纵由NED系统显示的AR环境中的内容项所执行的其他类型的手势的实例。图8A示出了根据一些实施方式的其中用户正在“把持”内容项的AR环境。如图8A所示，用户可以通过用她的手805或810执行“捏住”手势来“把持”内容项以把持与内容项对应的虚拟对象810。当用户把持虚拟图像815时，NED系统在与用户的手805或810的手指对应的位置处显示虚拟对象815，使得虚拟对象815的一部分显示在用户的拇指和食指的远端之间，指示虚拟对象815正由用户把持。在一些实施方式中，用户用双手执行“捏住”手势，因此虚拟对象815被显示为使得虚拟对象815的相应部分位于用户每一个手的拇指和食指之间。如果用户停止用一只手执行“捏住”手势，则虚拟图像815可以显示为继续由用户的另一只手把持，并且只要用户用另一只手保持“捏住”手势，则被显示为使得它相对于用户的另一只手的位置保持相对于用户的另一只手移动而不变。
NED系统300在AR环境内显示可以由用户用于操纵虚拟对象815的一个或多个虚拟界面元素820。在一些实施方式中，虚拟界面元素820被显示在用户的手腕825的背侧面上，并且可包括当与用户的另一只手(例如，手810)交互时删除内容项、显示与内容项有关的其他数据和/或在虚拟对象815上执行其他功能的元素。在一些实施方式中，用户可以使用他们的手810通过执行用户将他们的手810的食指沿着将用户的食指的远端移动至虚拟界面元素820的阈值距离内的路径延伸，且食指在至少阈值时间段内保持在阈值距离内的“轻推”手势，与一个虚拟界面元素820交互。在一些实施方式中，虚拟界面元素820被显示在用户的双手的手腕的表面上，允许用户能够用任一只手操纵虚拟界面元素820。
在一些实施方式中，如上所述，只有当用户正在“把持”虚拟对象时，虚拟界面元素820才被显示，使得当被用户选择时，与虚拟界面元素820相关联的操作将在由用户当前把持的虚拟对象815上执行。虚拟界面元素可包括：第一虚拟界面元素，在附图中示出为“X”，当用户使用手势与之交互时，该第一虚拟界面元素使得NED系统300从AR环境删除虚拟对象；以及第二虚拟界面元素，在附图中示出为标签“详情”，当用户使用手势与之交互时，该第二虚拟界面元素使得NED系统300显示与虚拟对象815对应的内容项相关联的补充数据。
图8B示出了根据一个或多个实施方式的其中用户使用虚拟界面元素815操纵所把持的虚拟对象815的AR环境。如上所述，尽管他们的另一只手810释放了虚拟对象815，但是用户可以通过用一只手805继续保持“捏住”手势来继续把持虚拟对象815。用户可以将她的另一只手810移动至AR环境中的与一个虚拟界面元素820对应的位置。响应于检测出他们的手810的用户伸出食指的远端与一个虚拟界面元素820对应，NED系统300可以在把持的虚拟对象815上执行对应于虚拟界面元素820的动作。例如，用户可以激活标记“详情”的虚拟界面元素，使得NED系统300显示邻近于所把持的虚拟对象815的虚拟对象830，其包括与虚拟对象815相关联的图像显示数据。如图8B所示，虚拟对象830可以显示在与虚拟对象815的共同平面上。
因而，用户能够直观地通过使用手势选择和操纵AR环境中的各种内容项。例如，用户可以通过在AR环境内捏住或抓取它来选择与内容项对应的虚拟对象，将虚拟对象投射到AR环境的不同位置上，与其他用户共享与虚拟对象相关联的内容，和/或使用一个或多个虚拟界面元素操纵虚拟对象。
图9A和图9B示出了根据一些实施方式的用户执行切开手势以便访问AR环境中的菜单的实例。在一些实施方式中，包含交互虚拟界面元素的菜单最初未显示在AR环境中，但是可以响应于由用户执行的一个或多个预定的手势被显示。例如，与虚拟对象相关联的菜单最初未显示有虚拟对象，以便减少AR环境中的虚拟对象周围的杂乱。在一些实施方式中，菜单可不与任何特定的虚拟对象相关。例如，菜单可包括内容项的相册，用户可以从该相册选择并投射到AR环境中作为虚拟对象。菜单最初可以不显示在AR环境中，而是响应于用户执行预定的手势来显示，从而允许用户控制何时在AR环境中显示菜单。如本文中使用的“菜单”可以指的是以预配置的格式布置的一组交互式虚拟界面元素，用户能使用该交互式虚拟界面元素在AR环境内的虚拟对象上执行操作或操纵。
图9A示出了根据一些实施方式的用户执行“切开”手势以使得菜单被显示在AR环境中。“切开”手势可包括用户的手905在沿特定方向(例如，如图9A所示，相对于用户的身体的向下方向)延伸的基本的线性路径910上移动超过至少阈值距离和至少阈值速率。例如，切开手势可以要求用户的手在跨越至少9英寸的距离的向下轨迹上的移动不超过半秒。
在一些实施方式中，为了执行“切开”手势，用户的手的手指可以在整个手势的执行中保留在特定位置中。例如，用户可能需要在手指915在整个手势的执行中由用户蜷在一起的情况下伸出手905的至少两个手指915(食指和中指)。在一些实施方式中，路径910由沿着用户的伸长的手指915的尖端处的点的移动限定。
在一些实施方式中，用户可以在执行“切开”手势之前首先选择显示在AR环境中的虚拟对象(例如，基于凝视方向或先前手势)，因此NED系统响应于手势的执行来显示与所选择的虚拟对象对应的菜单。在其中菜单与所显示的虚拟对象无关联的实施方式中，用户可以在执行“切开”手势之前首先选择菜单(例如，使用移动装置，通过与不同菜单的交互等)，这使得所选择的菜单被显示在AR环境中。
图9B示出了根据一些实施方式的“切开”手势的执行后被显示给用户的包含界面虚拟界面元素的菜单。一旦用户执行了“切开”手势，NED系统300在AR环境中与所执行的手势相关联的位置处显示菜单920。例如，菜单920可以被显示为使得菜单920的中心线基本上与所执行的“切开”手势的路径910一致。
菜单920包括多个交互式虚拟元素925。交互式虚拟元素925可包括按钮、拨号盘和/或在AR环境中可以由用户操纵的其他元素。例如，如上所述，用户可以通过将手移动至与按钮元素相关联的位置与所显示的按钮元素交互以按压按钮。
在一些实施方式中，交互式虚拟元素925可包括一个或多个内容项。例如，如图9B所示，菜单920可包括用户可以观看、与之交互、和/或投射到AR环境中的内容项的相册。例如，如上所述，用户可以使用“捏住”手势选择特定的内容项，然后用户可以将其投射到投射目标上。在其他实施方式中，用户可以执行“捏住”手势以选择特定的内容项并且在AR环境内移动内容项。当用户停止执行“捏住”手势时，内容项可以作为虚拟对象显示在当用户停止执行“捏住”手势时它所处于的位置处、显示在最接近的投射目标或表面的位置处等。
附加配置信息
已经出于说明的目的呈现了本公开的实施方式的以上描述；它不旨在穷举的或者也不是将本公开内容限制为所公开的精确形式。相关领域的技术人员应理解，根据上述公开内容，可以做出许多修改和变化。
本说明书的一些部分从信息运算的算法和符号表示法的角度描述了本公开内容的实施方式。这些算法描述和表示通常由数据处理领域的技术人员使用，以便将他们的工作实质有效传达给本领域的其他技术人员。当被描述为功能性的、计算性的或逻辑性的时，这些运算被理解为由计算机程序或等同电路、微码等实现。此外，有时把这些运算的安排称为模块也是方便的，并且不失其一般性。所描述的运算及其关联模块可体现在软件、固件、硬件或它们的任意组合中。
本文中描述的任何步骤、操作或过程可利用一个或多个硬件或软件模块单独或与其他装置组合执行或实现。在一个实施方式中，软件模块利用计算机程序产品实现，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可通过用于执行描述的任何或所有步骤、操作或过程的计算机处理器执行。
本公开内容的实施方式还可涉及一种用于执行本文中的操作的设备。出于需要之目的，可特别构造该设备，和/或该设备可包括由存储在计算机中的计算机程序选择性激活或者重新配置的通用计算装置。这种计算机程序可被存储在非易失性的、有形的计算机可读存储介质中或者适用于存储电子指令的可耦接至计算机系统总线的任何类型的介质中。此外，本说明书中所提及的任何计算系统可包括单个处理器或者可以是采用多处理器设计以增强计算能力的结构。
本公开内容的实施方式还可以涉及由本文中所描述的计算过程产生的产品。这种产品可包括由计算过程产生的信息，其中，信息存储在非易失性的、有形的计算机可读存储介质中并且可包括本文中描述的计算机程序产品或其他数据组合的任何实施方式。
最后，主要出于可读性和指导性之目的选择本说明书中使用的语言，并且选择其不是为了划定或者限制本发明的主题。因此，本公开内容的范围并不旨在由具体实施方式来限定，而是由基于具体实施方式的本申请所发布的任何权利要求来限定。因此，实施方式的公开内容旨在是说明性的，而非限制所附权利要求中阐述的本公开内容的范围。
附图标记说明
100：眼镜装置
105：镜框
110：光学组件
200：眼镜装置的截面图
220：眼睛
230：窥视窗
240：眼睛跟踪器
410：眼镜装置
430：虚拟菜单
440：用户的手
605：投射目标
610：虚拟对象
615：手
620：运动
625：轨迹
630：投射目标(选中的)
635：第二运动
640：界面元素
805：第一只手
810：第二只手
815：内容项
820：虚拟界面元素
825：手腕
830：数据图像
905：手
910：路径
915：伸出的手指
920：菜单
925：交互式元素。

Claims (11)

1.一种系统，包括：
近眼显示器(NED)，包括：
光学组件，具有被配置为根据显示指令显示图像的电子显示器；
成像装置，被配置为捕捉所述近眼显示器的局部区域的部分的一个或多个图像；以及
控制器，被配置为：
使用所捕捉的一个或多个图像确定所述近眼显示器的用户的手在所述局部区域内的位置；
基于一个或多个所确定的所述手的位置，识别由所述用户的所述手执行的手势的第一部分，所述手势与一个或多个手运动或手位置的预定顺序对应并且与内容项相关联；
确定所述局部区域内的位置，所确定的位置对应于至少与所识别的手势的所述第一部分相关联的轨迹的延伸；
基于所述一个或多个所确定的所述手的位置，识别由所述用户的所述手执行的所述手势的第二部分；以及
更新所述显示指令以使所述电子显示器在虚拟环境内所确定的位置处显示所述内容项的表示。
2.根据权利要求1所述的系统，其中，所述手势的所述第一部分包括所述用户的手相对于所述用户的身体沿向后方向以至少阈值速度移动的运动。
3.根据权利要求1所述的系统，其中，所述手势的所述第一部分包括所述用户的所述手被定向使得所述用户的食指的远端和所述用户的拇指的远端在彼此的阈值距离内。
4.根据权利要求1所述的系统，其中，所述控制器进一步被配置为使所述电子显示器在进行所述手势的所述第一部分期间，在所述虚拟环境内相对于所述用户的手的特定位置处显示所述内容项的表示，使得所述内容项的表示随着执行所述手势的第一部分而与所述用户的手一起行进。
5.根据权利要求1所述的系统，其中，所述手势的所述第二部分包括所述用户的手相对于所述用户的身体沿向前方向以至少阈值速度移动的运动。
6.根据权利要求1所述的系统，其中，所述手势的所述第二部分与具有的方向在一阈值程度以内和所述手势的所述第一部分的方向相反的轨迹相关联。
7.根据权利要求1所述的系统，其中，所述手势的所述第二部分包括所述用户的手的一个或多个手指彼此移开。
8.根据权利要求1所述的系统，其中，所述局部区域内的位置与在所述虚拟环境内的预定位置处显示的多个虚拟边界中的至少一个对应。
9.根据权利要求8所述的系统，其中，所显示的所述内容项的表示被调整大小为符合所述虚拟边界的至少一个尺寸。
10.根据权利要求1所述的系统，其中，所述局部区域内的位置与所述局部区域内的对象的表面对应。
11.根据权利要求1所述的系统，其中，所述控制器进一步被配置为：
识别由所述用户执行的第二手势，所述第二手势包括所述用户的手沿向下竖直方向的运动，在所述运动期间，所述用户的手的至少两根手指伸出并且彼此直接相邻；并且
更新所述显示指令以使所述电子显示器在所述虚拟环境中显示包括多个虚拟交互式元素的虚拟菜单。
CN201910465375.8A 2018-06-27 2019-05-30 人工现实环境中的虚拟内容的基于手势的投射和操纵 Pending CN110647239A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/020,407 US10635895B2 (en) 2018-06-27 2018-06-27 Gesture-based casting and manipulation of virtual content in artificial-reality environments
US16/020,407 2018-06-27

Publications (1)

Publication Number Publication Date
CN110647239A true CN110647239A (zh) 2020-01-03

Family

ID=69009337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910465375.8A Pending CN110647239A (zh) 2018-06-27 2019-05-30 人工现实环境中的虚拟内容的基于手势的投射和操纵

Country Status (2)

Country Link
US (3) US10635895B2 (zh)
CN (1) CN110647239A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269158A (zh) * 2020-09-29 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 基于广角相机和深度相机的增强现实手势识别方法
CN113672158A (zh) * 2021-08-20 2021-11-19 上海电气集团股份有限公司 一种增强现实的人机交互方法及设备
CN113791685A (zh) * 2021-08-16 2021-12-14 青岛海尔科技有限公司 用于移动组件的方法及装置、电子设备、存储介质
CN114385004A (zh) * 2021-12-15 2022-04-22 北京五八信息技术有限公司 基于增强现实的交互方法、装置、电子设备及可读介质
WO2023078272A1 (zh) * 2021-11-04 2023-05-11 北京字节跳动网络技术有限公司 虚拟对象显示方法、装置、电子设备及可读介质

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100146395A1 (en) * 2008-12-08 2010-06-10 Gustavo De Los Reyes Method and System for Exploiting Interactions Via A Virtual Environment
US20100306825A1 (en) * 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US12003585B2 (en) 2018-06-08 2024-06-04 Vale Group Llc Session-based information exchange
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
EP3693834A1 (en) * 2019-02-11 2020-08-12 Siemens Aktiengesellschaft Method and system for viewing virtual elements
TWI701575B (zh) * 2019-03-07 2020-08-11 緯創資通股份有限公司 手勢辨識方法以及手勢辨識裝置
JP2021018546A (ja) * 2019-07-18 2021-02-15 トヨタ自動車株式会社 車両用コミュニケーション装置および車両用コミュニケーションシステム
US10949671B2 (en) * 2019-08-03 2021-03-16 VIRNECT inc. Augmented reality system capable of manipulating an augmented reality object and an augmented reality method using the same
US10852814B1 (en) * 2019-08-13 2020-12-01 Microsoft Technology Licensing, Llc Bounding virtual object
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
US10894198B1 (en) * 2019-10-01 2021-01-19 Strikezone Technologies, LLC Systems and methods for dynamic and accurate pitch detection
US20230341936A1 (en) * 2020-03-05 2023-10-26 Sony Group Corporation Information processing device, information processing method, computer program, and augmented reality system
US11237641B2 (en) * 2020-03-27 2022-02-01 Lenovo (Singapore) Pte. Ltd. Palm based object position adjustment
US11960651B2 (en) * 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
CN111475132A (zh) * 2020-04-07 2020-07-31 捷开通讯(深圳)有限公司 虚拟或增强现实文字输入方法、系统及存储介质
US11250642B1 (en) * 2020-04-14 2022-02-15 Worldpay Limited Methods and systems for displaying virtual objects from an augmented reality environment on a multimedia device
US20210326594A1 (en) * 2020-04-17 2021-10-21 James Patrick COSTELLO Computer-generated supplemental content for video
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US20210365104A1 (en) * 2020-05-22 2021-11-25 XRSpace CO., LTD. Virtual object operating method and virtual object operating system
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11995774B2 (en) * 2020-06-29 2024-05-28 Snap Inc. Augmented reality experiences using speech and text captions
DE102020123307A1 (de) 2020-09-07 2022-03-10 triple A code GmbH Verfahren zur Interaktion in einer virtuellen Realität
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11544343B1 (en) * 2020-10-16 2023-01-03 Splunk Inc. Codeless anchor generation for detectable features in an environment
US11644902B2 (en) 2020-11-30 2023-05-09 Google Llc Gesture-based content transfer
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
CN116724285A (zh) 2020-12-29 2023-09-08 美国斯耐普公司 用于控制虚拟和图形元素的微手势
KR20230124077A (ko) 2020-12-30 2023-08-24 스냅 인코포레이티드 증강 현실 정밀 추적 및 디스플레이
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
US11875604B1 (en) * 2021-02-22 2024-01-16 Meta Platforms Technologies, Llc Systems and methods for determining hand poses in artificial reality environments
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
WO2022216784A1 (en) * 2021-04-08 2022-10-13 Snap Inc. Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
KR20230170086A (ko) 2021-04-19 2023-12-18 스냅 인코포레이티드 가상 및 그래픽 엘리먼트들을 애니메이팅하고 제어하기 위한 손 제스처
US11551402B1 (en) * 2021-07-20 2023-01-10 Fmr Llc Systems and methods for data visualization in virtual reality environments
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US12067159B2 (en) 2021-11-04 2024-08-20 Microsoft Technology Licensing, Llc. Multi-factor intention determination for augmented reality (AR) environment control
KR20230072757A (ko) * 2021-11-18 2023-05-25 삼성전자주식회사 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US11659043B1 (en) * 2022-01-27 2023-05-23 Meta Platforms Technologies, Llc Systems and methods for predictively downloading volumetric data
US20230350495A1 (en) * 2022-04-27 2023-11-02 Austin Vaday Fingerspelling text entry
GB2620631A (en) * 2022-07-15 2024-01-17 Sony Interactive Entertainment Inc An information processing apparatus, method, computer program and system
US20240050856A1 (en) * 2022-08-12 2024-02-15 Snap Inc. External controller for an eyewear device
US12051163B2 (en) 2022-08-25 2024-07-30 Snap Inc. External computer vision for an eyewear device
US12079442B2 (en) 2022-09-30 2024-09-03 Sightful Computers Ltd Presenting extended reality content in different physical environments
EP4450136A1 (en) * 2023-04-18 2024-10-23 STMicroelectronics International N.V. Reduced resolution time-of-flight shape recognition
CN117648035A (zh) * 2023-12-14 2024-03-05 深圳灿和兄弟网络科技有限公司 一种虚拟手势的控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150022444A1 (en) * 2012-02-06 2015-01-22 Sony Corporation Information processing apparatus, and information processing method
CN105264460A (zh) * 2013-04-12 2016-01-20 微软技术许可有限责任公司 全息图对象反馈
CN106200944A (zh) * 2016-06-30 2016-12-07 联想(北京)有限公司 一种对象的控制方法、控制装置和控制系统
CN107430437A (zh) * 2015-02-13 2017-12-01 厉动公司 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法
US20170358114A1 (en) * 2016-06-12 2017-12-14 Apple Inc. Playback of handwritten message

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6842175B1 (en) 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
JP3517639B2 (ja) 2000-09-27 2004-04-12 キヤノン株式会社 複合現実感提示装置及びその方法並びに記憶媒体
US7877707B2 (en) 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
TWI366780B (en) 2008-05-16 2012-06-21 Tatung Co A video based apparatus and method for controlling the cursor
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8350871B2 (en) * 2009-02-04 2013-01-08 Motorola Mobility Llc Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system
US8386963B2 (en) 2009-05-28 2013-02-26 Microsoft Corporation Virtual inking using gesture recognition
KR101743948B1 (ko) 2010-04-07 2017-06-21 삼성전자주식회사 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
TW201142465A (en) 2010-05-17 2011-12-01 Hon Hai Prec Ind Co Ltd Front projection device and front projection controlling method
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9189072B2 (en) 2011-02-08 2015-11-17 Lg Electronics Inc. Display device and control method thereof
WO2012144666A1 (en) 2011-04-19 2012-10-26 Lg Electronics Inc. Display device and control method therof
US8897491B2 (en) 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
US20130016042A1 (en) 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface
EP2575006B1 (en) * 2011-09-27 2018-06-13 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
US8982471B1 (en) 2012-01-04 2015-03-17 Google Inc. HMD image source as dual-purpose projector/near-eye display
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9077846B2 (en) 2012-02-06 2015-07-07 Microsoft Technology Licensing, Llc Integrated interactive space
KR101620777B1 (ko) 2012-03-26 2016-05-12 애플 인크. 증강된 가상 터치패드 및 터치스크린
US9383895B1 (en) 2012-05-05 2016-07-05 F. Vinayak Methods and systems for interactively producing shapes in three-dimensional space
US9864433B2 (en) 2012-07-13 2018-01-09 Softkinetic Software Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
US9898742B2 (en) 2012-08-03 2018-02-20 Ebay Inc. Virtual dressing room
US20140298672A1 (en) 2012-09-27 2014-10-09 Analog Devices Technology Locking and unlocking of contacless gesture-based user interface of device having contactless gesture detection system
US10620902B2 (en) 2012-09-28 2020-04-14 Nokia Technologies Oy Method and apparatus for providing an indication regarding content presented to another user
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
GB2507963A (en) 2012-11-14 2014-05-21 Renergy Sarl Controlling a Graphical User Interface
US9594491B2 (en) 2012-11-26 2017-03-14 Ca, Inc. Slide control for setting boundaries between regions of a data range
US20140150162A1 (en) 2012-12-05 2014-06-05 Low Chin Guan Surgical glove
CN103105929B (zh) 2013-01-05 2016-02-10 北京农业信息技术研究中心 虚拟农业园区交互式设计与体验方法及系统
US9703370B2 (en) 2013-02-22 2017-07-11 Blackberry Limited Devices and methods for displaying data in response to detected events
CN103150018B (zh) 2013-03-07 2016-09-21 深圳泰山体育科技股份有限公司 手势识别方法及装置
US20140272863A1 (en) * 2013-03-15 2014-09-18 Peter Kim User Interface For Virtual Reality Surgical Training Simulator
CN104583913B (zh) 2013-06-26 2018-04-13 松下电器（美国）知识产权公司 用户界面装置及显示目标物操作方法
WO2015035549A1 (en) 2013-09-10 2015-03-19 Nokia Corporation Apparatus for unlocking user interface and associated methods
KR102119659B1 (ko) 2013-09-23 2020-06-08 엘지전자 주식회사 영상표시장치 및 그것의 제어 방법
US9389694B2 (en) 2013-10-22 2016-07-12 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
KR102173123B1 (ko) 2013-11-22 2020-11-02 삼성전자주식회사 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
ITCO20130068A1 (it) 2013-12-18 2015-06-19 Nu Tech S A S Di De Michele Marco & Co Metodo per fornire comandi d'utente ad un elaboratore elettronico e relativi programma per elaborare e circuito elettronico.
US9965761B2 (en) 2014-01-07 2018-05-08 Nod, Inc. Methods and apparatus for providing secure identification, payment processing and/or signing using a gesture-based input device
US20150201124A1 (en) 2014-01-15 2015-07-16 Samsung Electronics Co., Ltd. Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures
US10139906B1 (en) 2014-01-29 2018-11-27 Guiyu Bai Ring human-machine interface
US9986225B2 (en) 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
US9727161B2 (en) 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
GB201417536D0 (en) 2014-10-03 2014-11-19 Microsoft Corp Adapting quantization
US10656720B1 (en) * 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US9672418B2 (en) 2015-02-06 2017-06-06 King Fahd University Of Petroleum And Minerals Arabic sign language recognition using multi-sensor data fusion
JP6292344B2 (ja) 2015-03-23 2018-03-14 株式会社村田製作所 タッチ式入力装置
KR102236958B1 (ko) 2015-04-30 2021-04-05 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
KR20160138806A (ko) 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
US20160349845A1 (en) 2015-05-28 2016-12-01 Google Inc. Gesture Detection Haptics and Virtual Tools
US20170003746A1 (en) 2015-06-30 2017-01-05 International Business Machines Corporation Hand-gesture input
EP3329484A4 (en) * 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
KR20170025570A (ko) 2015-08-28 2017-03-08 엘지전자 주식회사 와치 타입 이동 단말기 및 그의 동작 방법
US20170068416A1 (en) * 2015-09-08 2017-03-09 Chian Chiu Li Systems And Methods for Gesture Input
CA3002808A1 (en) * 2015-10-21 2017-04-27 Walmart Apollo, Llc Apparatus and method for providing a virtual shopping space
KR102471977B1 (ko) 2015-11-06 2022-11-30 삼성전자 주식회사 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
US10248284B2 (en) * 2015-11-16 2019-04-02 Atheer, Inc. Method and apparatus for interface control with prompt and feedback
US10776618B2 (en) * 2015-11-19 2020-09-15 Lg Electronics Inc. Mobile terminal and control method therefor
CN108431728A (zh) * 2015-12-16 2018-08-21 索尼公司 信息处理设备、信息处理方法以及程序
CN105487673B (zh) 2016-01-04 2018-01-09 京东方科技集团股份有限公司 一种人机交互系统、方法及装置
US10521101B2 (en) 2016-02-09 2019-12-31 Microsoft Technology Licensing, Llc Scroll mode for touch/pointing control
US10250720B2 (en) 2016-05-05 2019-04-02 Google Llc Sharing in an augmented and/or virtual reality environment
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10140776B2 (en) * 2016-06-13 2018-11-27 Microsoft Technology Licensing, Llc Altering properties of rendered objects via control points
EP3267289B1 (en) * 2016-07-05 2019-02-27 Ricoh Company, Ltd. Information processing apparatus, position information generation method, and information processing system
WO2018012206A1 (ja) * 2016-07-12 2018-01-18 富士フイルム株式会社 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
EP3293723A3 (en) 2016-09-09 2018-08-15 Samsung Electronics Co., Ltd. Method, storage medium, and electronic device for displaying images
AU2017328161B2 (en) 2016-09-13 2022-02-17 Magic Leap, Inc. Sensory eyewear
US20180075657A1 (en) * 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Attribute modification tools for mixed reality
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
CN106708412B (zh) 2017-01-17 2020-06-12 亿航智能设备（广州）有限公司 智能终端的控制方法和装置
WO2018198910A1 (ja) * 2017-04-28 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
CN111033605A (zh) 2017-05-05 2020-04-17 犹尼蒂知识产权有限公司 混合现实环境中的情境应用
CN117891335A (zh) * 2017-05-19 2024-04-16 奇跃公司 用于虚拟、增强和混合现实显示系统的键盘
US10445935B2 (en) * 2017-05-26 2019-10-15 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
US20180359448A1 (en) 2017-06-07 2018-12-13 Digital Myths Studio, Inc. Multiparty collaborative interaction in a virtual reality environment
JP6957218B2 (ja) * 2017-06-12 2021-11-02 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
US10521096B2 (en) 2017-07-24 2019-12-31 Disney Enterprises, Inc. Virtual reality experience control system
EP3467707B1 (en) 2017-10-07 2024-03-13 Tata Consultancy Services Limited System and method for deep learning based hand gesture recognition in first person view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150022444A1 (en) * 2012-02-06 2015-01-22 Sony Corporation Information processing apparatus, and information processing method
CN105264460A (zh) * 2013-04-12 2016-01-20 微软技术许可有限责任公司 全息图对象反馈
CN107430437A (zh) * 2015-02-13 2017-12-01 厉动公司 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法
US20170358114A1 (en) * 2016-06-12 2017-12-14 Apple Inc. Playback of handwritten message
CN106200944A (zh) * 2016-06-30 2016-12-07 联想(北京)有限公司 一种对象的控制方法、控制装置和控制系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269158A (zh) * 2020-09-29 2021-08-17 中国人民解放军军事科学院国防科技创新研究院 基于广角相机和深度相机的增强现实手势识别方法
CN113791685A (zh) * 2021-08-16 2021-12-14 青岛海尔科技有限公司 用于移动组件的方法及装置、电子设备、存储介质
CN113672158A (zh) * 2021-08-20 2021-11-19 上海电气集团股份有限公司 一种增强现实的人机交互方法及设备
WO2023078272A1 (zh) * 2021-11-04 2023-05-11 北京字节跳动网络技术有限公司 虚拟对象显示方法、装置、电子设备及可读介质
CN114385004A (zh) * 2021-12-15 2022-04-22 北京五八信息技术有限公司 基于增强现实的交互方法、装置、电子设备及可读介质

Also Published As

Publication number Publication date
US10635895B2 (en) 2020-04-28
US20210406529A1 (en) 2021-12-30
US20200279104A1 (en) 2020-09-03
US20200005026A1 (en) 2020-01-02
US11157725B2 (en) 2021-10-26

Similar Documents

Publication Publication Date Title
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
CN110646938B (zh) 近眼显示器系统
CN110045816B (zh) 近眼显示器和系统
CN110018736B (zh) 人工现实中的经由近眼显示器界面的对象增强
US10818092B2 (en) Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10078377B2 (en) Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
CN109196447B (zh) 使用姿势和多dof控制器与3d虚拟对象的交互
EP3172644B1 (en) Multi-user gaze projection using head mounted display devices
US20190087021A1 (en) Passive optical and inertial tracking in slim form-factor
WO2019142560A1 (ja) 視線を誘導する情報処理装置
JP2023531728A (ja) 人工現実感対話モードの統合
KR20190094381A (ko) 혼합 현실 환경의 가상 사용자 입력 콘트롤들
EP3106963B1 (en) Mediated reality
KR20220012990A (ko) 인공 현실 시스템들을 위한 팔 응시-구동 사용자 인터페이스 요소 게이팅
JP2023507867A (ja) 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム
KR20220018561A (ko) 사용자 인터페이스 요소들을 게이팅하기 위한 개인 어시스턴트 요소를 갖는 인공 현실 시스템들
KR20220018562A (ko) 인공 현실 시스템을 위한 모서리-식별 제스처-구동 사용자 인터페이스 요소 게이팅
US10254846B1 (en) Systems and methods to facilitate interactions with virtual content in an augmented reality environment
CN116204060A (zh) 鼠标指针基于手势的移动和操纵

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200103