CN107209960B - 用于提供虚拟现实环境的用户界面的系统、设备及方法 - Google Patents

用于提供虚拟现实环境的用户界面的系统、设备及方法 Download PDF

Info

Publication number
CN107209960B
CN107209960B CN201580074404.8A CN201580074404A CN107209960B CN 107209960 B CN107209960 B CN 107209960B CN 201580074404 A CN201580074404 A CN 201580074404A CN 107209960 B CN107209960 B CN 107209960B
Authority
CN
China
Prior art keywords
processor
computing platform
portable computing
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580074404.8A
Other languages
English (en)
Other versions
CN107209960A (zh
Inventor
科比·卡米尼茨
纳达维·格罗欣格
摩舍·梅亚瑟德
尼他耶·罗马诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Priority to CN202011551779.8A priority Critical patent/CN112530025A/zh
Publication of CN107209960A publication Critical patent/CN107209960A/zh
Application granted granted Critical
Publication of CN107209960B publication Critical patent/CN107209960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本文提供了一种能够连接至近眼显示器或者能够连接至虚拟现实头盔并且能够连接至具有处理器的便携式计算平台的设备。该设备可包括：照明器，被配置为利用图案化光照亮佩戴头盔或者近眼显示器的用户的附近；以及IR照相机，被配置为捕获图案化光的来自位于用户附近的至少一个对象的反射，其中，处理器被配置为：建立设备和便携式计算平台以及近眼显示器之间的数据和电力连接；并且基于反射生成对象的深度图。

Description

用于提供虚拟现实环境的用户界面的系统、设备及方法
技术领域
本发明总体涉及虚拟现实(VR)环境，更具体地，涉及使用身体手势和/或姿势实现与VR环境的自然接口连接的设备和方法。
背景技术
在阐述本发明的背景之前，阐述将在下文中使用的某些术语的定义可能是有帮助的。
这里使用的术语“虚拟现实”(VR)被定义为可以模拟现实世界或想象世界中的地点的物理呈现的计算机模拟环境。虚拟现实可以再创建感官体验，包括虚拟味觉、视觉、嗅觉、听觉、触觉等。许多传统VR系统使用用于呈现3D虚拟环境的近眼显示器。
本文所用的术语“增强现实”(AR)被定义为物理的、现实世界环境的生动直接或间接视图，其元素通过计算机生成的感官输入(例如声音、视频、图形或GPS数据)来增强(或补充)。这与其中通过计算机修改(甚至可能减少而不是增强)现实的视图的称为介导现实的更为广义的概念相关。
如本文所使用的术语“近眼显示器”被定义为包括可佩戴投射显示器的设备，该设备在每个眼睛被呈现略微不同的视场的方面通常是立体的，以便创建3D感知。
术语“虚拟现实头盔”有时称为“护目镜”，是显示计算机输出的环绕视觉接口。通常，计算机显示信息呈现为现实世界环境的三维表示。除了用于保持计算机显示器(可能以智能电话的形式)的简单结构之外，护目镜可以包括或可以不包括光学器件。
图1示出了根据现有技术的传统VR系统，其中，用户10佩戴头戴式立体显示器12(例如，Oculus RiftTM)，其将场景的合成图像16投射到用户10的每只眼睛上。通常在VR中，每只眼睛以稍微不同的角度接收合成图像16，以便在用户的大脑中创建3D感知(为了简单起见，未示出立体对)。另外，头戴式显示器12可以设置有诸如可以实时检测用户的视角或注视方向的诸如加速度计或陀螺仪(未示出)的传感器。因此，VR系统可以调整图像16以适配用户的头部方位。因为这种调整是实时进行的，所以可以实现虚拟现实的幻觉，其模仿现实世界中的头部移动。
除了如上所述跟踪用户的视点，VR系统经由诸如操纵杆14(或鼠标、触摸板或甚至键盘)的输入设备提供与虚拟世界的进一步交互。这种输入设备可以使用户10能够执行各种动作。例如，在VR场景上的图像16上指示的光标18可以由用户10经由操纵杆14来控制。自然地，使用这种传统的输入设备会破坏VR用户的整体体验。另外，使用光标18将用户体验限制为从个人计算机已知的标准计算机用户界面。
发明内容
根据本发明的一些实施方式，用户可以佩戴近眼显示器，根据本发明的实施方式的设备可以可能地作为附件安装在近眼显示器上。设备可包括照明器(例如，激光发射器)和捕获单元(例如，照相机)，该捕获单元的视场宽度足以包括用户的任何周围事物。在操作中，近眼显示器被配置为将合成的场景投射在用户的双眼上。照明器可以用图案光照亮用户和/或用户的附近。图案化光的反射可以通过捕获设备捕获，然后由例如可以位于作为近眼显示器的一部分的智能电话中的计算机处理器进行分析，以产生实时变化的指示诸如用户的手部的对象的位置与方向的三维视觉表示。
在另一个实施方式中，该设备可以从智能电话的照相机中受益，智能电话的照相机可以由专用软件配置以捕获由用户控制的手部或其他手势对象的图像。同时，智能电话的处理器被配置为基于由设备捕获的数据来计算相同手部或手势对象的深度图。处理器还被配置为将深度图和可见图像的数据合并成可以被导入到虚拟图像的相应位置的手部的3D图像。通过这种方式，用户的实际手部在保持其3D属性的同时导入VR场景。
本发明的实施方式的这些附加的和/或其他方面和/或优势在随后的详细说明中阐述；其可能从详细说明中推断；和/或可通过本发明的实施方式的实践来习得。
附图说明
为了更好地理解本发明的实施方式并且示出如何实施本发明，现在将仅作为示例参考附图，其中相同的标号始终指示相应的元件或部分。
在附图中：
图1示出了根据现有技术的虚拟现实系统及其环境的示图；
图2是示出了根据本发明的一些实施方式的附接至其周围环境的设备的立体图；
图3是示出了根据本发明的一些实施方式的设备的非限制性实现的示图；
图4是示出了根据本发明的一些实施方式的设备的框图；
图5A和5B是示出了根据本发明的实施方式的一方面的示图；
图6是示出了根据本发明的一些实施方式的在其周围环境中操作的设备的示图；
图7A、7B和7C是根据本发明的实施方式的可能的图案光生成器的框图；以及
图8是示出了根据本发明的实施方式的图案化光的一方面的示图。
具体实施方式
现在具体参考详细附图，应强调的是，所示的特例是示例性方式的，并且仅为了本技术的优选实施方式的说明性讨论的目的，并且为了提供被确信为本技术的原理和概念性方面的最实用和易于理解的说明而呈现。鉴于此，没有试图以比基本理解本技术更详细的方式显示本发明的结构细节，且参照附图的说明使本领域的技术人员清楚在实际中可以如何实施本发明的多个形式。
在详细说明本技术的至少一个实施方式之前，应理解，本发明不限于将其应用于以下描述中所阐述的或在附图中示出的部件的构造和布置的细节。本技术可适用于其他实施方式或者以各种方式实践或者实施。同样，应理解，本文中采用的措词和术语是为了描述的目的且不应被认为是限制。
图2是根据本发明的一些实施方式的封装并且附接到其直接环境200的设备210的立体图，直接环境200是配置用于与诸如智能电话220的移动设备一起使用的虚拟现实(VR)头盔240(护目镜)。设备210可包括诸如红外(IR)图案照明器212的照明器(例如，激光发射器)，诸如IR照相机214的照相机。设备210可以进一步包括被配置为执行初始图像处理的预处理器(未示出)。设备210还被配置为与智能电话220以及与一起形成VR头盔的近眼显示器240物理地和电子地接口连接。这样的VR头盔(护目镜)可以布置为与智能电话一起使用，如本领域中已知的，并且通常包括可以透射智能电话的显示器的光学器件(未示出-面向相对侧)，用于容纳智能电话220(其可以包括照相机222)的套筒250，以及用于将VR头盔(护目镜)紧固到用户的头部的带子230。然而，应当理解，设备210可以与诸如Samsung Gear VRTM和Oculus RiftTM的近眼显示器接口连接。
在操作中，设备210可以用作一装置，该装置通过增加在VR场景内观看用户的手部或其他身体部位的3D图像的能力来增强VR头盔。这由设备210执行，该设备210提供附接到近眼显示器的必要硬件以及在VR设备处理器上执行的必要软件，用于控制设备并分析由其捕获的数据。在经济上，本发明的一些实施方式消除了对VR特定设备的需要，并且将进一步节省成本。
有利地，设备210仅提供最小的硬件，例如图案化的光照明器和用于捕获图案的反射的照相机。连接到智能电话220的接口可以提供所需的电力并且将所获取的数据传送到正在执行所有处理的智能电话220，利用其计算能力。因此，根据本发明的一些实施方式，安装VR系统变得非常容易，并且使用诸如智能电话和护目镜的现成组件。
图3是根据本发明的一些实施方式的设备的非限制性示例性实施方式的机械示图。立体图示出了印刷电路板(PCB)301，其上安装有组件并且可以物理地附接到基座单元305。示例性实现的主要组件是耦接至激光驱动器320的激光发射器360，激光驱动器320被配置为向激光发射器360馈送足够的功率和可能的调制。照相机330(可能是VGA照相机)被配置为接收图案化的光的反射。根据一个实施方式，PCB可包括覆盖照相机330的IR滤光片350。在一些实施方式中，数据(诸如由照相机330接收的与图案光反射相关的数据)例如由信号处理器310初始处理，然后经由端口(诸如USB端口340)传送到第三方处理器(未示出)，例如数据可以通过USB协议传输到智能电话的USB端口，并与在智能电话的处理器上执行的应用交互。用于设备的电力也可以经由USB端口340来提供。用于附加照相机以及诸如初始图像处理器(TIP)的各种集成电路(IC)的插座也附接到PCB并且在此示出。
在一些实施方式中，可以从设备省去照相机330并且可以代替使用外部便携式计算平台(智能电话)的照相机。本发明人已经测试了该设备的几个原型，并且已经测量了具有照相机330的设备的低功耗lWatt，而且，测量了没有照相机330的设备的550毫瓦甚至更低的功耗。
图4是示出根据本发明的一些实施方式的如上所述的设备及其直接环境的架构的框图。设备400可包括配置为用图案化光照亮场景的IR照明器；配置为接收图案化光的反射的IR照相机406以及配置为执行来自IR照相机406的数据的初始处理的预处理器。设备400还被配置为与诸如智能电话410的便携式计算平台接口连接，智能电话410可包括处理器414和与设备400相关联的由处理器414执行的软件模块。智能电话410进一步连接到近眼显示器420，该近眼显示器420被配置为向用户呈现合成场景并且还呈现用户的身体部位(例如，手部)的3D图像。应注意，平台还可以是膝上型个人电脑(PC)、平板电脑等。
在操作中，由IR照相机406捕获照明器402照亮的经反射的IR图案，并且在由预处理器404进行一些初始处理之后，将数据传送到智能电话410的处理器414与专用软件416，处理器414基于反射的图案生成用户身体部位的深度图。可见光照相机412可以被配置为捕获用户的被图案化光照亮的相同身体部位(例如，手部)的2D彩色图像。因此，处理器414可以使用身体部位的深度图和2D彩色图像，生成捕获的身体部位的3D彩色图像。最后，处理器414被配置为将捕获的身体部位的所生成的3D彩色图像叠加到合成的VR场景上，使得用户将能够通过近眼显示器420查看VR场景和他或她被捕获的身体部位(例如，手部)作为3D彩色图像，正如其在现实生活中的定位和定向。
图5A和5B是示出了根据本发明的一些实施方式的一方面的示图。看到用户500佩戴根据本发明的一些实施方式的设备510。应注意，为了简化起见，在此仅示出设备，而没有其附带的头盔。图5A示出设备510的照明器和IR照相机的视场。肖像配置中示出的图案化光530A覆盖的区域与IR照相机520A覆盖的区域基本上重叠。图5B示出了类似的，但是以IR照相机旋转90°的风景配置的重叠视场，并且照明器也可以旋转或者替代地其图案生成表面拉伸成实际上变为风景。风景方向的使用对于VR应用来说是有利的，其中整个手的范围对于实现和监视自然姿势和手势是重要的。在实验期间，发明人已经发现，在肖像配置中，本发明的实施方式的大约43°的水平视场和大约55°的垂直视场产生了良好的结果。类似地，大约55°的水平视场和大约43°的水平视场对于风景配置产生了的良好结果。应理解的是，根据本发明的其他实施方式，其他视场可以与其他设备一起使用。
图6是示出了根据本发明的实施方式的设备在其常见环境中的示意图。用户10佩戴近眼显示器630，设备600可以如上所述作为附加装置安装在近眼显示器630上。设备600可包括如上所述的照明器(例如，激光发射器)620和捕获单元(例如，照相机)610，其视场宽度足以包括用户的任何周围事物。
在操作中，近眼显示器630被配置为将合成的场景投射在用户10的双眼上。照明器610可以利用图案化光624照亮用户10的附近。图案化光的反射可以通过捕获设备610捕获，然后由计算机处理器(此处未示出)进行分析，计算机处理器可以位于例如附接至近眼显示器630的智能电话上。智能电话的可见光照相机(或替代地设备600的部件)被配置为捕获用户的手或者由用户10控制的其他手势对象的2D图像。同时，智能电话的处理器被配置为计算手或手势对象的深度图，然后将深度图和可见图像的数据合并成可以导入到虚拟图像660处的对应位置的手662的3D图像。这样，用户10的手的3D图像在VR场景上重叠，同时保持其3D属性。
图7A至7C是示出以多线图案生成器的形式实现照明器(图案化光源)的各种实施方式的图。因此，它包含激光源和将激光束变换成多条线的光学器件。为了提供如何能够实现结构化光的更多细节，仅通过说明的方式，下列申请的全部内容通过引用并入本文：美国专利申请号13/497,586，WIPO专利申请公开号WO 2013088442和美国临时案件申请号61/863,510、61/894,471和61/926,476。
图7A示出了根据本发明的第一实施方式的图案生成器系统700A的配置。系统700A可包括诸如激光二极管光源的光源710A和单个光学透镜元件120。光学元件720A可以提供以下三个功能(不具体按此顺序)，从而在空间或表面或物体上产生诸如多线图案的图案：a)生成线，b)倍增，c)准直。
根据本发明的第一实施方式，提供一种单透镜光学元件720A，其包括至少两个表面(第一光学表面725A和第二光学表面735A)。在诸如第一光学表面的Y-Z横截面的第一截面中，透镜元件120具有正光焦度。该正光焦度用于准直慢发散部分中的激光。
在诸如透镜的第一表面725A或第二表面735A的X-Z横截面的第二横截面中，元件720A具有线生成器。线生成器可以是正光焦度(例如非球面透镜、柱面透镜或衍射元件)或负光学表面或组合的负/正表面等的形式。单个光学元件700A还包括形成在诸如第二表面735A的Y-Z横截面的第一横截面中的分束元件。
图7B示出了根据本发明的第二实施方式的图案生成器系统700B的配置。系统700B可包括诸如激光二极管光源的光源710B和两个光学透镜元件(第一透镜元件720B和第二透镜元件740B)。在至少一个横截面(例如，快轴或慢轴)，例如在第一透镜的第一表面725B的Y-Z横截面中，元件720B具有正光焦度，并且在第一光学元件的另一横截面(即，X-Z横截面)中，在第二表面727B中提供倍增功能，用于分割由激光源710B提供的光束。
与第一透镜元件720B相邻或在其附近，设置有第二透镜元件740B，其配置为生成诸如线图案的图案。线图案可以设置在第二元件740B的第一表面745B的第一横截面处，例如在第一表面745B的Y-Z横截面中。
图7C示出了根据本发明的第三实施方式的图案生成器系统700C的配置。系统700C可包括诸如激光二极管光源的光源710C和两个光学透镜元件(第一透镜元件720C和第二透镜元件730C)。在至少一个横截面中，例如在第一透镜的第一表面755BC的Y-Z横截面中，元件745C具有正光焦度。
与第一透镜元件720C相邻或在其附近，设置有用于产生两个功能的第二透镜元件740C：1)生成线，以及2)倍增。例如，在第一表面的第一横截面(即，Y-Z横截面)和第二表面755C的另一横截面(即，X-Z横截面)的倍增功能处形成诸如线图案的图案。
根据本发明的一些实施方式，第一元件和第二元件可以通过本领域已知的胶合技术的焊接而彼此联接。
根据本发明的另一实施方式，第二透镜元件的衍射表面面向第一透镜元件的表面以保护敏感衍射表面并防止不期望的外部元件与衍射表面的任何接触。
根据本发明的一些实施方式，可以使用正光学表面、组合的负/正表面或衍射表面来形成线生成功能。
根据示例性实施方式，使用设计成能够检测手部移动(例如手指和拇指的精细动作)的光图案来执行对手部的移动的跟踪。结构光的使用可以是例如在WIPO PCT专利申请公开第WO 2013/088442号中所公开的，其全部内容通过引用并入本文。
具体设计的光图案允许跟踪移动，即使在与三维深度图不同的二维视频数据中，也不会将手部与身体的其余部位轻易分离。
可选地，光图案可以专门设计成跟踪二维视频数据(例如，从常规摄像机流传输的视频图像)中的手部的手指头的移动。更具体地，光图案可以设计成使得能够根据图案由于手指头的失真在二维视频数据中检测和跟踪手指头(即，手指和拇指)以及手掌。
可选地，光图案在第一方向(例如，X轴)上具有连续特征并且在基本上垂直于第一方向的方向上(例如，Y轴)具有非连续(例如，周期性)特征。在这种图案的一个实例中，光图案包括彼此平行(或近似平行)布置的数个条纹。
图8是示出了根据本发明的实施方式的图案化光的一方面的示图。
以下是关于如何使用生成的图案化光来跟踪由用户做出的手势的更详细的说明。根据示例性实施方式，传感器(这里未示出)可以以一定的Y轴距离定位，例如在将条纹图案投射在手部810和背景820(例如，手部所在的桌子表面、墙壁等)上的发射器附近。选择传感器的位置，以便在照相机、光投射仪和从用户的手部810和背景820反射回的光之间产生三角测量效果。
三角测量效果导致沿着条纹的与利用光图案投射的对象具有显着的深度偏移的点处的图案的不连续性。不连续段将条纹(即，划分)至两个或更多个条段，例如位于手部的段831、位于手部左侧的段832和位于手部右侧的段833。
这种深度偏移产生的条段可以位于用户的手部的手掌或手指头的轮廓，其位于照相机和用户的身体之间。也就是说，用户的手指头或手掌将条纹分成两个或更多个条段。一旦检测到这种条段，便于沿着条段至条段的端部。
因此，该设备可以分析二维视频数据，以产生条段的群集。例如，设备可以在光图案中识别通过手部的手指头的条纹分割所产生的一个或多个条段的群集，例如从手部的中指反射的四个段的群集841。因此，设备通过跟踪通过手指头对条纹进行分割而产生的条段的群集或通过跟踪至少一个群集的段来跟踪手指头的移动。
通过由手指头分割(即划分)条纹而产生的条段的群集包括在X轴上具有重叠的条段。可选地，群集中的条段还具有类似的长度(从手指厚度得出)或在Y轴坐标中相对邻近。
在X轴上，对于在X-Y平面上直线定位的手指头，这些段可以完全重叠，或者对于对角定位的手指头，局部重叠。可选地，设备进一步识别手指头的深度移动，例如通过检测跟踪的群集中的段的数量的变化。例如，如果用户伸展用户的中心手指头，则手指头与光投射仪和照相机的平面(X-Y平面)之间的角度会发生变化。因此，群集841的段的数目从四个减少至三个。
可选地，设备进一步在光图案中识别通过手部的手掌对条纹进行分割而产生的一个或多个条段的一个或多个群集。
通过手掌对条纹进行分割而产生的条段的群集包括在X轴上与用户手部的手指的条段群集重叠的上条段831。上条段831在X轴上与四个手指群集重叠，但不超过四个手指群集的底部段的最小和最大X值。
通过手掌对条纹进行分割而产生的条段的群集进一步包括在段831的正下方，与条段831显著重叠的几条条段。通过手掌对条纹进行分割而产生的条段的群集进一步包括延伸到用户的拇指的条段群集851的底部的较长条段。应理解的是，手指头和手掌群集的方向可能因特定的手位置和旋转而不同。
有利地，即使当与智能电话的情况一样源电力受限时，设备的功率消耗充分降低以实现非中断和连续的操作。如上所述，与涉及能量阻塞的现有技术方案相反，本发明的一些实施方式利用基于能量被空间转移的干扰的图案生成。使用干扰底部图案生成在能量方面更有效率。如上面进一步解释的，深度图的生成是能够进行减少计算强度的部分图案处理的反射的基础段。这还有助于减小总功率消耗。在一些实施方式中，可以使用智能电话的自动对焦特征，以便提供关于正在用图案投射的对象的范围的初始数据。这也有助于降低功耗。上述所有低功耗特征都显著有助于将智能电话和近眼显示器的界面作为VR头盔，从功耗角度来看是可能的。
在上述说明中，实施方式是本发明的实例或者实现。“一个实施方式”、“实施方式”或“一些实施方式”的各种外观不一定都指代相同的实施方式。
尽管可以在单个实施方式的上下文中描述本发明的各种特征，但是也可以单独地或以任何合适的组合提供特征。相反地，尽管为了清楚起见在本文中可以在单独的实施方式的上下文中描述本发明，但是本发明也可以实现为单个实施方式。
说明书中对“一些实施方式”、“实施方式”、“一个实施方式”或“其他实施方式”的引用意味着结合实施方式描述的特定特征、结构或特性包括在本发明的至少一些实施方式中，而不必是本发明的所有实施方式。
应当理解，本文采用的语句和术语不应解释为限制性的并且仅用于描述的目的。
参考所附的描述、附图和实例可以更好地理解本发明的教导的原理和用途。
应当理解，本文阐述的细节不构成对本发明的应用的限制。
此外，应当理解，本发明可以以各种方式实施或实践，并且本发明可以在除了上述描述中所概述的实施方式之外的实施方式中实现。
应当理解，术语“包括”、“包含”、“由...组成”和其语法变体不排除添加一个或多个组件、特征、步骤或整体或其组合，并且术语将是被解释为指定组件、特征、步骤或整数。
如果说明书或权利要求涉及“附加”元件，则不排除存在多于一个附加元件。
应当理解，如果权利要求或说明书是指“一个(a)”或“一个(an)”元件，则这样的引用不应被解释为仅存在该元件中的一个。
应当理解，在说明书中声明“可(may)”、“可能(might)”、“能够(can)”或“可以(could)”包括组件、特征、结构或特性的情况下，不需要包括特定组件、特征、结构或特性。
在适用的情况下，尽管可以使用状态图、流程图或二者来描述实施方式，但是本发明不限于这些图或对应的描述。例如，流程不需要通过每个所示的方框或状态，或者以与图示和描述完全相同的顺序。
本发明的方法可以通过手动、自动或其选择的步骤或任务的执行或完成来实现。
权利要求和说明书中呈现的描述、实例、方法和材料不应解释为限制性的，而是仅为说明性的。
除非另有定义，本文所用技术和科学术语的含义通常如本发明所属领域的普通技术人员理解的。
本发明可以利用与本文所述的方法和材料相当或类似的方法和材料在测试或实践中实现。
尽管针对有限数量的实施方式描述了本发明，但这些实施方式不应理解为对本发明的范围的限制，而是作为一些优选实施方式的范例。其他可行的变化、变形和应用也在本发明的范围内。因此，本发明的范围不应被至此所描述的内容所限定，而是受所附权利要求和它们的法律等同物来限定。

Claims (28)

1.一种能够连接至虚拟现实头盔并且能够连接至具有处理器的便携式计算平台的设备，所述设备包括：
照明器，被配置为利用图案化光照亮佩戴所述虚拟现实头盔的用户的附近；
照相机，被配置为捕获所述图案化光的来自位于所述用户附近的至少一个对象的反射；以及
预处理器，被配置为：
执行与所捕获的反射相关的数据的预处理；以及
将预处理后的数据提供至所述便携式计算平台的所述处理器，
其中，所述处理器被配置为：
建立所述设备与所述便携式计算平台之间的数据和电力连接；
从所述预处理器获得所述预处理后的数据；并且
基于所述预处理后的数据生成所述对象的深度图。
2.根据权利要求1所述的设备，其中，所述照明器和所述照相机在红外范围内操作。
3.根据权利要求1所述的设备，其中，所述处理器被配置为：
基于所述至少一个对象的深度图和2D图像生成所述至少一个对象的3D图像；并且
将所述至少一个对象的3D图像叠加在由所述处理器生成并能够由所述用户观看的虚拟现实场景上。
4.根据权利要求1所述的设备，其中，所述设备的总功耗在1瓦特以下。
5.一种能够连接至虚拟现实头盔并且能够连接至具有处理器和照相机的便携式计算平台的设备，所述设备包括：
照明器，被配置为利用图案化光照亮佩戴近眼显示器的用户的附近，
预处理器，被配置为：
执行与所述照相机捕获的反射相关的数据的预处理；以及
将预处理后的数据提供至所述便携式计算平台的所述处理器，
其中，所述处理器被配置为：
建立所述设备与所述便携式计算平台之间的数据和电力连接；
指示所述照相机捕获所述图案化光的来自位于所述用户附近的至少一个对象的反射，
从所述预处理器获得所述预处理后的数据；并且
基于所述预处理后的数据生成所述对象的深度图。
6.根据权利要求5所述的设备，其中，所述设备的总功耗在500毫瓦以下。
7.根据权利要求5所述的设备，其中，所述便携式计算平台和所述虚拟现实头盔集成为单个元件。
8.根据权利要求5所述的设备，其中，所述便携式计算平台还包括可见光照相机，并且其中，从所述便携式计算平台的所述可见光照相机获得所述至少一个对象的2D图像。
9.根据权利要求5所述的设备，进一步包括：可见光照相机，并且其中，从所述可见光照相机获得所述至少一个对象的2D图像。
10.根据权利要求5所述的设备，其中，在所述设备和所述便携式计算平台之间数据和电力连接的建立被执行为“即插即用”。
11.根据权利要求5所述的设备，其中，所述至少一个对象是所述用户的身体部位。
12.根据权利要求5所述的设备，其中，将所述至少一个对象的3D图像叠加在虚拟现实场景上还包括：使所述至少一个对象的3D图像与所述用户对所述虚拟现实场景的视角对准。
13.根据权利要求5所述的设备，其中，所述便携式计算平台选自包括以下各项的组：智能电话、膝上型个人计算机；以及平板个人计算机。
14.根据权利要求5所述的设备，其中，所述照明器和所述照相机在“风景”配置中呈现55度的水平视场和43度的垂直视场，并且所述照明器和所述照相机在“肖像”配置中呈现43度的水平视场和55度的垂直视场。
15.一种用于提供虚拟现实环境的用户界面的方法，包括：
将设备连接至虚拟现实头盔以及具有处理器的便携式计算平台，所述设备包括照明器、照相机和预处理器；
建立所述设备与所述便携式计算平台之间的数据和电力连接；
利用图案化光照亮佩戴近眼显示器的用户的附近；
捕获所述图案化光的来自位于所述用户附近的至少一个对象的反射；
执行与所捕获的反射相关的数据的预处理；
将预处理后的数据提供至所述便携式计算平台的所述处理器；
从所述预处理器获得所述预处理后的数据；并且
基于所述预处理后的数据生成所述对象的深度图。
16.根据权利要求15所述的方法，其中，所述照明器和所述照相机在红外范围内操作。
17.根据权利要求15所述的方法，进一步包括：基于所述至少一个对象的深度图和2D图像生成所述至少一个对象的3D图像；并且将所述至少一个对象的所述3D图像叠加在由所述处理器生成并能由所述用户观看的虚拟现实场景上。
18.根据权利要求16所述的方法，其中，所述设备的总功耗在1瓦特以下。
19.一种用于提供虚拟现实环境的用户界面的方法，包括：
将设备连接至虚拟现实头盔以及将设备连接至具有处理器和照相机的便携式计算平台，所述设备包括被配置为利用图案化光照亮佩戴所述虚拟现实头盔的用户的附近的照明器；
建立所述设备与所述便携式计算平台之间的数据和电力连接；以及
指示所述照相机捕获所述图案化光的来自位于所述用户附近的至少一个对象的反射，
由预处理器执行与所捕获的反射相关的数据的预处理；
将预处理后的数据提供至所述便携式计算平台的所述处理器；
从所述预处理器获得所述预处理后的数据；并且
基于所述预处理后的数据生成所述对象的深度图。
20.根据权利要求19所述的方法，其中，所述设备的总功耗在500毫瓦以下。
21.根据权利要求19所述的方法，其中，所述便携式计算平台和所述虚拟现实头盔集成为单个元件。
22.根据权利要求19所述的方法，其中，所述便携式计算平台还包括可见光照相机，并且其中，从所述便携式计算平台的所述可见光照相机获得所述至少一个对象的2D图像。
23.根据权利要求19所述的方法，进一步包括：基于所述至少一个对象的深度图和2D图像生成所述至少一个对象的3D图像；并且将所述至少一个对象的所述3D图像叠加在由所述处理器生成并能够由所述用户观看的虚拟现实场景上。
24.根据权利要求19所述的方法，其中，在所述设备和所述便携式计算平台之间数据和电力连接的建立被执行为“即插即用”。
25.根据权利要求19所述的方法，其中，所述至少一个对象是所述用户的身体部位。
26.根据权利要求23所述的方法，其中，将所述至少一个对象的3D图像叠加在虚拟现实场景上还包括：使所述至少一个对象的3D图像与所述用户对所述虚拟现实场景的视角对准。
27.一种能够连接至近眼显示器并且能够连接至具有处理器的便携式计算平台的设备，所述设备包括：
照明器，被配置为利用图案化光照亮佩戴所述近眼显示器的用户的附近；
照相机，被配置为捕获所述图案化光的来自位于所述用户附近的至少一个对象的反射；以及
预处理器，被配置为：
执行与所捕获的反射相关的数据的预处理；以及
将预处理后的数据提供至所述便携式计算平台的所述处理器，
其中，所述处理器被配置为：
建立所述设备、所述近眼显示器、及所述便携式计算平台之间的数据和电力连接；
从所述预处理器获得所述预处理后的数据；并且
基于所述预处理后的数据生成所述对象的深度图。
28.根据权利要求27所述的设备，其中，所述处理器被配置为：
基于所述至少一个对象的深度图和2D图像生成所述至少一个对象的3D图像；并且
将所述至少一个对象的3D图像叠加在由所述处理器生成并能够由所述用户通过近眼显示器观看的虚拟现实场景上。
CN201580074404.8A 2014-12-18 2015-12-18 用于提供虚拟现实环境的用户界面的系统、设备及方法 Active CN107209960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011551779.8A CN112530025A (zh) 2014-12-18 2015-12-18 用于提供虚拟现实环境的用户界面的系统、设备及方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462093490P 2014-12-18 2014-12-18
US62/093,490 2014-12-18
PCT/US2015/066909 WO2016100933A1 (en) 2014-12-18 2015-12-18 System, device and method for providing user interface for a virtual reality environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011551779.8A Division CN112530025A (zh) 2014-12-18 2015-12-18 用于提供虚拟现实环境的用户界面的系统、设备及方法

Publications (2)

Publication Number Publication Date
CN107209960A CN107209960A (zh) 2017-09-26
CN107209960B true CN107209960B (zh) 2021-01-01

Family

ID=56127744

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580074404.8A Active CN107209960B (zh) 2014-12-18 2015-12-18 用于提供虚拟现实环境的用户界面的系统、设备及方法
CN202011551779.8A Pending CN112530025A (zh) 2014-12-18 2015-12-18 用于提供虚拟现实环境的用户界面的系统、设备及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011551779.8A Pending CN112530025A (zh) 2014-12-18 2015-12-18 用于提供虚拟现实环境的用户界面的系统、设备及方法

Country Status (6)

Country Link
US (2) US9858703B2 (zh)
EP (1) EP3234685B1 (zh)
JP (2) JP6309174B1 (zh)
KR (1) KR101908057B1 (zh)
CN (2) CN107209960B (zh)
WO (1) WO2016100933A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9507411B2 (en) * 2009-09-22 2016-11-29 Facebook, Inc. Hand tracker for device with display
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
WO2017127494A1 (en) 2016-01-22 2017-07-27 Corning Incorporated Wide field personal display
US10225655B1 (en) 2016-07-29 2019-03-05 Relay Cars LLC Stereo user interface elements placed in 3D space for virtual reality applications in head mounted displays
US10827163B2 (en) * 2016-08-09 2020-11-03 Facebook Technologies, Llc Multiple emitter illumination source for depth information determination
EP3282285B1 (en) * 2016-08-09 2020-09-09 Facebook Technologies, LLC Multiple emitter illumination source for depth information determination
US10209360B2 (en) * 2017-02-01 2019-02-19 Microsoft Technology Licensing, Llc Reduced phase sampling for high speed depth sensing
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
CN107390370B (zh) * 2017-09-21 2020-05-01 中新国际电子有限公司 一种vr头显
CN107782250B (zh) * 2017-09-30 2020-03-06 维沃移动通信有限公司 一种深度信息测量方法、装置和移动终端
CN108196679B (zh) * 2018-01-23 2021-10-08 河北中科恒运软件科技股份有限公司 基于视频流的手势捕捉和纹理融合方法及系统
US11156842B2 (en) * 2018-02-07 2021-10-26 Facebook Technologies, Llc Head-mounted-display system including three-dimensional knitted layer
US10572002B2 (en) * 2018-03-13 2020-02-25 Facebook Technologies, Llc Distributed artificial reality system with contextualized hand tracking
US10528133B2 (en) * 2018-03-13 2020-01-07 Facebook Technologies, Llc Bracelet in a distributed artificial reality system
CN108830891B (zh) * 2018-06-05 2022-01-18 成都精工华耀科技有限公司 一种钢轨鱼尾板紧固件松动检测方法
CN110072046B (zh) 2018-08-24 2020-07-31 北京微播视界科技有限公司 图像合成方法和装置
US10909373B1 (en) 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light
US11210772B2 (en) * 2019-01-11 2021-12-28 Universal City Studios Llc Wearable visualization device systems and methods
EP3891584B1 (en) 2019-01-22 2023-08-30 Hewlett-Packard Development Company, L.P. Mixed reality presentation
CA3139465A1 (en) 2019-06-20 2020-12-24 Barrie A. Loberg Voice communication system within a mixed-reality environment
CN110827605A (zh) * 2019-11-27 2020-02-21 国网江苏省电力有限公司技能培训中心 一种基于虚拟现实的培训方法和装置
CN111324184A (zh) * 2020-04-08 2020-06-23 上海显耀显示科技有限公司 一种便携式计算通讯一体机
US11592907B2 (en) * 2020-10-20 2023-02-28 Google Llc Gesture-triggered augmented-reality
CN112416125A (zh) 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
WO2023278868A1 (en) 2021-07-01 2023-01-05 Summer Robotics, Inc. Calibration of sensor position offsets based on rotation and translation vectors for matched trajectories
WO2023009755A1 (en) 2021-07-29 2023-02-02 Summer Robotics, Inc. Dynamic calibration of 3d acquisition systems
US11785200B1 (en) 2022-03-14 2023-10-10 Summer Robotics, Inc. Stage studio for immersive 3-D video capture
WO2023196225A1 (en) * 2022-04-05 2023-10-12 Summer Robotics, Inc. Auxiliary device for augmented reality
CN114757829B (zh) * 2022-04-25 2024-09-06 歌尔股份有限公司 拍摄校准方法、系统、设备及存储介质
US11974055B1 (en) 2022-10-17 2024-04-30 Summer Robotics, Inc. Perceiving scene features using event sensors and image sensors

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US20090096783A1 (en) * 2005-10-11 2009-04-16 Alexander Shpunt Three-dimensional sensing using speckle patterns
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120127284A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Head-mounted display device which provides surround video
US20120249591A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci System for the rendering of shared digital interfaces relative to each user's point of view
CN103635849A (zh) * 2011-06-23 2014-03-12 微软公司 用于头戴式显示器的总视野分类
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002544510A (ja) 1999-05-14 2002-12-24 ３ディーメトリックス，インコーポレイテッド カラー構造化された光３ｄ撮像システム
CN1926497A (zh) * 2003-12-09 2007-03-07 雷阿卡特瑞克斯系统公司 自主交互式视频显示系统
US7659915B2 (en) * 2004-04-02 2010-02-09 K-Nfb Reading Technology, Inc. Portable reading device with mode processing
US9075441B2 (en) * 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
JP2008028552A (ja) 2006-07-19 2008-02-07 Nikon Corp 表示装置
US8100539B2 (en) * 2007-04-10 2012-01-24 Tunable Optix Corporation 3D imaging system employing electronically tunable liquid crystal lens
US8285025B2 (en) 2008-03-25 2012-10-09 Electro Scientific Industries, Inc. Method and apparatus for detecting defects using structured light
US7885012B2 (en) * 2008-07-23 2011-02-08 Eastman Kodak Company Shearing radiation beam for imaging printing media
MY158157A (en) * 2009-04-03 2016-09-15 Garmond Pty Ltd Improved containers
KR20120082433A (ko) 2009-09-28 2012-07-23 산에이겐 에후.에후. 아이. 가부시키가이샤 심황 색소 조성물 및 그 조제 방법
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US8396252B2 (en) * 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8485668B2 (en) 2010-05-28 2013-07-16 Microsoft Corporation 3D interaction for mobile device
CN102959616B (zh) * 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9511291B2 (en) 2010-11-15 2016-12-06 Bally Gaming, Inc. System and method for enhanced augmented reality tracking
WO2012166135A1 (en) * 2011-06-01 2012-12-06 Empire Technology Development,Llc Structured light projection for motion detection in augmented reality
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
DE112012002943T5 (de) 2011-07-13 2014-04-30 Faro Technologies Inc. Vorrichtung und Verfahren unter Verwendung eines räumlichen Lichtmodulators zum Ermitteln von 3D-Koordinaten eines Objekts
WO2013052781A1 (en) * 2011-10-07 2013-04-11 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
US9518864B2 (en) 2011-12-15 2016-12-13 Facebook, Inc. Controllable optical sensing
US8970960B2 (en) * 2011-12-22 2015-03-03 Mattel, Inc. Augmented reality head gear
US20130250087A1 (en) * 2012-03-23 2013-09-26 Peter A. Smith Pre-processor imaging system and method for remotely capturing iris images
CN106125308B (zh) * 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
WO2014010251A1 (en) * 2012-07-13 2014-01-16 Panasonic Corporation Hand and object tracking in three-dimensional space
US9332243B2 (en) * 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using
US20140157209A1 (en) * 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures
US20140160162A1 (en) * 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
AU2014204252B2 (en) * 2013-01-03 2017-12-14 Meta View, Inc. Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US10019843B2 (en) 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
WO2015077455A1 (en) * 2013-11-25 2015-05-28 Digimarc Corporation Methods and systems for contextually processing imagery
JP6359466B2 (ja) 2014-01-13 2018-07-18 フェイスブック，インク． サブ解像度での光学的検出
EP3108287A4 (en) * 2014-02-18 2017-11-08 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
US9749513B2 (en) * 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
US9785247B1 (en) * 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
CN204480228U (zh) * 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
KR101930657B1 (ko) * 2014-10-24 2018-12-18 유센스, 인코퍼레이티드 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
US9858459B2 (en) * 2014-10-29 2018-01-02 The Code Corporation Barcode-reading system
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US20170059305A1 (en) * 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
US9613423B2 (en) * 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US20090096783A1 (en) * 2005-10-11 2009-04-16 Alexander Shpunt Three-dimensional sensing using speckle patterns
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120127284A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Head-mounted display device which provides surround video
US20120249591A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci System for the rendering of shared digital interfaces relative to each user's point of view
CN103635849A (zh) * 2011-06-23 2014-03-12 微软公司 用于头戴式显示器的总视野分类

Also Published As

Publication number Publication date
US20160180574A1 (en) 2016-06-23
JP6309174B1 (ja) 2018-04-11
US9858703B2 (en) 2018-01-02
US10559113B2 (en) 2020-02-11
US20180068483A1 (en) 2018-03-08
KR101908057B1 (ko) 2018-10-15
JP2018512095A (ja) 2018-05-10
EP3234685B1 (en) 2021-02-03
KR20170095860A (ko) 2017-08-23
JP2018133093A (ja) 2018-08-23
WO2016100933A1 (en) 2016-06-23
JP6585213B2 (ja) 2019-10-02
CN112530025A (zh) 2021-03-19
CN107209960A (zh) 2017-09-26
EP3234685A1 (en) 2017-10-25
EP3234685A4 (en) 2018-06-13

Similar Documents

Publication Publication Date Title
CN107209960B (zh) 用于提供虚拟现实环境的用户界面的系统、设备及方法
US11625103B2 (en) Integration of artificial reality interaction modes
EP3908904B1 (en) Holographic palm raycasting for targeting virtual objects
CN109313497B (zh) 用于六自由度混合现实输入的惯性控制器的模块化扩展
CN108475120B (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
US9367136B2 (en) Holographic object feedback
US10019843B2 (en) Controlling a near eye display
US10235807B2 (en) Building holographic content using holographic tools
US20140160162A1 (en) Surface projection device for augmented reality
US20090322671A1 (en) Touch screen augmented reality system and method
US10019130B2 (en) Zero parallax drawing within a three dimensional display
US20190102934A1 (en) Shadows for inserted content
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
US10521966B2 (en) System and method for providing views of virtual content in an augmented reality environment
CN110692237B (zh) 用于照明插入内容的方法、系统和介质
WO2014108799A2 (en) Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
Chen et al. Real-time projection mapping using high-frame-rate structured light 3D vision
WO2024064231A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR20240145852A (ko) 터치 입력에 대한 피드백을 제공하기 위한 웨어러블 장치 및 그 방법
WO2024054433A2 (en) Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
Lingrand et al. Towards better interactions with a 3D deformable model with your hands
KR20150138659A (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
KR20150136759A (ko) 홀로그래피 터치 기술 및 프로젝터 터치 기술

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190327

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: American California

Applicant before: Facebook, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder