CN108780357A - 用于将物理环境的视觉图像集成到虚拟实境的空间关系 - Google Patents

用于将物理环境的视觉图像集成到虚拟实境的空间关系 Download PDF

Info

Publication number
CN108780357A
CN108780357A CN201780017168.5A CN201780017168A CN108780357A CN 108780357 A CN108780357 A CN 108780357A CN 201780017168 A CN201780017168 A CN 201780017168A CN 108780357 A CN108780357 A CN 108780357A
Authority
CN
China
Prior art keywords
physical objects
user
physical
head
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780017168.5A
Other languages
English (en)
Other versions
CN108780357B (zh
Inventor
埃文·罗伯特·希尔德雷特
弗朗西斯·伯纳德·麦克杜格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Priority to CN202111483422.5A priority Critical patent/CN114138118B/zh
Publication of CN108780357A publication Critical patent/CN108780357A/zh
Application granted granted Critical
Publication of CN108780357B publication Critical patent/CN108780357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种供物理环境中的头戴式显示器使用的方法，其包含获得所述物理环境的深度信息及俘获所述物理环境的视觉图像。所述方法还包含基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的一或多个物理对象之间的空间关系。接着基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像。接着将所述经分段图像覆叠在虚拟图像上以在所述头戴式显示器上显示所述虚拟图像及所述一或多个物理对象两者。

Description

用于将物理环境的视觉图像集成到虚拟实境的空间关系
技术领域
本发明的方面大体上涉及虚拟实境，且特定地说，涉及将物理环境的视觉图像集成到在头戴式显示器上呈现的虚拟图像。
背景技术
虚拟实境(VR)为向用户提供沉浸式多媒体或计算机模拟环境的新兴技术。此类环境可模拟用户在虚构世界或在真实地点之后模型化的世界中的物理存在。VR技术可向用户呈现图形、音频及其它感觉增强以改进用户在虚拟环境内的体验。
然而，当今VR技术中的一些仍具有挑战性。举例来说，许多VR耳机遮挡用户对真实世界(即，物理环境)的视野。即，为了向用户呈现更具沉浸感的视觉外观，VR耳机可完全或大部分遮挡用户对除VR耳机的显示器以外的所有事物的检视。因此，在穿戴VR耳机及参与VR模拟时，用户常常被阻止对其现实世界环境进行视觉感测及与其现实世界环境交互。在穿戴VR耳机时对现实世界的视觉感测的此缺少可对用户造成若干困难及/或问题。举例来说，可阻止或至少阻碍用户尝试在计算机键盘上定向其手。在另一实例中，用户可能不能够着所要对象，例如饮料或电话。在又一实例中，用户可能不会注意到进入房间或来到其附近的另一个人。甚至，用户可甚至太晚才能够看见其将撞上墙壁。
一些常规VR系统提供跟踪用户的手且接着提供其手在VR模拟内的表示(例如，化身)的跟踪系统。然而，此类系统通常限于向用户提供与存在于VR模拟中的仅虚拟对象交互的机制，且对上文所论述问题有极少帮助。
发明内容
在一个方面中，一种供物理环境中的头戴式显示器使用的方法包含获得物理环境的深度信息及俘获物理环境的视觉图像。所述方法还包含基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系。接着基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像。接着将所述经分段图像覆叠在虚拟图像上以通过头戴式显示器显示虚拟图像及一或多个物理对象两者。
在另一方面中，一种头戴式显示器包含用于俘获物理环境的深度信息的装置及用于俘获物理环境的视觉图像的视觉摄像机。所述头戴式显示器还包含用于基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系的装置。用于基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像的装置及用于通过头戴式显示器显示虚拟图像的装置进一步包含于头戴式显示器中。所述头戴式显示器进一步包含用于将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机俘获的一或多个物理对象两者的装置。
另一方面涉及一种头戴式显示器。所述头戴式显示器包含视觉摄像机及显示器。所述头戴式显示器还包含至少一个处理器及耦合到所述至少一个处理器的至少一个存储器。所述至少一个处理器及所述至少一个存储器经配置以指导头戴式显示器执行以下操作：(i)获得物理环境的深度信息，其中物理环境包含一或多个物理对象；(ii)通过视觉摄像机俘获物理环境的视觉图像；(iii)基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系；(iv)基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像；(v)通过显示器显示虚拟图像；及(vi)将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机俘获的一或多个物理对象两者。
在又一方面中，一种非暂时性计算机可读媒体包含存储于其上的程序码。所述程序码包含在经执行时使得头戴式显示器执行以下操作的指令：(i)获得物理环境的深度信息，其中物理环境包含一或多个物理对象；(ii)通过视觉摄像机俘获物理环境的视觉图像；(iii)基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系；(iv)基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像；(v)通过头戴式显示器显示虚拟图像；及(vi)将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机俘获的一或多个物理对象两者。
此[发明内容]在具有以下理解的情况下提交：其将不用于解译或限制权利要求书的范围或意义。此[发明内容]既不打算识别所要求标的物的关键或基本特征，也不打算在确定所要求标的物的范围时用作辅助。
附图说明
图1为说明能够执行本文中所论述的过程的头戴式显示器的功能框图。
图2说明根据本文中所描述的技术的一或多项实施的在物理环境中的头戴式显示器的用户。
图3说明根据本文中所描述的技术的一或多项实施的基于深度信息将用户手的视觉图像集成到虚拟图像的过程。
图4为说明根据本文中所描述的技术的一或多项实施的利用空间关系用于将物理环境的视觉图像集成到虚拟实境的过程的流程图。
图5说明根据本文中所描述的技术的一或多项实施的基于用户与物理对象之间的空间关系将物理对象的视觉图像集成到虚拟图像的过程。
图6说明根据本文中所描述的技术的一或多项实施的基于距离确定用户与物理对象之间的空间关系的实例实施。
图7说明根据本文中所描述的技术的一或多项实施的基于第一手示意动作确定用户与物理对象之间的空间关系的实例实施。
图8说明根据本文中所描述的技术的一或多项实施的基于第二手示意动作确定用户与物理对象之间的空间关系的实例实施。
图9说明根据本文中所描述的技术的一或多项实施的基于物理环境的过去模型将物理对象的视觉图像集成到虚拟图像的过程。
图10为说明组件的若干样本方面的简化框图，所述组件可用于经配置以集成物理环境的视觉图像(如本文中所教示)的用户装置中。
[实施方式]参考附图。在诸图中，参考数字的最左数字识别首次出现所述参考数字的图。贯穿图式使用相同数字参考相似特征及组件。
具体实施方式
图1为说明能够执行本文中所论述的过程的头戴式显示器(HMD)100的功能框图。在一个实例中，HMD 100为能够将物理环境的视觉图像集成到虚拟实境图像(例如，下文描述的过程400)的用户装置。一般来说，控制单元106经耦合以从视觉摄像机102接收物理环境的视觉图像103。控制单元106经配置以接着将视觉图像103集成到由VR引擎122产生的虚拟图像。接着借助于显示器126向用户显示虚拟图像。在一项实施中，显示器126、视觉摄像机102、深度摄像机104、控制单元106、传感器105及/或用户接口108经集成到可由HMD 100的用户穿戴的单一单元中。在另一实施中，控制单元106与HMD 100分离。即，控制单元106可通过计算机、电话、平板计算机、“平板手机(电话+平板计算机)”计算机、智能型手机、膝上型计算机及台式计算机及借助于有线或无线连接耦合到HMD 100的类似者而实施。因而，控制单元106可包含应用程序设计接口(API)或用于与HMD 100通信的其它接口。无关于控制单元106与HMD 100集成抑或单独地实施，在某些方面中，视觉摄像机102、可选深度摄像机104及传感器107在HMD 100内与显示器126集成，如下文将更详细论述。
在一项实施中，视觉摄像机102为彩色摄像机，例如RGB摄像机。视觉摄像机102经配置以俘获现实世界场景(即，物理环境)的视觉图像103且将视觉图像103提供到控制单元106。视觉摄像机102可包含单一单目摄像机、立体摄像机及/或全向摄像机。在一个方面中，视觉摄像机102经校正，以使得摄像机参数(例如，焦距、光学中心的位移、径向失真、切向失真等)为吾人所知。此外，如上文所论述，视觉摄像机102与HMD 100集成。视觉摄像机102可与HMD 100集成，以使得由用户(即，穿戴者)进行的对HMD 100的定向的改变导致视觉摄像机102的定向的相同或类似改变。
HMD 100还包含可选深度摄像机104。深度摄像机104经配置以将深度信息105提供到控制单元106。在一些方面中，深度摄像机104为测距摄像机，例如飞行时间(ToF)摄像机。在其它方面中，深度摄像机104为结构化光摄像机或立体摄像机。深度信息105可包含物理环境的3维(3D)点云。因而，深度摄像机104可与HMD 100集成，以使得由用户(即，穿戴者)进行的对HMD 100的定向的改变导致深度摄像机104的定向的相同或类似改变。然而，如上文所提及，深度摄像机104可为可选的。即，在一些实施方案中，深度信息105可经由使用一或多个基于模型的跟踪算法从视觉图像103自身导出。举例来说，同步定位及映射(SLAM)算法可由控制单元106利用以基于一或多个视觉图像103产生深度信息105。SLAM算法可从由视觉摄像机102俘获的传入图像序列重构建3D点以建置物理环境的3D地图。从视觉图像103产生深度信息105的其它已知算法可根据本文中的教示而实施。
图1中还展示传感器107。在一个方面中，传感器107包含用以提供独立于可从视觉图像103及/或深度信息105导出的运动数据的移动及/或定向信息的运动传感器。作为实例，传感器107可包含加速度计(例如，MEMS装置)、陀螺仪、地磁传感器(例如，罗盘)、高度计(例如，大气压力高度计)及/或任何其它类型的移动检测传感器。此外，传感器107可包含多个不同类型的装置且组合其输出以便提供运动信息。举例来说，传感器107可使用多轴加速度计及定向传感器的组合以提供计算在二维(2-D)及/或三维(3-D)坐标系统中的位置的能力。如同视觉摄像机102，传感器107可与HMD 100集成，以使得由传感器107测量到的定向的改变表示通过用户(即，穿戴者)进行的对HMD 100的定向的改变。
HMD 100还包含用户接口108，所述用户接口包含能够显示由HMD 100产生的VR场景的显示器126。如上文所提及，VR场景可包含由视觉摄像机102俘获的物理环境的现实世界(即，物理)对象。用户接口1008还可包含可选小键盘128或其它输入装置，用户可经由其将信息输入到HMD 100中。用户接口108还可包含麦克风130及扬声器132。
控制单元106连接到视觉摄像机102、深度摄像机104、传感器107及用户接口108且与以上各者通信。控制单元106接受及处理从视觉摄像机102接收的视觉图像103。控制单元106还接受及处理从传感器107接收的数据以用于跟踪HMD 100的姿态。控制单元106可由处理单元110及相关联存储器116、硬件112、固件114、软件118及图形引擎124提供。
控制单元106可进一步包含虚拟实境(VR)引擎122。VR引擎122可经配置以执行与将物理环境的视觉图像集成到虚拟实境图像相关的一或多个程序，例如下文将参考图4的过程400描述。由视觉摄像机102俘获的视觉图像103以及由深度摄像机104产生的深度信息105及由传感器107产生的数据可经提供到VR引擎122。VR引擎122可接着在HMD 100上显现或以其它方式产生图像中的VR场景的视觉元素。
处理单元110及VR引擎122是出于明晰的目的而分开予以说明，但可为单一单元及/或基于处理单元110中执行的软件118中的指令而实施于处理单元110中。处理单元110以及VR引擎122可(但无需一定)包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)及其类似装置。术语处理器及处理单元描述通过系统而非特定硬件实施的功能。此外，如本文中所使用，术语“存储器”是指任何类型的计算机存储媒体，包含与HMD 100相关联的长期存储器、短期存储器或其它存储器，且不限于任何特定类型的存储器或特定数目个存储器，或上面存储有存储器的特定类型的媒体。
本文中所描述的过程可取决于应用而通过各种装置予以实施。举例来说，此些过程可以硬件112、固件114、硬件112与软件118的组合或其任何组合中予以实施。对于硬件实施，处理单元可在一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元或其组合内实施。
对于固件及/或硬件与软件组合实施，过程可通过执行本文中所描述的功能的模块(例如，程序、函数等)实施。有形地体现指令的任何计算机可读媒体可用于实施本文中所描述的过程。举例来说，程序码可存储于存储器116中且由处理单元110执行。存储器可在处理单元110内部或外部予以实施。
如果以固件及/或硬件/软件组合实施，那么所述功能可在计算机可读媒体上存储为一或多个指令或程序码。实例包含编码有数据结构的非暂时性计算机可读媒体及编码有计算机程式的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机可读媒体可包括RAM、ROM、快闪存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于存储呈指令或数据结构形式的所要程序码且可由计算机存取的任何其它媒体；如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合还应包含于计算机可读媒体的范围内。
图2说明根据本文中所描述的技术的一或多项实施的在物理环境200中的头戴式显示器(HMD)204的用户202。在一个实例中，HMD 204可经实施为图1的HMD 100。HMD 204的所说明实例经展示为包含显示器126、视觉摄像机102及深度摄像机104。然而，如上文所提及，深度摄像机104可为可选的且HMD 204可进一步包含用于在用户202在物理环境200内移动时提供HMD 204的定向测量的运动传感器(例如，传感器107)。
如图2中所示，用户202位于包含一或多个物理对象的物理环境200内。此些物理对象可包含台子/桌子212、键盘214及监视器216。然而，任何物理对象可包含于物理环境200中，例如墙壁、门、饮料、电话、另一个人等。如上文所提及，HMD 204的显示器126可至少遮挡用户202对物理环境200的视野的一部分。即，当不穿戴HMD 204时，用户202可具有对物理环境200的无阻挡视野218。然而，当穿戴HMD 204时，通过HMD 204自身挡住视野218的一些或全部。因此，根据本文中的教示，HMD 204经配置以将物理对象(例如，212、214、216)中的一或多个的视觉图像集成到正向用户202显示的虚拟图像以允许用户202在不必去除HMD 204及/或中断VR模拟的情况下感测物理环境及/或与物理环境交互。
在一个方面中，HMD 204包含与显示器126集成的视觉摄像机102，以使得由视觉摄像机102俘获的物理环境200的视野为用户202的被阻挡视野218。即，视觉摄像机102的视野可与在用户202未穿戴HMD 204的情况下的用户202的视野相同或类似。
HMD 204还可包含与头戴式显示器126集成的深度摄像机104以俘获深度信息(例如，点云)。深度摄像机104的视野可与视觉摄像机102的视野(例如，视野218)相同或类似。
在操作中，HMD 204经配置以基于由深度摄像机104俘获的深度信息将由视觉摄像机102俘获的物理环境200的视觉图像分段。然而，如上文所提及，深度摄像机104可为可选的。因此，在一些实施方案中，深度信息105可经由使用一或多个基于模型的跟踪算法(例如，SLAM算法)从视觉图像103自身而导出。如下文将更详细地描述，视觉图像的分段可产生包含存在于物理环境200中的物理对象中的一或多个的经分段图像。举例来说，经分段图像可包含用户的手210(单独)、桌子212(单独)、键盘214(单独)、监视器216(单独)或其任何组合。HMD 204接着将经分段图像覆叠到经由显示器126正向用户202显示的虚拟图像上，因此将物理环境200的视觉图像集成到VR。
因此，用户202可接着能够在不必去除HMD 204及/或不必中断VR模拟(例如，游戏)的情况下感测物理环境200及/或与其交互。举例来说，将物理环境200的视觉图像集成到VR可允许用户202将其手210正确地定向于键盘214上，够着位于桌子/台子212上的对象(即，饮料)，感测进入物理环境或尝试得到用户202的注意的另一个人，及/或感测其将接触的物理阻挡物(例如，其将撞上的墙壁)。根据一些方面，HMD 204无需分类或了解物理对象为何物，借此支持任意物理对象呈现成VR模拟。
图3说明根据本文中所描述的技术的一或多项实施的基于深度信息将用户手的视觉图像集成到虚拟图像的过程。物理环境200的深度图像302可由HMD 204的深度摄像机104俘获。在一个方面中，深度摄像机104及/或VR引擎122可经配置以基于深度图像302产生深度信息105，例如物理环境200的3D点云。然而，在其它实例中，深度信息105可借助于应用于由视觉摄像机102产生的视觉图像103的一或多个算法而导出。举例来说，图3说明由视觉摄像机102俘获的物理环境200的视觉图像304。如所示，视觉图像304包含用户202的手210、桌子/台子212、键盘214及监视器216的图像数据。VR引擎122可经配置以基于深度图像302(即，深度信息)将视觉图像304分段，且接着基于包含于深度图像302中的深度信息将视觉图像304的部分分类为前景对象。尽管VR引擎122经配置以将视觉图像的部分(例如，对应于物理对象的部分)分类为前景对象，但VR引擎122可完成此前景分类而不需分类或理解物理对象为何物。因此，视觉图像304可包含任意物理对象，VR引擎122不具有关于所述任意物理对象的先验了解。在图3的实例中，手210通过VR引擎122分类为借此产生阿尔法(alpha)掩模306的深度图像302内的前景对象。VR引擎122接着将阿尔法掩模306应用于视觉图像304以产生经分段图像308。如所示，经分段图像308包含仅手210的图像数据。因此，手已与包含于视觉图像304中的其它物理对象分段。
VR引擎122还产生借助于显示器126向用户202显示的虚拟图像310。虚拟图像310可为用户202当前参与的VR模拟(例如，游戏)的部分。VR引擎122接着将经分段图像308覆叠到虚拟图像310上以经由显示器126向用户202呈现组合图像312。因此，组合图像312包含虚拟图像310及由视觉摄像机102俘获的物理对象(例如，手210)两者。在一个方面中，VR引擎122可根据虚拟场景照明调节经分段图像308以产生更符合组合图像312内的虚拟图像310的手210的外观，借此增加由用户202感到的沉浸感觉。作为实例，根据虚拟场景照明调节经分段图像308可在将阿尔法掩模306应用于视觉图像304时通过VR引擎122而实施。在此实例中，VR引擎122可基于3D点云产生经检测前景对象(例如，手210)的3D网格。视觉图像304的对应于手210的一部分接着经映射到3D网格上以产生经分段图像308。
取决于VR模拟，由深度图像302提供的深度信息可经利用，以使得物理对象(例如，手210)可由虚拟图像310中的接近虚拟对象遮挡。举例来说，VR引擎122可经配置以比较所显现VR场景的z缓冲区与由深度图像302提供的深度信息以确定一或多个虚拟对象是否应在组合图像312中在手210的前方呈现(即，遮挡手210)。
如上文所论述，除仅能够检视其自身的手以外，用户202可需要能够在不必去除HMD 204及/或不需中断VR模拟的情况下感测物理环境200中的一或多个其它物理对象及/或与其交互。因此，图4为说明根据本文中所描述的技术的一或多项实施的利用空间关系用于将物理环境的视觉图像集成到虚拟实境的过程400的流程图。过程400为通过图1的HMD100及/或图2的HMD 204执行的一个可能过程。
在过程块402中，俘获物理环境200的深度信息105。如上文所提及，深度信息105可由深度摄像机104俘获及/或通过将一或多个基于模型的算法应用于由视觉摄像机102俘获的一或多个视觉图像而俘获。深度信息105可包含物理环境200的3D点云。
在过程块404中，视觉摄像机102俘获物理环境200的视觉图像103。视觉图像103可为彩色(例如，RGB)图像或其可为灰度图像。接下来，在过程块406中，VR引擎122基于深度信息105确定HMD的用户(例如，HMD 204的用户202)与包含于物理环境200中的一或多个物理对象(例如，桌子/台子212、键盘214及监视器216)之间的空间关系。如下文将更详细论述，确定空间关系可部分地基于用户202是否正触碰物理对象、用户202与物理对象之间的距离、用户202的手示意动作，及/或物理环境200的一或多个过去模型。
在过程块408中，VR引擎122基于空间关系将视觉图像103分段以产生包含一或多个物理对象的经分段图像。在一个实例中，将视觉图像103分段包含基于3D点云产生一或多个物理对象的3D网格。视觉图像103的对应于一或多个物理对象的一部分接着经映射到3D网格上以产生经分段图像。接下来，在过程块410中，VR引擎122将虚拟图像呈现/产生为VR模拟的部分以用于在显示器126上显示。在过程块412中，VR引擎122将经分段图像覆叠在虚拟图像上以显示虚拟图像及由视觉摄像机102俘获的一或多个物理对象两者。
图5说明根据本文中所描述的技术的一或多项实施的基于用户与物理对象之间的空间关系将物理对象的视觉图像集成到虚拟图像的过程。
物理环境200的深度图像502由HMD 204的深度摄像机104俘获。图5还说明由视觉摄像机102俘获的物理环境200的视觉图像504。如所示，视觉图像504包含用户202的手210、桌子/台子212、键盘214及监视器216的图像数据。VR引擎122可经配置以根据由(例如)传感器107确定的HMD 204的位置及定向而变换深度图像502。在另一实例中，VR引擎122可通过对齐过程变换深度图像502，其中深度图像502与过去深度图像比较以确定变换(在具有或不具有传感器107辅助的情况下)。经变换深度图像502接着与过去深度图像506组合以便将静态对象识别为背景。举例来说，比较深度图像502与过去深度图像506揭露桌子/台子212、键盘214及监视器216全部为静态对象且因此被分类为背景，而手210被分类为前景。
VR引擎122可接着通过比较深度图像502与过去深度图像506而将视觉图像504分段以产生前景阿尔法掩模508。接下来，VR引擎122识别触碰或靠近所识别前景对象的背景对象。举例来说，VR引擎122可将键盘214(即，背景对象)识别为靠近或触碰手210(前景对象)，且因此VR引擎可将视觉图像504分段以还产生仅包含键盘214的背景阿尔法掩模510。在一个实例中，将视觉图像504分段以产生背景阿尔法掩模510包含基于背景对象的特性(例如，表面结构及/或视觉外观(例如，色彩及/或纹理))扩大所选择背景对象以将整个背景对象分段。因此，即使手210可仅触碰或靠近键盘214的一部分，仍可产生对应于整个键盘214的背景阿尔法掩模510。在一些实施方案中，相对较大的背景对象(例如，墙壁)可整体经分段。然而，在其它实施中，相对较大的背景对象(例如，墙壁)可仅部分地经分段，其中大背景对象的仅一部分经分段。举例来说，VR引擎122可经配置以仅将与最靠近用户的对象上的点相距在阈值距离内的大背景对象(例如，墙壁)的一部分分段。作为实例，VR引擎122可辨识到用户202触碰键盘214且因此将整个键盘214分段以使得整个键盘214出现在组合图像516中。然而，当VR引擎122辨识到用户202正触碰桌子/台子212时，仅桌子/台子212的在用户202的够着范围内的部分可出现在组合图像516中，以便减少虚拟图像的遮挡。
VR引擎122接着组合前景阿尔法掩模508与背景阿尔法掩模510以产生组合的阿尔法掩模512，其接着应用于视觉图像504以产生经分段图像514。如图5中所示，经分段图像514包含由视觉摄像机102俘获的一或多个物理对象(即，键盘214)以及手210。
VR引擎122接着将经分段图像514覆叠到虚拟图像上以经由显示器126向用户202显示组合图像516。因此，组合图像516包含虚拟图像以及由视觉摄像机102俘获的手210及物理对象(例如，手210)。在一个方面中，VR引擎122可根据虚拟场景照明调节经分段图像514以产生更符合组合图像516内的虚拟图像的手210的外观。在一个实例中，VR引擎122可通过基于3D点云产生所检测前景对象(例如，手210)及所检测背景对象(例如，键盘214)的3D网格而调节经分段图像514。视觉图像504的对应于手210及键盘214的部分接着经映射到3D网格上以产生(已调节的)经分段图像514。
在一些实施方案中，VR引擎122可在将经分段图像514覆叠到虚拟图像上时调节用户手210及/或键盘214的透明度，以使得虚拟图像不完全由经分段图像514遮挡。即，经分段图像514的透明度可经调节以使得物理对象出于用户的需要而充分可见(例如，允许用户在键盘上正确地定向手)，但不会显著干扰VR模拟(例如，不会显著遮挡游戏)。在一个方面中，VR引擎122可在一段时间内增加包含于经分段图像514中的一或多个物理对象的透明度直到一或多个物理对象完全透明。作为实例，键盘214的透明度可在键盘214从组合图像516的视图淡出之前在一段时间内增加以允许用户202将其手定向于键盘214上方。在一些实施方案中，背景对象的透明度可独立于前景对象的透明度而经控制。举例来说，VR引擎122可在组合前景阿尔法掩模508与背景阿尔法掩模510时调节背景对象的透明度，以使得背景对象(即，键盘214)为部分透明的，而前景对象(即，手210)完全不透明。如上文所论述，对于相对较大的背景对象，VR引擎122可仅将物理对象的与最靠近用户的对象上的点相距在阈值距离内的那些部分分段。因此，当产生背景阿尔法掩模510时，VR引擎122可与距物理对象上的所述点的距离成比例地调节背景对象的透明度，以使得物理对象的距用户更远的部分与物理对象的更靠近用户的部分相比更透明。
如上文所提及，确定用户与物理环境中的一或多个物理对象之间的空间关系可基于用户是否正触碰及/或靠近物理对象。因此，HMD 100的VR引擎122可经配置以确定用户与物理环境200中的一或多个物理对象之间的距离，其中如果距离小于阈值，那么一或多个物理对象仅包含于经分段图像(例如，516)中。阈值的值可经选择以使得如果用户正触碰一或多个物理对象，那么经分段图像包含一或多个物理对象。阈值的值还可经选择以使得如果用户至少靠近一或多个物理对象，那么经分段图像包含一或多个物理对象。因此，图6说明根据本文中所描述的技术的一或多项实施基于距离确定用户与物理对象之间的空间关系的实例实施。
图6说明位于物理环境200中的用户202的手210及一或多个物理对象(键盘214及监视器216)。因此，HMD 100可经配置以通过分别确定手210与物理对象214、216之间的距离602、604而确定用户与一或多个物理对象之间的距离。即，所说明实例包含基于用户的手与物理对象之间的距离确定用户与物理对象之间的空间关系。然而，其它实例可包含确定用户的其它方面与物理对象之间的距离。举例来说，距离可基于从用户的身体(例如，躯干)到物理对象的距离、从用户的脚到物理对象的距离，及/或从用户的头到物理对象的距离。此外，确定用户与物理对象之间的距离无需包含利用用户自身的物理属性，而改为利用用户控制的指示符。举例来说，用户可控制(例如，通过在其手中固持)手写笔、指标、标签或其它标志，其中所确定距离为用户控制的指示符与物理对象之间的距离。在一些实施方案中，用户与物理对象之间的距离可基于来自包含于HMD100中的一或多个传感器及/或摄像机的数据而确定。举例来说，HMD 100可基于视觉图像103、深度信息105及/或由传感器107提供的数据中的一或多个确定用户与一或多个物理对象之间的距离。
此外，在一些实例中，图6中所说明的距离602及距离604可分别为到对象214及对象216的表面、边缘或边界上的点的距离。然而，在其它实例中，距离602及距离604可为到表示整个相应对象的位置(例如，参考位置，例如中心、拐角等)的距离。作为实例，返回参看过程400，在过程块406中视觉图像尚未经分段，且因此可尚未知晓表示整个物理对象的位置。过程块406可接着选择在距用户某一距离内或在空间区域内的点云的种子点。过程块408可接着包含基于所选择种子点将物理对象中的一或多个分段，其中那些种子点用以生长物理对象直到其边界被检测到(例如，基于色彩、纹理及/或几何结构均匀性)。一旦物理对象的边界经确定，VR引擎122便可接着确定表示整个物理对象的位置以便决定对象是否在用户的阈值距离内或在所界定空间区域(下文论述)内。
如图6中所示，手与键盘214相距第一距离602且与监视器216相距第二较大距离604。第一距离602及第二距离604可各自与阈值比较以确定经分段图像中是否包含相应物理对象。举例来说，阈值的值还可经选择以使得如果手210至少靠近一或多个物理对象，那么经分段图像包含一或多个物理对象。因此，距离602小于阈值，以使得键盘214包含于经分段图像中，而距离604不小于阈值且因此监视器216不包含于经分段图像中。
在另一实例中，阈值的值可经选择以使得仅在用户正触碰一或多个物理对象的情况下经分段图像才包含一或多个物理对象。即，阈值的值可为零(或接近于零)。因此，距离602及604指示手210既不触碰键盘214也不触碰监视器216，且因此物理对象均不可包含于经分段图像中。
在一些方面中，用户与物理对象之间的距离可用于调节显示于HMD 100的显示器126上的物理对象的透明度。即，VR引擎122可经配置以基于用户与一或多个物理对象之间的距离调节包含于经分段图像中的一或多个物理对象的透明度。在一项实施中，可基于用户与物理对象之间的初始距离设置物理对象的透明度，且接着透明度可随距离减小而减小(使物理对象更加可见)。举例来说，参看图6，可最初基于距离602设置键盘214的透明度，以使得键盘214至少部分透明(例如，在图5的组合图像516中部分透明)。接着，当手210朝向键盘214移动，借此减小距离602时，透明度可减小，从而使得手210愈接近键盘214，键盘214愈来愈可见。在一项实施中，键盘214的透明度可与距离602的减小成比例地减小。
在一些实施方案中，一或多个物理对象可基于用户的手示意动作或手姿态而集成到通过HMD 100的显示器126显示的VR场景中。即，用户与一或多个物理对象之间的空间关系可部分地通过辨识用户的手的手示意动作以识别将包含于经分段图像中的一或多个物理对象而确定。在一些实例中，头戴式显示器(例如，HMD 100)响应于辨识手示意动作而产生在3D点云内且接近用户的手的空间区域。经分段图像可接着仅包含至少部分位于空间区域内的那些物理对象。
举例来说，图7说明根据本文中所描述的技术的一或多项实施的基于第一手示意动作确定用户与物理对象之间的空间关系的实施。图7的手210为张开手示意动作，其中手210随手指伸展而张开。响应于辨识张开手示意动作，HMD 100可产生为由坐标系统702界定的3D点云内的闭合3D形状的空间区域。如本文中所使用，闭合3D形状为在所有侧面上定界的任何3D形状。在图7的所说明实例中，闭合3D形状为球体710，但还可实施其它闭合3D形状，例如立方体、长方体、角锥体、圆锥体、棱柱体、圆柱体及其类似形状。此外，球体710与手210重合且围绕手210定向。在一些方面中，球体710的中心为手210的中心。然而，在其它实例中，球体710可从手210偏移(例如，球体710可经定位，以使得球体710的表面与手210相切)。球体710还包含直径712。在一些实施方案中，直径712与手210的手指之间的伸展量714成比例。因此，随着用户202改变其手指之间的伸展量714，直径712可相应地动态改变。即，随着伸展量714增加，直径712可按比例增加，且随着伸展量714减小，直径712可按比例减小。
图7进一步说明以3D点云表示的若干物理对象704、706及708。物理对象704完全位于球体710内且因此包含于由VR引擎122产生的经分段图像中。物理对象706至少部分位于球体710内且因此还包含于经分段图像中。然而，物理对象708无部分位于球体710内且因此可不包含于经分段图像内。
图8说明根据本文中所描述的技术的一或多项实施的基于第二手示意动作确定用户与物理对象之间的空间关系的实例实施。在图8的实例中，手210为手指指向示意动作，其中手210包含经展开的至少一个手指804。响应于辨识手指指向示意动作，HMD 100可产生为由坐标系统702界定的3D点云内的敞开式空间区域的空间区域。如本文中所使用，敞开式空间区域可指并不在所有侧面上定界的2D或3D形状。即，敞开式空间区域的至少一个侧面可不定界以使得敞开式空间区域可动态地延伸到点云中。在图8的所说明实例中，敞开式空间区域是由圆锥体形状806界定，但还可实施其它敞开式形状(例如，立方体、长方体、角锥体、圆锥体、棱柱体、圆柱体及其类似形状)。此外，圆锥体形状806从手指804延伸到3D点云中。因此，圆锥体形状806可包含在手指804的尖端处重合的顶点808。然而，在其它实例中，顶点808可从手指804的尖端偏移。
圆锥体形状806还展示为根据坐标系统702基于手指804的定向810延伸远离手指804。在一些实施方案中，圆锥体形状806的定向812与手指804的定向810相同或类似。因此，随着用户202改变手指804的定向810，圆锥体形状806的定向812可相应地动态改变。即，当用户指向物理环境200内的区域时，圆锥体形状806的定向812可改变以涵盖位于所述区域中的一或多个物理对象。如图8中所示，物理对象814至少部分位于圆锥体形状806内且因此包含于经分段图像中。
在一些实施方案中，HMD 100及/或HMD 204的用户可需要感测另一个人或对象何时进入物理环境或接近用户。因此，某些方面可包含通过确定一或多个物理对象对于物理环境是否为新物理对象而确定用户与一或多个物理对象之间的空间关系。举例来说，
图9说明根据本文中所描述的技术的一或多项实施基于物理环境的过去模型将物理对象的视觉图像集成到虚拟图像的过程。
物理环境200的深度图像902是由HMD 204的深度摄像机104俘获。图9还说明由视觉摄像机102俘获的物理环境200的视觉图像904。如所示，视觉图像904包含已进入物理环境200的个人916以及墙壁918的图像数据。VR引擎122可经配置以根据由(例如)传感器104确定的HMD 204的位置及定向变换深度图像902。经变换深度图像902接着与过去模型(即，过去深度图像906)组合以便将静态对象识别为现有背景对象。举例来说，比较深度图像902与过去深度图像906揭露墙壁918全部为静态对象且因此经分类为现有背景对象，而个人916经分类为新的背景对象。
VR引擎122可接着通过比较深度图像902与过去深度图像906而将视觉图像904分段以产生背景德耳塔(delta)掩模908。VR引擎122接着将背景德耳塔掩模908应用于视觉图像904以产生经分段图像910。如图9中所示，经分段图像910包含由视觉摄像机102俘获的一或多个新物理对象(即，个人916)。
VR引擎122接着将经分段图像910覆叠到虚拟图像912上以经由显示器126向用户202显示组合图像914。因此，组合图像914包含虚拟图像912以及由视觉摄像机102俘获的个人916。在一个方面中，VR引擎122可根据虚拟场景照明调节经分段图像910以产生更符合组合图像914内的虚拟图像912的个人916的外观。作为实例，VR引擎122可经配置以在将背景德耳塔掩模908应用于视觉图像904时根据虚拟场景照明调节经分段图像910。即，VR引擎122可基于3D点云产生所检测新物理对象(例如，个人916)的3D网格，其中视觉图像904的对应于个人916的部分接着经映射到3D网格上以产生经分段图像910。
图10为说明组件的若干样本方面的简化框图，所述组件可用于经配置以集成物理环境的视觉图像(如本文中所教示)的用户装置设备1000中。用户装置设备1000为图1的HMD100及/或图2的HMD 204中的一个可能实施，其表示为一系列相关联功能模块。
用于俘获物理环境的深度信息的模块1010可至少在一些方面中对应于(例如)图1的深度摄像机104及/或视觉摄像机102。用于俘获物理环境的视觉图像的模块1020可至少在一些方面中对应于(例如)图1的视觉摄像机102。用于基于深度信息确定头戴式显示器的用户与包含于物理环境中的一或多个物理对象之间的空间关系的模块1030可至少在一些方面中对应于(例如)图1的VR引擎122。用于基于空间关系将视觉图像分段以产生包含一或多个物理对象的经分段图像的模块1040可至少在一些方面中对应于(例如)图1的VR引擎122。用于向头戴式显示器呈现虚拟图像的模块1050可至少在一些方面中对应于(例如)与图1的显示器126组合的VR引擎122。用于将经分段图像覆叠在虚拟图像上以呈现虚拟图像及由视觉摄像机俘获的一或多个物理对象两者的模块1060可至少在一些方面中对应于(例如)与图1的头戴式显示器126组合的VR引擎122。
图1的模块1010到1060的功能性可以与本文中的教示一致的各种方式实施。在一些设计中，此些模块1010到1060的功能性可实施为一或多个电组件。在一些设计中，此些模块1010到1060的功能性可实施为包含一或多个处理器组件的处理系统。在一些设计中，可使用(例如)一或多个集成电路(例如，ASIC)的至少一部分而实施此些模块1010到1060的功能性。如本文中所论述，集成电路可包含处理器、软件、其它相关组件，或其某一组合。因此，不同模块的功能性可实施为(例如)集成电路的不同子集、软件模块集合的不同子集，或其组合。又将了解，给定子集(例如，集成电路及/或软件模块集合的子集)可针对大于一个模块提供功能性的至少一部分。
此外，可使用任何合适装置实施由图10表示的组件及功能以及本文中所描述的其它组件及功能。还可至少部分使用如本文中所教示的对应结构来实施此装置。举例来说，上文所描述的组件连同图10的“用于”组件“的模块”还可对应于类似指定的“用于”功能性“的装置”。因此，在一些方面中，可使用处理器组件、集成电路或如本文中所教示的其它合适结构中的一或多个实施此类装置中的一或多个。
本文中参考用于特定应用的说明来描述一或多项实施。应理解，实施不打算为限制性的。可获得本文中所提供的教示的所属领域的技术人员将认识到其范围内的额外修改、应用及实施以及技术将具有显著实用性的额外领域。在实例实施的以上描述中，出于解释的目的，阐述特定数目、材料、配置及其它细节以便较好解释所要求的实施。然而，所属领域的技术人员将显而易见，可使用不同于本文中所描述的实例的细节实践权利要求书。在其它情况下，熟知特征经省去或简化以阐明实例实施的描述。

Claims (46)

1.一种供物理环境中的头戴式显示器使用的方法，所述方法包括：
获得所述物理环境的深度信息，其中所述物理环境包含一或多个物理对象；
通过视觉摄像机俘获所述物理环境的视觉图像；
基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的所述一或多个物理对象之间的空间关系；
基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像；
在所述头戴式显示器上显示虚拟图像；及
将所述经分段图像覆叠在所述虚拟图像上以显示所述虚拟图像及由所述视觉摄像机俘获的所述一或多个物理对象两者。
2.根据权利要求1所述的方法，其中确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系包括确定所述用户与所述一或多个物理对象之间的距离，且其中将所述视觉图像分段包括仅在所述距离小于阈值的情况下才在所述经分段图像中包含所述一或多个物理对象。
3.根据权利要求2所述的方法，其中所述阈值的值使得如果所述用户正触碰所述一或多个物理对象，那么所述经分段图像包含所述一或多个物理对象。
4.根据权利要求2所述的方法，其中所述阈值的所述值使得如果所述用户至少靠近所述一或多个物理对象，那么所述经分段图像包含所述一或多个物理对象。
5.根据权利要求2所述的方法，其中所述用户与所述一或多个物理对象之间的所述距离为所述用户的手与所述一或多个物理对象之间的距离。
6.根据权利要求2所述的方法，其中将所述经分段图像覆叠在所述虚拟图像上包括基于所述用户与所述一或多个物理对象之间的所述距离调节由所述视觉摄像机俘获的所述一或多个物理对象的透明度。
7.根据权利要求6所述的方法，其中调节所述一或多个物理对象的所述透明度包括与所述用户与所述一或多个物理对象之间的所述距离的减小成比例地减小所述透明度。
8.根据权利要求1所述的方法，其中将所述经分段图像覆叠在所述虚拟图像上包括调节由所述视觉摄像机俘获的所述一或多个物理对象的透明度，以使得所述虚拟图像不完全由所述一或多个物理对象遮挡。
9.根据权利要求8所述的方法，其进一步包括在一段时间内增加所述虚拟图像中的所述一或多个物理对象的所述透明度直到所述一或多个物理对象完全透明。
10.根据权利要求1所述的方法，其中确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系包括辨识所述用户的手的手示意动作以识别将包含于所述经分段图像中的所述一或多个物理对象。
11.根据权利要求10所述的方法，其中所述深度信息包括所述物理环境的3维3D点云，所述方法进一步包括：
响应于辨识所述手示意动作而产生在所述3D点云内且接近所述用户的所述手的空间区域，且其中将所述视觉图像分段包括仅在所述一或多个物理对象至少部分位于所述空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象。
12.根据权利要求11所述的方法，其中产生所述空间区域包括响应于辨识所述手示意动作而产生闭合3D形状，且其中将所述视觉图像分段包括仅在所述一或多个物理对象至少部分位于所述闭合3D形状内的情况下才在所述经分段图像中包含所述一或多个物理对象。
13.根据权利要求12所述的方法，其中所述手示意动作为张开手示意动作，且其中所述闭合3D形状为球体。
14.根据权利要求13所述的方法，其中所述球体围绕所述用户的所述手而定向且具有与所述用户的所述手的手指的伸展量成比例的直径。
15.根据权利要求11所述的方法，其中产生所述空间区域包括响应于辨识所述手示意动作而产生从所述用户的所述手延伸到所述3D点云中的敞开式空间区域，且其中将所述视觉图像分段包括仅在所述一或多个物理对象至少部分位于所述敞开式空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象。
16.根据权利要求15所述的方法，其中所述手示意动作为手指指向手示意动作，其中所述敞开式空间区域为由具有在所述用户的所述手的手指处的顶点的圆锥体形状界定的区域，且其中所述圆锥体形状基于所述手指的定向远离所述手指延伸到所述物理环境中。
17.根据权利要求1所述的方法，其中基于所述空间关系将所述视觉图像分段以产生经分段图像包括根据所述虚拟图像的虚拟场景照明调节所述经分段图像。
18.根据权利要求17所述的方法，其中所述深度信息包括所述物理环境的3维3D点云，且其中根据所述虚拟图像的虚拟场景照明调节所述经分段图像包括：
基于所述3D点云产生所述一或多个物理对象的3D网格；及
将所述视觉图像的一部分映射到所述一或多个物理对象的所述3D网格上。
19.根据权利要求1所述的方法，其中将所述视觉图像分段包括基于所述深度信息将所述一或多个物理对象与包含于所述物理环境中的一或多个其它物理对象分段。
20.根据权利要求1所述的方法，其中将所述视觉图像分段包括产生所述经分段图像以包含由所述视觉摄像机俘获的所述一或多个物理对象及所述用户的手。
21.根据权利要求1所述的方法，其中由所述视觉摄像机俘获的所述物理环境的视野为由所述头戴式显示器阻挡的所述用户的视野。
22.根据权利要求1所述的方法，其中确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系包括：
获得所述物理环境的过去模型；及
基于所述过去模型确定所述一或多个物理对象对于所述物理环境是否为新物理对象，其中将所述视觉图像分段包括响应于确定所述一或多个物理对象对于所述物理环境为新物理对象而在所述经分段图像中包含所述一或多个物理对象。
23.一种头戴式显示器，其包括：
用于获得物理环境的深度信息的装置，其中所述物理环境包含一或多个物理对象；
视觉摄像机，其用于俘获所述物理环境的视觉图像；
用于基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的所述一或多个物理对象之间的空间关系的装置；
用于基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像的装置；
用于在所述头戴式显示器上显示虚拟图像的装置；及
用于将所述经分段图像覆叠在所述虚拟图像上以显示所述虚拟图像及由所述视觉摄像机俘获的所述一或多个物理对象两者的装置。
24.根据权利要求23所述的头戴式显示器，其中用于确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系的所述装置包括用于确定所述用户与所述一或多个物理对象之间的距离的装置，且其中用于将所述视觉图像分段的所述装置包括用于仅在所述距离小于阈值的情况下才在所述经分段图像中包含所述一或多个物理对象的装置。
25.根据权利要求24所述的头戴式显示器，其中所述用户与所述一或多个物理对象之间的所述距离为所述用户的手与所述一或多个物理对象之间的距离。
26.根据权利要求23所述的头戴式显示器，其中用于确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系的所述装置包括用于辨识所述用户的手的手示意动作以识别将包含于所述经分段图像中的所述一或多个物理对象的装置。
27.根据权利要求26所述的头戴式显示器，其中所述深度信息包括所述物理环境的3维3D点云，所述头戴式显示器进一步包括：
用于响应于辨识所述手示意动作而产生在所述3D点云内且接近所述用户的所述手的空间区域的装置，且其中用于将所述视觉图像分段的所述装置包括用于仅在所述一或多个物理对象至少部分位于所述空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象的装置。
28.根据权利要求27所述的头戴式显示器，其中用于产生所述空间区域的所述装置包括用于响应于辨识所述手示意动作而产生闭合3D形状的装置，且其中用于将所述视觉图像分段的所述装置包括用于仅在所述一或多个物理对象至少部分位于所述闭合3D形状内的情况下才在所述经分段图像中包含所述一或多个物理对象的装置。
29.根据权利要求27所述的头戴式显示器，其中用于产生所述空间区域的所述装置包括用于响应于辨识所述手示意动作而产生从所述用户的所述手延伸到所述3D点云中的敞开式空间区域的装置，且其中用于将所述视觉图像分段的所述装置包括用于仅在所述一或多个物理对象至少部分位于所述敞开式空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象的装置。
30.根据权利要求23所述的头戴式显示器，其中用于确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系的所述装置包括：
用于获得所述物理环境的过去模型的装置；及
用于基于所述过去模型确定所述一或多个物理对象对于所述物理环境是否为新物理对象的装置，其中用于将所述视觉图像分段的所述装置包括用于响应于确定所述一或多个物理对象对于所述物理环境为新物理对象而在所述经分段图像中包含所述一或多个物理对象的装置。
31.一种头戴式显示器，其包括：
视觉摄像机；
显示器；
至少一个处理器；及
至少一个存储器，其耦合到所述至少一个处理器，所述至少一个处理器及所述至少一个存储器经配置以指导所述头戴式显示器执行以下操作：
获得物理环境的深度信息，其中所述物理环境包含一或多个物理对象；
通过所述视觉摄像机俘获所述物理环境的视觉图像；
基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的所述一或多个物理对象之间的空间关系；
基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像；
在所述显示器上显示虚拟图像；及
将所述经分段图像覆叠在所述虚拟图像上以显示所述虚拟图像及由所述视觉摄像机俘获的所述一或多个物理对象两者。
32.根据权利要求31所述的头戴式显示器，其中所述至少一个处理器及所述至少一个存储器经进一步配置以指导所述头戴式显示器执行以下操作：
通过确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的距离而确定所述用户与所述一或多个物理对象之间的所述空间关系；及
通过仅在所述距离小于阈值的情况下才在所述经分段图像中包含所述一或多个物理对象而将所述视觉图像分段。
33.根据权利要求32所述的头戴式显示器，其中所述用户与所述一或多个物理对象之间的所述距离为所述用户的手与所述一或多个物理对象之间的距离。
34.根据权利要求31所述的头戴式显示器，其中所述至少一个处理器及所述至少一个存储器经进一步配置以指导所述头戴式显示器执行以下操作：
通过辨识所述头戴式显示器的所述用户的手的手示意动作以识别将包含于所述经分段图像中的所述一或多个物理对象而确定所述用户与所述一或多个物理对象之间的所述空间关系。
35.根据权利要求31所述的头戴式显示器，其中所述深度信息包括所述物理环境的3维3D点云，其中所述至少一个处理器及所述至少一个经进一步配置以指导所述头戴式显示器执行以下操作：
响应于辨识所述手示意动作而产生在所述3D点云内且接近所述用户的所述手的空间区域；
通过仅在所述一或多个物理对象至少部分位于所述空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象而将所述视觉图像分段。
36.根据权利要求35所述的头戴式显示器，其中所述至少一个处理器及所述至少一个存储器经进一步配置以指导所述头戴式显示器执行以下操作：
通过响应于辨识所述手示意动作而产生闭合3D形状来产生所述空间区域；及通过仅在所述一或多个物理对象至少部分位于所述闭合3D形状内的情况下才在所述经分段图像中包含所述一或多个物理对象而将所述视觉图像分段。
37.根据权利要求35所述的头戴式显示器，其中所述至少一个处理器及所述至少一个存储器经进一步配置以指导所述头戴式显示器执行以下操作：
通过响应于辨识所述手示意动作而产生从所述用户的所述手延伸到所述3D点云中的敞开式空间区域来产生所述空间区域；
通过仅在所述一或多个物理对象至少部分位于所述敞开式空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象而将所述视觉图像分段。
38.根据权利要求31所述的头戴式显示器，其中所述至少一个处理器及所述至少一个存储器经进一步配置以指导所述头戴式显示器通过以下操作确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系：
获得所述物理环境的过去模型；
基于所述过去模型确定所述一或多个物理对象对于所述物理环境是否为新物理对象；及
通过响应于确定所述一或多个物理对象对于所述物理环境为新物理对象而在所述经分段图像中包含所述一或多个物理对象来将所述视觉图像分段。
39.根据权利要求31所述的头戴式显示器，其进一步包括深度摄像机，其中所述至少一个处理器及所述至少一个存储器经进一步配置以指导所述头戴式显示器通过所述深度摄像机俘获所述物理环境的所述深度信息。
40.一种非暂时性计算机可读媒体，其包含存储于其上的程序码，所述程序码包括在经执行时使得头戴式显示器执行以下操作的指令：
获得物理环境的深度信息，其中所述物理环境包含一或多个物理对象；
通过视觉摄像机俘获所述物理环境的视觉图像；
基于所述深度信息确定所述头戴式显示器的用户与包含于所述物理环境中的所述一或多个物理对象之间的空间关系；
基于所述空间关系将所述视觉图像分段以产生包含所述一或多个物理对象的经分段图像；
在所述头戴式显示器上显示虚拟图像；及
将所述经分段图像覆叠在所述虚拟图像上以显示所述虚拟图像及由所述视觉摄像机俘获的所述一或多个物理对象两者
41.根据权利要求40所述的非暂时性计算机可读媒体，其中用以确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系的所述指令包括用以确定所述用户与所述一或多个物理对象之间的距离的指令，且其中用以将所述视觉图像分段的所述指令包括用以仅在所述距离小于阈值的情况下才在所述经分段图像中包含所述一或多个物理对象的指令。
42.根据权利要求40所述的非暂时性计算机可读媒体，其中用以确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系的所述指令包括用以辨识所述用户的手的手示意动作以识别将包含于所述经分段图像中的所述一或多个物理对象的指令。
43.根据权利要求42所述的非暂时性计算机可读媒体，其中所述深度信息包括所述物理环境的3维3D点云，所述非暂时性计算机可读媒体进一步包括用以指导所述头戴式显示器执行以下操作的指令：
响应于辨识所述手示意动作而产生在所述3D点云内且接近所述用户的所述手的空间区域；及
通过仅在所述一或多个物理对象至少部分位于所述空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象而将所述视觉图像分段。
44.根据权利要求43所述的非暂时性计算机可读媒体，其中用以产生所述空间区域的所述指令包括用以响应于辨识所述手示意动作而产生闭合3D形状的指令，且其中用以将所述视觉图像分段的所述指令包括用以仅在所述一或多个物理对象至少部分位于所述闭合3D形状内的情况下才在所述经分段图像中包含所述一或多个物理对象的指令。
45.根据权利要求43所述的非暂时性计算机可读媒体，其中用以产生所述空间区域的所述指令包括用以响应于辨识所述手示意动作而产生从所述用户的所述手延伸到所述3D点云中的敞开式空间区域的指令，且其中用以将所述视觉图像分段的所述指令包括用以仅在所述一或多个物理对象至少部分位于所述敞开式空间区域内的情况下才在所述经分段图像中包含所述一或多个物理对象的指令。
46.根据权利要求40所述的非暂时性计算机可读媒体，其中用以确定所述头戴式显示器的所述用户与所述一或多个物理对象之间的所述空间关系的所述指令包括用以指导所述头戴式显示器执行以下操作的指令：
获得所述物理环境的过去模型；
基于所述过去模型确定所述一或多个物理对象对于所述物理环境是否为新物理对象；及
通过响应于确定所述一或多个物理对象对于所述物理环境为新物理对象而在所述经分段图像中包含所述一或多个物理对象来将所述视觉图像分段。
CN201780017168.5A 2016-03-24 2017-01-23 用于将物理环境的视觉图像集成到虚拟实境的空间关系 Active CN108780357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111483422.5A CN114138118B (zh) 2016-03-24 2017-01-23 用于将物理环境的视觉图像集成到虚拟实境的空间关系

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/080,363 2016-03-24
US15/080,363 US10665019B2 (en) 2016-03-24 2016-03-24 Spatial relationships for integration of visual images of physical environment into virtual reality
PCT/US2017/014554 WO2017164971A2 (en) 2016-03-24 2017-01-23 Spatial relationships for integration of visual images of physical environment into virtual reality

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111483422.5A Division CN114138118B (zh) 2016-03-24 2017-01-23 用于将物理环境的视觉图像集成到虚拟实境的空间关系

Publications (2)

Publication Number Publication Date
CN108780357A true CN108780357A (zh) 2018-11-09
CN108780357B CN108780357B (zh) 2021-11-23

Family

ID=58018228

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780017168.5A Active CN108780357B (zh) 2016-03-24 2017-01-23 用于将物理环境的视觉图像集成到虚拟实境的空间关系
CN202111483422.5A Active CN114138118B (zh) 2016-03-24 2017-01-23 用于将物理环境的视觉图像集成到虚拟实境的空间关系

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111483422.5A Active CN114138118B (zh) 2016-03-24 2017-01-23 用于将物理环境的视觉图像集成到虚拟实境的空间关系

Country Status (9)

Country Link
US (1) US10665019B2 (zh)
EP (3) EP3433704B1 (zh)
JP (1) JP2019514101A (zh)
KR (1) KR20180122637A (zh)
CN (2) CN108780357B (zh)
BR (1) BR112018069351A2 (zh)
CA (1) CA3015508A1 (zh)
TW (1) TW201737024A (zh)
WO (1) WO2017164971A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111201474A (zh) * 2017-10-12 2020-05-26 奥迪股份公司 运行可佩戴在头部的电子显示装置的方法以及显示虚拟内容的显示系统
CN112306228A (zh) * 2019-08-01 2021-02-02 苹果公司 计算机生成渲染环境的视觉搜索细化
CN112835445A (zh) * 2019-11-25 2021-05-25 华为技术有限公司 虚拟现实场景中的交互方法、装置及系统
TWI797761B (zh) * 2021-10-04 2023-04-01 邦鼎科技有限公司 虛擬實境的顯示方法

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11854308B1 (en) 2016-02-17 2023-12-26 Ultrahaptics IP Two Limited Hand initialization for machine learning based gesture recognition
US11714880B1 (en) * 2016-02-17 2023-08-01 Ultrahaptics IP Two Limited Hand pose estimation for machine learning based gesture recognition
US11841920B1 (en) 2016-02-17 2023-12-12 Ultrahaptics IP Two Limited Machine learning based gesture recognition
WO2017180730A1 (en) * 2016-04-12 2017-10-19 R-Stor Inc. Method and apparatus for presenting imagery within a virtualized environment
GB2551473A (en) * 2016-04-29 2017-12-27 String Labs Ltd Augmented media
US10639510B2 (en) * 2017-03-20 2020-05-05 The Trustees Of Columbia University In The City Of New York Human musculoskeletal support and training system methods and devices
US20180267615A1 (en) * 2017-03-20 2018-09-20 Daqri, Llc Gesture-based graphical keyboard for computing devices
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
JP7087364B2 (ja) * 2017-12-04 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
JP2019100995A (ja) * 2017-12-08 2019-06-24 株式会社トプコン 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム
EP3508882A1 (en) * 2018-01-09 2019-07-10 Vivior AG An apparatus and a method for passive scanning of an object or a scene
CN108479067B (zh) * 2018-04-12 2019-09-20 网易（杭州）网络有限公司 游戏画面的渲染方法和装置
US20210097754A1 (en) * 2018-06-22 2021-04-01 Hewlett-Packard Development Company, L.P. Virtual display monitors
US11348252B1 (en) * 2018-07-12 2022-05-31 Nevermind Capital Llc Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
CN112639686B (zh) 2018-09-07 2024-10-11 苹果公司 在虚拟环境的影像和声音与真实环境的影像和声音之间转换
US11870972B2 (en) 2018-10-02 2024-01-09 Within Unlimited, Inc. Methods, systems and devices supporting real-time shared virtual reality environment
US11320911B2 (en) * 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Hand motion and orientation-aware buttons and grabbable objects in mixed reality
US11681834B2 (en) 2019-01-30 2023-06-20 Augmntr, Inc. Test cell presence system and methods of visualizing a test environment
US11133993B2 (en) * 2019-02-28 2021-09-28 At&T Intellectual Property I, L.P. Augmented/mixed reality virtual venue pipeline optimization
CN113678191A (zh) * 2019-03-29 2021-11-19 索尼互动娱乐股份有限公司 边界显示控制设备，边界显示控制方法和程序
US11004269B2 (en) 2019-04-22 2021-05-11 Microsoft Technology Licensing, Llc Blending virtual environments with situated physical reality
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
CN114026606A (zh) 2019-06-28 2022-02-08 奇跃公司 用于动态遮挡的快速手部网格划分
JP7242448B2 (ja) * 2019-07-03 2023-03-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 仮想現実制御装置、仮想現実制御方法およびプログラム
US11132058B1 (en) * 2019-09-12 2021-09-28 Facebook Technologies, Llc Spatially offset haptic feedback
US11409364B2 (en) * 2019-09-13 2022-08-09 Facebook Technologies, Llc Interaction with artificial reality based on physical objects
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
CN112887631B (zh) * 2019-11-29 2022-08-12 北京字节跳动网络技术有限公司 在视频中显示对象的方法、装置、电子设备及计算机可读存储介质
KR102702585B1 (ko) 2019-12-03 2024-09-04 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
JP7461478B2 (ja) * 2019-12-13 2024-04-03 テレフオンアクチーボラゲット エルエム エリクソン（パブル） メモリおよびデバイスのトラッキングを使用する拡張現実アプリケーションにおけるオクルージョンハンドリングのための方法と関連装置
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11636726B2 (en) * 2020-05-08 2023-04-25 Aristocrat Technologies, Inc. Systems and methods for gaming machine diagnostic analysis
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11514690B2 (en) * 2020-06-30 2022-11-29 Sony Interactive Entertainment LLC Scanning of 3D objects with a second screen device for insertion into a virtual environment
US11656679B2 (en) * 2020-08-27 2023-05-23 Microsoft Technology Licensing, Llc Manipulator-based image reprojection
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11580703B1 (en) * 2020-09-15 2023-02-14 Meta Platforms Technologies, Llc Adaptive model updates for dynamic and static scenes
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
WO2022140432A1 (en) * 2020-12-22 2022-06-30 Facebook Technologies, Llc Partial passthrough in virtual reality
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11644890B2 (en) * 2021-02-11 2023-05-09 Qualcomm Incorporated Image capturing in extended reality environments
US11436806B1 (en) * 2021-04-07 2022-09-06 Penumbra, Inc. Dual perspective rendering in virtual reality
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
GB2619552B (en) * 2022-06-10 2024-09-18 Sony Interactive Entertainment Europe Ltd Computer implemented method and system for providing an augmented reality entertainment environment
DE102022206395A1 (de) * 2022-06-24 2024-01-04 Siemens Aktiengesellschaft Verfahren zum Simulieren eines Raums als virtuelle Realität mittels einer Simulationsvorrichtung, Computerprogrammprodukt, computerlesbares Speichermedium sowie Simulationsvorrichtung
US20240029363A1 (en) * 2022-07-20 2024-01-25 Qualcomm Incorporated Late stage occlusion based rendering for extended reality (xr)
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US20240337915A1 (en) * 2023-04-04 2024-10-10 Aspeed Technology Inc. Image projection method for virtual tour
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070083825A1 (en) * 2002-07-10 2007-04-12 Imran Chaudhri Method and apparatus for displaying a window for a user interface
CN102270275A (zh) * 2010-06-04 2011-12-07 汤姆森特许公司 在虚拟环境中选择对象的方法
CN104657103A (zh) * 2015-03-16 2015-05-27 哈尔滨工业大学 基于深度摄像机的手持cave投影系统
US20150243079A1 (en) * 2014-02-27 2015-08-27 Lg Electronics Inc. Head mounted display providing closed-view and method of controlling therefor
US20150262412A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Augmented reality lighting with dynamic geometry
CN105283824A (zh) * 2013-01-21 2016-01-27 微软技术许可有限责任公司 用图像投影的虚拟交互
US20160025982A1 (en) * 2014-07-25 2016-01-28 Jeff Sutherland Smart transparency for holographic objects
US20160027215A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Virtual reality environment with real world objects
EP2996017A1 (en) * 2014-09-11 2016-03-16 Nokia Technologies OY Method, apparatus and computer program for displaying an image

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7359564B2 (en) * 2004-10-29 2008-04-15 Microsoft Corporation Method and system for cancellation of ambient light using light frequency
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
AU2010302959B2 (en) * 2009-09-30 2015-11-12 National Ict Australia Limited Object tracking for artificial vision
MX2012010238A (es) 2010-03-05 2013-01-18 Sony Comp Entertainment Us Mantenimiento de vistas multiples en un espacio virtual estable compartido.
JP5765133B2 (ja) * 2011-08-16 2015-08-19 富士通株式会社 入力装置、入力制御方法及び入力制御プログラム
US20130044912A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
US8890812B2 (en) * 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition
EP2951811A4 (en) * 2013-01-03 2016-08-17 Meta Co DIGITAL EYES FOR EXTRAMISSIVE SPATIAL IMAGING, PROCESSES AND SYSTEMS FOR VIRTUAL OR ENLARGED VISIBILITY, MANIPULATION, PRODUCTION OR INTERACTION WITH OBJECTS, MATERIALS, OR OTHER UNITS
US10509533B2 (en) * 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
JPWO2014188798A1 (ja) * 2013-05-21 2017-02-23 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
CN106304842A (zh) * 2013-10-03 2017-01-04 舒朗科技公司 用于定位和地图创建的增强现实系统和方法
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
JP2017520336A (ja) * 2014-03-17 2017-07-27 コア スポーツ テクノロジー グループＣｏｒｅ Ｓｐｏｒｔｓ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ 人体および物体運動への生体力学フィードバックを送達するための方法およびシステム
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
CN104536579B (zh) 2015-01-20 2018-07-27 深圳威阿科技有限公司 交互式三维实景与数字图像高速融合处理系统及处理方法
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
US10705595B2 (en) * 2015-08-06 2020-07-07 Pcms Holdings, Inc. Methods and systems for providing haptic feedback for virtual 3D objects
US10497177B1 (en) * 2017-09-19 2019-12-03 Bentley Systems, Incorporated Tool for onsite augmentation of reality meshes

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070083825A1 (en) * 2002-07-10 2007-04-12 Imran Chaudhri Method and apparatus for displaying a window for a user interface
CN102270275A (zh) * 2010-06-04 2011-12-07 汤姆森特许公司 在虚拟环境中选择对象的方法
CN105283824A (zh) * 2013-01-21 2016-01-27 微软技术许可有限责任公司 用图像投影的虚拟交互
US20150243079A1 (en) * 2014-02-27 2015-08-27 Lg Electronics Inc. Head mounted display providing closed-view and method of controlling therefor
US20150262412A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Augmented reality lighting with dynamic geometry
US20160025982A1 (en) * 2014-07-25 2016-01-28 Jeff Sutherland Smart transparency for holographic objects
US20160027215A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Virtual reality environment with real world objects
EP2996017A1 (en) * 2014-09-11 2016-03-16 Nokia Technologies OY Method, apparatus and computer program for displaying an image
CN104657103A (zh) * 2015-03-16 2015-05-27 哈尔滨工业大学 基于深度摄像机的手持cave投影系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111201474A (zh) * 2017-10-12 2020-05-26 奥迪股份公司 运行可佩戴在头部的电子显示装置的方法以及显示虚拟内容的显示系统
US11364441B2 (en) 2017-10-12 2022-06-21 Audi Ag Method for operating an electronic display device wearable on the head and display system for displaying virtual content
CN111201474B (zh) * 2017-10-12 2024-07-26 奥迪股份公司 运行可佩戴在头部的电子显示装置的方法以及显示虚拟内容的显示系统
CN112306228A (zh) * 2019-08-01 2021-02-02 苹果公司 计算机生成渲染环境的视觉搜索细化
CN112835445A (zh) * 2019-11-25 2021-05-25 华为技术有限公司 虚拟现实场景中的交互方法、装置及系统
CN112835445B (zh) * 2019-11-25 2024-04-26 华为技术有限公司 虚拟现实场景中的交互方法、装置及系统
TWI797761B (zh) * 2021-10-04 2023-04-01 邦鼎科技有限公司 虛擬實境的顯示方法

Also Published As

Publication number Publication date
EP3855288C0 (en) 2024-01-17
EP3855288B1 (en) 2024-01-17
CA3015508A1 (en) 2017-09-28
US10665019B2 (en) 2020-05-26
WO2017164971A3 (en) 2017-11-02
EP3855288A1 (en) 2021-07-28
JP2019514101A (ja) 2019-05-30
EP4332742A3 (en) 2024-05-22
CN114138118A (zh) 2022-03-04
TW201737024A (zh) 2017-10-16
EP3433704B1 (en) 2020-12-23
CN108780357B (zh) 2021-11-23
EP4332742A2 (en) 2024-03-06
US20170278304A1 (en) 2017-09-28
KR20180122637A (ko) 2018-11-13
BR112018069351A2 (pt) 2019-01-22
CN114138118B (zh) 2024-05-07
EP3433704A2 (en) 2019-01-30
WO2017164971A2 (en) 2017-09-28

Similar Documents

Publication Publication Date Title
CN108780357A (zh) 用于将物理环境的视觉图像集成到虚拟实境的空间关系
US12086324B2 (en) Micro hand gestures for controlling virtual and graphical elements
CN106575154B (zh) 全息对象的智能透明度
US12008153B2 (en) Interactive augmented reality experiences using positional tracking
KR102583437B1 (ko) 동공 검출
CN106662925B (zh) 使用头戴式显示器设备的多用户注视投影
CN111344749B (zh) 引向用户关注
WO2020125785A1 (zh) 毛发渲染方法、装置、电子设备和存储介质
AU2018292610A1 (en) Method and system for performing simultaneous localization and mapping using convolutional image transformation
US20200410723A1 (en) Image Synthesis Method And Apparatus
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
US11574424B2 (en) Augmented reality map curation
US20180182171A1 (en) Systems and Methods for Real-time Multimedia Augmented Reality
Lombardi et al. Radiometric scene decomposition: Scene reflectance, illumination, and geometry from rgb-d images
CN109844820A (zh) 基于上下文信息来修改全息图的手部遮挡
US20240187814A1 (en) Head-related transfer function
CN105683868B (zh) 用于空间交互中的额外模态的面部跟踪
CN117897682A (zh) 在物理表面上显示数字媒体内容
Liu et al. Light direction estimation and hand touchable interaction for augmented reality
US20240103683A1 (en) Devices and methods for generating virtual objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant