CN107850936A - 用于提供物理环境的虚拟显示的方法和系统 - Google Patents

用于提供物理环境的虚拟显示的方法和系统 Download PDF

Info

Publication number
CN107850936A
CN107850936A CN201680019446.6A CN201680019446A CN107850936A CN 107850936 A CN107850936 A CN 107850936A CN 201680019446 A CN201680019446 A CN 201680019446A CN 107850936 A CN107850936 A CN 107850936A
Authority
CN
China
Prior art keywords
group
physical object
physical
virtual
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680019446.6A
Other languages
English (en)
Inventor
A.克拉弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ccp Co
Original Assignee
Ccp Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ccp Co filed Critical Ccp Co
Publication of CN107850936A publication Critical patent/CN107850936A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开提供了用于使用虚拟现实环境实现物理环境的虚拟表示的计算机系统、设备、计算机可执行方法以及一个或多个非临时性计算机可读介质。一种示例方法包括：从传感器接收第一组传感器数据；从第一组传感器数据识别传感器视场内的至少一个物理对象；至少部分地基于第一组传感器数据生成所述至少一个物理对象的虚拟表示；生成虚拟环境，所述虚拟环境包括所述至少一个物理对象的虚拟表示和至少一个虚拟对象的虚拟表示，以及经由显示装置显示虚拟环境。

Description

用于提供物理环境的虚拟显示的方法和系统
技术领域
本发明示例实施例一般地涉及虚拟现实接口并且，更具体来说，涉及用于提供接近的物理对象的虚拟表示的生成的方法、系统、设备，和计算机可读介质。
背景技术
技术进步已导致消费电子装置变得越来越强大。具体来说，显示、图形、处理器、网络和传感器技术的进步已经提供了技术突破，这些技术突破使得大量生产和销售能够为消费者提供虚拟现实（VR）体验的装置变得可行。在这方面，VR接口的当前实现方式中的问题和挑战已经由发明人识别，并且这些问题和挑战的解决方案在示例性实施例中被实现。
发明内容
本发明的各种实施例涉及用于提供虚拟现实接口的改进的设备、方法和计算机可读介质。根据一个示例性实施例，提供了用于使用虚拟现实环境实现物理环境的虚拟表示的计算机可执行方法。所述方法包括：从传感器接收第一组传感器数据；从第一组传感器数据识别传感器视场内的至少一个物理对象；至少使用第一组传感器数据确定所述至少一个物理对象的物理位置；至少部分地基于第一组传感器数据生成所述至少一个物理对象的虚拟表示；生成虚拟环境，所述虚拟环境包括所述至少一个物理对象的虚拟表示和至少一个虚拟对象的虚拟表示，其中所述虚拟环境包括一组坐标，所述一组坐标对应于所述至少一个物理对象存在于其中的物理区域，并且其中所述物理对象在虚拟环境中被定位在映射到所述至少一个物理对象的物理位置的坐标方位处；以及向显示装置发送用于促进虚拟环境的至少部分的显示的指令。显示装置可以是头戴式显示器。
该方法还可以包括：将所述至少一个物理对象的虚拟表示存储在一组缓存的对象数据中；接收第二组传感器数据；确定所述至少一个物理对象不存在于第二组传感器数据中；从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示；以及向所述显示装置发送用于如下操作的指令：在所述至少一个物理对象的最后已知位置处显示所检索的所述至少一个物理对象的虚拟表示。所述方法可以包括：在从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示之前，确定所述至少一个物理对象至少部分被遮蔽。所述至少一个物理对象可以是用户。识别所述至少一个物理对象可以包括：将第一组传感器数据提供给图形处理单元；以及使用在图形处理单元上执行的至少一个着色器来生成至少一个多边形，所述多边形对应于来自第一组传感器数据的所述至少一个物理对象。该方法可以包括指令显示装置在虚拟环境内显示所述至少一个多边形。该方法可以包括通过限定围绕限定物理对象的多个像素的掩模来识别第一组传感器数据内的物理对象，其中掩模将限定物理对象的多个像素扩展预定数目的像素。该方法可以包括将所述至少一个物理对象的虚拟表示放置在与所述至少一个物理对象的物理方位对应的虚拟方位处。从第一组传感器数据识别所述至少一个物理对象可以包括：将第一组传感器数据的第一多个像素识别为用户，以及将第一组传感器数据的第二多个像素识别为背景数据。可以由背景数据在第一组传感器数据内限定所述至少一个物理对象。该方法可以包括：仅仅响应于检测到用户已经进入与物理对象相关联的限定区域而生成物理对象的虚拟表示。
根据另一示例性实施例，提供了一种包括指令的非临时性计算机可读存储介质，所述指令用于使用虚拟现实环境实现物理环境的虚拟表示。所述指令当由处理器执行时把处理器配置为：从传感器接收第一组传感器数据；从第一组传感器数据识别传感器视场内的至少一个物理对象；至少使用第一组传感器数据确定所述至少一个物理对象的物理位置；至少部分地基于第一组传感器数据生成所述至少一个物理对象的虚拟表示；生成虚拟环境，所述虚拟环境包括所述至少一个物理对象的虚拟表示和至少一个虚拟对象的虚拟表示，其中所述虚拟环境包括一组坐标，所述一组坐标对应于所述至少一个物理对象存在于其中的物理区域，并且其中所述物理对象在虚拟环境中被定位在映射到所述至少一个物理对象的物理位置的坐标方位处；以及向显示装置发送用于促进虚拟环境的至少部分的显示的指令。
显示装置可以是头戴式显示器。该指令还可以包括还包括：将所述至少一个物理对象的虚拟表示存储在一组缓存的对象数据中；接收第二组传感器数据；确定所述至少一个物理对象不存在于第二组传感器数据中；从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示；以及向所述显示装置发送用于如下操作的指令：在所述至少一个物理对象的最后已知位置处显示所检索的所述至少一个物理对象的虚拟表示。所述指令可以包括：在从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示之前，确定所述至少一个物理对象至少部分被遮蔽。所述至少一个物理对象可以是用户。识别所述至少一个物理对象可以包括：将第一组传感器数据提供给图形处理单元；以及使用在图形处理单元上执行的至少一个着色器来生成至少一个多边形，所述多边形对应于来自第一组传感器数据的所述至少一个物理对象。该指令可以包括指令显示装置在虚拟环境内显示所述至少一个多边形。该指令可以包括通过限定围绕限定物理对象的多个像素的掩模来识别第一组传感器数据内的物理对象，其中掩模将限定物理对象的多个像素扩展预定数目的像素。
该指令可以包括将所述至少一个物理对象的虚拟表示放置在与所述至少一个物理对象的物理方位对应的虚拟方位处。从第一组传感器数据识别所述至少一个物理对象可以包括：将第一组传感器数据的第一多个像素识别为用户，以及将第一组传感器数据的第二多个像素识别为背景数据。可以由背景数据在第一组传感器数据内限定所述至少一个物理对象。该指令可以包括：仅仅响应于检测到用户已经进入与物理对象相关联的限定区域而生成物理对象的虚拟表示。
根据另一示例性实施例，提供了一种用于使用虚拟现实环境来实现物理环境的虚拟表示的系统。所述系统包括传感器接口电路，传感器接口电路被配置为：从传感器接收第一组传感器数据；从第一组传感器数据识别传感器视场内的至少一个物理对象；以及至少使用第一组传感器数据确定所述至少一个物理对象的物理位置。所述系统还包括虚拟环境状态管理电路，被配置为：至少部分地基于第一组传感器数据生成所述至少一个物理对象的虚拟表示；生成虚拟环境，所述虚拟环境包括所述至少一个物理对象的虚拟表示和至少一个虚拟对象的虚拟表示，其中所述虚拟环境包括一组坐标，所述一组坐标对应于所述至少一个物理对象存在于其中的物理区域，并且其中所述物理对象在虚拟环境中被定位在映射到所述至少一个物理对象的物理位置的坐标方位处；以及向显示装置发送用于促进虚拟环境的至少部分的显示的指令。
显示装置可以是头戴式显示器。传感器接口电路可以进一步被配置为：接收第二组传感器数据；以及确定所述至少一个物理对象不存在于第二组传感器数据中，并且所述虚拟环境状态管理电路可进一步被配置为：将所述至少一个物理对象的虚拟表示存储在一组缓存的对象数据中；以及从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示，以及向所述显示装置发送用于如下操作的指令：在所述至少一个物理对象的最后已知位置处显示所检索的所述至少一个物理对象的虚拟表示。所述传感器接口电路可进一步被配置为：在从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示之前，确定所述至少一个物理对象至少部分被遮蔽。
所述至少一个物理对象可以是用户。识别所述至少一个物理对象可以包括：将第一组传感器数据提供给图形处理单元；以及使用在图形处理单元上执行的至少一个着色器来生成至少一个多边形，所述多边形对应于来自第一组传感器数据的所述至少一个物理对象。
虚拟环境状态管理电路可被进一步配置为：指令显示装置在虚拟环境内显示所述至少一个多边形。传感器接口电路可被进一步配置为：通过限定围绕限定物理对象的多个像素的掩模来识别第一组传感器数据内的物理对象，其中掩模将限定物理对象的多个像素扩展预定数目的像素。虚拟环境状态管理电路可被进一步配置为：将所述至少一个物理对象的虚拟表示放置在与所述至少一个物理对象的物理方位对应的虚拟方位处。从第一组传感器数据识别所述至少一个物理对象可以包括：将第一组传感器数据的第一多个像素识别为用户，以及将第一组传感器数据的第二多个像素识别为背景数据。可以由背景数据在第一组传感器数据内限定所述至少一个物理对象。虚拟环境状态管理电路可被进一步配置为：仅仅响应于检测到用户已经进入与物理对象相关联的限定区域而生成物理对象的虚拟表示。
附图说明
通过参考结合附图进行的以下描述，示例性实施例的前述和其他目的、方面、特征和优点将变得更加显而易见并且可以被更好地理解。
图1是图示示例性实施例可以在其内操作的系统的框图。
图2是图示根据某些示例性实施例的计算设备的示例性部件的框图。
图3是图示根据一些示例性实施例的虚拟现实系统中使用的头戴式显示器的示例性部件的框图。
图4-5是根据本发明的示例性实施例的示例性物理环境和对应的虚拟环境的图示，虚拟环境包含物理环境中对象的虚拟表示。
图6-7是根据本发明的示例性实施例的用于使用捕获的传感器数据来维持缓存的对象数据的示例性过程的图示。
图8是图示根据本发明的示例性实施例的用于将一个或多个传感器数据帧中的用户与其他检测到的对象分离开的示例性计算机可执行方法的流程图。
图9是图示根据本发明的示例性实施例的用于使用图形处理单元来使用传感器数据检测对象的示例性计算机可执行方法的流程图。
图10是图示根据本发明实施例的用于显示包括本地物理环境的虚拟表示的虚拟环境的示例性计算机可执行方法的流程图。
图11是图示根据本发明的实施例的用于显示虚拟环境的示例性计算机可执行方法的流程图，所述方法包括基于物理对象进入预定义区域而显示物理对象的虚拟表示。
附图并不意图按比例绘制。
具体实施方式
示例性实施例提供用于在虚拟现实（VR）环境内提供本地物理环境的虚拟表示的计算机系统、计算机可执行方法和一个或多个非临时性计算机可读介质。具体来说，实施例提供了用于从传感器数据识别物理对象、存储表示这些物理对象的数据以及使用传感器数据和存储的数据生成那些物理对象的虚拟表示的改进技术。
术语表
现在将参照附图更全面地在下文描述本发明的一些实施例，附图中示出了本发明的一些但不是全部的实施例。实际上，本发明可以按照许多不同的形式体现，并且不应被解释为限于本文所阐述的实施例；相反，提供这些实施例使得本公开将满足适用的法律要求。相似的数字始终指代相似的元件。
如本文所使用的，术语“数据”、“内容”、“信息”以及类似术语根据本发明的实施例可以互换使用，用于指代能够被传送、接收和/或存储的电子数据。因此，任何这种术语的使用不应当被理解为限制本发明的实施例的精神和范围。此外，在本文中计算设备被描述为从另一计算设备接收数据的情况下，应当理解，可以直接从另一计算设备接收数据，或者可以经由一个或多个中间计算设备间接地接收数据，中间计算设备诸如例如是一个或多个服务器、中继器、路由器、网络接入点、基站、主机和/或类似物，它们有时在本文中被称为“网络”。类似地，在本文中计算设备被描述为将数据发送到另一计算设备的情况下，应当理解，数据可以直接发送到另一计算设备，或者可以经由一个或多个中间计算设备间接发送到另一计算设备，中间计算设备诸如例如是一个或多个服务器、中继器、路由器、网络接入点、基站、主机和/或类似物。
如本文中所使用的，术语“头戴式显示器”和“HMD”意图指代附接、安装、投影到相对于用户的观看角度或视线保持在固定位置处的表面或以其他方式在该表面上提供图像的任何显示装置。术语“头戴式显示器”意图还包括可以与这种装置一起提供的任何其他外围电子装置和功能。例如，头戴式显示器可以包括扬声器、耳机或用于音频输出的其他电子硬件、多个显示装置（例如，使用两个显示装置，每个显示装置与用户的一个眼睛相关联，以使能立体视觉、三维观察环境）、一个或多个位置传感器（例如陀螺仪、全球定位系统接收器和/或加速度计）、用于外部传感器的信标（例如，红外灯）等。示例头戴式显示器包括由Oculus VR制造的Oculus RiftTM、由索尼公司制造的HMZ-T3W和类似物。
如本文所使用的，术语“虚拟环境”和“VR环境”意图指代具有一个或多个对象的模拟环境，所述一个或多个对象使用HMD被投影给或以其他方式显示给用户，使得HMD为用户提供存在于或沉浸于虚拟环境中的、仿佛虚拟环境物理地围绕用户存在的感觉。提供与术语“物理环境”相对的术语“虚拟环境”，“物理环境”与实际物理空间有关。
术语“虚拟环境状态”意图指代描述虚拟环境的电子数据。虚拟环境状态包括足以限定与该虚拟环境相关联的一个或多个对象的一组位置或方位的数据。应当理解，虚拟环境状态可以按照各种数据结构和/或格式存储。在一些实施例中，虚拟环境状态可以由跟踪虚拟环境状态内的对象的方位、状态和其他属性的“虚拟环境引擎”来维护。虚拟环境引擎也可以管理管理虚拟环境内的对象之间的交互（诸如通过控制触发条件、用户输入和导致虚拟环境或其中的对象发生变化的其他事件）。在一些实施例中，虚拟环境引擎可以与图形装置、渲染器或用于生成虚拟环境的视觉显示的其他硬件和软件结合起作用。
虽然虚拟环境状态通常可以包括n维坐标集（通常三个维度），该n维坐标集至少部分地对应于给定的物理环境，应当理解的是，给定的虚拟环境可以不直接对应于物理环境。例如，给定的虚拟环境可以允许用户或其他对象在虚拟环境中改变位置、改变大小、改变形状等，而在物理环境中没有对应的改变或交互。给定的虚拟环境还可以映射到给定物理环境的一部分（例如，限于物理环境的一个或多个传感器可见的区域），并且反之亦然（例如，虚拟环境的受限部分映射到物理环境，用户在物理环境中的移动被约束为实现虚拟环境的受限部分中的改变）。
存在于物理世界中的对象可以被包括在虚拟环境中作为物理对象的虚拟表示，并且术语“虚拟环境”应被理解为不排除这样的虚拟表示。例如，传感器可以在用户周围的物理环境中检测物理对象的存在，并且在虚拟环境内创建对应于检测到的物理对象的虚拟对象。然后，用户可能能够通过在虚拟环境中的与物理环境中的物理对象的位置相对应的位置处查看虚拟对象来感知物理对象的存在。
术语“物理环境状态”应当理解为指代指示物理对象的已知或可信方位的电子数据。物理环境状态至少部分地基于从一个或多个传感器接收的数据。在一些实施例中，物理环境状态还基于其他数据，诸如从物理环境状态的先前快照得出的数据、来自除传感器之外的接口设备（例如，计算机键盘或鼠标）的数据等。
术语“增强环境”应被理解为指代包括物理环境和虚拟环境的元素的组合环境。应当注意，包括物理环境的元素的增强环境（例如，叠加有虚拟元素的物理环境的视频或照片图像）被理解为与包括对应于物理对象的虚拟元素的虚拟环境分离和不同。例如，叠加有标记或标签的数字照片将是增强的环境，而检测用户存在，用虚拟三维模型替换用户以及然后将所述三维模型插入到虚拟环境中的系统不会是增强的环境，因为后者示例使用完全虚拟的构造。
术语“传感器数据”应被理解为指代从监视物理环境的一个或多个传感器接收的数据。传感器数据可包括；未处理的数据，诸如直接从传感器、传感器设备驱动器，或类似物接收的原始数据；以及经处理的数据，诸如被平滑或滤波的原始数据，或从多组原始传感器数据得出的对象数据（例如，从多个帧的捕获到的数据得出的数据）。
术语“虚拟环境数据”应被理解为指代与虚拟环境状态有关的数据。术语“虚拟环境数据”的使用应被理解为与术语“传感器数据”分开且不同，使得具备传感器数据资格的数据必然不是虚拟环境数据，并且反之亦然。通常，虚拟环境数据由虚拟环境引擎提供，而传感器数据由传感器接口提供，但是应当理解，在一些实施例中，传感器数据可以由虚拟环境引擎提供，诸如在虚拟环境引擎提供传感器数据作为从传感器接口的通道情况下。可以区分传感器数据和虚拟环境数据，因为传感器数据不需要访问虚拟环境状态，而虚拟环境数据必然需要访问虚拟环境状态。
概览
当前公开的发明的实施例一般地描述了用于生成和显示与围绕用户的物理环境对应的虚拟表示的新颖的系统、方法和装置。电子装置小型化方面的进步、显示成本降低以及图形处理能力的增加已使得消费者获得能够提供虚拟现实体验的装置成为现实。具体来说，消费者现在有能力获得提供立体三维视觉体验的价格合理的头戴式装置（HMD）。许多这样的装置还包括内部加速度计和用于确定用户的方位和观看角度的位置检测模块、用于提供声音的音频系统和类似物。这些装置的主要预期用途之一是使用户能够感知他们存在于虚拟环境中。类似地，传感器技术的发展已经提供了对能够检测物理环境内用户的尺寸、方位和位置的传感器的增加的访问。
在开发消费级HMD、传感器和其他VR装备之前，大多数VR环境在商业环境中提供，在商业环境中用户可以付费以在限定的时间段内访问VR环境。这些VR装置的商业性质和相对罕见通常意味着大多数VR装置在受到小心控制的物理环境中被操作。为了促进VR体验，这些物理环境通常保持清除不加入VR环境的外部对象和人。然而，随着消费级VR装备的开发，已经变得非常有可能的是，用户将在尺寸和形状未受到小心控制并且没有清除外部对象的物理环境中体验虚拟环境。
发明人已经认识到，存在于被用于VR体验的物理环境内的物理对象可能对VR装备的用户带来危险，用户的视觉被HMD或其他显示装置遮盖。此外，发明人已经认识到，在许多情况下可能合乎期望的是，显示用户和/或位于围绕用户的物理环境中的其他对象，使得用户在体验VR环境时不会感到脱离现实，并且因此用户具有适当的参考系。因此，发明人已经开发了各种过程、装置、系统和计算机可读介质用于促进和支持在虚拟环境内显示本地物理环境的虚拟表示。
为了实现这些益处并且支持物理对象的虚拟表示呈现在虚拟环境中，发明人还解决了与如下各项有关的许多技术挑战：在物理环境中检测对象，缓存与对象有关的数据，以及在虚拟环境中显示物理对象的虚拟表示。
诸如本文所述的虚拟现实环境可以被用于实现跨许多不同的技术学科的各种功能。可以采用用于检测和显示虚拟环境中的本地物理对象的技术来改进用于控制以下各项的虚拟环境：家庭自动化系统（例如，与家庭温度、照明和安全系统对接），工厂操作（例如，控制机器人装备、安全系统、观察工人），移动对象（诸如无人驾驶飞机）等等。使用虚拟环境也可以允许用户利用耦合到远程受控装置或系统的摄像机或其他传感器来向用户呈现处于受控对象的物理方位中的体验。在用户的本地物理环境中物理对象的检测确保用户在体验虚拟环境时将不会与那些本地物理对象非故意地发生碰撞。
发明人还认识到，虚拟环境可被用于捕获和重放用户的本地环境。关于用户的物理环境的本地传感器数据的捕获可以允许用户记录关于他们的物理环境的音频、视频和其他收集的传感器信息以供以后回顾。例如，如果用户拥有装备有用于捕获物理环境的传感器的家，则用户可以实现对在特定事件（例如，孩子的生日派对）期间的传感器数据的记录，使得以后用户可以重放传感器读出内容，从而在虚拟场景中重新创建该物理环境。这样的实施例可以允许用户重温记录的事件或回顾他们未出席的事件（例如，在游戏过程中模拟在超级碗的现场，或重放婚礼宴会）。
发明人还认识到用于跟踪用户位置和校准用于位置跟踪的传感器以向虚拟环境提供输入的方法和系统的缺陷。为此，发明人开发了新颖的系统用于集成从红外传感器、加速度计、陀螺仪、磁力计等接收的数据。从这些不同的系统接收的跟踪数据可以被合并和平滑，以改进用于识别用户位置的技术。此外，本发明人具有用于调整来自不同传感器的输入的校准机制。发明人开发了以下技术：通过监视从多个传感器接收的数据来确定HMD何时被放置在用户的头部上，以及作为响应而实施各种检测和校准动作。例如，当实施例基于加速度计读数检测到HMD已被拾取并放置在用户头部上时，则用户的位置可以在三维空间中被检测并被校准到虚拟环境坐标系。
发明人还认识到，各种接口和传感器可用于与虚拟环境进行交互。如本文所述的，为了与虚拟控制对象进行交互（并且实现未被虚拟控制对象提供的其他交互），发明人已经认识到可以采用提供不同反馈机制的各种装置。例如，使用专门设计的手套或鞋子可以提供与触摸按钮、项目的感觉质感等等有关的触知和/或触觉反馈。
发明人还开发了提供用于与其他用户共享环境的新颖特征的系统。来自本地和远程装置的传感器数据可以被用于提供接近警报和关于距离的其他反馈，该距离是指用户与用户的本地物理环境中的物理对象（例如，其他用户、家具）以及虚拟环境中的虚拟对象两者（例如，从另一物理位置参与虚拟环境的另一用户的化身）之间的距离。
还应当理解的是，本文中呈现的实施例尤其涉及用于如下操作的方法、设备、系统和计算机程序产品：生成用户的本地物理环境中的物理对象的虚拟表示并且与该虚拟表示交互以及以其他方式使所述计算机经由与虚拟环境有关的输入来实施特定功能。因此，这些实施例必然关于和涉及针对提供这种虚拟环境和使所述计算机以特定改进的方式进行操作的改进，并且这些改进解决了所述虚拟环境特有的技术问题。
系统架构和示例设备
现在将参照附图在下文中更全面地描述本发明的一些示例性实施例，一些但不是全部的本发明的实施例示出在附图中。实际上，这些发明可以体现为许多不同的形式并且不应当被解释为限于本文阐述的实施例；相反，提供这些实施例使得本公开将满足适用的法律要求。相似的数字始终指代相似的元件。
本发明的方法、设备和计算机程序产品可以由任何的各种装置来体现。例如，示例实施例的方法、设备和计算机程序产品可以由一个或多个联网装置（诸如与HMD和一个或多个传感器通信的服务器或个人计算机）来体现。附加或替代地，计算装置可以包括固定的或联网的计算装置，诸如个人计算机或计算机工作站。更进一步地，示例实施例可由任何的各种移动终端（诸如便携式数字助理（PDA）、可穿戴装置、移动电话、智能电话、膝上型计算机、平板计算机或上述装置的任何组合）来体现。
在这方面，图1公开了在其中可以操作本发明的实施例的示例计算系统。服务器102可以用于与一个或多个传感器104和HMD 106通信。服务器102可以包括配置为生成和管理经由HMD 106向用户显示的虚拟环境的硬件和软件。该服务器102还可以从一个或多个传感器104接收数据以识别本地物理环境中的对象。服务器102的详细示例性实施例在下面关于图2被进一步描述。
HMD 106可以从服务器102发送和接收电子数据。例如，HMD 106可以向服务器102发送指示来自包含在HMD 106中的一个或多个加速度计或其他位置传感器的读数的数据。HMD 106可以接收指示如下内容的数据：经由包括在HMD 106中的一个或多个显示器显示的视频内容以及经由包括在HMD 106中的扬声器、耳机等输出的音频内容。HMD 106的详细示例性实施例在下面关于图3被进一步描述。
传感器104可以是可操作用于接收关于用户或用户的物理环境的信息的任何传感器，用户的物理环境可由服务器102用来生成所述虚拟环境。例如，传感器可以是由微软制造的Kinect®传感器、Leap Motion公司制造的Leap Motion®控制器、数字摄像机、电容性触摸界面或能够生成指示对象在特定方位或深度处存在的传感器数据的任何其他传感器。传感器104可以向服务器102提供原始格式的数据，原始数据可以在服务器102被转换成位置信息，该位置信息指示由所述传感器感知的物理环境中物理对象的位置。一些实施例可以包括多个传感器，并且来自传感器的数据可被处理和组合在一起，以确定物理环境内的对象的位置。
传感器104捕获传感器数据，传感器数据可以被用来确定本地物理环境的状态，诸如一个或多个用户的方位、尺寸和移动，物理对象在传感器视场内的方位、尺寸和移动等等。应当理解的是，如上所述，一个或多个传感器104可以被包括作为HMD 106的一部分或耦合到HMD 106。
传感器104可在传感器的检测区域或视场内的特定物理区域中捕获数据。在这种背景下，传感器的检测区域包括用户108和物理对象110，诸如办公椅。在一些实施例中，传感器通过生成深度图来检测对象。深度图可以包括与传感器的检测区域中的特定物理方位相关联的像素的帧。每个像素可以与一值相关联，该值表示位于该像素处的任何对象距传感器（诸如在红外传感器发射器/接收器传感器的情况下）的关联距离或深度。
服务器102可以包括传感器接口114，传感器接口114从传感器104接收传感器数据。传感器接口114可以包括用于从传感器104接收数据的硬件和软件两者。例如，传感器接口114可以包括用于与传感器104通信的物理有线连接或无线天线。传感器接口114还可以包括用于与传感器104通信的软件应用，诸如用于解释和/或后处理传感器数据的装置驱动器和工具。例如，传感器接口114可以包括用于基于接收的传感器数据来确定对象位置的设备驱动器和工具。所述传感器接口114可与HMD接口112、虚拟环境引擎118和缓存的对象数据116的数据存储库进行通信。缓存的对象数据116可以包括与如下各项有关的传感器数据：检测到的特定对象、与检测到的虚拟对象对应的多边形或其他虚拟表示等等。所述传感器接口114可以为HMD接口112提供传感器数据以用于在HMD 106中显示的虚拟环境中重新创建物理环境的元素。例如，传感器接口114可以绕过虚拟环境引擎118，并把传感器数据直接提供HMD接口112用于在HMD 106上显示。附加或替代地，传感器接口114可把传感器数据提供给虚拟环境引擎118以用于更新虚拟环境的状态。
所述传感器接口114可以把传感器数据直接提供给网络接口（未示出）用于传送到一个或多个远程计算机。在把数据提供给网络接口之前，所述传感器接口114可以对传感器数据实施后处理、格式化和/或封装。例如，传感器数据可以采取在一段时间内多个帧的传感器捕获的形式。这些多个帧的数据可被用作平滑和/或滤波过程的一部分，以减少或消除来自数据的噪声和伪像。在一些实施例中，传感器数据在传送之前也可以被压缩或修剪以针对网络带宽进行优化。在又一实施例中，传感器数据可以被分析以识别感兴趣的特定对象（例如，用户）的存在并且这个分析的结果可以连同原始传感器数据被提供。在又一实施例中，传感器接口114可以跟踪除了所述原始传感器数据之外的与物理环境有关的附加数据。例如，传感器接口114可以识别除了用户之外的背景对象（例如，家具、墙壁和在用户的物理环境中的其他对象）的存在，并且即使当处于传感器的视场之外时（例如，当用户由于在对象的前面移动而遮蔽传感器的视场时）也缓存这种对象的存在。传感器接口114可以传送作为传感器数据的该缓存的对象数据以及在任何给定时间接收的原始传感器帧数据。
所述传感器接口114可以被配置成根据各种参数控制传感器数据到网络接口的传送。这些参数可包括但不限于：传感器本身的配置设置（例如，刷新速率、分辨率、对包括在传感器中的电动机和透镜的指令）、用于网络传送的配置设置（例如，发送传感器数据帧的频率、发送缓存的背景数据帧的频率）、与传感器数据的后处理和分析有关的配置数据（例如，用于扩展检测到的用户掩模的像素半径，用于平滑操作的传感器数据帧的数目），等等。这些参数可以直接由用户或服务器102的管理员配置，由在服务器102上执行的应用以编程方式配置，或者经由从网络接口（例如，从远程服务器）接收的网络指令配置。
传感器接口114也可以被配置成从所述网络接口接收传感器数据。从网络接口接收的传感器数据可以与加入共享虚拟环境的其他用户相关联。从网络接口接收的传感器数据可以按照与从传感器104接收的传感器数据相同或类似的方式被处理。在一些实施例中，特定后处理或格式化操作针对从其他计算节点接收的传感器数据被跳过。例如，接收的传感器数据可能已经利用平滑或滤波操作处理，使得在本地计算节点上实施相同操作将是多余的。在一些实施例中，从远程源接收的传感器数据包括关于传感器数据的元数据。例如，传感器数据元数据可指示如下情况：是否已经采用平滑和过滤技术以及已经采用哪个平滑和过滤技术，传感器数据与虚拟环境的哪个用户相关联，该传感器数据是否已经被压缩，等等。
在一些实施例中，传感器接口114可以被配置为与网络直接对接，诸如经由网络接口，以把传感器数据传送到远程计算机。传感器数据向远程计算机的传送可以允许远程计算机更准确地重新创建在本地计算机的传感器数据内检测到的物理对象（诸如，用户）。发明人还开发了各种技术用于接收、管理、利用和传送这样的传感器数据去往和来自其他计算机。用于支持多用户虚拟环境的这种方法、系统和装置部件的进一步示例实施例在共同提交的美国专利申请__/______中被提供，该美国专利申请于2015年1月28日提交，标题为“METHODS AND APPARATUSES FOR IMPLEMENTING A MULTI-USER VIRTUAL ENVIRONMENT”（代理人案号059638/454920），该申请的全部内容通过引用并入本文。
在一些实施例中，传感器接口114可以把传感器数据提供给图形处理单元115。图形处理单元115可被编程为帮助从传感器数据帧检测对象。例如，传感器数据帧可以被呈现为位图或适合于由使用图形处理架构实现的着色器程序进行处理的其他格式。这些“着色器”可以被用来分析一个或多个传感器数据帧，以生成在虚拟环境中呈现的多边形。
图形处理单元115还可以向HMD接口112提供数据。例如，图形处理单元115可以包括用于包括在HMD 106中的显示装置的一个或多个帧缓冲器，用于提供视频输出到HMD106。图形处理单元115可以从所述虚拟环境引擎118接收与虚拟环境有关的数据并且把该数据转换成适合于经由HMD 106显示的格式。
HMD接口112可以包括配置成向HMD 106发送数据和从HMD 106接收数据的硬件和软件。就HMD 106包括一个或多个传感器来说，HMD接口112可提供与上面关于传感器接口114描述的那些HMD传感器相同或类似的功能。HMD接口112还可以从以下各项接收数据：图形硬件（诸如，图形处理单元115），用于将显示信息输出给包括在HMD 106中的一个或多个显示器；和音频硬件，用于输出声音给包括在HMD 106中的一个或多个扬声器。HMD接口112也可以包括用于与HMD 106的元件通信的其他硬件，包括但不限于用于与如下各项通信的硬件：振动元件和其他触觉反馈部件、用于由传感器104进行感知的发光二极管（LED）和其他信标，以及用于发送和接收各种形式的输入和输出以促进虚拟环境向用户呈现的HMD106的各种其他传感器104。
所述虚拟环境引擎118可以管理由服务器102提供的虚拟环境的状态。虚拟环境引擎118可以从传感器接口接收传感器数据并且基于所述传感器数据更新和修改虚拟环境。例如，在所述传感器数据中检测到的物理对象可被映射到虚拟环境中和/或用于生成物理对象的虚拟表示。虚拟环境引擎118可以监视各种触发、交互和在虚拟环境内发生的类似操作。因此虚拟环境引擎118可以包括用于如下操作的各种线程、过程和功能：维持虚拟环境的状态，传送虚拟环境的状态给其他装置（例如，作为虚拟环境数据），提供用于显示所述虚拟环境的指令，以及以其他方式促进用户对虚拟环境的感知和与虚拟环境的交互。
虚拟环境引擎118还可以使一个或多个用户能够通过使用虚拟控制对象来与虚拟环境对接。这种虚拟控制对象的示例性实施例以及用于实现与这种对象的交互技术的示例性系统、方法和装置在共同提交的美国专利申请__/______中被进一步描述，该美国专利申请于2015年1月28日提交，标题为“METHOD AND SYSTEM FOR RECEIVING GESTURE INPUTVIA VIRTUAL CONTROL OBJECTS”（代理人案卷号059638/454919），该美国专利申请的全部内容通过引用并入本文。
用于实现本发明的实施例的示例设备
服务器102可以由一个或多个计算系统（诸如在图2中所示的设备200）体现。如图2中所示，设备200可以包括处理器202、存储器204、输入/输出电路206、通信电路208、传感器接口电路210、虚拟环境状态管理电路212和HMD接口电路214。设备200可以配置为执行上面关于图1和下面关于图4-10描述的操作。尽管这些部件202-216关于功能限制被描述，但是应当理解的是，特定的实现方式必须包括使用特定硬件。还应当理解，这些部件202-216中的某些可以包括类似或共同的硬件。例如，两组电路都可以利用使用相同的处理器、网络接口、存储介质或类似物来实施其关联的功能，使得不需要针对每一组电路的重复硬件。因此，本文中关于设备的部件所使用的术语“电路”的使用应被理解为包括被配置为实施与本文描述的该特定电路相关联的功能的特定硬件。
在一些实施例中，术语“电路”应被广义理解为包括硬件并且也包括用于配置硬件的软件。例如，“电路”可包括处理电路、存储介质、网络接口、输入/输出装置和类似物。在一些实施例中，设备200的其他元件可提供或补充特定电路的功能。例如，处理器202可以提供处理功能，存储器204可以提供存储功能，通信电路208可以提供由设备200的其他部件使用的网络接口功能。
在一些实施例中，处理器202（和/或协处理器、图形处理单元或帮助处理器或以其他方式与处理器相关联的任何其他处理电路）可以经由用于在设备的各部件之间传递信息的总线与存储器204进行通信。存储器204可以是非临时性的，并且可以包括例如一个或多个易失性和/或非易失性存储器。换句话说，例如，存储器可以是电子存储装置（例如，计算机可读存储介质）。存储器204可以被配置为存储信息、数据、内容、应用、指令等，以便使设备能够根据本发明的示例实施例来执行各种功能。
处理器202可按照许多不同的方式体现，并且可以例如包括被配置为独立地进行实施的一个或多个处理装置。附加或替代地，处理器可以包括经由总线串联配置以实现指令的独立执行，流水线操作和/或多线程操作的一个或多个处理器。术语“处理电路”的使用可以被理解为包括单核处理器、多核处理器、设备内部的多个处理器，和/或远程或“云”处理器。
在示例实施例中，处理器202可以被配置为执行存储在存储器204中或以其他方式可由所述处理器访问的指令。替代或附加地，该处理器可以被配置为执行硬编码功能。这样，无论是由硬件或软件方法配置，还是由硬件和软件方法的组合配置，所述处理器可以表示能够根据本发明的实施例实施操作同时被相应地配置的实体（例如，物理地体现在电路中）。替代地，作为另一示例，当处理器体现为软件指令的执行器时，指令可以在所述指令被执行时具体地把处理器配置为实施本文描述的算法和/或操作。
在一些实施例中，设备200可包括输入/​​输出电路206，输入/​​输出电路206可以继而与处理器202通信以提供输出到用户，并且在一些实施例中，接收用户输入的指示。输入/输出电路206可以包括用户接口，并且可以包括显示器，并且可以包括web（网络）用户界面、移动应用、客户端装置、自助服务终端（kiosk）或类似物。在一些实施例中，输入/输出电路206还可以包括键盘、鼠标、操纵杆、触摸屏、触摸区域、软键、麦克风、扬声器或其他输入/输出结构。处理器和/或包括所述处理器的用户接口电路可以被配置为通过存储在可由处理器访问的存储器（例如，存储器204和/或类似物）上的计算机程序指令（例如，软件和/或固件）控制一个或多个用户接口元件的一个或多个功能。
通信电路208可以是诸如体现在硬件或硬件与软件的组合中的装置或电路之类的任何装置，其被配置为从网络和/或与所述设备200通信的任何其他装置、电路或模块接收数据和/或向所述网络和/或任何其他装置、电路或模块传送数据。通信电路208可以包括例如用于实现与有线或无线通信网络通信的网络接口。例如，通信电路208可以包括一个或多个网络接口卡、天线、总线、交换机、路由器、调制解调器以及支持硬件和/或软件，或适合于经由网络实现通信的任何其他装置。附加或替代地，通信接口可以包括用于与（一个或多个）天线交互以引起经由所述（一个或多个）天线的信号传送或处置经由所述（一个或多个）天线接收的信号的接收的电路。
传感器接口电路210可包括被配置为进行如下操作的硬件：向耦合到服务器的一个或多个传感器（诸如以上关于图1所描述的传感器104）发送指令以及从耦合到服务器的一个或多个传感器接收数据。传感器接口电路210可以实现传感器接口114，如以上关于图1描述的。传感器接口电路210可包括被配置为与传感器进行有线或无线通信的电连接。传感器接口电路210也可促进捕获传感器数据和传送传感器数据到系统的其他部件，诸如把传感器数据提供到虚拟环境状态管理电路212用于更新虚拟环境。在把传感器数据提供给虚拟环境状态管理电路或通信电路之前，所述传感器接口电路210还可以提供对接收的传感器数据的后处理和分析。传感器接口电路210还可以与一个或多个图形处理单元或其他处理电路对接以帮助分析传感器数据，诸如检测传感器数据帧内的对象。传感器接口电路210还可以包括处理电路（诸如处理器202），该处理电路执行一个或多个工具、驱动程序、应用编程接口（API）等以与传感器通信并且处理传感器数据。还应当理解的是，在一些实施例中，传感器接口电路210可包括单独的处理器、专门配置的现场可编程门阵列（FPGA）或专用接口电路（ASIC）以便实施本文描述的功能。因此，所述传感器接口电路210使用设备的硬件部件来实现，该硬件部件由用于实现上面列举的功能的硬件或软件来配置。
虚拟环境状态管理电路212包括配置为管理虚拟环境状态的硬件。如上所述，虚拟环境状态包括指示虚拟环境中一个或多个对象的方位和状态的电子数据。虚拟环境状态管理电路212也可以实现用于控制虚拟环境状态的模拟的其他方面。例如，虚拟环境状态管理电路212可以管理虚拟环境更新的速率、虚拟环境内对象的坐标方位的分辨率、虚拟环境中对象之间交互的模拟，等等。虚拟环境状态管理电路212可以包括用于管理虚拟环境的处理电路，诸如处理器202。还应当理解的是，在一些实施例中，虚拟环境状态管理电路214可包括单独的处理器、专门配置的现场可编程门阵列（FPGA）或专用接口电路（ASIC）以实施本文描述的功能。因此，虚拟环境状态管理电路212使用设备的硬件部件来实现，该硬件部件由用于实现上面列举的功能的硬件或软件来配置。
HMD接口电路214用于：提供电子数据去往和来自HMD，以使得HMD的用户能够经由HMD体验虚拟环境；以及从耦合到HMD的任何传感器提供传感器数据给虚拟环境状态管理电路212。例如，例如，HMD接口电路214可以提供显示输出到包括在HMD中的一个或多个显示器以向用户显示虚拟环境的一部分，并且从包括在HMD中的一个或多个加速度计接收输入以确定用户观看角度，从而帮助所述虚拟环境状态管理电路212确定要在（一个或多个）HMD显示器上显示虚拟环境的哪个特定部分。在一些实施例中，HMD接口电路214包括处理器或图形处理单元（GPU）以实现显示输出到HMD。应当理解的是，在一些实施例中，虚拟环境状态管理电路还可以共享或利用相同的处理器来管理虚拟环境状态，以帮助管理虚拟环境。
在一些实施例中，经由一个或多个驱动程序或API实现与HMD的对接，该驱动程序或API发送作为唯一与HMD相关联的单个信号或其他特别限定的通信技术的数据，而在其他实施例中，HMD接口电路214与HMD的特定部件直接通信（例如去往HMD的每个显示器的单个视频输出、针对HMD的音频部件的单个视频输出、针对耦合到HMD的每个传感器的数据输入）。
HMD接口电路214可以包括用于向HMD提供数据的处理电路，诸如处理器202。还应当理解的是，在一些实施例中，HMD接口电路214可以包括一个单独的处理器、专门配置的现场可编程门阵列（FPGA）或专用接口电路（ASIC）来实施本文描述的功能。HMD接口电路214因此使用设备的硬件部件来实现，该硬件部件由用于实现上面列举的功能的硬件或软件来配置。
如将理解的，任何这种计算机程序指令和/或其他类型的代码可以被加载到计算机、处理器或其他可编程设备的电路上以产生机器，使得在该机器上执行所述代码的计算机、处理器或其他可编程电路创建用于实现各种功能（包括本文所描述的那些）的装置。
如上所述并且如基于本公开将被理解的，本发明的实施例可以被配置为方法、移动装置、后端网络装置等等。因此，各实施例可以包括各种装置，该各种装置包括完全的硬件或软件和硬件的任何组合。此外，实施例可以采取至少一个非临时性计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品具有体现在所述存储介质中的计算机可读程序指令（例如，计算机软件）。任何合适的计算机可读存储介质可以被利用，包括非临时性硬盘、CD-ROM、闪存、光存储装置或磁存储装置。
现在参考图3，图示了框图，该框图示出了示例HMD，即设备300，设备300使用户能够通过使用头戴式显示屏幕来体验沉浸在虚拟环境中的感觉。设备300可以包括以下各项或者以其他方式与以下各项通信：数据传送电路302、位置定位电路304、加速度计电路306、第一显示电路308、第二显示电路310和音频输出电路312。如上所述，在一些实施例中，每个HMD部件可以被实现为具有不与彼此通信的个体分立部件（例如，各自接收单独的输入信号的两个单独的显示器、具有分立的音频输入/输出信号的耳机和/或麦克风、与服务器设备（诸如设备200）的部件直接通信的加速度计，等等）的单个外壳，而在其他实施例中，HMD设备300可以被实现为经由特定数据传送电路302彼此通信并且与服务器设备200通信的多个部件。数据传送电路302可因此包括被如下配置的电子部件：处理来自HMD的不同部件的电子信号并且把所述分量翻译成适合于由服务器200使用（consumption）的一个信号、多个信号、一个流或多个流，并且把来自服务器一个信号、多个信号、一个流或多个流翻译成适合于由HMD的个体部件使用的信号。
HMD可以包括用于检测HMD的移动、俯仰、相对位置（bearing）、取向等的加速度计电路306。该信息可以被提供给服务器用于确定虚拟环境的哪个区域对应于HMD的取向/相对位置，使得可经由第一显示电路308和/或第二显示电路310显示虚拟环境的所述对应区域。
定位电路304可以包括用于配置与HMD相关联的方位服务模块和功能并与其进行通信的电子装置。例如，HMD设备300的实施例可以包括一个或多个红外信标，该红外信标可以响应于来自服务器的信号而被打开和关闭。这些红外信标可以启用由耦合到服务器的红外传感器进行的检测。因此，定位电路304可以用于打开和关闭所述红外信标，使红外信标按照特定速率或按照特定样式闪烁，以及以其他方式帮助进行方位检测和物理环境校准功能。在一些实施例中，HMD可以包括接收作为定位电路304的一部分的全球定位系统，并且应当容易理解的是，各种不同的测位和定位技术可以用以帮助检测HMD设备300的位置。
第一显示电路308和第二显示电路310包括用于显示从服务器接收的信号的硬件，诸如投影屏幕、液晶显示面板等。应当理解的是，第一显示电路308和第二显示电路310可以共享一些共同的硬件和/或软件元件。例如，在一些实施例中，第一显示电路308和第二显示电路310中的每一个是接收单独输入信号的完全单独的显示器。在其他实施例中，第一显示电路308和第二显示电路310可以包括由HMD的物理元件分离的单个显示面板（例如，定位在用户鼻子附近的阻挡面板）。在更进一步的实施例中，单个显示信号可以被提供给可分裂该信号以创建用于两个单独的显示面板的两个不同来源的电路。以这种方式使用两个显示器允许服务器输出可以被用来创建立体三维图像的两个单独的图像。然而，还应当认识到，在一些实施例中，HMD可以包括仅单个显示器或者甚至根本不显示立体图像，但仍然用于根据本发明的实施例向HMD的用户显示虚拟环境以及实现与所述虚拟环境的交互。
HMD设备300可以包括被配置为输出音频信号的音频输出电路312。例如，HMD设备300可以包括用于输出声音到佩戴HMD的用户的内置扬声器、耳机等。
用于实现物理环境的虚拟表示的示例操作
图4描绘了根据本发明的实施例的物理环境的传感器帧捕获400的示例性图示。如上所述，本发明的实施例有利地用于检测由用于提供虚拟环境的传感器监视的物理区域中物理对象的存在。所检测到的物理对象然后可被用于创建虚拟表示以在虚拟环境中显示。
传感器帧捕获400包括指示用户402和物理对象404（例如，办公椅）存在的数据。对象的存在可以在传感器帧捕获400内由与传感器帧捕获400的特定像素相关联的强度值指示。给定像素的强度可以对应于与特定物理方位相关联的深度测量值。传感器帧捕获400内的像素的连续区域可被识别为有可能是一个或多个特定对象。由于传感器帧捕获400与用于生成三维呈现的图像共享许多特性，所述实施例可以利用设计用于显示和图像操作的专用硬件（诸如图形处理单元（GPU））的使用。传感器帧捕获400可以被提供给这种GPU，并且在GPU上执行的着色器程序可以使传感器数据呈现以生成用于在虚拟环境中显示的多边形。例如，在一些实施例中，可以由GPU在具有类似深度值的连续或接近的像素之间绘制三角形。这些三角形可以被合并，以限定表示对象的边界的多边形。
从传感器帧捕获400检测对象还可以包括在传感器数据中表示的用户和其他对象或个体之间进行区分。为了确定特定对象是否是用户，实施例可以分析检测到的对象以识别与用户相关联的特定特性。例如，实施例可以检测与由用户佩戴的HMD或由用户持有的输入装置相关联的一个或多个信标，并且识别与作为用户的这种信标相关联的对象。附加或替代地，可以基于检测到响应于提供给用户的校准指令而实施的特定手势或动作（例如，显示命令“抬起你的左手”，然后识别实施对应手势输入的对象），通过检测跨多个帧的移动（例如，因为非用户对象可倾向于是静止的）或类似手段来识别用户。
在一些实施例中，一个或多个对象可以包括掩模406，掩模406限定围绕检测到的对象突出的“晕圈”中的像素区域。掩模406可以计及如下事实：传感器数据可能是“有噪声的”并且在传感器数据中限定的对象可能不精确地匹配他们的物理对象对应物的边界。为了确保特定对象或用户被完全捕获在传感器数据内，对象或用户的已知或可疑边缘可以关于检测到的对象边缘扩展预定义数量的像素。当传感器数据被分析、传送或处理时，该限定区域内的像素可因此被识别或标记为与特定用户或对象相关联。应该认识到，虽然在本上下文中，掩模围绕整个用户，但在一些实施例中，用户身体的不同部分可以具有单独的掩模，使得个体的四肢、关节、服装制品或类似物与单独的掩模值相关联。例如，在一些实施例中，用户的头部由与用户身体的其余部分分离的掩模来识别。以这种方式使用多个掩模可允许用户身体的特定部分在用户的对应虚拟表示中被替换或隐藏。例如，用户的头部可以针对在虚拟环境中创建的三维模型被换出。
图5描绘了对应于上面参照图4描述的传感器帧捕获400的示例性虚拟环境500。虚拟环境500包括用户502的虚拟表示和检测到的对象504。如上所述，虚拟表示是从传感器数据生成的虚拟构造。与增强现实环境不同，虚拟环境中显示的对象是完全虚拟的，而不是对象的实际图像或视频捕获。这些虚拟对象在虚拟环境内与所述对象的相同物理方位对应的方位处的放置允许体验虚拟环境的用户感知到物理对象的存在，并具有针对其自己身体的参考系，即使当他们的视觉被HMD完全遮蔽时。
虚拟环境还可以包括用户的物理环境中的附加表示。例如，虚拟环境500包括用户的本地物理环境的缩小的表示506，表示为坐在虚拟环境内生成的虚拟“桌子”上的微型显示。当用户看缩小的表示506时，他们可以看到自己和在他们本地物理环境中的任何其他物理对象，诸如检测到的对象504。用户502相对于检测到的对象504的相对取向还可以控制表示用户和所检测到的对象的虚拟表示的元件的相对取向，以便使得向所述用户呈现从不同视角向下看他们的物理环境的感觉。
用户502和检测到的对象504的虚拟表示可以直接从传感器数据被重构，使得传感器数据的像素被用于限定虚拟表示的尺寸和形状。替代地，在一些实施例中，检测到的尺寸、形状和由传感器数据传达的其他信息可以被用于确定对象的特定类型和/或尺寸，并且所存储的虚拟表示（例如，预呈现的三维模型）可以作为虚拟表示被插入在相同的物理定位。
图6和7图示即使在物理对象对传感器不容易可见的情景下生成包括那些物理对象的虚拟环境。当检测到对象以及在用户和其他非用户对象之间进行区分（如上面关于图4和图5所述）时，检测到的非用户对象可被缓存为缓存的对象数据。通过缓存通常预期是静止的检测到的对象，这样的对象可被显示为虚拟表示，即使该对象不再可由传感器检测到，诸如在用户走到检测到的对象的前面并且从传感器遮蔽对象的情况下。图6和7描述这一遮蔽过程的示例。
图6描绘了传感器数据帧600，其中用户602已经走到对象604的前面。通过走到对象604的前面，用户602已阻止捕获传感器数据帧600的传感器能够确定检测到的对象的尺寸、边缘、以及轮廓。然而，当被用户遮蔽之前最初检测到该对象时，对象的尺寸、形状以及方位可被存储在缓冲器中或以其他方式被缓存。如图7中所描绘的，虚拟环境700可以使用缓存的对象数据来重新创建或维持所检测到的对象704的虚拟表示，即使当对象对于传感器不再可见时。对检测到的对象的缓存可以按照周期性的间隔实施，并且实施例可以周期性地验证或冲掉缓存的数据。例如，在一些实施例中，可在不再检测到用户处于遮蔽与缓存的数据有关的对象的物理环境处时丢弃缓存的数据。在其他实施例中，可在接收到指示所述对象不再存在于缓存的方位的传感器数据时丢弃缓存的数据。在更进一步的实施例中，缓存的对象可以随着缓存数据变得越来越陈旧而随着时间“褪色”，从而在虚拟表示内反映缓存的对象的存在不再可靠。
在一些实施例中，传感器数据可以被“分割”成前景或“用户”元素和背景数据。指定为背景的对象可能与指定为前景对象的对象被不同地缓存。例如，在一些实施例中，仅背景对象可以被缓存，因为期望的是，前景对象将很少会被遮蔽。
场景分割也可以包括在一组给定传感器数据内检测特定对象。例如，对象可以被标记有红外信标、快速响应（QR）码等等以识别传感器数据内的特定对象。通过这种技术标记的对象可以被分析以在所述传感器数据中将特定对象与它的背景分割。替代地，对象可以具有特定样式的传感器数据，使得可以根据特定对象的已知特性从一组传感器数据识别出该特定对象。例如，对象可以被传感器“扫描”并且用户可以指示对象类型，以便所述传感器感知特定对象用于未来对象检测操作。
用于在虚拟现实环境中实现物理环境的虚拟表示的示例性计算机实现的方法
图8-10描绘了根据示例性实施例的用于实现在虚拟环境中显示本地物理环境的虚拟表示的示例性计算机实现的过程。这些过程可由计算装置（诸如关于图1所描绘的服务器102以及关于图2所描绘的设备200）来实现。
图8是描绘根据本发明的示例性实施例的用于在一个或多个传感器数据中把用户与其他检测到的对象分离的示例性计算机可执行过程800的流程图。检测到的用户以外的对象可以被缓存以供后续用于重构被用户遮蔽或以其他方式对传感器不可见的对象。过程800开始于动作802，其中接收一组传感器数据。该组传感器数据可以包括一个或多个个体数据帧。在一些实施例中，多个传感器数据帧被一起处理以平滑和过滤该数据，并减少噪声和其他伪影。在动作804，识别与一个或多个用户对应的传感器数据的像素。如上所提到的，可基于检测到的特定用户特性、手势、运动模式、信标（例如，在HMD上的红外信标）或类似物来确定与用户相关联的像素。
在动作806，掩模可以被施加到被识别为包括一个或多个用户的一组像素或传感器数据的区域。该掩模可以是围绕被怀疑是用户的像素延伸的“晕圈”，以排除一定半径的像素与非用户对象相关联。以这种方式使用掩模可以确保没有与所述用户相关联的像素被“遗漏”或被错误地识别为与用户以外的对象相关联。
在动作808，识别掩模之外的对象。可以通过检测传感器数据内具有相同或类似值（例如，由像素强度指示的类似深度图）的连续或紧密关联的区域来识别对象。在动作810，与对象相关联的像素被分成怀疑是单独的分立对象的区域。应当理解的是，虽然本示例被描述为识别个体对象，但在一些实施例中，所有非用户像素数据可以被识别为单个“背景”或“非用户”对象，以用于重新创建用户的物理环境的虚拟表示的目的。
在动作812，检测到的除用户以外的一个或多个对象被存储在一组缓存的对象数据中。缓存的对象数据可被用于即使在对象被遮盖或从一个或多个传感器的视野被遮蔽情况下显示检测到的对象的虚拟表示。缓存的对象数据可以包括从被识别为与对象相关联的传感器数据的像素得出的一个或多个模型或构造，或者对象数据可被存储为原始像素数据。
图9是图示根据本发明的示例性实施例的用于使用图形处理单元使用传感器数据来检测对象的示例性计算机可执行过程900的流程图。如上所述，实施例可利用GPU来处理传感器数据以用于在虚拟环境中呈现。由于传感器数据可以被呈现为包括一系列像素的位图，所以诸如GPU的专用图形处理硬件可以被用来呈现在传感器数据内限定的对象。过程900图示了传感器接口可以如何把传感器数据提供给GPU用于处理和接收一组呈现的对象以供在虚拟环境中进行显示。
该过程900开始于动作902，其中接收一组传感器数据。如上所述，可以从各种传感器接收该传感器数据，尽管在本示例性背景中，可以理解的是，按照适合于由GPU处理的格式（例如，位图）提供传感器数据。在动作904，传感器数据被提供给GPU。在动作906，GPU采用图形处理技术，诸如对传感器数据执行一个或多个着色器程序，以呈现与在传感器数据内限定的对象对应的多边形。具体来说，对传感器数据实施的处理可以识别具有类似强度/深度/高度值的相邻的、连续的和/或接近的像素，并且把具有这样像素的区域识别为特定对象和生成合适的多边形用于显示。
在动作908，呈现的对象从GPU接收和/或由GPU显示。呈现的对象然后可被虚拟环境引擎或虚拟现实系统的其他部件用于显示检测到的对象、缓存检测到的对象、从识别为用户的对象接收的手势输入等等。
图10是图示根据本发明实施例的用于显示包括本地物理环境的虚拟表示的虚拟环境的示例性计算机可执行过程1000的流程图。如上所述，实施例有利地不仅提供由传感器检测到的物理对象的虚拟表示的显示，而且提供当前未由传感器检测到但先前被缓存的对象的虚拟表示的显示。例如，可以使用缓存的对象数据来显示先前检测到但随后被用户或其他介入对象遮蔽的对象的虚拟表示。
在动作1002，接收传感器数据。该传感器数据可以是上面关于图1-9描述的传感器数据。在动作1004，在传感器数据内检测对象并且生成那些检测到的对象的虚拟表示。如上所述，该虚拟表示可从传感器数据直接生成，其中该虚拟表示的尺寸、形状和特征对应于与特定对象相关联的传感器数据，虚拟表示与该特定对象相关联。
在动作1006，针对在一组缓存的对象数据中识别的任何对象创建虚拟表示。如上所述，缓存的对象数据可以包括先前检测到但在所述传感器数据内不可见的对象。在一些实施例中，在缓存的对象数据中识别的对象与在所述传感器数据中识别的对象进行比较，以确定是否每一个对象在所述传感器数据内实际可见。例如，如果缓存的对象在所述传感器数据内已经可见，则该对象的缓存的数据可以被丢弃或者被来自传感器数据的新数据替换。在一些实施例中，可以通过对象的位置、对象的形状、对象的尺寸等来在传感器数据和缓存的数据之间识别对象。类似地，传感器数据可以与先前接收的传感器数据进行比较，以确定是否有任何对象已消失或以其他方式不再可见。这样的对象可以具有从缓存的对象数据检索的对应虚拟表示。
在动作1008，从传感器数据得出的虚拟表示和从缓存的对象数据获得的虚拟表示被添加到虚拟环境。在动作1010，包括虚拟表示的虚拟环境经由HMD显示。
图11是图示根据本发明实施例的用于响应于检测到物理对象进入到预定义区域中而显示物理环境的虚拟表示的示例性计算机可执行过程1100的流程图。过程1100提供用于通知用户何时虚拟环境区域是“禁止入内”或以其他方式警告用户不要进入虚拟环境的特定区域的机制。例如，当用户接近传感器捕获范围的边缘时，标记传感器捕获环境的边缘的边界可以被表示为一堵墙、一件家具或其他物理对象，以使用户能够感知到该边界。
在动作1102，该过程接收一组传感器数据。该传感器数据用于检测至少一个物理对象的方位。在动作1104，确定该物理对象（例如，用户）是否已进入特定限定区域。限定区域可以是基于可用传感器捕获帧的虚拟环境的边界，以其他方式指示为禁止入内的传感器环境的特定区域等等。在动作1106，响应于用户进入限定区域而生成或显示物理对象的虚拟表示。在一些实施例中，响应于检测到该用户在与物理对象相关联的限定区域内，物理对象的虚拟表示仅在虚拟环境内显示。例如，当用户接近椅子时，可以当用户处在特定距离（例如，1米、5米等）内时显示椅子的虚拟表示。通过这种方式，实施例提供用于如下操作机制：警告用户他们将要离开指定的游戏区域，与物理对象碰撞等等，同时保持虚拟环境的沉浸效果，除非这样的碰撞或游戏区域违反是迫在眉睫的。
在描述示例性实施例时，特定术语出于清楚起见被使用。为了描述的目的，每个特定术语意图至少包括以类似方式操作以实现类似目的的所有技术和功能等同物。另外，在特定示例性实施例包括多个系统元件或方法步骤的一些情况下，那些元件或步骤可以被单个元件或步骤替换。同样地，单个元件或步骤可被用于相同目的的多个元件或步骤替换。此外，当在本文中针对示例性实施例指定各种属性的参数时，这些参数可以被向上或向下调整1/20、1/10、1/5、1/3、1/2等等，或它们的大约近似值，除非另有规定。此外，虽然示例性实施例已参照其特定的实施例被示出和描述，但本领域普通技术人员将理解，可以在不脱离本发明的范围的情况下在那里做出形式和细节方面的各种替换和变更。再者，其他方面、功能和优点也在本发明的范围之内。
示例性流程图出于说明的目的在本文中被提供并且是方法的非限制性示例。本领域的普通技术人员将认识到，示例性方法可以包括比在示例性流程图中所示的那些更多或更少的步骤，并且在示例性流程图中的步骤可以按照与所示的不同的次序来实施。
框图和流程图示的框支持用于实施指定功能的装置的组合，用于实施指定功能的步骤和用于实施指定功能的程序指令装置的组合。还将理解的是，电路图和过程流程图的一些或所有框/步骤以及电路图和过程流程图的框/步骤的组合可以由如下各项实现：实施指定功能或步骤的基于专用硬件的计算机系统，或专用硬件和计算机指令的组合。示例性系统可以比在示例性框图中所示的那些包括更多或更少的模块。
对具有在前面的描述和相关联的附图中呈现的教导的益处的本发明的实施例所属的技术领域的技术人员将会想到本文所阐述的本发明的许多修改和其他实施例。因此，要理解的是，本发明的实施例不限于所公开的具体实施例，并且修改和其他实施例意图被包括在所附权利要求的范围之内。虽然本文采用了特定的术语，但是它们仅以一般和描述性的意义被使用，而不是为了限制的目的。

Claims (36)

1.一种用于使用虚拟现实环境实现物理环境的虚拟表示的计算机实现的方法，所述方法包括：
从传感器接收第一组传感器数据；
从第一组传感器数据识别传感器视场内的至少一个物理对象；
至少使用第一组传感器数据确定所述至少一个物理对象的物理位置；
至少部分地基于第一组传感器数据生成所述至少一个物理对象的虚拟表示；
生成虚拟环境，所述虚拟环境包括所述至少一个物理对象的虚拟表示和至少一个虚拟对象的虚拟表示，其中所述虚拟环境包括一组坐标，所述一组坐标对应于所述至少一个物理对象存在于其中的物理区域，并且其中所述物理对象在虚拟环境中被定位在映射到所述至少一个物理对象的物理位置的坐标方位处；以及
向显示装置发送用于促进虚拟环境的至少部分的显示的指令。
2.根据权利要求1的方法，其中所述显示装置是头戴式显示器。
3.根据权利要求1-2中任一项的方法，还包括：
将所述至少一个物理对象的虚拟表示存储在一组缓存的对象数据中；
接收第二组传感器数据；
确定所述至少一个物理对象不存在于第二组传感器数据中；
从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示；以及
向所述显示装置发送用于如下操作的指令：在所述至少一个物理对象的最后已知位置处显示所检索的所述至少一个物理对象的虚拟表示。
4.根据权利要求3的方法，还包括：在从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示之前，确定所述至少一个物理对象至少部分被遮蔽。
5.根据权利要求1-4中任一项的方法，其中所述至少一个物理对象是用户。
6.根据权利要求1-5中任一项的方法，其中识别所述至少一个物理对象包括：
将第一组传感器数据提供给图形处理单元；以及
使用在图形处理单元上执行的至少一个着色器来生成至少一个多边形，所述多边形对应于来自第一组传感器数据的所述至少一个物理对象。
7.根据权利要求6的方法，还包括：指令显示装置在虚拟环境内显示所述至少一个多边形。
8.根据权利要求1-7中任一项的方法，还包括通过限定围绕限定物理对象的多个像素的掩模来识别第一组传感器数据内的物理对象，其中掩模将限定物理对象的多个像素扩展预定数目的像素。
9.根据权利要求1-8中任一项的方法，还包括将所述至少一个物理对象的虚拟表示放置在与所述至少一个物理对象的物理方位对应的虚拟方位处。
10.根据权利要求1-9中任一项的方法，其中从第一组传感器数据识别所述至少一个物理对象包括：将第一组传感器数据的第一多个像素识别为用户，以及将第一组传感器数据的第二多个像素识别为背景数据。
11.根据权利要求10的方法，其中由背景数据在第一组传感器数据内限定所述至少一个物理对象。
12.根据权利要求1-11中任一项的方法，还包括：仅仅响应于检测到用户已经进入与物理对象相关联的限定区域而生成物理对象的虚拟表示。
13.一种包括指令的非临时性计算机可读存储介质，所述指令用于使用虚拟现实环境实现物理环境的虚拟表示，所述指令当由处理器执行时把处理器配置为：
从传感器接收第一组传感器数据；
从第一组传感器数据识别传感器视场内的至少一个物理对象；
至少使用第一组传感器数据确定所述至少一个物理对象的物理位置；
至少部分地基于第一组传感器数据生成所述至少一个物理对象的虚拟表示；
生成虚拟环境，所述虚拟环境包括所述至少一个物理对象的虚拟表示和至少一个虚拟对象的虚拟表示，其中所述虚拟环境包括一组坐标，所述一组坐标对应于所述至少一个物理对象存在于其中的物理区域，并且其中所述物理对象在虚拟环境中被定位在映射到所述至少一个物理对象的物理位置的坐标方位处；以及
向显示装置发送用于促进虚拟环境的至少部分的显示的指令。
14.根据权利要求13的非临时性计算机可读存储介质，其中显示装置是头戴式显示器。
15.根据权利要求13-14中任一项的非临时性计算机可读存储介质，其中所述指令还包括还包括：
将所述至少一个物理对象的虚拟表示存储在一组缓存的对象数据中；
接收第二组传感器数据；
确定所述至少一个物理对象不存在于第二组传感器数据中；
从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示；以及
向所述显示装置发送用于如下操作的指令：在所述至少一个物理对象的最后已知位置处显示所检索的所述至少一个物理对象的虚拟表示。
16.根据权利要求15的非临时性计算机可读存储介质，其中所述指令还包括：在从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示之前，确定所述至少一个物理对象至少部分被遮蔽。
17.根据权利要求13-16中任一项的非临时性计算机可读存储介质，其中所述至少一个物理对象是用户。
18.根据权利要求13-17中任一项的非临时性计算机可读存储介质，其中识别所述至少一个物理对象包括：
将第一组传感器数据提供给图形处理单元；以及
使用在图形处理单元上执行的至少一个着色器来生成至少一个多边形，所述多边形对应于来自第一组传感器数据的所述至少一个物理对象。
19.根据权利要求18的非临时性计算机可读存储介质，其中所述指令还包括：指令显示装置在虚拟环境内显示所述至少一个多边形。
20.根据权利要求13-19中任一项的非临时性计算机可读存储介质，其中所述指令包括通过限定围绕限定物理对象的多个像素的掩模来识别第一组传感器数据内的物理对象，其中掩模将限定物理对象的多个像素扩展预定数目的像素。
21.根据权利要求13-20中任一项的非临时性计算机可读存储介质，其中所述指令还包括：将所述至少一个物理对象的虚拟表示放置在与所述至少一个物理对象的物理方位对应的虚拟方位处。
22.根据权利要求13-21中任一项的非临时性计算机可读存储介质，其中从第一组传感器数据识别所述至少一个物理对象还包括：将第一组传感器数据的第一多个像素识别为用户，以及将第一组传感器数据的第二多个像素识别为背景数据。
23.根据权利要求22的非临时性计算机可读存储介质，其中由背景数据在第一组传感器数据内限定所述至少一个物理对象。
24.根据权利要求13-23中任一项的非临时性计算机可读存储介质，其中所述指令进一步包括：仅仅响应于检测到用户已经进入与物理对象相关联的限定区域而生成物理对象的虚拟表示。
25.一种用于使用虚拟现实环境来实现物理环境的虚拟表示的系统，所述系统包括：
传感器接口电路，被配置为：
从传感器接收第一组传感器数据；
从第一组传感器数据识别传感器视场内的至少一个物理对象；以及
至少使用第一组传感器数据确定所述至少一个物理对象的物理位置；以及
虚拟环境状态管理电路，被配置为：
至少部分地基于第一组传感器数据生成所述至少一个物理对象的虚拟表示；
生成虚拟环境，所述虚拟环境包括所述至少一个物理对象的虚拟表示和至少一个虚拟对象的虚拟表示，其中所述虚拟环境包括一组坐标，所述一组坐标对应于所述至少一个物理对象存在于其中的物理区域，并且其中所述物理对象在虚拟环境中被定位在映射到所述至少一个物理对象的物理位置的坐标方位处；以及
向显示装置发送用于促进虚拟环境的至少部分的显示的指令。
26.根据权利要求25的系统，其中显示装置是头戴式显示器。
27.根据权利要求25-26中任一项的系统，其中传感器接口电路进一步被配置为：
接收第二组传感器数据；以及
确定所述至少一个物理对象不存在于第二组传感器数据中，
并且其中所述虚拟环境状态管理电路进一步被配置为：
将所述至少一个物理对象的虚拟表示存储在一组缓存的对象数据中；
从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示；以及
向显示装置发送用于如下操作的指令：在所述至少一个物理对象的最后已知位置处显示所检索的所述至少一个物理对象的虚拟表示。
28.根据权利要求27的系统，其中所述传感器接口电路进一步被配置为：在从所述一组缓存的对象数据检索所述至少一个物理对象的虚拟表示之前，确定所述至少一个物理对象至少部分被遮蔽。
29.根据权利要求25-28中任一项的系统，其中所述至少一个物理对象是用户。
30.根据权利要求25-29中任一项的系统，其中识别所述至少一个物理对象包括：
将第一组传感器数据提供给图形处理单元；以及
使用在图形处理单元上执行的至少一个着色器来生成至少一个多边形，所述多边形对应于来自第一组传感器数据的所述至少一个物理对象。
31.根据权利要求26的系统，其中虚拟环境状态管理电路被进一步配置为：指令显示装置在虚拟环境内显示所述至少一个多边形。
32.根据权利要求25-31中任一项的系统，其中传感器接口电路被进一步配置为：通过限定围绕限定物理对象的多个像素的掩模来识别第一组传感器数据内的物理对象，其中掩模将限定物理对象的多个像素扩展预定数目的像素。
33.根据权利要求25-32中任一项的系统，其中虚拟环境状态管理电路被进一步配置为：将所述至少一个物理对象的虚拟表示放置在与所述至少一个物理对象的物理方位对应的虚拟方位处。
34.根据权利要求25-33中任一项的系统，其中从第一组传感器数据识别所述至少一个物理对象进一步包括：将第一组传感器数据的第一多个像素识别为用户，以及将第一组传感器数据的第二多个像素识别为背景数据。
35.根据权利要求34的系统，其中由背景数据在第一组传感器数据内限定所述至少一个物理对象。
36.根据权利要求25-35中任一项的系统，其中虚拟环境状态管理电路被进一步配置为：仅仅响应于检测到用户已经进入与物理对象相关联的限定区域而生成物理对象的虚拟表示。
CN201680019446.6A 2015-01-28 2016-01-27 用于提供物理环境的虚拟显示的方法和系统 Pending CN107850936A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/608067 2015-01-28
US14/608,067 US10725297B2 (en) 2015-01-28 2015-01-28 Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
PCT/IB2016/050411 WO2016120806A1 (en) 2015-01-28 2016-01-27 Method and system for providing virtual display of a physical environment

Publications (1)

Publication Number Publication Date
CN107850936A true CN107850936A (zh) 2018-03-27

Family

ID=55411712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019446.6A Pending CN107850936A (zh) 2015-01-28 2016-01-27 用于提供物理环境的虚拟显示的方法和系统

Country Status (7)

Country Link
US (1) US10725297B2 (zh)
EP (1) EP3250985A1 (zh)
CN (1) CN107850936A (zh)
AU (1) AU2016210884A1 (zh)
CA (1) CA2981207A1 (zh)
RU (1) RU2017130356A (zh)
WO (1) WO2016120806A1 (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897425A (zh) * 2018-06-29 2018-11-27 联想(北京)有限公司 一种数据处理方法及电子设备
CN109782910A (zh) * 2018-12-29 2019-05-21 北京诺亦腾科技有限公司 一种vr场景交互方法及装置
CN110377148A (zh) * 2018-04-12 2019-10-25 精工爱普生株式会社 计算机可读介质、训练对象检测算法的方法及训练设备
CN110488969A (zh) * 2018-05-14 2019-11-22 苹果公司 相对于实际物理对象定位虚拟对象的技术
CN110880320A (zh) * 2018-09-06 2020-03-13 英飞凌科技股份有限公司 用于虚拟助理的方法、数据处理系统以及代理设备
CN111273766A (zh) * 2018-12-04 2020-06-12 苹果公司 用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统
CN111279292A (zh) * 2017-09-29 2020-06-12 苹果公司 物理边界防护
CN111433814A (zh) * 2018-05-02 2020-07-17 深圳市大疆创新科技有限公司 光学支持的对象导航
CN111752384A (zh) * 2019-03-26 2020-10-09 西门子医疗有限公司 计算机实施的方法、传输系统、程序产品和数据结构
CN112184356A (zh) * 2019-07-03 2021-01-05 苹果公司 指导式零售体验
CN112241990A (zh) * 2019-07-18 2021-01-19 国际商业机器公司 无人机弹性地图
CN112262373A (zh) * 2018-06-26 2021-01-22 苹果公司 基于视图的断点
CN112306228A (zh) * 2019-08-01 2021-02-02 苹果公司 计算机生成渲染环境的视觉搜索细化
CN112740285A (zh) * 2018-09-28 2021-04-30 通用电气公司 在虚拟环境中对医学图像的叠加和操纵
CN112771476A (zh) * 2018-10-10 2021-05-07 美的集团股份有限公司 提供远程机器人控制的方法和系统
CN112868051A (zh) * 2018-10-21 2021-05-28 甲骨文国际公司 带有数据点动画和通路的漏斗可视化
CN113226668A (zh) * 2019-01-21 2021-08-06 Abb瑞士股份有限公司 用于生产线仿真的方法和装置
CN113412633A (zh) * 2019-02-12 2021-09-17 高通股份有限公司 固定环境中的虚拟远距传送
CN113614609A (zh) * 2019-03-14 2021-11-05 微软技术许可有限责任公司 虚拟现实中的现实引导的漫游
CN113741695A (zh) * 2021-09-06 2021-12-03 联想(北京)有限公司 对象显示方法和装置
CN113811840A (zh) * 2019-04-15 2021-12-17 苹果公司 减弱模式
CN114207557A (zh) * 2019-09-09 2022-03-18 苹果公司 虚拟和物理相机的位置同步
CN114303120A (zh) * 2019-09-04 2022-04-08 高通股份有限公司 虚拟键盘
CN114364497A (zh) * 2019-09-13 2022-04-15 丰田研究所股份有限公司 将力向量分配给机器人任务的方法和系统
CN115297314A (zh) * 2021-05-03 2022-11-04 苹果公司 用于调试程序执行和内容回放的方法和设备
WO2023225777A1 (zh) * 2022-05-23 2023-11-30 伊甸数位股份有限公司 将现实物件转换为虚拟实境的虚拟物件的方法
US11842455B1 (en) 2022-06-20 2023-12-12 International Business Machines Corporation Synchronizing physical and virtual environments using quantum entanglement
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10627908B2 (en) * 2015-03-27 2020-04-21 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface
AU2015394001C1 (en) * 2015-05-05 2018-12-06 Razer (Asia-Pacific) Pte. Ltd. Methods for controlling a headset device, headset devices, computer readable media, and infrared sensors
KR20170058793A (ko) * 2015-11-19 2017-05-29 삼성전자주식회사 가상 현실 환경에서 정보를 제공하는 방법 및 장치
US9690534B1 (en) 2015-12-14 2017-06-27 International Business Machines Corporation Wearable computing eyeglasses that provide unobstructed views
WO2017179543A1 (ja) * 2016-04-14 2017-10-19 日本電気株式会社 情報処理装置、情報処理方法及びプログラム記録媒体
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US10650591B1 (en) 2016-05-24 2020-05-12 Out of Sight Vision Systems LLC Collision avoidance system for head mounted display utilized in room scale virtual reality system
WO2018017856A1 (en) * 2016-07-20 2018-01-25 Google Llc Displaying and interacting with scanned environment geometry in virtual reality
CN106139587B (zh) * 2016-08-05 2020-06-09 惠州Tcl移动通信有限公司 一种基于vr游戏用来规避现实环境障碍物的方法及系统
US20180063205A1 (en) * 2016-08-30 2018-03-01 Augre Mixed Reality Technologies, Llc Mixed reality collaboration
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US20210067758A1 (en) * 2016-10-12 2021-03-04 Samsung Electronics Co., Ltd. Method and apparatus for processing virtual reality image
US10204395B2 (en) * 2016-10-19 2019-02-12 Microsoft Technology Licensing, Llc Stereoscopic virtual reality through caching and image based rendering
US10332317B2 (en) * 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
US10595012B2 (en) * 2016-12-02 2020-03-17 Google Llc Representations of event notifications in virtual reality
US11164378B1 (en) * 2016-12-08 2021-11-02 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
CN117251053A (zh) * 2016-12-29 2023-12-19 奇跃公司 基于外部条件的可穿戴显示装置的自动控制
US10354140B2 (en) * 2017-01-31 2019-07-16 Microsoft Technology Licensing, Llc Video noise reduction for video augmented reality system
US11187909B2 (en) 2017-01-31 2021-11-30 Microsoft Technology Licensing, Llc Text rendering by microshifting the display in a head mounted display
CN108419268B (zh) * 2017-02-09 2020-10-16 中国移动通信有限公司研究院 一种虚拟现实业务处理方法及无线接入网元设备
US10956552B2 (en) * 2017-04-03 2021-03-23 Cleveland State University Shoulder-surfing resistant authentication methods and systems
EP3388806A1 (en) 2017-04-11 2018-10-17 Torque and More (TAM) GmbH Circumferential force measuring device
US20180299901A1 (en) * 2017-04-17 2018-10-18 Walmart Apollo, Llc Hybrid Remote Retrieval System
US10627635B2 (en) * 2017-08-02 2020-04-21 Microsoft Technology Licensing, Llc Transitioning into a VR environment and warning HMD users of real-world physical obstacles
US20200260559A1 (en) * 2017-08-14 2020-08-13 Signify Holding B.V. System configuration using a portable media device
US10386938B2 (en) * 2017-09-18 2019-08-20 Google Llc Tracking of location and orientation of a virtual controller in a virtual reality system
WO2019067476A2 (en) * 2017-09-29 2019-04-04 Apple Inc. PLATFORM OF REALITY GENERATED BY COMPUTER
US11019389B2 (en) * 2017-12-04 2021-05-25 Comcast Cable Communications, Llc Determination of enhanced viewing experiences based on viewer engagement
KR102045667B1 (ko) * 2018-02-14 2019-12-03 동국대학교 산학협력단 드론의 제어 신호 생성 방법 및 제어 장치
US11087136B2 (en) * 2018-04-13 2021-08-10 Apple Inc. Scene classification
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10843077B2 (en) * 2018-06-08 2020-11-24 Brian Deller System and method for creation, presentation and interaction within multiple reality and virtual reality environments
US11749124B2 (en) * 2018-06-12 2023-09-05 Skydio, Inc. User interaction with an autonomous unmanned aerial vehicle
WO2019245550A1 (en) 2018-06-20 2019-12-26 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
US11450070B2 (en) 2018-06-20 2022-09-20 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
US20210097754A1 (en) * 2018-06-22 2021-04-01 Hewlett-Packard Development Company, L.P. Virtual display monitors
WO2020070630A1 (en) * 2018-10-02 2020-04-09 Within Unlimited, Inc. Methods, systems and devices supporting real-time shared virtual reality environment
CN111939563B (zh) * 2020-08-13 2024-03-22 北京像素软件科技股份有限公司 目标锁定方法、装置、电子设备及计算机可读存储介质
US20240144620A1 (en) * 2022-10-27 2024-05-02 Rovi Guides, Inc. Visual effects and content enhancements for vr

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206452A1 (en) * 2010-10-15 2012-08-16 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
CN103635891A (zh) * 2011-05-06 2014-03-12 奇跃公司 大量同时远程数字呈现世界

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301536B2 (en) * 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
US6032193A (en) 1997-03-20 2000-02-29 Niobrara Research And Development Corporation Computer system having virtual circuit address altered by local computer to switch to different physical data link to increase data transmission bandwidth
US6091410A (en) * 1997-11-26 2000-07-18 International Business Machines Corporation Avatar pointing mode
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US7724258B2 (en) * 2004-06-30 2010-05-25 Purdue Research Foundation Computer modeling and animation of natural phenomena
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
US7864168B2 (en) 2005-05-25 2011-01-04 Impulse Technology Ltd. Virtual reality movement system
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
EP1988463B1 (en) 2006-02-24 2012-01-04 Fujitsu Ltd. Memory control apparatus and memory control method
US20080201751A1 (en) 2006-04-18 2008-08-21 Sherjil Ahmed Wireless Media Transmission Systems and Methods
US8059894B1 (en) * 2006-12-19 2011-11-15 Playvision Technologies, Inc. System and associated methods of calibration and use for an interactive imaging environment
KR101430439B1 (ko) 2007-01-10 2014-08-18 엘지전자 주식회사 이동 통신 시스템에서의 제어 정보 전송 방법
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US7814154B1 (en) 2007-06-26 2010-10-12 Qurio Holdings, Inc. Message transformations in a distributed virtual world
US9301121B2 (en) 2007-07-11 2016-03-29 Qualcomm Incorporated Peer to peer multiple identifiers
US20090141023A1 (en) * 2007-11-29 2009-06-04 Brian Mark Shuster Selective filtering of user input data in a multi-user virtual environment
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US8713450B2 (en) 2008-01-08 2014-04-29 International Business Machines Corporation Detecting patterns of abuse in a virtual environment
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US20090225074A1 (en) * 2008-03-06 2009-09-10 Bates Cary L Reconstruction of Virtual Environments Using Cached Data
US9196169B2 (en) * 2008-08-21 2015-11-24 Lincoln Global, Inc. Importing and analyzing external data using a virtual reality welding system
US8788957B2 (en) 2008-08-22 2014-07-22 Microsoft Corporation Social virtual avatar modification
US7930455B2 (en) 2008-12-19 2011-04-19 Caterpillar Inc. System and method for separating and communicating information-type data and signal-type data
US20100309097A1 (en) 2009-06-04 2010-12-09 Roni Raviv Head mounted 3d display
RU2433487C2 (ru) 2009-08-04 2011-11-10 Леонид Михайлович Файнштейн Способ проецирования изображения на поверхности реальных объектов
US8620986B2 (en) 2010-03-24 2013-12-31 Blackberry Limited Peer-to-peer network connectivity status
JP2012049823A (ja) 2010-08-26 2012-03-08 Seiko Epson Corp ガマット形状予測方法、ガマット形状予測プログラム、当該ガマット形状予測方法により予測されたガマットを用いて作成された色変換テーブルを搭載した印刷装置
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US20120122570A1 (en) 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US20130050069A1 (en) 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US20140063061A1 (en) * 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
RU2017115669A (ru) 2011-10-28 2019-01-28 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
CN103108197A (zh) 2011-11-14 2013-05-15 辉达公司 一种用于3d视频无线显示的优先级压缩方法和系统
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
EP2608153A1 (en) 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
US8963805B2 (en) 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9170648B2 (en) * 2012-04-03 2015-10-27 The Boeing Company System and method for virtual engineering
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP2014071499A (ja) 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
CN106020620B (zh) 2012-09-27 2019-07-26 京瓷株式会社 显示装置、控制方法和控制程序
US20140128161A1 (en) 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
US20140160162A1 (en) 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US9251590B2 (en) * 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US10268276B2 (en) 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
US9235051B2 (en) 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
US9563331B2 (en) 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9753687B1 (en) 2014-01-03 2017-09-05 Sony Interactive Entertainment America Llc Wearable computer using programmed local tag
CN105960664A (zh) * 2014-02-07 2016-09-21 诺日士精密株式会社 信息处理装置、信息处理方法及程序
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
JP6355978B2 (ja) 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
AU2015203771B2 (en) * 2014-07-08 2020-11-05 Iomniscient Pty Ltd A method and apparatus for surveillance
CN107683497B (zh) 2015-06-15 2022-04-08 索尼公司 信息处理设备、信息处理方法及程序
JPWO2017038241A1 (ja) 2015-08-28 2018-06-14 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
US11010972B2 (en) 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US20170235462A1 (en) 2016-02-16 2017-08-17 Le Holdings (Beijing) Co., Ltd. Interaction control method and electronic device for virtual reality
US20180096506A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206452A1 (en) * 2010-10-15 2012-08-16 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
CN103635891A (zh) * 2011-05-06 2014-03-12 奇跃公司 大量同时远程数字呈现世界
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734867B2 (en) 2017-09-29 2023-08-22 Apple Inc. Detecting physical boundaries
CN111279292B (zh) * 2017-09-29 2022-06-14 苹果公司 检测物理边界
CN111279292A (zh) * 2017-09-29 2020-06-12 苹果公司 物理边界防护
CN110377148A (zh) * 2018-04-12 2019-10-25 精工爱普生株式会社 计算机可读介质、训练对象检测算法的方法及训练设备
CN110377148B (zh) * 2018-04-12 2023-05-12 精工爱普生株式会社 计算机可读介质、训练对象检测算法的方法及训练设备
CN111433814A (zh) * 2018-05-02 2020-07-17 深圳市大疆创新科技有限公司 光学支持的对象导航
US11348305B2 (en) 2018-05-14 2022-05-31 Apple Inc. Techniques for locating virtual objects relative to real physical objects
CN110488969A (zh) * 2018-05-14 2019-11-22 苹果公司 相对于实际物理对象定位虚拟对象的技术
CN112262373A (zh) * 2018-06-26 2021-01-22 苹果公司 基于视图的断点
CN112262373B (zh) * 2018-06-26 2024-05-31 苹果公司 基于视图的断点
CN108897425A (zh) * 2018-06-29 2018-11-27 联想(北京)有限公司 一种数据处理方法及电子设备
CN108897425B (zh) * 2018-06-29 2020-12-18 联想(北京)有限公司 一种数据处理方法及电子设备
CN110880320A (zh) * 2018-09-06 2020-03-13 英飞凌科技股份有限公司 用于虚拟助理的方法、数据处理系统以及代理设备
CN112740285A (zh) * 2018-09-28 2021-04-30 通用电气公司 在虚拟环境中对医学图像的叠加和操纵
CN112771476B (zh) * 2018-10-10 2023-05-26 美的集团股份有限公司 提供远程机器人控制的方法和系统
CN112771476A (zh) * 2018-10-10 2021-05-07 美的集团股份有限公司 提供远程机器人控制的方法和系统
CN112868051A (zh) * 2018-10-21 2021-05-28 甲骨文国际公司 带有数据点动画和通路的漏斗可视化
CN113168726A (zh) * 2018-10-21 2021-07-23 甲骨文国际公司 虚拟环境中的数据可视化对象
CN111273766B (zh) * 2018-12-04 2022-05-13 苹果公司 用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统
CN111273766A (zh) * 2018-12-04 2020-06-12 苹果公司 用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统
CN109782910A (zh) * 2018-12-29 2019-05-21 北京诺亦腾科技有限公司 一种vr场景交互方法及装置
CN113226668A (zh) * 2019-01-21 2021-08-06 Abb瑞士股份有限公司 用于生产线仿真的方法和装置
CN113412633A (zh) * 2019-02-12 2021-09-17 高通股份有限公司 固定环境中的虚拟远距传送
CN113412633B (zh) * 2019-02-12 2024-07-05 高通股份有限公司 固定环境中的虚拟远距传送
CN113614609A (zh) * 2019-03-14 2021-11-05 微软技术许可有限责任公司 虚拟现实中的现实引导的漫游
CN113614609B (zh) * 2019-03-14 2023-07-11 微软技术许可有限责任公司 虚拟现实中的现实引导的漫游
CN111752384A (zh) * 2019-03-26 2020-10-09 西门子医疗有限公司 计算机实施的方法、传输系统、程序产品和数据结构
CN113811840A (zh) * 2019-04-15 2021-12-17 苹果公司 减弱模式
CN112184356A (zh) * 2019-07-03 2021-01-05 苹果公司 指导式零售体验
CN112241990A (zh) * 2019-07-18 2021-01-19 国际商业机器公司 无人机弹性地图
CN112306228A (zh) * 2019-08-01 2021-02-02 苹果公司 计算机生成渲染环境的视觉搜索细化
CN114303120A (zh) * 2019-09-04 2022-04-08 高通股份有限公司 虚拟键盘
US12020390B2 (en) 2019-09-04 2024-06-25 Qualcomm Incorporated Virtual content generation
CN114207557A (zh) * 2019-09-09 2022-03-18 苹果公司 虚拟和物理相机的位置同步
CN114364497A (zh) * 2019-09-13 2022-04-15 丰田研究所股份有限公司 将力向量分配给机器人任务的方法和系统
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
CN115297314A (zh) * 2021-05-03 2022-11-04 苹果公司 用于调试程序执行和内容回放的方法和设备
CN115297314B (zh) * 2021-05-03 2024-05-28 苹果公司 用于调试程序执行和内容回放的方法和设备
CN113741695A (zh) * 2021-09-06 2021-12-03 联想(北京)有限公司 对象显示方法和装置
WO2023225777A1 (zh) * 2022-05-23 2023-11-30 伊甸数位股份有限公司 将现实物件转换为虚拟实境的虚拟物件的方法
WO2023246510A1 (en) * 2022-06-20 2023-12-28 International Business Machines Corporation Synchronizing physical and virtual environments using quantum entanglement
US11842455B1 (en) 2022-06-20 2023-12-12 International Business Machines Corporation Synchronizing physical and virtual environments using quantum entanglement

Also Published As

Publication number Publication date
CA2981207A1 (en) 2016-08-04
AU2016210884A1 (en) 2017-09-21
US20160217616A1 (en) 2016-07-28
RU2017130356A3 (zh) 2019-09-03
WO2016120806A1 (en) 2016-08-04
RU2017130356A (ru) 2019-02-28
US10725297B2 (en) 2020-07-28
EP3250985A1 (en) 2017-12-06

Similar Documents

Publication Publication Date Title
CN107850936A (zh) 用于提供物理环境的虚拟显示的方法和系统
US20240045509A1 (en) Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN105981076B (zh) 合成增强现实环境的构造
US20200250889A1 (en) Augmented reality system
US20190056791A1 (en) Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN105637564B (zh) 产生未知对象的扩增现实内容
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
US11645818B2 (en) Virtual item placement system
CN108064364A (zh) 用于实现多用户虚拟环境的方法和系统
US8933931B2 (en) Distributed asynchronous localization and mapping for augmented reality
EP4150586A1 (en) Reinforced differentiable attribute for 3d face reconstruction
CN108012559A (zh) 自动三维模型生成
EP3090411A1 (en) Augmented reality content adapted to space geometry
CN107995964A (zh) 用于经由虚拟控制对象接收手势输入的方法和系统
US20190268587A1 (en) Information processing device, information processing method, and program
EP3090424A1 (en) Assigning virtual user interface to physical object
CN114341943A (zh) 使用平面提取的简单环境求解器
US20160227868A1 (en) Removable face shield for augmented reality device
WO2020264149A1 (en) Fast hand meshing for dynamic occlusion
EP4010881A1 (en) Fast 3d reconstruction with depth information
US20230274460A1 (en) Ar data simulation with gaitprint imitation
KR20240008370A (ko) 움직이는 객체들의 레이턴시를 최소화하기 위한 늦은 워핑
KR20240006669A (ko) 늦은-워핑에서의 동적 오버-렌더링
US11663738B2 (en) AR data simulation with gaitprint imitation
US20240149159A1 (en) Capturing computer game output mid-render for 2d to 3d conversion, accessibility, and other effects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180327