CN110998491A - 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物 - Google Patents

转变到vr环境中并且向hmd用户警告真实世界的物理障碍物 Download PDF

Info

Publication number
CN110998491A
CN110998491A CN201880050683.8A CN201880050683A CN110998491A CN 110998491 A CN110998491 A CN 110998491A CN 201880050683 A CN201880050683 A CN 201880050683A CN 110998491 A CN110998491 A CN 110998491A
Authority
CN
China
Prior art keywords
real
environment
hmd
virtual reality
world physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880050683.8A
Other languages
English (en)
Other versions
CN110998491B (zh
Inventor
K·L·凯米勒
M·托马斯
C·W·拉普三世
C·M·萨达克
T·萨尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN202210550434.3A priority Critical patent/CN114967919A/zh
Publication of CN110998491A publication Critical patent/CN110998491A/zh
Application granted granted Critical
Publication of CN110998491B publication Critical patent/CN110998491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了优化以支持真实世界环境与虚拟现实环境之间的改进的转变。最初，检测HMD的使用，并且标识在距HMD的阈值接近度内的一个或多个真实世界物理对象。随后，获取包括真实世界物理对象的虚拟表示的复制环境，并且在虚拟现实显示器中绘制复制环境。将复制环境转变到视线之外，并且随后在虚拟现实显示器中绘制VR环境。在一些情况下，响应于检测到的触发事件而将真实世界物理对象的虚拟表示绘制到VR环境中。

Description

转变到VR环境中并且向HMD用户警告真实世界的物理障碍物
背景技术
混合现实计算机系统(包括虚拟现实系统和增强现实系统)最近因其为用户创建沉浸式体验的能力而受到广泛关注。常规的虚拟现实(下文中简称“VR”)系统可以创建身临其境的体验，从而使用户的整个视线被虚拟世界遮挡。VR系统与仅增强真实世界视图的常规增强现实系统(例如，通过将全息图图像叠加在真实世界视图的视场中)有所不同。如本领域技术人员所理解的，除非特别说明或除非特别需要，否则本文中的描述适用于VR系统或等同系统，而不是增强现实系统。
VR系统通常使用一个或多个身体上设备(例如，头戴式设备、手持式设备等)，通常包括头戴式显示器(下文中称为“HMD”)。HMD使得用户能够查看虚拟对象和/或环境。作为示例，VR系统可以在HMD上显示风景远景的虚拟表示，用户可以与虚拟表示交互(例如，在虚拟环境中四处走动)。
因为HMD可能会完全遮挡用户对真实世界的观看(例如，在HMD显示完全虚拟环境的情况下)，所以HMD的用户通常会发现最初沉浸在VR环境中时会迷失方向。减轻这种迷失感的现有方法包括使用附接到混合现实计算机系统的直通(pass-through)相机。直通相机允许计算机系统捕获用户周围的真实世界并且将其显示在HMD上。但是，使用直通相机会引起景深和其他问题，这些问题也可能导致用户迷失方向。因此，在该领域中强烈需要改善HMD用户从真实环境到VR环境的转变。
此外，一旦用户沉浸在VR环境中，就会妨碍用户对他/她附近的真实世界对象的感知。这带来了多种安全隐患。例如，沉浸在VR环境中并且与之交互的用户可能会走向墙壁、家具、或甚至经过的宠物或人，或者被其撞到。因此，在该领域中强烈需要改进用于向HMD用户警告真实世界物理对象的系统、硬件存储设备和方法。
本文中要求保护的主题不限于解决诸如上述任何缺点或仅在诸如上述环境中操作的实施例。而是，仅提供本背景以说明可以实践本文中描述的一些实施例的一个示例性技术领域。
发明内容
所公开的实施例涉及用于转变在VR环境中绘制的场景的系统、硬件存储设备和方法、以及用于向用户提供通过VR设备不可见的真实世界物理障碍物的警告的相关设备和系统。
在一些实施例中，检测头戴式显示器(HMD)的使用，并且标识在距HMD的阈值接近度内的一个或多个真实世界物理对象。随后，获取包括真实世界物理对象的虚拟表示的复制环境，并且在VR显示器中绘制复制环境。然后，将复制环境转变到显示之外，并且然后在VR显示器中绘制VR环境。
在其他实施例中，在VR显示器中绘制VR环境。检测至少一个真实世界物理对象距HMD的接近度。在检测到用于触发向HMD的用户进行通知的预定触发事件时，获取真实世界物理对象的虚拟表示并且在虚拟现实显示器中绘制虚拟表示。
提供本“发明内容”以便以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
其他特征和优点将在下面的描述中阐述，并且部分将从描述中变得很清楚，或者可以通过本文中的教导的实践而获知。本发明的特征和优点可以通过所附权利要求中特别指出的手段和组合来实现和获取。本发明的特征根据以下描述和所附权利要求书将变得更加完全明显，或者可以通过下文中给出的本发明的实践来获知。
附图说明
为了描述可以获取上述和其他优点和特征的方式，将通过参考在附图中示出的特定实施例来对以上简要描述的主题进行更具体的描述。应当理解，这些附图仅描绘典型的实施例并且因此不应当被视为对本发明的范围的限制，将通过使用附图用附加的特征和细节来描述和解释实施例，在附图中：
图1示出了计算机系统的示例性且非限制性实施例。
图2示出了可以显示在HMD上以支持真实世界环境与VR环境之间的安全转变的场景的示例。
图3示出了可以显示在HMD上以向HMD用户警告真实世界物理对象的场景的示例。
图4示出了其中基于用户相对于对象的接近度和取向来向HMD用户警告真实世界物理对象的场景的示例。
图5示出了其中基于用户相对于对象的速度来向HMD用户警告真实世界物理对象的场景的示例。
图6示出了其中基于用户相对于对象的速度和取向来向HMD用户警告真实世界物理对象的场景的示例。
图7示出了其中基于对象在距用户的阈值接近度内的运动来向HMD用户警告真实世界物理对象的场景的示例。
图8示出了用于在HMD上转变到VR环境的示例性方法。
图9示出了用于向HMD用户警告真实世界物理对象的示例性方法900。
具体实施方式
在详细描述本公开的各种实施例之前，应当理解，本公开不限于特别示例性的系统、方法、装置、产品、过程和/或装备的参数，其当然可以有所不同。因此，尽管将参考特定的配置、参数、组件、元件等来详细描述本公开的某些实施例，但是这些描述是说明性的，并且不应当被解释为限制所要求保护的发明的范围。另外，本文中使用的术语是为了描述实施例的目的，并且不一定旨在限制所要求保护的本发明的范围。
所公开的实施例涉及用于支持HMD用户从真实环境到VR环境的转变并且向HMD用户警告真实世界物理对象的系统、硬件存储设备和方法。
实施例可以被实现以克服与用户经由HMD沉浸到VR环境中并且与之交互相关联的一些安全问题。本文中公开的实施例还允许真实世界与VR环境之间的自然桥梁和平滑转变。利用这种转变使HMD用户轻松进入VR环境中可以减少或消除因使用过程中的突然转变而导致的用户迷失方向和潜在的安全隐患。
还提供了一些实施例以向HMD用户警告真实世界物理对象以便减轻用户对当他们沉浸在VR环境中时与真实世界物理对象发生冲突的担忧。因此，所公开的实施例可以改善在操作VR环境时的总体消费者体验和真实感，并且增加用户对VR系统的信心。
一些实施例利用或包括计算机系统的可穿戴显示器(可以是HMD)。使用该HMD，可以标识HMD附近的真实世界物理对象。在适当时，向用户通知物理对象。例如，在一些实施例中，通过HMD显示的复制环境可以包括真实世界物理对象的虚拟表示(例如，用户所站立的房间的一个或多个元素的虚拟表示、以及房间中的一个或多个对象的虚拟表示)。当由预定事件触发时，系统将在HMD中将复制环境转变到视线之外，并且绘制VR环境(例如，经由缓慢或快速淡入淡出)。一些实施例包括在绘制复制环境与绘制VR环境的之间的各种数目和类型的转变，所有这些都可以响应于各种预定触发事件而被发起。
对于已经沉浸在VR环境中的HMD用户(例如，当已经在HMD中绘制VR环境时)，一些公开的实施例检测一个或多个真实世界物理对象距HMD的接近度、以及用于从VR环境转变为包括至少一个或多个真实世界物理对象的虚拟表示的一个或多个预定触发事件。例如，由于HMD和/或对象的接近度、速度、旋转、取向或其他位置/运动属性，HMD可以被确定为处于与真实世界物理对象即将碰撞的状态。作为响应，HMD系统将在HMD中绘制一个或多个相关真实世界物理对象的虚拟表示(例如，以便在用户仍然沉浸在VR环境中的同时使用户意识到真实世界物理对象)。
刚刚描述了所公开的实施例的各种益处和高级属性中的一些，将参考图1提供附加的详细公开，图1呈现了可以用于实现所公开的实施例的各方面的示例性计算系统的介绍性讨论。在讨论了图1之后，将使用图2-图7讨论各种架构和支持图示以进一步说明VR环境和复制环境如何用于转变在VR HMD中绘制的显示。最后，将针对其余附图(图8-图9)详细描述各种流程图以描述用于实现所公开的实施例的对应方法，以在VR HMD中转变视图并且在使用HMD的同时向用户警告真实世界对象。
示例性计算系统
如图1所示，示例性计算机系统100可以采用各种不同的形式。例如，在图1中，计算机系统100被描绘为可穿戴式头部单元100A。尽管计算机系统100被描述为可穿戴式头部单元100A，但是椭圆100B示出了计算机系统100可以以任何形式实现并且并非严格限于图1所示的描述。计算机系统100可以采用台式计算机、膝上型计算机、平板电脑、移动电话或任何其他计算设备的形式。
在其最基本的配置中，计算机系统100包括至少一个硬件处理单元110和存储装置120。存储装置120可以是物理系统存储器，其可以是易失性、非易失性或两者的某种组合。术语“存储器”在本文中还可以用于指代非易失性大容量存储装置，诸如物理存储介质。如果计算机系统100是分布式的，则处理、存储器和/或存储能力也可以是分布式的。如本文中使用的，术语“可执行模块”、“可执行组件”或甚至“组件”可以指代可以在计算机系统100上执行的软件对象、例程或方法。本文中描述的不同的组件、模块、引擎和服务可以被实现为在计算机系统100上执行的对象或处理器(例如，作为单独的线程)。
所公开的实施例可以包括或利用包括计算机硬件的专用或通用计算机，诸如例如一个或多个处理器(诸如处理器110)和系统存储器(诸如存储装置120)，如下面更详细地讨论的。实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用介质。以数据形式存储计算机可执行指令的计算机可读介质是物理计算机存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，当前实施例可以包括至少两种明显不同种类的计算机可读介质：计算机存储介质和传输介质。
计算机存储介质是硬件存储设备，诸如RAM、ROM、EEPROM、CD-ROM、基于RAM的固态驱动器(SSD)、闪存、相变存储器(PCM)或其他类型的存储器、或其他光盘存储、磁盘存储或其他磁性存储设备、或者可以用于以计算机可执行指令、数据或数据结构的形式存储期望的程序代码装置并且可以由通用或专用计算机访问的任何其他介质。
同样如图1所示，计算机系统100包括各种不同的组件，包括(多个)输入/输出(“I/O”)接口130、(多个)图形绘制引擎140和一个或多个传感器150。计算机系统100还可以(经由有线连接或无线连接)连接到外部传感器160(例如，一个或多个远程相机、加速计、陀螺仪、声学传感器、磁力计等)。此外，计算机系统100还可以通过一个或多个有线或无线网络170连接到被配置为执行关于计算机系统100描述的任何处理的一个或多个远程系统180。计算机系统100也可以通过(多个)有线或无线网络170访问被存储在远程系统180上的计算机可执行指令、数据、数据结构等。
在使用期间，计算机系统100的用户能够通过被包括在(多个)I/O接口130内并且对用户可见的显示屏来感知信息(例如，VR场景)。(多个)I/O接口130和传感器150/160还包括手势检测设备、眼动仪和/或其他运动检测组件(例如，相机、陀螺仪、加速计、磁力计、声学传感器、全球定位系统(“GPS”)等)，这些组件能够检测一个或多个真实世界对象(诸如墙壁、用户的手、手写笔和/或用户在沉浸在VR场景中的同时靠近或可以与之交互的(多个)任何其他对象)的定位和运动。
在一些情况下，连续监测用户或(虚拟的和实际的)对象的定位和运动(或者备选地，以预定间隔和/或响应于检测到的事件(例如，HMD的运动)周期性地监测)。该监测专门检测对象的位置和运动的任何变化，诸如检测到的位置、速度、取向或加速度的变化。这些运动可以是绝对运动和/或相对运动(诸如与HMD的相对位置相比)，并且这样的HMD的运动/位置将被计算为对象在存在于场景中时的相对运动/位置。
图形绘制引擎140被配置为与(多个)处理器110一起绘制场景中的一个或多个虚拟对象。所绘制的(多个)对象可以是粗略绘制(例如，低分辨率和/或没有纹理化)，也可以是丰富绘制(例如，高分辨率和/或具有纹理化)。在一些实施例中，该绘制包括被映射到真实世界对象的相对位置的真实世界物理对象的虚拟表示。结果，虚拟对象响应于真实世界对象的移动以及计算机系统100的移动而准确地移动。图形绘制引擎140还被配置为绘制一个或多个纯虚拟的虚拟对象(而没有被映射到真实世界对象)。
可以包括一个或多个GPU的(多个)图形绘制引擎140可以被配置为绘制具有某些显示属性的虚拟对象。这些属性包括着色、透明或不透明、纹理、边缘清晰度(例如，厚度和/或清晰度与模糊和/或羽化)、尺寸等。在一些实施例中，当检测到真实世界对象的某个位置(例如，距离、取向、速度和/或其他位置/运动)阈值时，将修改对象的虚拟表示的显示属性的一种或多种组合(至少在检测到的定位、取向、速度和/或位置/运动满足或超过阈值的同时)。
类似于图1所示的网络170的“网络”被定义为能够在计算机系统、模块和/或其他电子设备之间传输电子数据的一个或多个数据链路和/或数据交换机。通过网络(硬连线、无线、或硬连线和无线的组合)将信息传输或提供给计算机时，计算机将连接正确地视为传输介质。计算机系统100将包括用于与网络170通信的一个或多个通信信道。传输介质包括可以用于以计算机可执行指令或数据结构的形式来承载数据或期望的程序代码装置的网络。此外，这些计算机可执行指令可以由通用计算机或专用计算机访问。上述的组合也应当被包括在计算机可读介质的范围内。
在到达各种计算机系统组件时，计算机可执行指令或数据结构形式的程序代码装置可以从传输介质自动传输到计算机存储介质(反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可以被缓冲在网络接口模块(例如，网络接口卡或“NIC”)内的RAM中并且然后最终被传输到计算机系统RAM和/或计算机系统处的较小易失性计算机存储介质。因此，应当理解，计算机存储介质可以被包括在也(或者甚至主要)利用传输介质的计算机系统组件中。
计算机可执行(或计算机可解释)指令包括例如使得通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令。计算机可执行指令可以是例如二进制文件、中间格式指令(诸如汇编语言)或甚至源代码。尽管已经以特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书中定义的主题不必限于上述特征或动作。相反，上述特征和动作被公开作为实现权利要求的示例形式。
本领域技术人员将理解，实施例可以在具有很多类型的计算机系统配置的联网计算环境中实践，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器或可编程的消费类电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等。实施例也可以在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链接、无线数据链接或通过硬连线和无线数据链接的组合)的本地和远程计算机系统均执行任务(例如，云计算、云服务等)。在分布式系统环境中，程序模块可以位于本地和远程存储设备中。
如上所述，计算机系统能够提供各种各样的不同功能。一个这样的功能包括支持HMD用户从真实世界环境转变到VR环境。另一个这样的功能包括向HMD用户提供可能对用户造成危害的真实世界物理对象的警告。图2-图7通过示例性实现和实施例的说明示出了这些功能。
转变到VR环境
为了示出对HMD用户从真实环境到VR环境的转变的支持，根据本公开，图2示出了可以显示在HMD上的几个示例性场景。场景之一是复制环境210，该复制环境210包括在HMD用户附近的真实世界物理对象的虚拟表示。如图所示，复制环境210包括花瓶、沙发、地板和墙壁以及窗户的虚拟表示，它们可以是在HMD用户附近的真实世界物理对象。然而，将意识到，真实世界物理对象的任何类型或组合可以虚拟地表示为复制环境210的一部分。因此，实施例不仅限于图2所示的场景。
复制环境210可以由计算机系统100以各种方式获取。计算机系统100可以生成复制环境210。备选地，计算机系统100可以从本地存储装置120中保持的数据和/或从一个或多个远程系统180中存储的数据来获取复制环境210的存储表示。在一些情况下，响应于确定HMD经常在与其所存储的表示相对应的真实世界物理对象附近而存储复制环境和/或对象。
如上所述，计算系统有时可以生成复制环境210和/或由复制环境210表示的任何对象。例如，传感器150和/或传感器160可以与I/O接口130(例如，传感器封装和RGB相机的组合)一起使用以创建真实世界物理对象的线框或网格，并且将纹理应用于这些对象。在当前的优选实施例中，纹理可以是逼真的，其细节水平足以给HMD用户如下印象：即他们正在直接看着用户环境中的对象，类似于通过增强现实设备呈现的混合现实场景，即使它全都是VR。然而，所公开的实施例不限于利用提供高级纹理和细节的复制环境/对象来复制上述现实。
可以基于HMD用户和/或用户附近的真实世界物理对象的位置和运动的检测到的变化(相对或绝对)来连续地更新复制环境210。复制环境210也可以被构造为避免由于使用直通相机而引起的景深和其他问题。因此，用户能够基于真实世界物理对象在复制环境210中的虚拟表示来在真实世界物理对象附近走动并且与之互动。
在一些实施例中，被包括在复制环境210中的真实世界物理对象被限制为在距HMD和/或HMD用户的阈值接近度内的真实世界物理对象。如本文中使用的，术语HMD和HMD用户可以互换使用。因此，本公开的范围应当被解释为将实施例考虑为与HMD用户的定位/运动相关联的特定阈值，以也包括用于与HMD的定位/运动相关联的对应阈值的实施例。
如图2当前所示，在距HMD的相关运动/位置的预定阈值之外的真实世界物理对象未被包括在复制环境210中。
在一些实施例中，计算机系统100响应于以下各项而在HMD上显示复制环境210：在计算机系统100上运行的应用内的控件的激活(例如，用户输入或应用事件)；检测到HMD在用户头部上的放置；检测到用户眼睛的移动或聚焦；和/或另一事件。
在一些情况下，计算机系统100将继续在HMD上绘制复制环境210，直到检测到第一触发事件220(参见箭头222)。第一触发事件220可以包括例如：在计算机系统100上运行的应用内的控件的激活、计算机系统100上(例如，I/O接口130上)的物理控件的激活、在检测到HMD在用户头部上的定位之后的预定时间段的到期、检测到用户眼睛运动或聚焦(例如，在传感器150/160上)、检测到其他HMD运动和/或其他触发事件。
在一些示例性实施例中，一旦检测到第一触发事件220(参见箭头224)，计算机系统100将开始绘制复制环境210的最小表示230，并且最小表示230被构造为与复制环境210相比以较少的细节描绘在HMD用户附近的真实世界物理对象。例如，复制环境210中显示的花瓶在最小表示230中描绘为线框，并且沙发在最小表示230中表示为没有纹理的多边形网格。附加地或备选地，就粒度、不透明度等而言，与复制环境210相比，可以在最小表示230中以较少的细节描绘真实世界物理对象。此外，可以在最小表示中省略在复制环境中绘制的某些对象(尽管当前未示出)。
可以以类似于复制环境210的方式(例如，从存储装置或第三方系统)获取最小表示230。在一些情况下，最小表示230是从复制环境210本身生成的。在一些实施例中，最小表示230是在细节、渐入渐出、模糊、不透明性、粒度等方面可以彼此不同的多个最小表示(由框232指示)之一。例如，在最小表示230中描绘的沙发可以被描绘为线框，而不是其他最小表示232中的未纹理化的多边形网格。最小表示230可以连续地绘制在HMD上，或者作为复制环境210与VR环境之间的转变的一部分被脉冲化(周期性地绘制)成进入和离开视线。此外，可以以各种顺序或模式来绘制多个最小表示232，以实现复制环境210与VR环境之间的期望转变。
在一些实施例中，响应于检测到新的触发事件和/或作为从复制环境到最小表示的转变的一部分和/或作为从最小表示到VR环境的转变的一部分，系统将在不同的最小表示之间顺序地转变。
在一些情况下，计算机系统100将在HMD上绘制最小表示230(或最小表示序列232)，直到检测到特定的新的或第二触发事件240(参见箭头242)。第二触发事件240可以不同于或类似于先前的触发事件220(例如，在先前触发事件220之后的预定时间段的到期、物理或应用控件的激活、眼睛移动或聚焦)。在检测到第二触发事件240之后，计算系统可以在HMD上绘制VR环境250(参见箭头244)。在一些实施例中，计算系统在完全绘制VR环境250之前绘制一个或多个转变场景260。转变场景可以是具有不同程度的细节、淡入淡出、模糊、不透明度、粒度等的最小表示、复制环境或VR环境的变体的组合，以实现向VR环境250的期望转变。
在一个实施例中，计算机系统100不绘制最小表示230/232。相反，计算机系统100在HMD上绘制复制环境210，直到检测到触发事件为止(参见箭头222)，并且然后在HMD上绘制VR环境250(参见箭头226)之前绘制转变场景270(例如，复制环境和VR环境的变化的组合)。例如，响应于检测到触发事件220，计算系统可以在四秒内使复制环境210中的虚拟对象在HMD中淡出视线，并且然后在四秒内使VR环境250在HMD中淡入视线。淡入淡出也可以发生在小于或大于作为参考的四秒的其他时间段内。通过以这种方式转变显示器，可以支持HMD用户转变到VR环境中，以避免在使用VR系统时突然转变可能引起的可能导致用户迷失方向的景深和其他问题，并且通过混合现实系统改善整体消费者体验。
向HMD用户警告真实世界物理对象
当用户沉浸在VR环境中时，通常会阻碍他们对真实世界对象的感知。当用户沉浸在VR环境中和/或与之交互时(例如，四处走动)，用户冒着被真实世界物理对象伤害的风险。图3示出了示例性实施例和实现，其示出了向HMD用户警告真实世界物理对象的计算机系统100的功能。
在一些实施例中，计算机系统100继续在HMD中绘制VR环境310，直到检测到触发事件320(参见箭头322)。触发事件可以与HMD用户附近的计算系统和/或真实世界物理对象的物理属性(例如，取向、速度、加速度、位置)相关联。触发事件320可以基于绝对物理特性或相对物理特性，诸如与HMD用户的速度相比的一个真实世界物理对象的速度，并且可以由传感器150/160检测。触发事件320可以包括但不限于：检测到HMD用户在距真实世界物理对象的阈值接近度内并且HMD用户面向真实世界物理对象，检测到满足某些条件的HMD用户移动/速度，检测到真实世界物理对象的移动，检测到声音信号，物理控件或在计算机系统100上运行的应用内的控件的激活，和/或检测到特定眼睛运动或聚焦。本文中阐述了触发事件的其他示例和实现。
在一些情况下，在检测到触发事件320时，计算机系统100将绘制一个或多个真实世界物理对象的虚拟表示。作为VR环境310的附加、结合或备选，可以绘制对象的虚拟表示。真实世界物理对象的虚拟表示可以是真实世界物理对象的未纹理化的表示330(例如，线框或简单网格)(参见箭头324)。例如，未纹理化的表示330中描绘的沙发是在HMD用户附近的真实世界物理沙发的未纹理化的多边形网格表示。真实世界物理对象的虚拟表示也可以是真实世界物理对象的部分或完全纹理化的表示340(例如，如在复制环境210中那样逼真地纹理化的)(参见箭头326)。如图所示，在完全纹理化的表示340中描绘的沙发被逼真地纹理化。所绘制的真实世界物理对象的虚拟表示可以表示与触发事件320和/或正在复制的一个或多个其他对象在上下文上相关的对象。在一些情况下，完全纹理化的表示340包括HMD用户所站立的整个环境(例如，整个房间)的虚拟表示。在一些情况下，虚拟表示包括与触发事件不直接相关但是可以为用户提供改善的感知的对象。在一些情况下，虚拟表示忽略在用户的环境中的一些真实世界物理对象，这可以节省获取和绘制虚拟表示所需要的计算成本。
真实世界物理对象的虚拟表示可以被连续绘制(没有脉冲化)，或者被脉冲化成进入和离开视线。脉冲化视图可以降低成本，并且可以减少用户的注意力。绘制虚拟表示的方式还可以基于或直接取决于与触发事件相关联的测量参数或值(例如，HMD/对象的相对位置/运动)。例如，当HMD用户面对并且接近真实世界物理对象时，该对象的虚拟表示可以基于HMD相对于真实世界物理对象的相对接近度/速度的函数而在HMD上淡入视线。
在检测到可以类似于先前提到的触发事件320的附加触发事件350时，作为已经在HMD中绘制的真实世界物理对象的虚拟表示的附加、结合或备选，计算机系统100可以绘制真实世界物理对象的虚拟表示。在一个示例中，计算机系统100响应于触发事件320而在VR环境310上绘制沙发的未纹理化的表示330。计算机系统100继续绘制沙发的该未纹理化的表示330，直到检测到附加触发事件350(参见箭头352)。
在一个实施例中，附加触发事件350是检测到用户的眼睛聚焦在沙发的未纹理化的表示330上。响应于检测到前述触发事件350，计算机系统100绘制沙发的完全纹理化的表示340以及在HMD用户附近的其他真实世界物理对象的虚拟表示(参见箭头354)。计算机系统100可以继续绘制这些真实世界物理对象的完全纹理化的表示340，直到检测到又一触发事件350(参见箭头356)。在检测到又一触发事件350(例如，在计算机系统100上运行的应用中的用户控件的激活)时，计算系统可以再次在VR环境310上绘制沙发的初始的未纹理化的表示330(参见箭头358)。然而，将意识到，可以响应于附加触发事件350而绘制任何类型的真实世界物理对象的任何类型的虚拟表示。因此，实施例不限于图3所示的场景。
在响应于触发事件320/350而绘制真实世界物理对象的虚拟表示之后，并且在确定不再检测到触发事件320/350时，实施例停止绘制真实世界物理对象的虚拟表示并且继续完整绘制VR环境310。停止绘制虚拟表示也可以取决于所测量的参数或值，诸如与触发事件320/350有关的值(例如，基于HMD用户的速度的函数来使虚拟表示淡出视线)。
图4-图7用来进一步说明触发事件320的实现和示例。如图4所示，触发事件可以是检测到HMD用户在距真实世界物理对象的阈值接近度内并且HMD用户面向真实世界物理对象。图4描绘了房间400的俯视图，其中HMD用户410面对花瓶420并且站立在花瓶附近(用户视场由虚线表示)。
图4还描绘了显示在HMD上的场景450。HMD用户410沉浸在VR环境430中，并且如果他们继续与VR环境430交互，则冒着潜在地损坏花瓶420或伤害自己的风险。实施例检测到(例如，经由传感器150/160)HMD用户面对花瓶420并且在距花瓶420的预定阈值接近度内。在一些实施例中，系统获取花瓶460的虚拟表示(例如，经由传感器封装和RGB相机的组合)，并且在HMD中绘制花瓶460的虚拟表示(例如，未纹理化的表示)。如图4中当前所示，花瓶460的所触发的虚拟表示是线框，该线框响应于VR环境430上的触发事件而被动态地绘制，直接进入HMD场景450，从而向HMD用户410警告花瓶420的存在。
如前所述，一些触发事件包括HMD的相对速度或位置的检测。在图5中，当用户510位于真实世界房间500内时，VR场景550被绘制给用户510。VR场景550通过HMD被绘制给用户510。在该实施例中，用户510当前正朝向房间中的真实世界沙发520移动。用户510的速度由箭头512指示。如在图4中，HMD用户510沉浸在VR环境530中，并且因此如果用户510继续朝向沙发520移动，则有与沙发520碰撞的风险。在该实施例中，系统检测沙发520相对于HMD用户510的相对接近度/运动。然后，当达到阈值相对速度/接近度时(例如，用户距沙发太近和/或太快地向沙发移动)，系统获取并且在HMD中绘制沙发560的适当的虚拟表示以警告用户。在图5中，沙发560的虚拟表示是在HMD场景550中的VR环境530上绘制的线框，以便向HMD用户510警告与沙发520的潜在碰撞，并且仅响应于检测到满足阈值接近度/速度而被绘制。沙发560被连续地或脉冲化地绘制，直到不再满足阈值。
在图6中，示出了房间600的俯视图，其中HMD用户610向后朝墙壁620行走(用户610的速度由箭头612指示)。还示出了显示在HMD上的场景650的描绘。因为HMD用户610沉浸在VR环境中，所以用户610冒着退回到墙壁620并且承受伤害或损坏HMD或其他财产的风险。在检测到HMD用户610距墙壁620的接近度之后，实施例可以检测HMD用户610的取向并且然后基于HMD用户的取向(例如，背对墙壁)确定阈值速度/位置。阈值速度/位置例如可以在用户背对用户正在接近的真实世界物理对象时降低。
如图6所示，响应于检测到HMD用户610的速度超过阈值速度，系统将获取并且绘制用户610在其中操作HMD的整个房间660(例如，未纹理化或至少部分纹理化)的虚拟表示。在一些情况下，系统将整个房间660的虚拟表示在HMD中脉冲化成进入和离开视线以向用户610警告有回到真实世界物理对象中的风险，但是可以使用其他序列(例如，当用户610的速度超过阈值速度时，使得整个房间660的虚拟表示淡化)。
可以用于转变显示的其他触发事件包括检测到的真实世界物理对象的运动。图7描绘了HMD用户710在其中沉浸在VR环境730中的房间700的俯视图。图7还描绘了显示在用户710的HMD上的场景750。如图所示，狗720在房间700内在用户710附近移动(狗720的速度由箭头722指示)。狗720的不稳定或意外运动可能对HMD用户有害。系统检测狗720相对于HMD用户710的相对接近度/速度。实施例可以被配置为检测在距用户710的特定阈值接近度内的真实世界物理对象的运动(例如，经由传感器150/160)。在图7中示出了示例性阈值接近度770。在确定狗720正在距用户710的阈值接近度770内移动时，实施例可以获取并且在HMD中绘制狗760的虚拟表示，以使HMD用户710知道狗720的运动。对于其中真实世界物理对象在距HMD用户710的阈值接近度770内但在HMD用户710的视场之外运动(例如，狗在用户身后运动)的情况，系统可以绘制在HMD用户710附近的其他真实世界物理对象的虚拟表示(例如，将整个房间的虚拟表示脉冲化为要小心的警告、或者与检测到的对象相关联的图标/文字警告)。
本领域技术人员将认识到，图4-图7所示的原理可以应用于其中用户面对或接近一个或多个真实世界物理对象(例如，墙壁、桌子或另一人)的其他场景。因此，实施例不限于图4-图7中描绘的场景、位置结构或真实世界物理对象。
作为已经在HMD上描绘的任何场景的附加、结合或备选，可以绘制如图4-图7所示的真实世界物理对象的虚拟表示。此外，如图7所示，可以响应于任何触发事件而绘制多个对象的虚拟表示。例如，即使HMD用户没有面对桌子，计算机系统100也可以响应于检测到仅与真实世界物理桌子有关的触发事件而绘制整个房间的虚拟表示。
图4-图7所示的警告功能允许用户沉浸在VR环境中的同时意识到真实世界物理对象。在一些实施例中，仅在真实世界物理对象对用户潜在成问题时才警告用户，从而允许用户保持沉浸并且仅在必要时出于安全原因而被打扰。
示例性方法
现在，以下讨论涉及可以执行的很多方法和方法动作。尽管方法动作可以按特定顺序进行讨论或在流程图中以特定顺序示出，但是不需要特定顺序，除非特别说明，或者因为一个动作依赖于在该动作执行之前完成另一动作而需要特定顺序。这些方法由计算机系统(例如，图1的计算机系统100)的一个或多个处理器实现。作为示例，计算机系统包括存储计算机可执行代码的一个或多个计算机可读硬件存储介质。该计算机可执行代码由一个或多个处理器可执行以引起计算机系统执行这些方法。
图8示出了用于转变包括具有HMD的VR环境的显示的示例性方法的流程图800。
如图所示，该方法包括：检测HMD的使用的动作(动作801)。该动作可以由(多个)I/O接口130和/或(多个)传感器150/160(例如，物理控制的激活或眼睛运动/聚焦的检测或用户头部上的HMD的放置)或其他系统(例如，在计算机系统100上运行的应用内的用户控件的激活)执行。
还标识一个或多个真实世界物理对象(动作802)，其可以由(多个)传感器150/160执行。随后，获取复制环境(动作803)，该复制环境包括在HMD用户附近的真实世界物理对象的虚拟表示。复制环境可以使用(多个)传感器150/160和/或(多个)I/O接口130来生成，诸如用于创建真实世界物理对象的网格并且施加纹理的传感器封装和RGB相机的组合。复制环境也可以从本地存储装置120或经由网络170从存储在一个或多个远程系统180上的数据获取。
接下来，绘制复制环境(动作804)，诸如使用HMD。基于检测到HMD用户和/或在用户附近的真实世界对象的位置和运动的变化，可以用相同的方式连续地绘制复制环境和/或用新的或更少的对象动态地更新复制环境。绘制复制环境可以允许HMD用户在转变到VR环境的早期阶段保持对环境的了解。
接下来，系统检测触发事件(动作805)。触发事件可以由计算系统的各个部分(例如，(多个)传感器150/160、I/O接口170、远程系统180)检测。此外，触发事件可以是但不限于：激活在计算机系统100上运行的应用内的控件，激活计算机系统100上(例如，I/O接口130上)的物理控件，在检测到HMD在用户头部上的定位之后的预定时间段的到期，或者检测到用户眼睛的移动或聚焦(例如，在传感器150/160上)。
在检测到触发事件时，系统将复制环境转变到视线之外(动作806)(例如，在HMD中使真实世界物理对象虚拟表示从视线淡出)，并且绘制复制环境的最小表示(动作807)。最小表示是复制环境的一种表示，该表示被构造为与复制环境相比以较少的细节描绘在HMD用户附近的真实世界物理对象(线框、未纹理化的多边形网格等)。最小表示可以连续绘制，也可以在HMD中被脉冲化成进入和离开视线。最小表示绘制还可以包括具有不同纹理、分辨率、对象等的不同最小表示的顺序表示。
在绘制最小表示之后，系统检测另一触发事件(动作808)，该事件可以是在第一触发事件或与第一触发事件类似的其他事件之后的预定时间段的到期。作为响应，系统在HMD中将最小表示转变到视线之外(动作809)(例如，经由视觉淡入淡出或其他最小表示序列)。在新的触发事件之后，并且作为淡入淡出的一部分，在HMD中绘制VR环境(动作810)，其可以通过多种方式(例如，经由视觉淡入淡出或VR场景序列)在HMD中转变到视线之内。
前述实施例可以用于帮助HMD用户在从真实环境转变到VR环境的同时保持环境熟悉度，并且避免可能由于真实环境与VR环境之间的突然转变而导致的迷失方向。
图9示出了与用于向HMD用户警告真实世界物理对象的示例性方法相关联的另一流程图900。
如图所示，系统首先绘制虚拟现实环境(动作901)。这包括：在HMD中绘制VR环境以供用户查看和/或与之交互的场景、以及在显示器中绘制VR环境的其他场景。方法900还包括检测一个或多个真实世界物理对象的接近度的动作(动作902)。动作902可以由例如(多个)传感器150/160执行。
接下来，系统检测预定触发事件(动作903)。预定触发事件可以基于在HMD用户附近的计算系统和/或真实世界物理对象的绝对物理特性或相对物理特性。预定触发事件可以是但不限于：检测到HMD用户在距真实世界物理对象的阈值接近度内并且HMD用户面向真实世界物理对象，检测到满足某些条件的HMD用户速度，检测到真实世界物理对象的移动，检测到声音信号，物理控件或在计算机系统100上运行的应用内的控件的激活，和/或检测到HMD用户的特定眼睛运动或聚焦。
接下来，系统获取真实世界物理对象的虚拟表示(动作904)。虚拟表示可以是真实世界物理对象的未纹理化或部分或完全纹理化的表示。虚拟表示可以使用传感器150/160和/或I/O接口130来生成，诸如用于创建真实世界物理对象的网格并且施加纹理的传感器封装和RGB相机的组合。虚拟表示也可以从本地存储装置120或经由网络170从存储在一个或多个远程系统180上的数据获取。可以获取多个对象的多个虚拟表示，包括与动作903的预定触发事件无关的真实世界物理对象的虚拟表示。
接下来，系统绘制真实世界物理对象的虚拟表示(动作905)。虚拟表示可以被连续地绘制或在HMD中被脉冲化成进入和离开视线。另外，可以基于与预定触发事件有关的参数或值的函数来绘制虚拟表示(例如，基于距HMD用户的真实世界物理对象的接近度的函数来使虚拟表示淡入视线)。作为已经在HMD中绘制的虚拟表示或VR环境的附加、结合或备选，可以绘制虚拟表示。
在一些情况下，响应于检测到不再存在触发事件和/或响应于预定时间或其他测量参数或值，诸如与预定触发事件有关的值，系统还将停止绘制真实世界物理对象的虚拟表示(动作906)(例如，基于HMD用户的相对位置/速度的函数来使虚拟表示淡出视线)。
本领域技术人员将认识到，本公开的原理可以在任何适当布置的用于转变到虚拟环境或向用户警告真实世界物理障碍的系统和方法中实现。尽管前述实施例主要被描述为适用于结合了真正的VR设备/系统的系统和方法，但是应当理解，在一些实施例中，前述实施例也可以应用于并且确实适用于某些非传统的VR设备和系统、以及甚至被配置为绘制不同类型的显示元素并且转变这些显示元素的绘制的其他类型的增强现实设备和系统。因此，将进一步认识到，本发明的实现包括将前述方法和系统配置应用于增强现实设备和除VR设备之外的其他绘制设备。
本文中描述的用于向HMD用户警告真实世界物理对象的系统、硬件存储设备和方法可以与用于向HMD用户警告真实世界物理对象的其他系统或方法结合使用或辅助其来使用。例如，除了响应于触发事件而向HMD用户提供可听警告之外，还可以响应于触发事件而绘制真实世界物理对象的虚拟表示。
在不脱离本发明的精神或特征的情况下，本发明可以以其他特定形式实施。所描述的实施例在所有方面仅应当被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求书而不是前面的描述指示。落入权利要求等同含义和范围内的所有改变均应当被包含在其范围之内。

Claims (15)

1.一种用于转变在头戴式显示器(“HMD”)上被绘制的所显示的虚拟现实环境的方法，所述方法包括：
检测HMD的使用；
标识在距所述HMD的阈值接近度内的多个真实世界物理对象；
获取复制环境，其中所述复制环境包括所述多个真实世界物理对象的虚拟表示；
在虚拟现实显示器中绘制所述复制环境；
在所述虚拟现实显示器中将所述复制环境转变到视线之外；以及
在所述虚拟现实显示器中绘制虚拟现实环境，所述虚拟现实环境是在绘制所述复制环境之后被绘制的。
2.根据权利要求1所述的方法，其中触发事件发起所述复制环境在所述虚拟现实显示器中到视线之外的所述转变。
3.根据权利要求2所述的方法，其中所述触发事件是用户发起的对在计算机系统上运行的应用内的控件的激活。
4.根据权利要求2所述的方法，其中所述触发事件是在检测到所述HMD在用户头部上的定位之后的预定时间段的到期。
5.根据权利要求2所述的方法，其中所述触发事件是从准备好在所述虚拟现实显示器中绘制的应用检测到所述虚拟现实环境。
6.根据权利要求1所述的方法，其中所述复制环境在所述虚拟现实显示器中到视线之外的所述转变包括：
与所述虚拟现实环境的绘制同时地在所述虚拟现实显示器中绘制所述复制环境的至少一部分；以及
在所述虚拟现实显示器中使所述复制环境淡出视线。
7.根据权利要求1所述的方法，其中所述复制环境在所述虚拟现实显示器中到视线之外的所述转变包括：
在绘制所述虚拟现实环境之前，在所述虚拟现实显示器中使所述复制环境淡出视线。
8.根据权利要求1所述的方法，还包括：
在所述虚拟现实显示器中将所述复制环境转变到视线之外之后，在绘制所述虚拟现实环境之前在所述虚拟现实显示器中绘制所述复制环境的最小表示，所述最小表示被构造为与所述复制环境相比以较少的细节表示所述真实世界物理对象。
9.根据权利要求1所述的方法，还包括：
在所述虚拟现实显示器中将所述复制环境转变到视线之外之后，在绘制所述虚拟现实环境之后在所述虚拟现实显示器中绘制所述复制环境的最小表示，所述最小表示被构造为与所述复制环境相比以较少的细节表示所述真实世界物理对象，其中绘制所述最小表示包括对所述最小表示的显示进行脉冲化。
10.一种用于向佩戴头戴式显示器(“HMD”)的用户警告存在于真实世界中的一个或多个障碍物的方法，所述方法包括：
在虚拟现实显示器中绘制虚拟现实环境；
检测至少一个真实世界物理对象距HMD的接近度；
检测预定触发事件，所述预定触发事件用于触发向所述用户通知所述至少一个真实世界物理对象；
获取所述至少一个真实世界物理对象的虚拟表示；以及
响应于检测到所述预定触发事件，在所述虚拟现实显示器中绘制所述至少一个真实世界物理对象的所述虚拟表示。
11.根据权利要求10所述的方法，其中所述至少一个真实世界物理对象的所述虚拟表示包括所述至少一个真实世界物理对象的未纹理化的表示。
12.根据权利要求10所述的方法，其中所述获取包括获取至少两个不同的虚拟表示，所述至少两个不同的虚拟表示包括所述至少一个真实世界物理对象的未纹理化的表示和所述至少一个真实世界物理对象的一个或多个部分纹理表示，并且其中所述绘制包括至少绘制所述一个或多个部分纹理表示。
13.根据权利要求10所述的方法，其中所述预定触发事件是检测到所述HMD在距所述至少一个真实世界物理对象的阈值接近度内并且所述HMD面向所述至少一个真实世界物理对象。
14.根据权利要求10所述的方法，其中所述预定触发事件是检测到所述HMD以阈值速度朝向所述至少一个真实世界物理对象移动。
15.根据权利要求10所述的方法，其中所述预定触发事件是检测到新的真实世界物理对象在距所述HMD的预定阈值接近度内移动。
CN201880050683.8A 2017-08-02 2018-06-01 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物 Active CN110998491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210550434.3A CN114967919A (zh) 2017-08-02 2018-06-01 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/667,509 2017-08-02
US15/667,509 US10627635B2 (en) 2017-08-02 2017-08-02 Transitioning into a VR environment and warning HMD users of real-world physical obstacles
PCT/US2018/035514 WO2019027556A1 (en) 2017-08-02 2018-06-01 TRANSITION TO A VR ENVIRONMENT AND HMD USERS 'WARNING CONCERNING PHYSICAL OBSTACLES FROM THE REAL WORLD

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210550434.3A Division CN114967919A (zh) 2017-08-02 2018-06-01 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物

Publications (2)

Publication Number Publication Date
CN110998491A true CN110998491A (zh) 2020-04-10
CN110998491B CN110998491B (zh) 2022-05-31

Family

ID=62779008

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880050683.8A Active CN110998491B (zh) 2017-08-02 2018-06-01 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物
CN202210550434.3A Pending CN114967919A (zh) 2017-08-02 2018-06-01 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210550434.3A Pending CN114967919A (zh) 2017-08-02 2018-06-01 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物

Country Status (4)

Country Link
US (2) US10627635B2 (zh)
EP (1) EP3662350A1 (zh)
CN (2) CN110998491B (zh)
WO (1) WO2019027556A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111569420A (zh) * 2020-05-08 2020-08-25 江圣宇 现实环境轨迹预警方法、系统、vr播放设备及存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US11733824B2 (en) * 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
CN110634189B (zh) 2018-06-25 2023-11-07 苹果公司 用于在沉浸式混合现实体验期间用户警报的系统和方法
US10607367B2 (en) * 2018-06-26 2020-03-31 International Business Machines Corporation Methods and systems for managing virtual reality sessions
US10783714B2 (en) * 2019-01-29 2020-09-22 Verizon Patent And Licensing Inc. Methods and systems for automatically tailoring a form of an extended reality overlay object
US10909751B2 (en) 2019-01-31 2021-02-02 Intel Corporation Methods and apparatus to transition between 2D and 3D renderings of augmented reality content
US10885710B2 (en) * 2019-03-14 2021-01-05 Microsoft Technology Licensing, Llc Reality-guided roaming in virtual reality
US10937218B2 (en) * 2019-07-01 2021-03-02 Microsoft Technology Licensing, Llc Live cube preview animation
US11132052B2 (en) * 2019-07-19 2021-09-28 Disney Enterprises, Inc. System for generating cues in an augmented reality environment
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
US11126850B1 (en) 2020-04-09 2021-09-21 Facebook Technologies, Llc Systems and methods for detecting objects within the boundary of a defined space while in artificial reality
US11232644B1 (en) * 2020-12-31 2022-01-25 Facebook Technologies, Llc Systems and methods for providing spatial awareness in virtual reality
US11417054B1 (en) * 2021-03-17 2022-08-16 Facebook Technologies, Llc. Mixed reality objects in virtual reality environments
US20230259194A1 (en) * 2022-02-16 2023-08-17 Meta Platforms Technologies, Llc Spatial Anchor Sharing for Multiple Virtual Reality Systems in Shared Real-World Environments
GB2618528A (en) * 2022-05-04 2023-11-15 Sony Interactive Entertainment Inc Data processing apparatus and method

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013052855A2 (en) * 2011-10-07 2013-04-11 Google Inc. Wearable computer with nearby object response
US20130328928A1 (en) * 2012-06-12 2013-12-12 Sony Computer Entertainment Inc. Obstacle avoidance apparatus and obstacle avoidance method
CN104216520A (zh) * 2014-09-09 2014-12-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN105324738A (zh) * 2013-06-07 2016-02-10 索尼电脑娱乐公司 在头戴式显示器中切换操作模式
US20160070343A1 (en) * 2014-09-09 2016-03-10 Beijing Lenovo Software Ltd. Information processing method and electronic device
CN105493155A (zh) * 2013-08-30 2016-04-13 高通股份有限公司 用于表示物理场景的方法和设备
CN105739125A (zh) * 2016-03-30 2016-07-06 惠州Tcl移动通信有限公司 Vr眼镜以及障碍物提示方法
CN105807920A (zh) * 2016-03-03 2016-07-27 北京小鸟看看科技有限公司 虚拟现实设备及其使用场景下的地面障碍物监测方法和装置
CN106295581A (zh) * 2016-08-15 2017-01-04 联想(北京)有限公司 障碍物检测方法、装置及虚拟现实设备
CN106468949A (zh) * 2015-08-17 2017-03-01 三星电子株式会社 用于通知对象的虚拟现实头戴装置及其方法
KR20170026164A (ko) * 2015-08-31 2017-03-08 삼성전자주식회사 가상 현실 디스플레이 장치 및 그 장치의 표시 방법
US20170103574A1 (en) * 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
CN106575155A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 沉浸在虚拟现实环境中时的防绊倒
CN106575209A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 具有现实世界对象的虚拟现实环境
EP3163407A1 (en) * 2015-10-29 2017-05-03 Samsung Electronics Co., Ltd. Method and apparatus for alerting to head mounted display user
CN106652345A (zh) * 2016-12-26 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种安全监测方法、装置及虚拟现实设备
CN106960472A (zh) * 2017-03-20 2017-07-18 宇龙计算机通信科技(深圳)有限公司 虚拟现实操作安全保护系统及方法
WO2017120917A1 (zh) * 2016-01-15 2017-07-20 邓娟 进行头戴虚拟游戏时周边动态的提醒方法和头戴虚拟设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2501768A (en) 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
US10725297B2 (en) * 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US10002429B2 (en) 2015-08-17 2018-06-19 Samsung Electronics Co., Ltd. Apparatus and method for notifying a virtual reality user of real world objects
US10373392B2 (en) 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
US20170061696A1 (en) * 2015-08-31 2017-03-02 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US10474411B2 (en) 2015-10-29 2019-11-12 Samsung Electronics Co., Ltd. System and method for alerting VR headset user to real-world objects
US10191541B2 (en) * 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
US10475243B2 (en) * 2017-03-31 2019-11-12 Intel Corporation Transition between virtual reality and real world
US10416837B2 (en) * 2017-06-26 2019-09-17 Facebook, Inc. Virtual reality safety bounding box
US10481679B2 (en) * 2017-12-18 2019-11-19 Alt Llc Method and system for optical-inertial tracking of a moving object
KR102614496B1 (ko) * 2019-08-09 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103975268A (zh) * 2011-10-07 2014-08-06 谷歌公司 具有附近物体响应的可穿戴计算机
WO2013052855A2 (en) * 2011-10-07 2013-04-11 Google Inc. Wearable computer with nearby object response
US20130328928A1 (en) * 2012-06-12 2013-12-12 Sony Computer Entertainment Inc. Obstacle avoidance apparatus and obstacle avoidance method
CN103480154A (zh) * 2012-06-12 2014-01-01 索尼电脑娱乐公司 障碍物规避装置及障碍物规避方法
CN105324738A (zh) * 2013-06-07 2016-02-10 索尼电脑娱乐公司 在头戴式显示器中切换操作模式
CN105493155A (zh) * 2013-08-30 2016-04-13 高通股份有限公司 用于表示物理场景的方法和设备
CN106575155A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 沉浸在虚拟现实环境中时的防绊倒
CN106575209A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 具有现实世界对象的虚拟现实环境
CN104216520A (zh) * 2014-09-09 2014-12-17 联想(北京)有限公司 一种信息处理方法及电子设备
US20160070343A1 (en) * 2014-09-09 2016-03-10 Beijing Lenovo Software Ltd. Information processing method and electronic device
CN106468949A (zh) * 2015-08-17 2017-03-01 三星电子株式会社 用于通知对象的虚拟现实头戴装置及其方法
CN106484085A (zh) * 2015-08-31 2017-03-08 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
KR20170026164A (ko) * 2015-08-31 2017-03-08 삼성전자주식회사 가상 현실 디스플레이 장치 및 그 장치의 표시 방법
US20170103574A1 (en) * 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
EP3163407A1 (en) * 2015-10-29 2017-05-03 Samsung Electronics Co., Ltd. Method and apparatus for alerting to head mounted display user
WO2017120917A1 (zh) * 2016-01-15 2017-07-20 邓娟 进行头戴虚拟游戏时周边动态的提醒方法和头戴虚拟设备
CN105807920A (zh) * 2016-03-03 2016-07-27 北京小鸟看看科技有限公司 虚拟现实设备及其使用场景下的地面障碍物监测方法和装置
CN105739125A (zh) * 2016-03-30 2016-07-06 惠州Tcl移动通信有限公司 Vr眼镜以及障碍物提示方法
CN106295581A (zh) * 2016-08-15 2017-01-04 联想(北京)有限公司 障碍物检测方法、装置及虚拟现实设备
CN106652345A (zh) * 2016-12-26 2017-05-10 宇龙计算机通信科技(深圳)有限公司 一种安全监测方法、装置及虚拟现实设备
CN106960472A (zh) * 2017-03-20 2017-07-18 宇龙计算机通信科技(深圳)有限公司 虚拟现实操作安全保护系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何贞毅: ""混合现实眼镜的交互设计与应用研究"", 《万方数据(学位)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111569420A (zh) * 2020-05-08 2020-08-25 江圣宇 现实环境轨迹预警方法、系统、vr播放设备及存储介质

Also Published As

Publication number Publication date
CN110998491B (zh) 2022-05-31
US10627635B2 (en) 2020-04-21
US20200225495A1 (en) 2020-07-16
EP3662350A1 (en) 2020-06-10
CN114967919A (zh) 2022-08-30
US20190041651A1 (en) 2019-02-07
WO2019027556A1 (en) 2019-02-07
US11009716B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
CN110998491B (zh) 转变到vr环境中并且向hmd用户警告真实世界的物理障碍物
US10725297B2 (en) Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US11604562B2 (en) Interface carousel for use with image processing software development kit
KR20210121182A (ko) 증강 현실 시스템
US10073541B1 (en) Indicators for sensor occlusion
KR102649197B1 (ko) 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
CN110168476B (zh) 增强现实对象操纵
US20210389996A1 (en) Software development kit for image processing
CN109844820B (zh) 基于上下文信息来修改全息图的手部遮挡
US11729343B2 (en) Including video feed in message thread
US20120120071A1 (en) Shading graphical objects based on face images
US10692293B2 (en) Loading indicator in augmented reality environment
US11867917B2 (en) Small field of view display mitigation using virtual object display characteristics
US11321926B2 (en) Method and device for content placement
US11302285B1 (en) Application programming interface for setting the prominence of user interface elements
WO2023049000A1 (en) Parallel renderers for electronic devices
KR20160012909A (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
KR102284769B1 (ko) 3d 컨텐츠를 제공하는 서버 및 그 동작 방법
CN110720228A (zh) 呈现速度的适应
US10930077B1 (en) Systems and methods for rendering augmented reality mapping data
EP4377932A1 (en) Rendering a visual distraction for a user looking at a display too long

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant