CN110413105A - 虚拟环境内的虚拟对象的有形可视化 - Google Patents

虚拟环境内的虚拟对象的有形可视化 Download PDF

Info

Publication number
CN110413105A
CN110413105A CN201910358062.2A CN201910358062A CN110413105A CN 110413105 A CN110413105 A CN 110413105A CN 201910358062 A CN201910358062 A CN 201910358062A CN 110413105 A CN110413105 A CN 110413105A
Authority
CN
China
Prior art keywords
virtual objects
real object
computer
display
actual environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910358062.2A
Other languages
English (en)
Other versions
CN110413105B (zh
Inventor
A·H·帕兰杰
A·巴-齐夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110413105A publication Critical patent/CN110413105A/zh
Application granted granted Critical
Publication of CN110413105B publication Critical patent/CN110413105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

本公开涉及虚拟环境内的虚拟对象的有形可视化。本公开涉及用于提供虚拟环境诸如虚拟现实环境和混合现实环境内的虚拟对象的有形可视化的技术。为虚拟环境内的不对应于真实环境中的真实有形对象的虚拟对象提供指示有形性的视觉反馈。不为虚拟环境内的对应于真实环境中的真实有形对象的真实对象的虚拟表示提供指示有形性的视觉反馈。

Description

虚拟环境内的虚拟对象的有形可视化
技术领域
本专利申请整体涉及虚拟环境，并且更具体地涉及用于提供虚拟环境内的虚拟对象的有形可视化的技术。
背景技术
计算机可将计算机生成的图像完全投影或部分叠加在用户的视野上，以提供可由用户体验到的虚拟环境。虚拟环境可以基于不同类型的现实。电子设备可选地检测用户的真实移动，并且在虚拟环境的一系列视觉图像或视频内投影和模拟那些移动。通过在虚拟环境内投影或模拟的这些移动，用户可与虚拟环境内的对象进行交互。
发明内容
本公开描述了用于提供虚拟环境内的虚拟对象的有形可视化的技术，其中虚拟环境为与虚拟环境交互的用户提供现实和沉浸式体验。由于该体验是现实和沉浸式的，用户可容易地将虚拟环境内的虚拟(因而无形)对象混淆为存在于虚拟环境外部的实际有形对象。
因此，所述技术通过使用户能够快速且容易地视觉识别虚拟环境内的对象是无形虚拟对象还是对应于真实环境中的真实并且因此是有形的对象，在用户与虚拟环境进行交互时增强了用户的便利性并进一步向用户提供了程度增强的安全性。
另外，所述技术不限于为特定类型的虚拟环境提供有形可视化，而是可在任何类型的虚拟环境中实现。这些环境包括例如基于混合现实的虚拟环境、基于虚拟现实的虚拟环境，以及基于增强现实的虚拟环境。
根据一些实施方案，描述了一种方法。该方法包括：显示包括虚拟对象和用户的虚拟表示的虚拟环境；根据使用传感器检测到用户的身体部位的移动，在虚拟环境中显示用户的虚拟表示从第一位置到第二位置的对应移动；并且根据确定满足距离标准并且虚拟对象不对应于使用传感器检测到的真实对象，移除显示的虚拟对象的一部分，其中所述距离标准包括确定第二位置与虚拟对象相距阈值距离内。
根据一些实施方案，描述了一种非暂态计算机可读存储介质。一种非暂态计算机可读存储介质，它存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：显示包括虚拟对象和用户的虚拟表示的虚拟环境；根据使用传感器检测到用户的身体部位的移动，在虚拟环境中显示用户的虚拟表示从第一位置到第二位置的对应移动；并且根据确定满足距离标准并且虚拟对象不对应于使用传感器检测到的真实对象，移除显示的虚拟对象的一部分，其中所述距离标准包括确定第二位置与虚拟对象相距阈值距离内。
根据一些实施方案，描述了一种暂态计算机可读存储介质。一种非暂态计算机可读存储介质，它存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：显示包括虚拟对象和用户的虚拟表示的虚拟环境；根据使用传感器检测到用户的身体部位的移动，在虚拟环境中显示用户的虚拟表示从第一位置到第二位置的对应移动；并且根据确定满足距离标准并且虚拟对象不对应于使用传感器检测到的真实对象，移除显示的虚拟对象的一部分，其中所述距离标准包括确定第二位置与虚拟对象相距阈值距离内。
根据一些实施方案，描述了一种电子设备。该电子设备包括一个或多个处理器以及存储器，该存储器存储被配置为由一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：显示包括虚拟对象和用户的虚拟表示的虚拟环境；根据使用传感器检测到用户的身体部位的移动，在虚拟环境中显示用户的虚拟表示从第一位置到第二位置的对应移动；并且根据确定满足距离标准并且虚拟对象不对应于使用传感器检测到的真实对象，移除显示的虚拟对象的一部分，其中所述距离标准包括确定第二位置与虚拟对象相距阈值距离内。
根据一些实施方案，描述了一种电子设备。该电子设备包括：用于显示包括虚拟对象和用户的虚拟表示的虚拟环境的装置；根据使用传感器检测到用户的身体部位的移动，用于在虚拟环境中显示用户的虚拟表示从第一位置到第二位置的对应移动的装置；以及用于以下操作的装置：根据确定满足距离标准并且虚拟对象不对应于使用传感器检测到的真实对象，移除显示的虚拟对象的一部分，其中所述距离标准包括确定第二位置与虚拟对象相距阈值距离内。
附图说明
图1A至图1B示出了在各种现实技术中使用的示例性系统，这些技术包括虚拟现实、增强现实和混合现实。
图1C至图1E示出了移动设备形式的系统的示例。
图1F至图1H示出了头戴式显示器设备形式的系统的示例。
图1I示出了平视显示器设备形式的系统的示例。
图2A至图2D示出了用于在作为虚拟现实环境的虚拟环境中提供指示有形性的视觉反馈的示例性技术。
图3A至图3D示出了用于在作为混合现实环境的虚拟环境中提供指示有形性的视觉反馈的示例性技术。
图4A至图4B是根据一些实施方案的示出了用于在虚拟环境内提供指示有形性的视觉反馈的方法的流程图。
附图中示出的实施方案仅是示例性的。本领域技术人员将容易从下面的讨论认识到，可在不脱离本文描述的原理的情况下采用本文示出的结构和方法的替代实施方案。
具体实施方式
以下描述阐述了具体配置、参数等。然而，应当认识到，此类描述并非意在限制本公开，而是作为对示例性实施方案的描述来提供。
图1A至图1B示出了在各种现实技术中使用的示例性系统100，这些技术包括虚拟现实、增强现实和混合现实。
在一些实施方案中，如图1A所示，系统100包括设备100a。设备100a包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。
在一些实施方案中，系统100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且系统100的其他元件在设计成由用户佩戴的头戴式显示器(HMD)设备中实现，其中HMD设备与基站设备通信。在一些示例中，设备100a在基站设备或HMD设备中实现。
如图1B所示，在一些实施方案中，系统100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、RF电路104、存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。
在一些实施方案中，系统100是移动设备，诸如在关于图1C至图1E中的设备100a描述的实施方案中。在一些实施方案中，系统100是头戴式显示器(HMD)设备，诸如在关于图1F至图1H中的设备100a描述的实施方案中。在一些实施方案中，系统100是可穿戴HUD设备，诸如在关于图1I中的设备100a描述的实施方案中。
系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些实施方案中，存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由处理器102执行以执行下述技术。
系统100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如)进行通信的电路。
系统100包括显示器120。在一些示例中，显示器120包括第一显示器(例如，左眼显示器面板)和第二显示器(例如，右眼显示器面板)，每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些示例中，显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。
在一些实施方案中，系统100包括用于接收用户输入的触敏表面122，诸如轻击输入和轻扫输入。在一些示例中，显示器120和触敏表面122形成触敏显示器。
系统100包括图像传感器108。图像传感器108可选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从真实环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器还可选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自真实环境的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到真实环境中。图像传感器108还可选地包括一个或多个事件相机，这些事件相机被配置为捕获真实环境中的物理对象的移动。图像传感器108还可选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理对象与系统100的距离。在一些示例中，系统100组合使用CCD传感器、事件相机和深度传感器来检测系统100周围的物理环境。在一些示例中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器可选地被配置为从两个不同的视角捕获真实环境中的物理对象的图像。在一些示例中，系统100使用图像传感器108来接收用户输入，诸如手势。在一些示例中，系统100使用图像传感器108来检测系统100和/或显示器120在真实环境中的位置和取向。例如，系统100使用图像传感器108来跟踪显示器120相对于真实环境中的一个或多个固定对象的位置和取向。
在一些实施方案中，系统100包括麦克风112。系统100使用麦克风112来检测来自用户和/或用户的真实环境的声音。在一些示例中，麦克风112包括麦克风阵列(包括多个麦克风)，其任选地串联操作，以便识别环境噪声或在真实环境的空间中定位声源。
系统100包括用于检测系统110和/或显示器100的取向和/或移动的取向传感器120。例如，系统100使用取向传感器110来跟踪系统100和/或显示器120的位置和/或取向的变化，诸如关于真实环境中的物理对象。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。
图1C至图1E示出了设备100a形式的系统100的示例。在图1C至1E中，设备100a是移动设备，诸如蜂窝电话。图1C示出了执行虚拟现实技术的设备100a。设备100a在显示器120上显示虚拟环境160，该虚拟环境包括虚拟对象，诸如太阳160a、鸟160b和海滩160c。所显示的虚拟环境160和虚拟环境160的虚拟对象(例如，160a、160b、160c)都是计算机生成的图像。需注意，图1C中示出的虚拟现实环境不包括来自真实环境180的物理对象的表示，诸如人180a和树180b，即使真实环境180的这些元素在设备100a的图像传感器108的视野内。
图1D示出了使用视频透传执行增强现实技术的设备100a。设备100a正在显示器120上显示具有虚拟对象的真实环境180的表示170。真实环境180的表示170包括人180a的表示170a和树180b的表示170b。例如，该设备使用图像传感器108来捕获真实环境180的图像，这些图像经透传以在显示器120上显示。设备100a在人180a的表示170a的头部上覆盖帽子160d，该帽子是由设备100a生成的虚拟对象。设备100a相对于设备100a的位置和/或取向来跟踪物理对象的位置和/或取向，以使虚拟对象能够与来自增强现实环境中的真实环境的物理对象进行交互。在该示例中，设备100a考虑设备100a和人180a的移动，以将帽子160d显示为在人180a的表示170a的头部上。
图1E示出了执行混合现实技术的设备100a。设备100a在显示器120上显示具有物理对象的表示的虚拟环境160。虚拟环境160包括虚拟对象(例如，太阳160a、鸟160b)和人180a的表示170a。例如，设备100a使用图像传感器108来捕获真实环境180a中的人180的图像。设备100a将人180a的表示170a放置在虚拟环境160中，以在显示器120上显示。设备100a相对于设备100a的位置和/或取向任选地跟踪物理对象的位置和/或取向，以使虚拟对象能够与来自真实环境180的物理对象进行交互。在该示例中，设备100a考虑设备100a和人180a的移动，以将帽子160d显示为在人180a的表示170a的头部上。值得注意的是，在该示例中，在执行混合现实技术时，即使树180b也在设备100a的图像传感器的视野内，设备100a也不显示树180b的表示。
图1F至图1H示出了设备100a形式的系统100的示例。如图1F至1H所示，设备100a是被配置为佩戴在用户头部上的HMD设备，其中用户的每只眼睛观看相应的显示器120a和120b。图1F示出了执行虚拟现实技术的设备100a。设备100a在显示器120a和显示器120b上显示虚拟环境160，该虚拟环境包括虚拟对象，诸如太阳160a、鸟160b和海滩160c。所显示的虚拟环境160和虚拟对象(例如，160a、160b、160c)是计算机生成的图像。在该示例中，设备100a同时在显示器120a和显示器120b上显示对应的图像。对应的图像包括来自不同视点的相同虚拟环境160和虚拟对象(例如，160a、160b、160c)，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。需注意，图1F中示出的虚拟现实环境不包括来自真实环境的物理对象的表示，诸如人180a和树180b，即使人180a和树180b在执行虚拟现实技术时位于设备100a的图像传感器的视野内。
图1G示出了使用视频透传执行增强现实技术的设备100a。设备100a正在显示器120a和120b上显示具有虚拟对象的真实环境180的表示170。真实环境180的表示170包括人180a的表示170a和树180b的表示170b。例如，设备100a使用图像传感器108来捕获真实环境120b的图像，这些图像经透传以在显示器180和120a上显示。设备100a将计算机生成的帽子160d(虚拟对象)覆盖在人180a的表示170a的头部上，以在每个显示器120a和120b上显示。设备100a相对于设备100a的位置和/或取向来跟踪物理对象的位置和/或取向，以使虚拟对象能够与来自真实环境180的物理对象进行交互。在该示例中，设备100a考虑设备100a和人180a的移动，以将帽子160d显示为在人180a的表示170a的头部上。
图1H示出了使用视频透传执行混合现实技术的设备100a。设备100a在显示器120a和120b上显示具有物理对象的表示的虚拟环境160。虚拟环境160包括虚拟对象(例如，太阳160a、鸟160b)和人180a的表示170a。例如，设备100a使用图像传感器108来捕获人180的图像。设备100a将人180a的表示170a放置在虚拟环境中，以在显示器120a和120b上显示。设备100a相对于设备100a的位置和/或取向任选地跟踪物理对象的位置和/或取向，以使虚拟对象能够与来自真实环境180的物理对象进行交互。在该示例中，设备100a考虑设备100a和人180a的移动，以将帽子160d显示为在人180a的表示170a的头部上。值得注意的是，在该示例中，在执行混合现实技术时，即使树180b也在设备100a的图像传感器108的视野内，设备100a也不显示树180b的表示。
图1I示出了设备100a形式的系统100的示例。在图1I中，设备100a是被配置为佩戴在用户头上的HUD设备(例如，眼镜设备)，其中用户的每只眼睛观看相应的平视显示器120c和120d。图1I示出了使用平视显示器120c和120d执行增强现实技术的设备100a。平视显示器120c和120d是(至少部分地)透明显示器，因此允许用户结合平视显示器120c和120d观看真实环境180。设备100a在每个平视显示器120c和120d上显示虚拟帽子160d(虚拟对象)。设备100a相对于设备100a的位置和/或取向以及相对于用户眼睛的位置来跟踪真实环境中的物理对象的位置和/或取向，以使虚拟对象能够与来自真实环境180的物理对象进行交互。在该示例中，设备100a考虑设备100a的移动、用户眼睛相对于设备100a的移动，以及人180a在显示器120c和120d上的位置处至显示帽子160d的移动，使得用户看来帽子160d位于人180a的头部。
图2A至图2D示出了根据本公开实施方案的用于提供指示作为虚拟现实环境的虚拟环境中的有形性的视觉反馈的示例性技术。如图2A所示，虚拟现实环境200包括多个虚拟对象202-210(例如，椅子的虚拟对象202、键盘的虚拟对象204、监视器的虚拟对象206、桌子的虚拟对象208、灯的虚拟对象210)。
在图2B中，设备100a在显示器120上显示(或使得在该显示器上显示)手部表示212，该手部表示与用户(例如，设备100a的用户)的手相对应并且在虚拟现实环境200内模拟用户的手在真实环境中的移动。在一些实施方案中，经由设备100a的一个或多个传感器(例如，图像传感器)检测到对应于手部表示212的用户的手，例如，当该手在设备100a的一个或多个传感器的视野中时。在一些实施方案中，附加地或另选地经由设备100a外部的一个或多个传感器(例如，图像传感器、运动传感器、加速度计、陀螺仪)(例如，安装在虚拟现实环境200所基于的真实环境诸如房间中的传感器)检测到用户的手。
在一些实施方案中，设备100a在显示器120上同时显示(或使得显示)虚拟现实环境200内与设备的用户的另一只手相对应的第二手部表示(例如，当在设备100a的视野内检测到双手时)。在一些实施方案中，设备100a在显示器120上显示(或使得显示)虚拟现实环境200中与用户的不同身体部位(例如，用户的脚)相对应的不同用户表示。
在一些实施方案中，使用通用手形(例如，在虚拟现实环境中容易看见的通用蓝手)在虚拟现实环境200内示出手部表示212。在一些实施方案中，手部表示212在视觉上类似于真实环境中用户的对应手(例如，类似的大小、类似的肤色、类似的附件诸如戒指)。
在图2B中，用户的手(在虚拟现实环境200中作为手部表示212投影)与虚拟现实环境200内的任何虚拟对象202-210相距至少阈值距离(例如，1英尺)。在一些实施方案中，设备100a(例如，经由一个或多个内部和/或外部图像传感器)检测到用户的手从其在图2B中的位置移动到虚拟现实环境200的与虚拟现实环境200的虚拟对象(例如，虚拟对象202)相距不到阈值距离的位置。在一些实施方案中，阈值距离是预定义的(例如，由设备100a的操作系统预定义或由设备100a的用户设置)。
在图2C中，在(例如，经由一个或多个内部和/或外部图像传感器)检测到用户的手(例如，作为手部表示212在虚拟现实环境200内投影)与虚拟现实环境200内的虚拟对象202相距阈值距离(例如，1英尺)内，设备100a在显示器120上显示视觉反馈214(例如，图形效果，诸如孔径效应)，该反馈在视觉上向用户指示，虚拟对象202是非有形虚拟对象，并且用户的手与该非有形虚拟对象相距阈值距离内。在图2C中，用户的手与虚拟对象202相距阈值距离内，但与虚拟现实环境200的其他虚拟对象204-210相距至少阈值距离。在一些实施方案中，阈值距离(动态地)根据用户的手部移动的速度而改变。例如，如果设备100a(例如，经由一个或多个内部和/或外部图像传感器)检测到用户手的移动速度的加速度，则设备100a(自动地)增大用于触发视觉反馈214的显示的与虚拟对象202的阈值距离。又如，如果设备100a(例如，经由一个或多个内部和/或外部图像传感器)检测到用户手的移动速度的减速度，则设备100a(自动地)减小用于触发视觉反馈214的显示的与虚拟对象202的阈值距离。
在一些实施方案中，视觉反馈214经由作为孔径效应的图形效果提供，其中虚拟对象202的对应于与手部表示212相距预定距离内的视觉反馈的至少一部分(例如，虚拟对象的围绕虚拟环境内用户的手和/或接近用户的手的区域)停止显示(例如，淡出、灰显、模糊)，使得虚拟对象202的该部分不再在显示器上对用户可见。在一些实施方案中，与淡出效果同时地，先前在虚拟现实环境200中虚拟对象202的淡出部分后面的区域(因为它被虚拟对象202隐藏起来)变得在显示器上对用户可见。在一些实施方案中，使用云状图案显示“淡出”。
在一些实施方案中，视觉反馈214是动态孔径效应，其中该效果的量值根据用户的手与虚拟现实环境200内虚拟对象202的相对距离而改变。在一些实施方案中，视觉反馈214(逐渐地)在量值上随着用户的手和虚拟对象202之间的距离减小而增大，直到手到达虚拟现实环境200内被虚拟对象202“占据”的区域。在一些实施方案中，视觉反馈214(逐渐地)在量值上随着用户的手和虚拟对象202之间的距离增大而减小，直到手与虚拟对象202相距超过阈值距离(例如，1英尺)(此时不再显示视觉反馈214)。在一些实施方案中，视觉反馈214具有预定的最大尺寸(此时动态孔径效应的量值不再增大)，其中一旦用户的手(例如，在虚拟现实环境200内投影为手部表示212)到达虚拟现实环境200的被虚拟对象202占据(或以其他方式与该对象相关联)的区域和/或“通过”虚拟对象202时，则达到该预定的最大尺寸。
在一些实施方案中，视觉反馈的量值的变化率对应于(例如，与其成比例)用户的手的移动速度的变化率。在一些实施方案中，当用户的手以越来越快的速度接近虚拟对象202时，对应的视觉反馈214的量值以(按比例)增大的速率增大。在一些实施方案中，当用户的手以越来越慢的速度接近虚拟对象202时，对应的视觉反馈214的量值以(按比例)减小的速率减小。在一些实施方案中，随着用户的手与虚拟对象202之间的距离以越来越快的速度增大，对应的视觉反馈214的量值以(按比例)增大的速率减小。在一些实施方案中，随着用户的手与虚拟对象202之间的距离以越来越慢的速度增大，对应的视觉反馈214的量值以(按比例)减小的速率减小。
在图2D中，用户的手(例如，作为手部表示212在虚拟现实环境200内投影)“通过”虚拟环境环境202内的虚拟对象202并且与虚拟对象204(例如，虚拟键盘)和虚拟对象208(例如，虚拟桌面)相距阈值距离(例如，1英尺)内。在一些实施方案中，在(例如，经由一个或多个内部和/或外部图像传感器)检测到用户的手已经“通过”虚拟对象202时，设备100a将对应于虚拟对象202的视觉反馈214保持在恒定量值。
在一些实施方案中，进一步在(例如，经由一个或多个内部和/或外部图像传感器)检测到用户的手与虚拟对象204(例如，虚拟键盘)相距阈值距离(例如，1英尺)内时，设备100a在显示器120上显示(或使得显示)类似于视觉反馈214的视觉反馈216，其中视觉反馈216是虚拟对象204上的孔径效应。在一些实施方案中，进一步在检测到(例如，经由一个或多个内部和/或外部图像传感器)用户的手在阈值距离内(例如，1英尺)时从虚拟对象208(例如，虚拟桌面)，设备100a在显示器120上显示(或使其显示)类似于视觉反馈214和216的视觉反馈218，其中视觉反馈218是对虚拟对象208的孔径效应。
在图2D中，对应于虚拟对象202(例如，虚拟椅子)的视觉反馈214在量值上大于对应于虚拟对象204(例如，虚拟键盘)和虚拟对象208(例如，虚拟桌面)的视觉反馈216，因为用户的手(例如，作为手部表示212在虚拟现实环境200内投影)通过虚拟对象202但尚未到达(尽管在阈值距离内)虚拟对象204和208。此外，对应于虚拟对象204的视觉反馈216在量值上大于对应于虚拟对象204的视觉反馈218，因为用户的手比虚拟现实环境200内的虚拟对象208更接近虚拟对象204。
图3A至图3C示出了用于在作为虚拟现实环境的虚拟环境中提供指示有形性的视觉反馈的示例性技术。在一些示例中，虚拟环境300是混合现实环境300，其中用户可选地与虚拟对象和(作为虚拟混合现实环境300基础的真实环境的)真实对象在混合现实环境300内的虚拟表示进行交互。在一些实施方案中，使用捕获真实环境(例如，诸如房间的封闭区域)的轮廓的一个或多个传感器(例如，图像传感器)将混合现实环境300投影到真实环境上；投影的混合现实环境经由设备100a的显示器120显示给用户。
如图3A所示，混合现实环境300包括多个虚拟对象302-306(例如，椅子的虚拟对象302、键盘的虚拟对象304、监视器的虚拟对象306)，以及真实环境中的真实对象的多个虚拟表示308-310(例如，真实环境中的真实桌子的虚拟表示308、真实环境中的真实灯的虚拟表示310)。与多个虚拟表示308-310不同，多个虚拟对象302-306是虚拟的(因此是非有形的)并且不对应于混合现实环境300外部的任何真实对象。
在图3B中，设备100a在显示器120上显示(或使得显示)与用户(例如，设备100a的用户)的手相对应的手部表示312。在一些实施方案中，经由设备100a的一个或多个传感器(例如，图像传感器)检测到用户的手，例如，当该手在该设备的一个或多个传感器的视野中时。在一些实施方案中，经由安装在真实环境(例如，房间，混合现实环境300基于该真实环境投影而成)中的一个或多个传感器(例如，图像传感器)来检测用户的手。
在一些实施方案中，设备100a在显示器120上同时显示(或使得显示)混合现实环境300内与设备的用户的另一只手相对应的第二手部表示(例如，当在设备100a的视野内检测到双手时)。在一些实施方案中，设备100a在显示器120上显示(或使得显示)混合现实环境300中与用户的不同身体部位(例如，用户的脚)相对应的不同用户表示。
在一些实施方案中，使用通用手形(例如，在虚拟现实环境中容易看见的通用蓝手)在混合现实环境300内示出手部表示312。在一些实施方案中，手部表示312在视觉上类似于真实环境中用户的对应手(例如，类似的肤色、类似的附件)。
在图3B中，手部表示312与混合现实环境300的虚拟对象302-306和虚拟表示308-310中的任何一个相距至少(或超过)阈值距离(例如，1英尺)。在一些实施方案中，虽然手部表示312与虚拟对象302-306和虚拟表示308-310中的任何一个相距至少(或超过)阈值距离，但是设备100a(例如，经由一个或多个内部和/或外部图像传感器)检测到用户的手正从图3B中的位置移动到与混合现实环境300内的一个或多个虚拟对象和/或虚拟表示相距不到阈值距离的位置。
在图3C中，在(例如，经由一个或多个内部和/或外部图像传感器)检测到用户的手与混合现实环境300内的虚拟对象302(例如，虚拟椅子)相距阈值距离(例如，1英尺)内时，设备100a在显示器120上显示(或使得显示)视觉反馈314(例如，图形效果，主如孔径效应，类似于参考图2A至图2D描述的视觉反馈214)。在图3C中，用户的手与虚拟对象302相距阈值距离内但与混合现实环境300的虚拟对象304-306和虚拟表示308-310没有相距阈值距离内。
在图3D中，用户的手通过虚拟对象302并且与虚拟对象304(例如，虚拟键盘)和虚拟表示308(例如，对应于真实环境中的真实桌子)相距阈值距离(例如，1英尺)内。在一些实施方案中，在(例如，经由一个或多个内部和/或外部图像传感器)检测到用户的手通过虚拟对象302时，设备100a将对应于虚拟对象302的视觉反馈314保持在恒定量值。
在一些实施方案中，在(例如，经由一个或多个内部和/或外部图像传感器)检测到用户的手与虚拟对象304(例如，虚拟键盘)相距阈值距离内时，设备100a在显示器120上显示(或使得显示)虚拟对象304上的视觉反馈316，该视觉反馈类似于虚拟对象302上的视觉反馈314(例如，虚拟对象304的至少一部分上的孔径效应，使得现在可以通过孔径效应看到该环境在虚拟对象304后面的曾被隐藏的那部分)。
在一些实施方案中，在(例如，经由一个或多个内部和/或外部图像传感器)检测到用户的手在与虚拟表示308(例如，对应于真实环境中的真实桌子的虚拟表示)相距阈值距离(例如，1英尺)内时，设备100a不显示(或不会使得显示)视觉反馈，因为虚拟表示308对应于真实环境中的真实对象(与虚拟对象302和304不同，它们是虚拟对象(因此是非有形的)，不对应于真实环境中的任何真实对象)。因此，在图3D中，即使用户的手通过虚拟对象302并且与虚拟对象304和虚拟表示308相距阈值距离(例如，1英尺)内，设备100a也只会为虚拟对象302和304而不会为虚拟表示308生成和显示视觉反馈。
通过为虚拟对象而不为真实对象的虚拟表示308-310提供视觉反馈(例如，视觉反馈314和316)，设备100a使用户能够快速且容易地识别混合现实环境300内的特定对象是非有形的虚拟对象还是真实且有形物体的虚拟表示，以及快速且容易地区分非有形虚拟对象和周围环境内的真实且有形物体的虚拟表示(例如，从而通过尽量减少有关哪些东西是虚拟的(因此不是有形的)以及哪些东西是真实的(因而是有形的)的混淆，增强了用户安全性)。
在一些实施方案中，上面参考图2A至图2D和图3A至图3D描述的视觉反馈(例如，虚拟对象202上的视觉反馈214、虚拟对象302上的视觉反馈314)是为增强现实环境的虚拟对象生成的。在一些实施方案中，该增强现实环境在设备100a的显示器上向用户显示，其中显示器(至少部分地)是透明显示器，它使得用户能够通过显示器直接观看周围的真实环境以及在真实环境上显示的虚拟对象，以增强真实环境。在一些实施方案中，上面参考图2A至图2D和图3A至图3D描述的视觉反馈是为增强现实环境内的虚拟对象提供的，从而快速且更清楚地向用户指示该虚拟对象实际上是否是虚拟的。
图4A至图4B是示出由电子设备(例如，设备100a)执行的示例性过程的流程图。在一些实施方案中，该设备具有显示器。在一些实施方案中，该显示器是(至少部分地)透明的显示器。在一些实施方案中，电子设备连接到与该设备分开的显示器并与之通信。在一些实施方案中，电子设备具有一个或多个传感器设备(例如，图像传感器108、取向传感器110、位置传感器116)。在一些实施方案中，电子设备连接到与设备分开的一个或多个传感器设备(例如，图像传感器108、取向传感器110、位置传感器116)并与之通信。在一些实施方案中，电子设备是头戴式设备。在一些实施方案中，电子设备与头戴式设备分开，但固定在(或被配置成固定到)头戴式设备上。在一些实施方案中，电子设备包括用于输出音频的一个或多个扬声器(例如，扬声器118)。在一些实施方案中，电子设备连接(或被配置成连接)到(例如，经由无线连接、经由有线连接)用于输出音频的一个或多个扬声器(例如，扬声器118)并且与之通信(或被配置成与之通信)。
在框404处，电子设备(例如，100a)显示(例如，或使得在显示器120上显示)包括虚拟对象(例如，202、204、206、208、210、302、304、306、308、310)和用户的虚拟表示(例如，212、312)的虚拟环境(例如，200、300)。在一些实施方案中，虚拟环境是混合现实环境(例如，300)。在一些实施方案中，虚拟环境是虚拟现实环境(例如，200)。在一些实施方案中，虚拟环境是增强现实环境。在一些实施方案中，
在框408处，根据使用传感器检测到用户的身体部位的移动，电子设备(例如，100a)显示(例如，或使得在显示器120上显示)用户的虚拟表示(例如，212、312)从虚拟环境中的第一位置到第二位置的对应移动。在一些实施方案中，用户的身体部位是用户的手。
在框410处，根据确定满足距离标准并且虚拟对象(例如，202、204、206、208、210、302、304、306、310)不对应于使用传感器检测到的真实对象，电子设备(例如，100a)移除显示的虚拟对象的一部分(例如，214、216、218、314、316)，其中所述距离标准包括确定第二位置和虚拟对象相距阈值距离内。
在一些实施方案中，经由孔径效应移除显示的虚拟对象(例如，202、204、208、210、302、304、306、310)的部分(例如，214、216、218、314、316)。在一些实施方案中，移除显示的虚拟对象的该部分包括用不同于第一虚拟对象的第二虚拟对象替换显示的虚拟对象的至少一部分。
在一些实施方案中，在框412处，根据确定满足距离标准并且虚拟对象(例如，308)对应于使用传感器检测到的真实对象，电子设备(例如，100a)放弃移除显示的虚拟对象的该部分。在一些实施方案中(例如，在显示包括虚拟对象和用户的虚拟表示的虚拟环境之前)，在框402处，电子设备使用传感器来获得真实对象的图像，并且在框406处，在虚拟环境(例如，300)中显示该真实对象的虚拟表示(例如，308)。
在一些实施方案中，在框414处，根据使用传感器检测到用户的身体部位的第二移动，电子设备(例如，100a)显示用户的虚拟表示(例如，212、312)在虚拟环境(例如，200、300)中从第二位置到第三位置的对应移动。在一些实施方案中，在框416处，根据确定满足距离标准并且虚拟对象(例如，202、204、206、208、210、302、304、306、310)不对应于使用传感器检测到的真实对象，电子设备移除显示的虚拟对象的第二部分，该第二部分不同于显示的虚拟对象的被移除的部分。
在一些实施方案中，进一步根据使用传感器检测到用户的身体部位的第二移动，在框418处，根据确定满足第二距离标准并且虚拟对象(例如，202、204、206、208、210、302、304、306、310)不对应于使用传感器检测到的真实对象，电子设备(例如，100a)移除显示的虚拟对象的第三部分，其中第二距离标准包括确定第三位置与虚拟对象相距第二阈值距离内，第二阈值距离小于阈值距离，并且第三部分对应于显示的虚拟对象的被移除的比该显示的虚拟对象的所述移除部分更大的区域。
在一些实施方案中，根据确定虚拟环境(例如，200、300)中的第三位置对应于显示的虚拟对象(例如，202、204、206、208、210、302、304、306、310)的至少一部分，显示的虚拟对象的被移除的第三部分对应于显示的虚拟对象的比当虚拟环境中的第三位置不对应于显示的虚拟对象的至少一部分时更大的区域。
在一些实施方案中，在框414处，根据使用传感器检测到用户的身体部位的第二移动，电子设备(例如，100a)显示(例如，或使得在显示器120上显示)用户的虚拟表示(例如，212、312)在虚拟环境(例如，200、300)中从第二位置到第三位置的对应移动。在一些实施方案中，在框420处，根据确定不再满足距离标准，电子设备重新显示所显示的虚拟对象(例如，202、204、206、208、210、302、304、306、310)的被移除部分。
已经出于说明和描述的目标提供了前述具体实施方案和过程的描述，如分别结合图2A至图2D、图3A至图3D以及图4A至图4B描述的。它们并非旨在穷举或将权利要求的范围限制于所公开的精确形式，并且应当理解，根据上述描述，许多修改和变型是可能的。

Claims (52)

1.一种方法，包括：
呈现计算机生成现实环境，所述计算机生成现实环境包括第一真实对象的表示和显示的虚拟对象；
根据使用一个或多个传感器检测到所述第一真实对象的移动，在所述计算机生成现实环境中呈现所述第一真实对象的所述表示从第一位置到第二位置的对应移动；以及
根据确定满足距离标准并且所述虚拟对象不对应于使用所述一个或多个传感器检测到的第二真实对象，移除所述显示的虚拟对象的一部分，其中所述距离标准包括所述第二位置和所述虚拟对象之间的阈值距离。
2.根据权利要求1所述的方法，还包括：
根据确定满足所述距离标准并且所述虚拟对象对应于所述第二真实对象，放弃移除所述显示的虚拟对象的所述部分。
3.根据权利要求1至2中任一项所述的方法，其中当所述虚拟对象不是所述第二真实对象在所述计算机生成现实环境中的表示时，所述虚拟对象不对应于所述第二真实对象。
4.根据权利要求1至2中任一项所述的方法，还包括：
基于从使用所述一个或多个传感器捕获的真实环境的图像中提取的重建数据来确定所述虚拟对象是否对应于所述第二真实对象。
5.根据权利要求1至2中任一项所述的方法，还包括：
响应于移除所述显示的虚拟对象的所述部分，在所移除的部分中呈现不同于所述虚拟对象的第二虚拟对象。
6.根据权利要求1至2中任一项所述的方法，其中经由孔径效应移除所述显示的虚拟对象的所述部分。
7.根据权利要求1至2中任一项所述的方法，其中所述第一真实对象的所述表示对应于所述第一真实对象在所述计算机生成现实环境中的呈现图像。
8.根据权利要求1至2中任一项所述的方法，其中所述第一真实对象的所述表示对应于通过呈现所述计算机生成现实环境的显示器看到的所述第一真实对象的直视图。
9.根据权利要求1至2中任一项所述的方法，其中所述第一真实对象是用户的手。
10.根据权利要求1至2中任一项所述的方法，还包括：
使用所述一个或多个传感器获取第三真实对象的图像；以及
在所述计算机生成现实环境中呈现所述第三真实对象的表示。
11.根据权利要求1至2中任一项所述的方法，其中：
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的速度对应于大于基线速度的第一速度，所述阈值距离大于基线阈值距离；并且
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的所述速度对应于小于所述基线速度的第二速度，所述阈值距离小于所述基线阈值距离。
12.根据权利要求1至2中任一项所述的方法，其中：
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的速度在增大，所述阈值距离大于基线阈值距离；并且
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的所述速度在减小，所述阈值距离小于所述基线阈值距离。
13.根据权利要求1至2中任一项所述的方法，其中所述第二位置和所述虚拟对象之间的所述阈值距离包括所述计算机生成现实环境中的所述第一真实对象的所述表示和所述计算机生成现实环境中的所述显示的虚拟对象之间的距离。
14.根据权利要求1至2中任一项所述的方法，其中基于所述计算机生成现实环境中的所述第二位置和所述计算机生成现实环境中的所述显示的虚拟对象之间的距离来确定所述显示的虚拟对象的移除部分的大小。
15.根据权利要求1至2中任一项所述的方法，还包括：
根据使用所述一个或多个传感器检测到所述第一真实对象在所述计算机生成现实环境中从所述第二位置到第三位置的第二移动：
呈现所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第二位置到所述第三位置的对应移动；以及
根据确定满足所述距离标准并且所述虚拟对象不对应于所述第二真实对象，移除所述显示的虚拟对象的第二部分，所述第二部分不同于所述显示的虚拟对象的移除的所述部分。
16.根据权利要求15所述的方法，还包括：
进一步根据使用所述一个或多个传感器检测到所述第一真实对象的第二移动：
根据确定满足第二距离标准并且所述虚拟对象不对应于所述第二真实对象，从移除了所述部分的所述显示的虚拟对象中移除所述显示的虚拟对象的附加部分，其中当所述第三位置在所述虚拟对象的第二阈值距离内时满足所述第二距离标准，所述第二阈值距离小于所述阈值距离。
17.根据权利要求15所述的方法，还包括：
进一步根据使用所述一个或多个传感器检测到所述第一真实对象的第二移动：
根据确定不再满足所述距离标准，重新呈现所述显示的虚拟对象的所移除的部分。
18.一种计算机可读存储介质，存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
呈现计算机生成现实环境，所述计算机生成现实环境包括第一真实对象的表示和显示的虚拟对象；
根据使用一个或多个传感器检测到所述第一真实对象的移动，在所述计算机生成现实环境中呈现所述第一真实对象的所述表示从第一位置到第二位置的对应移动；以及
根据确定满足距离标准并且所述虚拟对象不对应于使用所述一个或多个传感器检测到的第二真实对象，移除所述显示的虚拟对象的一部分，其中所述距离标准包括所述第二位置和所述虚拟对象之间的阈值距离。
19.根据权利要求18所述的计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
根据确定满足所述距离标准并且所述虚拟对象对应于所述第二真实对象，放弃移除所述显示的虚拟对象的所述部分。
20.根据权利要求18至19中任一项所述的计算机可读存储介质，其中当所述虚拟对象不是所述第二真实对象在所述计算机生成现实环境中的表示时，所述虚拟对象不对应于所述第二真实对象。
21.根据权利要求18至19中任一项所述的计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
基于从使用所述一个或多个传感器捕获的真实环境的图像中提取的重建数据来确定所述虚拟对象是否对应于所述第二真实对象。
22.根据权利要求18至19中任一项所述的计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
响应于移除所述显示的虚拟对象的所述部分，在所移除的部分中呈现不同于所述虚拟对象的第二虚拟对象。
23.根据权利要求18至19中任一项所述的计算机可读存储介质，其中经由孔径效应移除所述显示的虚拟对象的所述部分。
24.根据权利要求18至19中任一项所述的计算机可读存储介质，其中所述第一真实对象的所述表示对应于所述第一真实对象在所述计算机生成现实环境中的呈现图像。
25.根据权利要求18至19中任一项所述的计算机可读存储介质，其中所述第一真实对象的所述表示对应于通过呈现所述计算机生成现实环境的显示器看到的所述第一真实对象的直视图。
26.根据权利要求18至19中任一项所述的计算机可读存储介质，其中所述第一真实对象是用户的手。
27.根据权利要求18至19中任一项所述的计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
使用所述一个或多个传感器获取第三真实对象的图像；以及
在所述计算机生成现实环境中呈现所述第三真实对象的表示。
28.根据权利要求18至19中任一项所述的计算机可读存储介质，其中：
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的速度对应于大于基线速度的第一速度，所述阈值距离大于基线阈值距离；并且
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的所述速度对应于小于所述基线速度的第二速度，所述阈值距离小于所述基线阈值距离。
29.根据权利要求18至19中任一项所述的计算机可读存储介质，其中：
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的速度在增大，所述阈值距离大于基线阈值距离；并且
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的所述速度在减小，所述阈值距离小于所述基线阈值距离。
30.根据权利要求18至19中任一项所述的计算机可读存储介质，其中所述第二位置和所述虚拟对象之间的所述阈值距离包括所述计算机生成现实环境中的所述第一真实对象的所述表示和所述计算机生成现实环境中的所述显示的虚拟对象之间的距离。
31.根据权利要求18至19中任一项所述的计算机可读存储介质，其中基于所述计算机生成现实环境中的所述第二位置和所述计算机生成现实环境中的所述显示的虚拟对象之间的距离来确定所述显示的虚拟对象的移除部分的大小。
32.根据权利要求18至19中任一项所述的计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
根据使用所述一个或多个传感器检测到所述第一真实对象在所述计算机生成现实环境中从所述第二位置到第三位置的第二移动：
呈现所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第二位置到所述第三位置的对应移动；以及
根据确定满足所述距离标准并且所述虚拟对象不对应于所述第二真实对象，移除所述显示的虚拟对象的第二部分，所述第二部分不同于所述显示的虚拟对象的移除的所述部分。
33.根据权利要求32所述的计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
进一步根据使用所述一个或多个传感器检测到所述第一真实对象的第二移动：
根据确定满足第二距离标准并且所述虚拟对象不对应于所述第二真实对象，从移除了所述部分的所述显示的虚拟对象中移除所述显示的虚拟对象的附加部分，其中当所述第三位置在所述虚拟对象的第二阈值距离内时满足所述第二距离标准，所述第二阈值距离小于所述阈值距离。
34.根据权利要求32所述的计算机可读存储介质，所述一个或多个程序还包括用于执行以下操作的指令：
进一步根据使用所述一个或多个传感器检测到所述第一真实对象的第二移动：
根据确定不再满足所述距离标准，重新呈现所述显示的虚拟对象的所移除的部分。
35.一种电子设备，包括：
一个或多个处理器；和
存储器，存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
呈现计算机生成现实环境，所述计算机生成现实环境包括第一真实对象的表示和显示的虚拟对象；
根据使用一个或多个传感器检测到所述第一真实对象的移动，在所述计算机生成现实环境中呈现所述第一真实对象的所述表示从第一位置到第二位置的对应移动；以及
根据确定满足距离标准并且所述虚拟对象不对应于使用所述一个或多个传感器检测到的第二真实对象，移除所述显示的虚拟对象的一部分，其中所述距离标准包括所述第二位置和所述虚拟对象之间的阈值距离。
36.根据权利要求35所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
根据确定满足所述距离标准并且所述虚拟对象对应于所述第二真实对象，放弃移除所述显示的虚拟对象的所述部分。
37.根据权利要求35至36中任一项所述的电子设备，其中当所述虚拟对象不是所述第二真实对象在所述计算机生成现实环境中的表示时，所述虚拟对象不对应于所述第二真实对象。
38.根据权利要求35至36中任一项所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
基于从使用所述一个或多个传感器捕获的真实环境的图像中提取的重建数据来确定所述虚拟对象是否对应于所述第二真实对象。
39.根据权利要求35至36中任一项所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
响应于移除所述显示的虚拟对象的所述部分，在所移除的部分中呈现不同于所述虚拟对象的第二虚拟对象。
40.根据权利要求35至36中任一项所述的电子设备，其中经由孔径效应移除所述显示的虚拟对象的所述部分。
41.根据权利要求35至36中任一项所述的电子设备，其中所述第一真实对象的所述表示对应于所述第一真实对象在所述计算机生成现实环境中的呈现图像。
42.根据权利要求35至36中任一项所述的电子设备，其中所述第一真实对象的所述表示对应于通过呈现所述计算机生成现实环境的显示器看到的所述第一真实对象的直视图。
43.根据权利要求35至36中任一项所述的电子设备，其中所述第一真实对象是用户的手。
44.根据权利要求35至36中任一项所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
使用所述一个或多个传感器获取第三真实对象的图像；以及
在所述计算机生成现实环境中呈现所述第三真实对象的表示。
45.根据权利要求35至36中任一项所述的电子设备，其中：
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的速度对应于大于基线速度的第一速度，所述阈值距离大于基线阈值距离；并且
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的所述速度对应于小于所述基线速度的第二速度，所述阈值距离小于所述基线阈值距离。
46.根据权利要求35至36中任一项所述的电子设备，其中：
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的速度在增大，所述阈值距离大于基线阈值距离；并且
根据确定所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第一位置到所述第二位置的所述速度在减小，所述阈值距离小于所述基线阈值距离。
47.根据权利要求35至36中任一项所述的电子设备，其中所述第二位置和所述虚拟对象之间的所述阈值距离包括所述计算机生成现实环境中的所述第一真实对象的所述表示和所述计算机生成现实环境中的所述显示的虚拟对象之间的距离。
48.根据权利要求35至36中任一项所述的电子设备，其中基于所述计算机生成现实环境中的所述第二位置和所述计算机生成现实环境中的所述显示的虚拟对象之间的距离来确定所述显示的虚拟对象的移除部分的大小。
49.根据权利要求35至36中任一项所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
根据使用所述一个或多个传感器检测到所述第一真实对象在所述计算机生成现实环境中从所述第二位置到第三位置的第二移动：
呈现所述第一真实对象的所述表示在所述计算机生成现实环境中从所述第二位置到所述第三位置的对应移动；以及
根据确定满足所述距离标准并且所述虚拟对象不对应于所述第二真实对象，移除所述显示的虚拟对象的第二部分，所述第二部分不同于所述显示的虚拟对象的所移除的部分。
50.根据权利要求49所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
进一步根据使用所述一个或多个传感器检测到所述第一真实对象的第二移动：
根据确定满足第二距离标准并且所述虚拟对象不对应于所述第二真实对象，从移除了所述部分的所述显示的虚拟对象中移除所述显示的虚拟对象的附加部分，其中当所述第三位置在所述虚拟对象的第二阈值距离内时满足所述第二距离标准，所述第二阈值距离小于所述阈值距离。
51.根据权利要求49所述的电子设备，所述一个或多个程序还包括用于执行以下操作的指令：
进一步根据使用所述一个或多个传感器检测到所述第一真实对象的第二移动：
根据确定不再满足所述距离标准，重新呈现所述显示的虚拟对象的所移除的部分。
52.一种电子设备，包括：
用于执行根据权利要求1至17中任一项所述的方法的装置。
CN201910358062.2A 2018-04-30 2019-04-30 虚拟环境内的虚拟对象的有形可视化 Active CN110413105B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862664759P 2018-04-30 2018-04-30
US62/664,759 2018-04-30
US16/375,595 US11182964B2 (en) 2018-04-30 2019-04-04 Tangibility visualization of virtual objects within a computer-generated reality environment
US16/375,595 2019-04-04

Publications (2)

Publication Number Publication Date
CN110413105A true CN110413105A (zh) 2019-11-05
CN110413105B CN110413105B (zh) 2021-12-07

Family

ID=68291575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910358062.2A Active CN110413105B (zh) 2018-04-30 2019-04-30 虚拟环境内的虚拟对象的有形可视化

Country Status (2)

Country Link
US (3) US11182964B2 (zh)
CN (1) CN110413105B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243070A (zh) * 2019-12-31 2020-06-05 浙江省邮电工程建设有限公司 基于5g通信的虚拟现实呈现方法、系统及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111279292B (zh) 2017-09-29 2022-06-14 苹果公司 检测物理边界
US11182964B2 (en) 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10891922B1 (en) * 2018-07-17 2021-01-12 Apple Inc. Attention diversion control
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US10846899B2 (en) * 2019-04-17 2020-11-24 Honeywell International Inc. Methods and systems for augmented reality safe visualization during performance of tasks
US11244516B2 (en) * 2019-09-16 2022-02-08 Magic Leap, Inc. Object interactivity in virtual space
US11842449B2 (en) * 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
US11727650B2 (en) * 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
CN116438510A (zh) * 2020-06-26 2023-07-14 苹果公司 用于内容应用程序的设备、方法和图形用户界面
WO2022055821A1 (en) * 2020-09-11 2022-03-17 Sterling Labs Llc Method of displaying user interfaces in an environment and corresponding electronic device and computer readable storage medium
WO2022060555A1 (en) * 2020-09-16 2022-03-24 Sterling Labs Llc Merging computer-generated objects based on extremity tracking data
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US20220180547A1 (en) * 2021-06-09 2022-06-09 Yong Bum Kim Method and apparatus for monitoring a distance between virtual objects and recognizing a contact of virtual objects in a virtual reality environment or in an augmented reality environment
US11580734B1 (en) * 2021-07-26 2023-02-14 At&T Intellectual Property I, L.P. Distinguishing real from virtual objects in immersive reality

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128552A1 (en) * 2007-11-07 2009-05-21 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
US20120113140A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Augmented Reality with Direct User Interaction
CN102999160A (zh) * 2011-10-14 2013-03-27 微软公司 混合现实显示器中用户控制的现实对象的消失
US20140002442A1 (en) * 2012-06-29 2014-01-02 Mathew J. Lamb Mechanism to give holographic objects saliency in multiple spaces
CN104798109A (zh) * 2012-11-13 2015-07-22 高通股份有限公司 修改虚拟对象显示性质
JP2015143976A (ja) * 2013-12-25 2015-08-06 キヤノンマーケティングジャパン株式会社 情報処理装置及びその制御方法、プログラム
US20150331576A1 (en) * 2014-05-14 2015-11-19 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
CN107168513A (zh) * 2017-03-22 2017-09-15 联想(北京)有限公司 信息处理方法及电子设备
CN107831908A (zh) * 2011-10-07 2018-03-23 谷歌有限责任公司 具有附近物体响应的可穿戴计算机
CN107918482A (zh) * 2016-10-08 2018-04-17 天津锋时互动科技有限公司深圳分公司 沉浸式vr系统中避免过度刺激的方法与系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7463270B2 (en) * 2006-02-10 2008-12-09 Microsoft Corporation Physical-virtual interpolation
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US20150185826A1 (en) * 2013-12-30 2015-07-02 Daqri, Llc Mapping gestures to virtual functions
US9898869B2 (en) * 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments
WO2018031621A1 (en) * 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
US10769861B2 (en) * 2017-03-02 2020-09-08 Axonom Inc. Dynamic connection routing in virtual product configurations
US10445935B2 (en) * 2017-05-26 2019-10-15 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
US11417091B2 (en) 2017-05-30 2022-08-16 Ptc Inc. Use of coordinated local user devices during a shared augmented reality session
US11182964B2 (en) 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128552A1 (en) * 2007-11-07 2009-05-21 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
US20120113140A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation Augmented Reality with Direct User Interaction
CN107831908A (zh) * 2011-10-07 2018-03-23 谷歌有限责任公司 具有附近物体响应的可穿戴计算机
CN102999160A (zh) * 2011-10-14 2013-03-27 微软公司 混合现实显示器中用户控制的现实对象的消失
US20140002442A1 (en) * 2012-06-29 2014-01-02 Mathew J. Lamb Mechanism to give holographic objects saliency in multiple spaces
CN104798109A (zh) * 2012-11-13 2015-07-22 高通股份有限公司 修改虚拟对象显示性质
JP2015143976A (ja) * 2013-12-25 2015-08-06 キヤノンマーケティングジャパン株式会社 情報処理装置及びその制御方法、プログラム
US20150331576A1 (en) * 2014-05-14 2015-11-19 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
CN107918482A (zh) * 2016-10-08 2018-04-17 天津锋时互动科技有限公司深圳分公司 沉浸式vr系统中避免过度刺激的方法与系统
CN107168513A (zh) * 2017-03-22 2017-09-15 联想(北京)有限公司 信息处理方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾林森 等: "基于Unity3D的跨平台虚拟驾驶视景仿真研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243070A (zh) * 2019-12-31 2020-06-05 浙江省邮电工程建设有限公司 基于5g通信的虚拟现实呈现方法、系统及装置
CN111243070B (zh) * 2019-12-31 2023-03-24 浙江省邮电工程建设有限公司 基于5g通信的虚拟现实呈现方法、系统及装置

Also Published As

Publication number Publication date
US11756269B2 (en) 2023-09-12
CN110413105B (zh) 2021-12-07
US11182964B2 (en) 2021-11-23
US20220076496A1 (en) 2022-03-10
US20230419622A1 (en) 2023-12-28
US20190333278A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
CN110413105A (zh) 虚拟环境内的虚拟对象的有形可视化
CN110908503B (zh) 跟踪设备的位置的方法
US11348316B2 (en) Location-based virtual element modality in three-dimensional content
US20170132845A1 (en) System and Method for Reducing Virtual Reality Simulation Sickness
AU2021290132C1 (en) Presenting avatars in three-dimensional environments
JP2017516250A (ja) 世界固定表示品質のフィードバック
JP7317024B2 (ja) 画像生成装置および画像生成方法
US11422626B2 (en) Information processing device, and information processing method, for outputting sensory stimulation to a user
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
WO2020199821A1 (zh) 用于模拟盲人感受的物体显示方法、装置及存储介质
KR20230037054A (ko) 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
US20230290096A1 (en) Progressive body capture of user body for building an avatar of user
US11783552B2 (en) Identity-based inclusion/exclusion in a computer-generated reality experience
CN117043722A (zh) 用于地图的设备、方法和图形用户界面
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
WO2024054433A2 (en) Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant