CN112581628A - 用于解决焦点冲突的方法和设备 - Google Patents

Abstract

本公开涉及用于解决焦点冲突的方法和设备。在一个具体实施中，一种解决计算机生成现实(CGR)环境中的焦点冲突的方法由包括处理器、非暂态存储器、图像传感器和显示器的设备执行。该方法包括使用图像传感器捕获包括在特定方向上距设备第一距离处的真实对象的场景的图像。该方法包括在显示器上显示CGR环境，该CGR环境包括在特定方向上距设备第二距离处的虚拟对象。根据确定第二距离小于第一距离，CGR环境包括覆盖在场景上的虚拟对象。根据确定第二距离大于第一距离，CGR环境包括具有混淆区的虚拟对象，该混淆区使真实对象在混淆区内的至少一部分混淆。

Description

用于解决焦点冲突的方法和设备

技术领域

本公开整体涉及用于解决真实对象与虚拟对象之间的焦点冲突的系统、方法和设备。

背景技术

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟(AV)环境是指虚拟或计算机生成环境结合了来自实体环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

在各种具体实施中，CGR环境包括一个或多个真实对象和一个或多个虚拟对象。在各种具体实施中，在将虚拟对象放置在真实对象后面而不被真实对象遮挡的距离处渲染虚拟对象。这产生了焦点冲突，其中用户看到虚拟对象并获得深度线索，好像虚拟对象比真实对象远一样，并且因此应当被物理对象遮挡，但却不被物理对象遮挡。可能期望的是有效地解决这种焦点冲突。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的示例性操作环境的框图。

图2是根据一些具体实施的示例性控制器的框图。

图3是根据一些具体实施的示例性电子设备的框图。

图4A至图4G示出了根据各种具体实施的基于由设备的场景相机调查的真实环境的CGR环境。

图5是根据一些具体实施的解决焦点冲突的方法的流程图表示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于解决计算机生成现实(CGR)环境中的焦点冲突的设备、系统和方法。在各种具体实施中，在包括处理器、非暂态存储器、图像传感器和显示器的设备处执行方法。该方法包括使用图像传感器捕获包括在特定方向上第一距离处的真实对象的场景的图像。该方法包括在显示器上显示计算机生成现实(CGR)环境，该CGR环境包括在特定方向上距设备第二距离处的虚拟对象。根据确定第二距离小于第一距离，CGR环境包括覆盖在场景上的虚拟对象。根据确定第二距离大于第一距离，CGR环境包括具有混淆区的虚拟对象。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；一个或多个程序被存储于非暂态存储器中并且被配置为由一个或多个处理器执行。一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

各种CGR环境包括真实对象和虚拟对象两者。当在比到真实对象的距离远的距离处渲染虚拟对象时，存在焦点冲突。用户可通过看到应当被真实对象遮挡的虚拟对象而迷惑或困惑。例如，在用户坐在公共汽车或飞机上的同时，用户与他们前方的座椅之间存在短距离。然而，用户可能希望在大于该短距离的距离处在没有焦点冲突的情况下查看虚拟内容。类似地，在坐在距具有计算机监视器的桌子短距离处的同时，用户可能希望在大于该短距离的距离处在没有焦点冲突的情况下观看虚拟内容。因此，在各种具体实施中，在通过具有虚拟内容的混淆区(例如，围绕虚拟内容)解决焦点冲突的情况下，在更大距离处显示虚拟内容。混淆区模糊、调暗和/或遮挡真实对象在混淆区中的部分。

又如，在各种具体实施中，CGR环境包括用户所处的第一真实环境和表示远离第一真实环境的第二真实环境中的人的头像。因此，CGR环境允许用户与人之间的交互(通过头像)。当人在第二真实环境内移动时，头像在CGR环境中相应地移动。在各种具体实施中，第二真实环境可以大于第一真实环境，并且随着人在第二真实环境内移动，头像移动的距离大于移动到第一真实环境的墙壁的距离。CGR环境显示具有混淆区(例如，围绕头像)的头像，而不遮挡头像并阻碍用户与人之间的交互。

图1是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括控制器110和电子设备120。

在一些具体实施中，控制器110被配置为管理和协调用户的CGR体验。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于场景105处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与电子设备120通信地耦接。又如，控制器110包括在电子设备120的外壳内。在一些具体实施中，控制器110的功能由电子设备120提供和/或与该电子设备结合。

在一些具体实施中，电子设备120被配置为向用户提供CGR体验。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。根据一些具体实施，在用户物理地存在于场景105内的同时，电子设备120经由显示器122向用户呈现CGR内容，该场景包括处于电子设备120的视场111内的桌子107。在一些具体实施中，用户将电子设备120拿在他/她的一只或两只手中。在一些具体实施中，在提供增强现实(AR)内容的同时，电子设备120被配置为显示AR对象(例如，AR圆柱体109)并实现在显示器122上对场景105(例如，包括桌子107的表示117)的视频透传。下文参考图3更详细地描述电子设备120。

根据一些具体实施，在用户虚拟地和/或物理地存在于场景105内的同时，电子设备120向用户提供CGR体验。

在一些具体实施中，用户将电子设备120佩戴在他/她的头上。例如，在一些具体实施中，电子设备包括头戴式系统(HMS)、头戴式设备(HMD)或头戴式外壳(HME)。因此，电子设备120包括被设置成显示CGR内容的一个或多个CGR显示器。例如，在各种具体实施中，电子设备120包围用户的视场。在一些具体实施中，电子设备120是被配置为呈现CGR内容的手持设备(诸如智能电话或平板电脑)，并且用户不再佩戴电子设备120而是手持该设备，同时使显示器朝向用户的视场，并且使相机朝向场景105。在一些具体实施中，手持设备可被放置在可被佩戴在使用者的头部的外壳内。在一些具体实施中，用被配置为呈现CGR内容的CGR舱、外壳或室替代电子设备120，用户在其中不再佩戴或手持电子设备120。

图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理核心等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或相似类型接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。

在一些具体实施中，所述一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，该子集包括任选的操作系统230和CGR内容模块240。

操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，CGR内容模块240被配置为管理和协调一个或多个用户的CGR内容(例如，一个或多个用户的单个集的CGR内容，或一个或多个用户的相应群组的多个集的CGR内容)的呈现。为此，在各种具体实施中，CGR内容模块240包括数据获取单元242、跟踪单元244、协调单元246和数据传输单元248。

在一些具体实施中，数据获取单元242被配置为至少从图1的电子设备120获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取单元242包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，跟踪单元244被配置为映射场景105并且至少跟踪电子设备120相对于图1的场景105的位置/定位。为此，在各种具体实施中，跟踪单元244包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，协调单元246被配置为管理和协调电子设备120向用户呈现的CGR内容。为此，在各种具体实施中，协调单元246包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元248被配置为至少向电子设备120传输数据(例如，呈现数据、位置数据等)。为此，在各种具体实施中，数据传输单元248包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获取单元242、跟踪单元244、协调单元246和数据传输单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取单元242、跟踪单元244、协调单元246和数据传输单元248的任何组合可位于单独计算设备中。

此外，图2更多地用作可以存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图3是根据一些具体实施的电子设备120的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个CGR显示器312、一个或多个任选的面向内部和/或面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。

在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备以及传感器306包括以下项中的至少一者：惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个麦克风、一个或多个扬声器、一个或多个生理传感器(例如，血压监测仪、心率监测仪、呼吸监测仪、皮肤电监测仪、血氧传感器、血糖传感器等)、触觉引擎、一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个CGR显示器312被配置为向用户显示CGR内容。在一些具体实施中，一个或多个CGR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)以/或者类似的显示器类型。在一些具体实施中，一个或多个CGR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个CGR显示器。又如，电子设备120包括针对用户的每只眼睛的CGR显示器。在一些具体实施中，一个或多个CGR显示器312能够呈现MR和VR内容。

在一些具体实施中，一个或多个图像传感器314被配置为获取对应于用户面部的至少一部分(包括用户的眼睛)的图像数据(因而可称为眼睛跟踪摄像机)。在一些具体实施中，一个或多个图像传感器314被配置为面向前方，以便获取对应于当不存在电子设备120时用户将看到的场景的图像数据(因而可以被称为场景相机)。一个或多个任选图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机以及/或者一个或多个基于事件的相机等。

存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和CGR呈现模块340。

操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，CGR呈现模块340被配置为经由一个或多个CGR显示器312和/或I/O设备和传感器306(诸如一个或多个扬声器)向用户呈现CGR内容。为此，在各种具体实施中，CGR呈现模块340包括数据获取单元342、焦点冲突单元344、CGR内容呈现单元346和数据传输单元348。

在一些具体实施中，数据获取单元342被配置为至少从图1的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。在各种具体实施中，数据获取单元342被配置为从I/O设备和传感器306获取数据。为此，在各种具体实施中，数据获取单元342包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，焦点冲突单元344被配置为检测和解决CGR环境中的焦点冲突。为此，在各种具体实施中，焦点冲突单元344包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，CGR内容呈现单元346被配置为向用户呈现CGR内容。在各种具体实施中，CGR内容呈现单元346控制一个或多个CGR显示器312以显示比真实对象远的距离处的虚拟对象周围的混淆区。为此，在各种具体实施中，CGR内容呈现单元346包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元348被配置为至少向控制器110传输数据(例如，呈现数据、位置数据等)。为此，在各种具体实施中，数据传输单元348包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。

尽管数据获取单元342、焦点冲突单元344、CGR内容呈现单元346和数据传输单元348被示为位于单个设备(例如，图1的电子设备120)上，但应当理解，在其他具体实施中，数据获取单元342、焦点冲突单元344、CGR内容呈现单元346和数据传输单元348的任何组合可位于单独计算设备中。

此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图4A示出了基于由设备的场景相机在第一时间处调查的真实环境的CGR环境400。在各种具体实施中，场景相机是设备的一部分，该设备由用户佩戴并包括显示第一CGR环境400的显示器。因而，在各种具体实施中，用户物理地存在于环境中。在各种具体实施中，场景相机是将图像从场景相机传输到本地设备的远程设备(诸如无人机或机器人头像)的部分，该本地设备由用户佩戴并且包括显示CGR环境400的显示器。

CGR环境400包括多个对象，包括一个或多个真实对象(例如，桌子412、电视413、灯414、墙壁416和地板417)和一个或多个虚拟对象(例如，头像422)。在各种具体实施中，在第一CGR环境400中的位置处(例如，在由三维(3D)CGR坐标系中的三个坐标限定的位置处)显示每个对象。因此，当用户在CGR环境400中移动(例如，改变位置和/或取向)时，对象在电子设备的显示器上移动，但保持其在CGR环境400中的位置。在各种具体实施中，在显示器上的位置处显示某些虚拟对象，使得当用户在CGR环境400中移动时，对象在电子设备上的显示器上为静止的。

在各种具体实施中，头像422表示远离真实环境(例如，在第二真实环境中)的人。当人在第二真实环境内移动时，头像422在CGR环境400中相应地移动。

在第一时间处，在墙壁416前方的第一位置处显示头像422。在从场景相机的特定方向上到头像422的距离小于在从场景相机的特定方向上到墙壁416的距离。因此，不存在焦点冲突。

图4B示出了在第二时间处的图4A的CGR环境400。在第二时间处，在更靠近墙壁416(和电视413)但仍然在该墙壁(和电视)前方的第二位置处显示头像422。在各种具体实施中，头像422响应于由头像422表示的人在第二真实环境内移动而移动。在从场景相机的特定方向上到头像422的距离大于图4A中的距离。因此，如图4B所示的头像422小于如图4A所示的头像422。然而，在从场景相机的特定方向上到头像422的距离仍然小于在从场景相机的特定方向上到墙壁416的距离。因此，不存在焦点冲突。

图4C示出了在第三时间处的图4A的CGR环境400。在第三时间处，在更远离场景相机并在墙壁416(和电视413)后面的第三位置处显示头像422。在各种具体实施中，头像422响应于由头像422表示的人在第二真实环境内移动而移动。在从场景相机的特定方向上到头像422的距离大于图4B中的距离。因此，如图4C所示的头像422小于如图4B所示的头像422。此外，在从场景相机的特定方向上到头像422的距离仍然大于在从场景相机的特定方向上到墙壁416的距离。因此，存在焦点冲突。

用户接收深度提示，该深度提示指示头像422处于比到墙壁416的距离远的特定距离处。例如，用户可以基于两只眼睛的不同视图或基于通过在真实环境内移动获取的不同视图通过视差推导来确定到头像422的距离。用户可以通过注意到头像422随着从第一位置移动到第二位置到第三位置，该头像的大小已经收缩来确定到头像422的距离。

因为到头像422的距离大于到墙壁416的距离，所以如果头像422是真实对象，则该头像将被墙壁416遮挡。用户可能对头像422应当被遮挡但却清晰可见感到迷惑或困惑。

图4D以第一焦点冲突分辨率示出了在第三时间处的图4A的CGR环境400。在第三时间处，在墙壁416后面的第三位置处显示头像422。响应于确定到头像422的距离大于到墙壁416的距离，CGR环境400包括具有头像422的掩蔽区域431，该掩蔽区域部分地遮挡墙壁416和电视413。在图4D中，掩蔽区域431是围绕头像422的白色椭圆形。在各种具体实施中，掩蔽区域431是白色、黑色或任何其他颜色的。在各种具体实施中，掩蔽区域431是椭圆形、矩形或任何其他形状。在各种具体实施中，掩蔽区域431具有与头像422相同但大于该头像的形状，从而产生围绕头像422的掩蔽光环。在各种具体实施中，掩蔽区域431的大小与头像422的大小成比例(并且该掩蔽区域的大小大于该头像的大小)。例如，在各种具体实施中，掩蔽区域431是头像422的1.25倍大、1.5倍大、2倍大或3倍大(在任一区或任何特定尺寸中)。

图4E以第二焦点冲突分辨率示出了在第三时间处的图4A的CGR环境400。在第三时间处，在墙壁416后面的第三位置处显示头像422。响应于确定到头像422的距离大于到墙壁416的距离，CGR环境400包括具有头像422的模糊区域432，该模糊区域使墙壁416和电视413部分地模糊。因此，在邻近头像422的区中，墙壁416和电视413是模糊的。然而，在各种具体实施中，头像422不是模糊的。

在图4E中，模糊区域431是围绕头像422的椭圆形。在各种具体实施中，模糊区域431是椭圆形、矩形或任何其他形状。在各种具体实施中，模糊区域431具有与头像422相同但大于该头像的形状，从而产生围绕头像422的模糊光环。在各种具体实施中，模糊区域431的大小与头像422的大小成比例(并且该模糊区域的大小大于该头像的大小)。例如，在各种具体实施中，模糊区域431是头像422的1.25倍大、1.5倍大、2倍大或3倍大(在任一区或任何特定尺寸中)。在各种具体实施中，模糊区域431占据整个CGR环境400(头像422除外)。

在各种具体实施中，模糊区域431也是调光区域，该调光区域将邻近头像422的区调暗，使得在围绕头像422的区中，墙壁416和电视413是模糊的并且调暗。在各种具体实施中，头像422既不是模糊的也不调暗。

在各种具体实施中，用具有头像422的调光区域替代模糊区域431，使得在邻近头像422的区中，墙壁416和电视413调暗，但不是模糊的。在各种具体实施中，头像422不调暗。

图4F以第三焦点冲突分辨率示出了在第三时间处的图4A的CGR环境400。在第三时间处，在墙壁416后面的第三位置处显示头像422。响应于确定到头像422的距离大于到墙壁416的距离，CGR环境400包括具有头像422的门户区域433，该门户区域部分地遮挡墙壁416和电视413。因此，在邻近头像422的区中，不能看到墙壁416和电视413。相反，在门户区域433中，显示包括头像422的虚拟世界。在各种具体实施中，虚拟世界包括与真实地板417在相同平面中的虚拟地板435。在各种具体实施中，虚拟地板435被显示为网格。在各种具体实施中，在虚拟地板435上显示头像422的虚拟阴影。

在图4F中，门户区域433是围绕头像422的椭圆形。在各种具体实施中，门户区域433是椭圆形、矩形或任何其他形状。在各种具体实施中，门户区域433在门户区域433的外边缘处包括光环效应。在各种具体实施中，门户区域433的大小与头像422的大小成比例(并且该门户区域的大小大于该头像的大小)。例如，在各种具体实施中，门户区域433是头像422的1.25倍大、1.5倍大、2倍大或3倍大(在任一区或任何特定尺寸中)。

图4G以第四焦点冲突分辨率示出了在第三时间处的图4A的CGR环境400。在第四时间处，在墙壁416后面的第三位置处显示头像422。响应于确定到头像422的距离大于到墙壁416的距离，CGR环境400包括覆盖在整个场景之上的虚拟世界440，从而遮挡CGR环境400的所有真实对象。在各种具体实施中，虚拟世界440包括某些真实对象(例如，桌子412和灯414)的表示，同时排除其他真实对象(例如，墙壁416和地板417)的表示。

虚拟世界440包括虚拟地面428、虚拟树424、虚拟太阳426和位于第三位置处的头像422。在各种具体实施中，虚拟世界440包括头像422的在虚拟地面428上显示的虚拟阴影。

图5是根据一些具体实施的解决CGR环境中的焦点冲突的方法500的流程图表示。在各种具体实施中，方法500由具有一个或多个处理器、非暂态存储器、图像传感器和显示器(例如，图3中的电子设备120)的设备执行。在一些具体实施中，方法500由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的指令(例如，代码)的处理器执行。

在框510中，方法500以设备使用图像传感器捕获包括在特定方向上第一距离处的真实对象的场景的图像开始。例如，在图4A中，墙壁416在特定方向上与场景相机相距一定距离。

在框520中，方法500继续设备在显示器上显示CGR环境，该CGR环境包括在特定方向上距设备第二距离处的虚拟对象。例如，在图4A中，在第一位置处，在特定方向上距场景相机一定距离处显示头像422。又如，在图4D中，在第三位置处，在特定方向上距场景相机一定距离处显示头像422。

在框521中，根据确定第二距离小于第一距离，CGR环境包括覆盖在场景上的虚拟对象。例如，在图4A中，根据确定到头像422的距离小于到墙壁416的距离，CGR环境400包括在场景(包括墙壁416)之上显示的头像422。又如，在图4B中，根据确定到头像422的距离小于到墙壁416的距离，CGR环境400包括在场景(包括墙壁416)之上显示的头像422。

在框522中，根据确定第二距离大于第一距离，CGR环境包括具有混淆区的虚拟对象，该混淆区使真实对象在混淆区内的至少一部分混淆。在各种具体实施中，混淆区围绕虚拟对象。例如，在图4D中，根据确定到头像422的距离大于到墙壁416的距离，CGR环境400包括由掩蔽区域431围绕的头像422，该掩蔽区域隐藏墙壁416的至少一部分。又如，在图4E中，根据确定到头像422的距离大于到墙壁416的距离，CGR环境400包括由模糊区域432围绕的头像422，该模糊区域使墙壁416的至少一部分模糊。又如，在图4F中，根据确定到头像422的距离大于到墙壁416的距离，CGR环境400包括由门户区域433围绕的头像422，该门户区域隐藏墙壁416的至少一部分。又如，在图4F中，根据确定到头像422的距离大于到墙壁416的距离，CGR环境400包括由虚拟世界440围绕的头像422，该虚拟世界隐藏墙壁416(和场景的所有其他真实对象)。

在各种具体实施中，混淆区包括模糊区域，该模糊区域使真实对象在模糊区域内的部分模糊。例如，在图4E中，头像422被模糊区域432围绕，该模糊区域使墙壁416(和电视413)在模糊区域432内的部分模糊。在各种具体实施中，混淆区包括调光区域，该调光区域将真实对象在调光区域内的部分调暗。在各种具体实施中，在更远离虚拟对象处减小模糊和/或调暗的量。

在各种具体实施中，混淆区包括掩蔽区域，该掩蔽区域遮挡真实对象在掩蔽区域内的部分。例如，在图4D中，头像422被掩蔽区域431围绕，该掩蔽区域掩蔽、覆盖并隐藏墙壁416(和电视413)在掩蔽区域431内的部分。

在各种具体实施中，混淆区包括门户区域，该门户区域在真实对象在门户区域内的部分之上显示虚拟世界。例如，在图4F中，头像422被门户区域433围绕，该门户区域显示虚拟世界。在各种具体实施中，虚拟世界包括虚拟地板。例如，在图4F中，门户区域433显示虚拟地板435。在各种具体实施中，虚拟地板与场景的真实地板共面。例如，在图4F中，虚拟地板435与地板417共面。在各种具体实施中，方法500还包括在虚拟地板上显示虚拟对象的虚拟阴影。

在各种具体实施中，混淆区占据整个显示器。例如，在图4G中，头像422被虚拟世界440围绕，该虚拟世界遮挡墙壁416和场景的所有其他真实对象。在各种具体实施中，占据整个显示器的混淆区是掩蔽区域、模糊区域、调光区域或门户区域。

在各种具体实施中，显示CGR环境包括在显示器上显示场景的表示。可在具有不透明显示器的设备上执行各种焦点冲突分辨率。例如，可通过显示模糊区域中模糊的场景的表示来在具有不透明显示器的设备上执行应用模糊区域。此外，可在具有透明显示器的设备上执行各种焦点冲突分辨率。例如，可通过显示围绕虚拟对象的掩蔽区域来在具有透明显示器的设备上执行显示掩蔽区域。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (16)

1.一种方法，包括：

在包括一个或多个处理器、非暂态存储器和显示器的设备处：

使用图像传感器捕获包括在特定方向上距所述设备第一距离处的真实对象的场景的图像；以及

在所述显示器上显示计算机生成现实(CGR)环境，所述CGR环境包括在所述特定方向上距所述设备第二距离处的虚拟对象；

其中，根据确定所述第二距离小于所述第一距离，所述CGR环境包括覆盖在所述场景上的所述虚拟对象；并且

其中，根据确定所述第二距离大于所述第一距离，所述CGR环境包括具有混淆区的所述虚拟对象，所述混淆区使所述真实对象在所述混淆区内的至少一部分混淆。

2.根据权利要求1所述的方法，其中所述混淆区围绕所述虚拟对象。

3.根据权利要求1所述的方法，其中所述混淆区包括模糊区域，所述模糊区域使所述真实对象在所述模糊区域内的所述部分模糊。

4.根据权利要求1所述的方法，其中所述混淆区包括调光区域，所述调光区域将所述真实对象在所述调光区域内的所述部分调暗。

5.根据权利要求1所述的方法，其中所述混淆区包括掩蔽区域，所述掩蔽区域遮挡所述真实对象在所述掩蔽区域内的所述部分。

6.根据权利要求1所述的方法，其中所述混淆区包括门户区域，所述门户区域在所述真实对象在所述门户区域内的所述部分之上显示虚拟世界。

7.根据权利要求6所述的方法，其中所述虚拟世界包括虚拟地板。

8.根据权利要求7所述的方法，其中所述虚拟地板与所述场景的真实地板共面。

9.根据权利要求7所述的方法，还包括在所述虚拟地板上显示所述虚拟对象的虚拟阴影。

10.根据权利要求1所述的方法，其中所述混淆区占据除所述虚拟对象之外的整个显示器。

11.根据权利要求1所述的方法，其中显示所述CGR环境包括在所述显示器上显示所述场景的表示。

12.一种电子设备，包括：

图像传感器；

显示器；

非暂态存储器；和

一个或多个处理器，所述一个或多个处理器用于：

使用所述图像传感器捕获包括在特定方向上距所述设备第一距离处的真实对象的场景的图像；以及

在所述显示器上显示计算机生成现实(CGR)环境，所述CGR环境包括在所述特定方向上距所述设备第二距离处的虚拟对象；

其中，根据确定所述第二距离小于所述第一距离，所述CGR环境包括覆盖在所述场景上的所述虚拟对象；并且

其中，根据确定所述第二距离大于所述第一距离，所述CGR环境包括具有混淆区的所述虚拟对象，所述混淆区使所述真实对象在所述混淆区内的至少一部分混淆。

13.根据权利要求12所述的电子设备，其中所述混淆区围绕所述虚拟对象。

14.根据权利要求12所述的电子设备，其中所述混淆区包括掩蔽区域，所述掩蔽区域遮挡所述真实对象在所述掩蔽区域内的所述部分。

15.根据权利要求12所述的电子设备，其中所述混淆区包括门户区域，所述门户区域在所述真实对象在所述门户区域内的所述部分之上显示虚拟世界。

16.根据权利要求17所述的电子设备，其中所述虚拟世界包括与所述场景的真实地板共面的虚拟地板。

Images