CN110377149A - 场景分类 - Google Patents

Abstract

本发明涉及场景分类。提供了一种用于在多种类型的物理环境中识别物理环境的类型的示例性过程。所述过程包括使用所述一个或多个相机获得与物理环境对应的图像数据。所述过程还包括基于所述图像数据，识别所述物理环境中的实体的至少一部分；基于所述识别的所述实体的至少一部分，确定所述实体是否为第一类型的实体；如果所述实体为所述第一类型的实体，确定所述物理环境的类型；以及呈现一个或多个虚拟对象和所述实体的表示。

Description

场景分类

相关申请的交叉引用

本专利申请要求于2019年3月29日提交的标题为“SCENE CLASSIFICATION”的美国专利申请No.16/370,231的优先权，并要求2018年4月13日提交的标题为“MIXED REALITYCLASSIFICATION”的美国临时专利申请No.62/657,570的优先权，两项申请的内容全文以引用方式并入本文，以用于所有目的。

背景技术

本公开整体涉及计算机生成的现实界面，并且更具体地，涉及使用计算机生成的现实界面提供基于环境的内容的技术。

发明内容

本公开描述了用于使用增强现实界面来提供内容的技术，该计算机生成的现实界面描绘了虚拟对象结合物理环境的表示。在一个示例性技术中，使用一个或多个相机获得与物理环境对应的图像数据。基于该图像数据，识别物理环境中的实体的至少一部分。基于所识别的实体的至少一部分，确定实体是否为第一类型的实体。显示一个或多个虚拟的对象和实体的表示。

附图说明

图1A至图1B描绘了用于各种计算机生成的现实技术的示例性系统，包括虚拟现实和混合现实。

图2A描绘了显示室内物理环境的表示的用户设备。

图2B描绘了包括被配置为识别室内物理环境的一个或多个实体的分类器的用户设备的框图。

图2C至图2G描绘了根据本公开的实施方案的用于对所识别的实体进行分类并确定所分类的实体的类型的各种流程。

图2H描绘了显示计算机生成的现实界面的用户设备，该增强现实界面包括虚拟对象和所识别实体的表示。

图3A描绘了显示室外物理环境的表示的用户设备。

图3B描绘了包括被配置为识别室外物理环境的一个或多个实体的分类器的用户设备的框图。

图3C至图3D描绘了根据本公开的实施方案的用于对所识别的实体进行分类并确定所分类的实体的类型的各种流程。

图3E描绘了显示计算机生成的现实界面的用户设备，该计算机生成的现实界面包括虚拟对象和所识别实体的表示。

图4描绘了用于在计算机生成的现实界面中提供内容的示例性技术的流程图。

具体实施方式

本发明描述了与各种计算机生成的现实技术有关的使用此类系统的电子系统和技术的各种实施方案。

物理环境(或真实环境)是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品(或物理对象或真实对象)，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子组或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，这些音频对象创建3D或空间音频环境，这些3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实(VR)环境(虚拟环境)是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。虚拟对象有时也称为虚拟现实对象或虚拟-现实对象。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感觉输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可以具有透明或半透明显示器，人可以透过它直接查看物理环境。所述系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用所述系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明的显示器和一个或多个成像传感器，所述成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。所述系统将所述图像或视频与虚拟对象组合，并在不透明的显示器上呈现组合物。人利用所述系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明的显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在在不透明的显示器上呈现AR环境中使用那些图像。进一步另选地，系统可以具有投影系统，所述投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用所述系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。作为另一示例，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。

增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。作为另一示例，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。又如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过所述媒介被引导到人的眼睛。所述显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源、或这些技术的任意组合。所述媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

借助于结合物理环境的表示显示虚拟对象，电子设备为用户提供直观的CGR界面以与他/她的物理环境交互。例如，使用CGR界面，用户可以与CGR界面中提供的虚拟对象交互，以执行某些任务(例如，控制烤箱或订购食物)。实现此类界面的一个挑战是，可以不基于物理环境提供虚拟对象。例如，用户可以站在厨房中，同时在CGR界面中提供与客厅娱乐有关的虚拟对象。因此，这些虚拟对象与用户当前所在的物理环境具有有限的相关性。用于确定用户位置的常规技术，诸如全球定位系统(GPS)，通常具有在米范围内的定位误差，使得难以确定例如房屋或建筑物内的用户的精确物理环境(例如，客厅、厨房、卧室)。

另外，用于确定物理环境的类型的许多当前技术使用在物理环境中识别的实体，但是受限于它们不区分在物理环境中识别的实体的类型。因此，可以损害或减少确定物理环境类型的准确性。例如，可以在许多类型的物理环境(例如，厨房、餐厅、客厅等)中找到某些类型的实体(例如，天花板、墙壁或桌子)，并且因此不是物理环境类型的可靠指标。又如，易于移动的实体(例如，猫、狗)通常不是物理环境类型的可靠指标。

根据本文描述的一些实施方案，使用一个或多个相机获得与物理环境对应的图像数据。基于该图像数据，识别物理环境中的实体的至少一部分。基于所识别的实体的至少一部分，确定实体是否为第一类型的实体。然后基于第一类型的实体确定物理环境的类型。第一类型的实体也称为内部实体，其通常是用于确定物理环境类型的可靠指标。因为只有通常是物理环境类型可靠指标的实体才能用于确定物理环境的类型，所以本申请中描述的技术需要识别较少数量的实体，从而提高识别物理环境类型的性能、降低功率销耗并提高操作效率。

在一些示例中，基于所确定的物理环境的类型(例如，客厅、厨房、卧室等)，虚拟对象以物理环境的表示形式显示，以提供与物理环境的类型对应(例如，具体)的一个或多个服务。因此，所显示的虚拟对象与例如房屋或建筑物内的物理环境(例如，客厅、厨房、卧室)的类型相关。以这种方式准确地向用户提供服务增强了用户体验并改善了系统的性能。

图1A和图1B描绘了用于各种计算机生成的现实技术的示例性系统100。

在一些实施方案中，如图1A所示，系统100包括设备100a。设备100a包括各种部件，诸如一个或多个处理器102、一个或多个RF电路104、一个或多个存储器106、一个或多个图像传感器108、一个或多个取向传感器110、一个或多个麦克风112、一个或多个位置传感器116、一个或多个扬声器118、一个或多个显示器120和一个或多个触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。

在一些实施方案中，系统100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且系统100的其他元件在设计成由用户佩戴的头戴式显示器(HMD)设备中实现，其中HMD设备与基站设备通信。在一些示例中，设备100a在基站设备或HMD设备中实现。

如图1B所示，在一些实施方案中，系统100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括一个或多个处理器102、一个或多个RF电路104和一个或多个存储器106。这些部件任选地通过设备100b的通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如一个或多个处理器102、一个或多个RF电路104、一个或多个存储器106、一个或多个图像传感器108、一个或多个取向传感器110、一个或多个麦克风112、一个或多个位置传感器116、一个或多个扬声器118、一个或多个显示器120和一个或多个触敏表面122。这些部件任选地通过设备100c的通信总线150进行通信。

在一些实施方案中，系统100是移动设备。在一些实施方案中，系统100是头戴式显示器(HMD)设备。在一些实施方案中，系统100是可穿戴HUD设备。

系统100包括处理器一个或多个102和一个或多个存储器106。一个或多个处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些实施方案中，一个或多个存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存、随机存取存储器)，这些计算机可读指令被配置为由一个或多个处理器102执行以进行下面文述的技术。

系统100包括一个或多个RF电路104。一个或多个RF电路104任选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。一个或多个RF电路104任选地包括用于使用近场通信和/或短程通信(诸如)进行通信的电路。

系统100包括一个或多个显示器120。在一些示例中，一个或多个显示器120包括第一显示器(例如，左眼显示器面板)和第二显示器(例如，右眼显示器面板)，每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。任选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些示例中，一个或多个显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。任选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。

在一些实施方案中，系统100包括用于接收用户输入的一个或多个触敏表面122，诸如轻击输入和轻扫输入。在一些示例中，一个或多个显示器120和一个或多个触敏表面122形成一个或多个触敏显示器。

系统100包括一个或多个图像传感器108。一个或多个图像传感器108任选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从真实环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。一个或多个图像传感器还任选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自真实环境的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到真实环境中。一个或多个图像传感器108还任选地包括一个或多个事件相机，这些事件相机被配置为捕获真实环境中的物理对象的移动。一个或多个图像传感器108还任选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理对象与系统100的距离。在一些示例中，系统100组合使用CCD传感器、事件相机和深度传感器来检测系统100周围的物理环境。在一些示例中，一个或多个图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器任选地被配置为从两个不同的视角捕获真实环境中的物理对象的图像。在一些示例中，系统100使用一个或多个图像传感器108来接收用户输入，诸如手势。在一些示例中，系统100使用一个或多个图像传感器108来检测系统100和/或一个或多个显示器120在真实环境中的位置和取向。例如，系统100使用一个或多个图像传感器108来跟踪一个或多个显示器120相对于真实环境中的一个或多个固定对象的位置和取向。

在一些实施方案中，系统100包括一个或多个麦克风112。系统100使用一个或多个麦克风112来检测来自用户和/或用户的真实环境的声音。在一些示例中，一个或多个麦克风112包括麦克风阵列(包括多个麦克风)，其任选地串联操作，以便识别环境噪声或在真实环境的空间中定位声源。

系统100包括用于检测系统100和/或一个或多个显示器120的取向和/或移动的一个或多个取向传感器110。例如，系统100使用一个或多个取向传感器110来跟踪系统100和/或一个或多个显示器120的位置和/或取向的变化，诸如关于真实环境中的物理对象。一个或多个取向传感器110任选地包括一个或多个陀螺仪和/或一个或多个加速度计。

图2A描绘了根据各种实施方案的显示室内物理环境200的表示204(例如，图像)的用户设备202。在本实施方案中，用户设备202是独立设备，手持移动设备(例如，智能电话)或独立头戴式设备。应该认识到，在其他实施方案中，用户设备202可以通信地耦接到另一个设备，诸如基础设备(例如，基础设备102b)。在这些实施方案中，下文描述的用于在CGR环境中提供基于环境的内容的操作可以在用户设备202与其他设备之间共享。

图2A示出了用户210将用户设备202保持在用户手中的示例。在一些实施方案中，用户210将用户设备佩戴为头戴式设备。用户设备202可以使用一个或多个相机获得图像数据。示例性相机包括电荷耦合设备(CCD)型相机。

如上所述，在一些实施方案中，CGR界面包括物理环境的表示以及任选地一个或多个虚拟的对象。在一些实施方案中，用户设备202使用获得的图像数据呈现(例如，显示或投影)室内物理环境200的表示204。表示204是物理环境的实时2D图像或3D图像。例如，表示204是从用户设备202的角度来表示物理环境。在图2A中，物理环境200是用户厨房的至少一部分。一般来讲，物理环境可以是室内环境或室外环境。在室内环境中，物理环境可以是具体的房间或区域(例如，客厅、家庭房、办公室、厨房、教室、餐厅等)。如下文所详述，用户设备202可以基于物理环境的类型向用户提供内容(例如，虚拟对象)。例如，如果物理环境是厨房，则用户设备202可以呈现对应的虚拟对象，诸如食物配方、用于操作咖啡机的控件、或用于订购食物的用户交互机制。例如，如果物理环境是客厅，则用户设备202可以呈现对应的虚拟对象，诸如用于操作TV的控件、用于订购电影的用户交互机制，或用于订阅杂志的用户交互机制。

图2B描绘了包括被配置为识别室内物理环境的一个或多个实体的分类器210的用户设备(例如，用户设备202)的框图。如图2B所描绘，表示204是由用户设备202的一个或多个相机捕获或记录的图像。在一些实施方案中，当在用户设备的显示器206上呈现表示204时，该用户设备使用分类器210执行物理环境200的一个或多个实体的分类。可以随时间预定义、动态更新和/或训练分类器210。在一些实施方案中，对于室内物理环境，分类器210包括天花板分类器、墙壁分类器、表分类器、椅子分类器、水槽分类器、动物(例如，猫)分类器等。应当理解，可以基于设备的预期使用(例如，在家庭环境中使用)以任何期望的方式来预定用于物理环境的分类的分类器的类型。分类器可以用于任何实体类型和/或粒度。在一些示例中，分类器可用于识别椅子或特定类型的椅子(例如，草坪椅与躺椅)。

在一些实施方案中，还可以例如使用机器学习技术来调节(例如，学习或训练)用于分类的分类器的类型。例如，基于与不同物理环境相关联的训练数据，诸如过去使用过用户设备的训练数据(例如，经常使用用户设备的物理环境是客厅、厨房等)，可以导出或确定用于分类的分类器的类型(例如，天花板分类器、地板分类器、表分类器)。

如图2B所示，分类器210识别物理环境200的一个或多个实体，包括但不限于水槽211A、猫211B、墙壁211C、金属件211D和椅子211E。在一些实施方案中，分类器210识别整个实体(例如，猫211B)或实体的一部分(例如，角落作为墙壁211C的一部分)。如下文所详述，在一些实施方案中，如果识别出实体的第一部分(例如，椅子211E的一条腿、墙壁211C的角落等)，并且可以确定该实体的一个或多个属性而不必识别整个实体，则分类器210可以放弃识别实体的另一部分或放弃识别整个实体。识别实体的一部分而不是整个实体可以提高识别速度、降低功率消耗，从而改善电子设备的操作效率。在一些实施方案中，分类器210基于分层分类技术识别物理环境中的一个或多个实体。例如，分类器210使用小于全套可用分类器的预定义分类器的子集来执行初始分类。初始分类识别一个或多个预定义实体。基于所识别的一个或多个预定义实体来估计物理环境的几何布局。基于几何布局确定区域，并且使用与所确定的区域对应的分类器来执行第二级别分类。因此，分类器210可以识别所确定的区域中的特定实体。由于并非所有可用分类器都用于所有实体，因此分层分类改善了识别物理环境中特定实体的性能，降低了功率消耗并实现了实时分类。

在一些实施方案中，基于当前识别的实体的至少一部分，用户设备确定当前识别的实体的至少一部分是否与先前识别的实体的至少一部分对应。例如，用户设备可以存储与先前识别的实体相关联的数据(例如，地图)，包括它们的分类、它们的位置、彼此的关系、布局等。用户设备可以将与先前识别的实体相关联的数据与当前识别的实体的至少一部分进行比较，并确定当前识别的实体的至少一部分是否与先前识别的实体的部分对应。如果是，则用户设备不执行当前识别的实体的一个或多个属性的确定，并且继而不确定当前识别的实体是否属于第一类型(例如，该实体是可用于确定用户设备正面向或位于其中的物理环境的一个内部)。如果当前识别的实体的至少一部分不与先前识别的实体的至少一部分对应，则用户设备存储指示当前识别的实体的至少一部分的数据，例如，基于其执行进一步的实体类型和环境类型确定。作为一个示例，用户设备可能先前已经识别了如表示204所示的室内物理环境200的一个或多个实体，诸如水槽211A。在用户设备执行先前识别之后，猫211B可以进入厨房(例如，从另一个房间)。然后，用户设备的分类器210可以识别猫211B并确定猫211B不与任何先前识别的实体对应。结果，用户设备可以存储与猫211B相关联的数据以进一步确定或处理。在一些实施方案中，通过确定当前识别的实体(或其一部分)是否与先前识别的实体对应并且针对先前未识别的实体执行进一步的确定或处理，用户设备减少了功率消耗(例如，电池功率)，提高了处理速度，从而改善了整体操作效率。

在一些实施方案中，基于所识别的实体(或其一部分)，用户设备确定实体的一个或多个属性。例如，基于所识别的实体的至少一部分，用户设备对实体进行分类并从多个已知或学习的实体获得实体的属性。参考图2C，用户设备将水龙头和容器识别为水槽211A的一部分(如图2B所示)。基于所识别的水龙头和容器，用户设备将对应的实体分类(例如，使用分类器210)作为水槽类实体231A，并确定水槽类实体231A的一个或多个属性。

如图2C所示，由用户设备确定的实体属性之一是移动性，如确定234A所示。移动性是描述实体可物理移动的程度的属性(例如，随时间改变位置的能力)。作为图2C中所示的示例，用户设备确定水槽类实体231A是固定装置并因此高度静止和/或不可能移动。

由用户设备确定的另一实体属性是该实体是建筑物结构还是其一部分，如确定234B所示。建筑物结构属性指示实体是否为建筑物结构的一部分(例如，墙壁、天花板、地板等)。作为图2C中所示的示例，用户设备确定水槽类实体231A通常不是建筑物结构的一部分。

由用户设备确定的另一实体属性是实体的一致性，如确定234C所示。一致性指示实体外观随时间变化的程度。作为图2C中所示的示例，用户设备确定水槽类231A的外观通常不随时间变化并因此高度一致。

由用户设备确定的另一实体属性是实体的错误分类的可能性，如确定234D所示。如上所述，基于所识别的实体的至少一部分，用户设备对对应的实体进行分类。例如，基于所识别的水龙头和容器，用户设备将该实体分类为水槽类实体231A。在一些示例中，分类可以与错误的可能性相关联。例如，水龙头和容器也可以与水槽以外的另一个实体相关联。因此，在一些实施方案中，用户设备可以估计错误分类的可能性(例如，基于实体的属性、实体的类和/或物理环境中的其他实体)。作为图2C中所示的示例，用户设备确定水槽类实体231A的错误分类的可能性为低。虽然图2C示出了用户设备确定的四种类型的属性，但是应当理解，还可以确定任何数量的其他类型的属性。

参考图2C，在一些实施方案中，基于实体属性的一个或多个确定(例如，确定234A-D)，用户设备确定该实体是否为第一类型的实体。在一些示例中，第一类型的实体也被称为内部实体，其是可以用于确定与实体相关联的物理环境的实体(例如，实体所在的物理环境)。

在一些实施方案中，为了确定实体是否为第一类型的实体，用户设备确定一个或多个属性的组合是否超过置信度阈值。例如，用户设备可以为每个实体属性确定属性值或分数。使用图2C中所示的示例，用户设备确定用于水槽类实体231A的移动性属性值低(或对应的数值)，从而指示水槽类实体231A是静止的。用户设备还可以确定水槽类实体231A的建筑物结构属性值是负的(或对应的数值)，从而指示水槽类231A不是建筑物结构。用户设备还可以确定水槽类实体231A的一致性属性值高(或对应的数值)，从而指示水槽类231A的出现随时间高度一致。用户设备还可以确定对水槽类实体231A的错误分类的可能性为低(或对应的数值)，从而指示对水槽211A的正确分类的置信度为高。应当理解，用户设备可以确定一个或多个属性的属性值或分数和/或确定任何附加属性的属性值。

在一些实施方案中，用户设备还可以确定属性的总计数。如上所述，用户设备可以使用实体的一个或多个属性来确定该实体是否属于第一类型。在图2C所示的示例中，可以使用包括移动性、建筑物结构、一致性和错误分类和/或任何其他属性(未示出)的一个或多个属性来确定实体是否属于第一类型。如果使用了所有属性且未使用其他属性，则用户设备确定属性的总计数为四。

基于属性值或分数与这些属性的总计数的组合，用户设备可以确定该实体是否为第一类型的实体。在一些实施方案中，为了确定实体的类型，用户设备确定一个或多个属性值与一个或多个属性的总计数的组合是否超过置信度阈值。可以基于属性值/类型指标标准与属性值的总计数的分数的比较来配置置信度阈值。例如，如果一个或多个属性的大多数或所有属性值满足类型指标标准，则可以用相对小的属性值计数满足置信度阈值。使用图2C中所示的示例，用户设备确定属性的所有属性值(例如，移动性低、建筑物结构为负、一致性高，并且错误分类的可能性低)满足类型指标标准。例如，静止的实体不是建筑物结构的一部分，不会随时间而改变其外观，并且不太可能被错误地分类通常是实体所在的物理环境(例如，厨房)的良好且可靠指标。因此，用户设备确定可以基于这4个(或更少)属性(例如，总计数为4或更小)确定实体类型(例如，内部或外部)。

在一些实施方案中，为了在至少一些属性值不满足类型指标标准时超过置信度阈值，可能需要相对大量的属性值来可靠或准确地确定实体的类型。因此，用于确定实体类型的置信度阈值可以被配置为例如需要至少三个属性，其中所有属性都满足类型指标标准，至少五个属性，其中一些属性值等于或略低于类型指标标准，或至少十个属性，其中一些属性值明显低于类型指标标准。在一些实施方案中，可以动态地更新或学习用于确定实体类型的置信度阈值和/或标准(例如，通过机器学习模型的训练)。

在一些实施方案中，根据确定一个或多个属性值与这些属性的总计数的组合满足(例如，超过)用于确定实体类型的置信度阈值，用户设备确定该实体属于第一类型。继续图2C中所示的示例，如果置信度阈值被配置为具有高于置信水平标准的所有属性值的至少三个属性，则用户设备确定水槽211A的实体(与水槽类实体231A对应)是第一类型的实体(例如，内部)，其可以用于确定与实体相关联的物理环境(例如，厨房的物理环境)。

在一些实施方案中，根据确定一个或多个属性值与一个或多个属性的计数的组合不满足(例如，不超过)置信度阈值，用户设备确定该实体具有与第一类型不同的第二类型。在一些示例中，第二类型实体也称为外部，其不能用于确定与实体相关联的物理环境。下文在图2D至图2F中更详细地描述了第二类型实体的识别和分类。

如上关于图2B所述，分类器210识别猫211B的至少一部分。此后，如图2D所示，用户设备基于所识别的猫211B的至少一部分来确定猫211B的一个或多个属性。用户设备识别例如猫211B的腿部、尾巴和/或胡须。基于所识别的腿部、尾巴和/或胡须，用户设备将对应的实体分类(例如，使用分类器210)作为猫类实体231B，并确定猫类实体231B的属性。在一些实施方案中，用户设备在没有首先将对应实体分类到特定类实体的情况下确定属性。例如，使用已识别的猫211B的腿部，并且不将对应的实体分类为猫类实体，用户设备可以确定猫211B的移动性属性值(例如，对应的实体可能是高度移动的，因为具有腿部的任何东西都可能是移动的)。

图2D描绘了根据本公开的实施方案的用于对所识别的实体进行分类并确定所分类的实体的类型的流程。参考图2D，用户设备确定的属性可以包括移动性、建筑物结构属性、一致性、错误分类的可能性和/或任何其他属性。例如，如图2D中的确定234A-D所示，用户设备确定猫类实体231B是高度移动的；不是建筑物结构；随着时间推移一定程度地一致；并且分别具有错误分类的中等可能性(例如，具有腿部、尾巴和胡须的某物也可以是像虎一样的其他动物)。基于所确定的属性，用户设备进一步确定一个或多个属性的组合是否超过置信度阈值。继续图2D中所示的示例，用户设备确定用于移动性的属性值高(或对应的数值)，从而指示猫类实体231B是静止的。用户设备还可以确定建筑物结构属性值是负的(或对应的数值)，从而指示猫类实体231B不是建筑物结构。用户设备还可以确定用于一致性的属性值是中等(或对应的数值)，从而指示猫类实体231B的外观可以随时间改变(例如，随时间推移猫变脏或变老)。用户设备还可以确定错误分类的可能性的属性值是中等(或对应的数值)，从而表示猫211B对猫类实体231B的正确分类的置信度在中等范围内。应当理解，用户设备可以确定一个或多个属性的属性值，如确定234A-D所示，并且/或者确定附加属性的属性值。

基于属性值和这些属性的总计数的组合，用户设备通过例如确定该组合是否满足置信度阈值来确定实体是否属于第一类型。继续图2D中所示的示例，用户设备确定猫类实体231B的移动性属性值不满足类型指标标准(例如，高度移动的实体通常不是物理环境类型的可靠指标)。用户设备还可以确定建筑物结构属性值(例如，负)满足类型指标标准；一致性属性值(例如，一定程度地一致)等于或稍高于类型指标标准；并且错误分类的可能性(例如，中等)等于或略低于类型指标标准。此外，用户设备确定用于确定实体类型的属性的总计数。在图2D所示的示例中，用户设备可以使用例如包括移动性、一致性和错误分类的属性来作出此类确定，因为猫类实体231B显然不是建筑物结构，因此建筑物结构属性可能不太相关，并且因此没有或给予很少权重。因此总计数是三。

如上所述，为了确定实体类型，用户设备确定一个或多个属性值与一个或多个属性的计数的组合是否满足置信度阈值。例如，如果置信度阈值被配置为具有高于置信水平标准的所有属性值的至少三个属性，则用户设备确定猫211B(与猫类实体231B对应)为第二类型的实体(例如，外部)，其不能用于确定与实体相关联的物理环境。在图2D所示的示例中，猫的实体可以存在于任何物理环境中，因此对于物理环境的类型而言是不太可靠的指标。

图2E示出了根据本公开的实施方案的用于对所识别的实体进行分类并确定所分类的实体的另一个流程。如上面关于图2B所述，分类器210识别墙壁211C的至少一部分(例如，墙壁211C的角部)。如图2E所示，基于所识别的墙壁211C的至少一部分，用户设备确定墙壁211C的一个或多个属性。例如，基于墙壁211C的角落，用户设备将墙壁211C分类(例如，使用分类器210)作为墙类实体231C，并确定墙壁类实体231C的属性。

参考图2E并且类似于上面描述的那些，用户设备确定的属性可以包括移动性、建筑物结构属性、一致性、错误分类的可能性和/或任何其他属性。例如，对应于在确定234A-D处所示的属性，用户设备确定墙壁类实体231C不是移动的；是建筑物结构；随着时间推移一致；并且分别具有错误分类的中等可能性(例如，错误地将具有角落的搁架分类为墙壁)。在一些实施方案中，类似于上述那些，用户设备确定一个或多个属性的组合是否超过置信度阈值。使用图2E中所示的示例，用户设备确定建筑物结构属性值为正(或对应的数值)，从而指示墙壁类实体231B是建筑物结构。如上所述，建筑物结构可能不是物理环境类型的可靠指标，因为它是在许多类型的物理环境中发现的共同实体。用户设备还可以确定移动性属性值低，一致性属性值高，以及错误分类的可能性是中等(或对应的数值)。应当理解，用户设备可以确定属性值，如确定234A-D所示，并且/或者确定附加属性的属性值。

基于属性值和这些属性的总计数的组合，用户设备通过例如确定该组合是否满足置信度阈值可以确定实体是否属于第一类型。继续图2E中所示的示例，用户设备确定移动性(例如，静止的)的移动性属性值满足类型指标标准；建筑物结构属性值(例如，正)不满足类型指标标准；一致性属性值(例如，高度一致)满足类型指标标准；并且错误分类的可能性(例如，中等)满足类型指标标准。此外，用户设备确定用于确定实体类型的属性的总计数。在图2E所示的示例中，用户设备可以使用例如建筑物结构、一致性和用于此类确定的错误分类的属性。用户设备还可以为建筑物结构属性分配更多权重并且为移动性分配更少或不分配权重，因为建筑物结构显然是不移动的，因此移动性的移动属性不太相关。

如上所述，为了确定实体类型，用户设备确定一个或多个属性值与一个或多个属性的计数的组合是否满足置信度阈值。例如，如果置信度阈值被配置为具有超过类型指标标准的所有属性值的至少三个属性，则用户设备确定墙壁211C(与墙壁类实体231C对应)是第二类型的实体(例如，外部)，其不能用于确定与实体相关联的物理环境。在图2E所示的示例中，墙壁的实体可以存在于任何室内物理环境中，因此对于物理环境的类型而言是不太可靠的指标。

图2F描绘了根据本公开的实施方案的用于对所识别的实体进行分类并确定所分类的实体的另一个流程。如上面关于图2B所述，分类器210将金属件211D识别为冰箱的一部分，但是可以不将该实体识别为冷藏机。如图2F所示，基于所识别的金属件211D，用户设备确定金属件211D的一个或多个属性。在一些实施方案中，为了确定实体的属性，用户设备将实体分类(例如，使用分类器210)作为金属件类实体231D并确定金属件类实体231D的属性。

参考图2F，由用户设备确定的属性可以包括移动性、建筑物结构属性、一致性、错误分类的可能性和/或任何其他属性。例如，对应于在确定234A-D处所示的属性，用户设备确定金属件类实体231D可能不移动；可以是建筑物结构；随着时间推移一致；并且很可能分别发生错误分类(例如，可以附着金属件或各种不同实体的一部分，诸如器具、建筑物结构、搁架、门、刀、烹饪锅等)。类似于上面描述的那些，用户设备确定一个或多个属性与这些属性的总计数的组合是否超过置信度阈值。使用图2F中所示的示例，用户设备可以确定错误分类的可能性为高(或对应的数值)，从而指示金属件211D的正确分类的置信度为低，因为金属件可以是任何实体的一部分。用户设备还可以确定移动性属性值为低至中等；建筑物结构属性值是介于正负之间某个值；并且一致性属性值234C为高(或对应的数值)。应当理解，用户设备可以确定一个或多个属性的属性值，如确定234A-D所示，并且/或者确定附加属性的属性值。

基于属性值与这些属性的总计数的组合，用户设备可以确定该实体是否属于第一类型。如上所述，在一些实施方案中，用户设备确定一个或多个属性值与一个或多个属性的计数的组合是否满足置信度阈值。继续图2F中所示的示例，用户设备确定移动性属性值(例如，可能是静止的)等于或略高于类型指标标准；建筑物结构属性值(例如，在正负之间)是否等于或略低于类型指标标准；一致性属性值(例如，高度一致)满足类型指标标准；并且错误分类的可能性(例如，高)不满足类型指标标准。此外，用户设备确定用于确定实体类型的属性的总计数。在图2F所示的示例中，用户设备可以使用例如包括移动性、建筑物结构、一致性和用于此类确定的错误分类的所有属性。用户设备还可以为错误分类的可能性分配更多权重，因为初始正确分类可以是后续确定属性的重要因素。

如上所述，为了确定实体类型，用户设备确定一个或多个属性值与一个或多个属性的总计数的组合是否满足置信度阈值。例如，如果置信度阈值被配置为具有高于类型指标标准的所有属性值的至少三个属性，则用户设备确定金属件211D(与金属件类实体231D对应)是第二类型的实体(例如，外部)，其不能用于确定与实体相关联的物理环境。在图2F所示的示例中，金属件的实体可以存在于任何物理环境的实体的一部分中，因此对于物理环境的类型而言不是可靠的指标。

图2G示出了根据本公开的实施方案的用于对所识别的实体进行分类并确定所分类的实体的类型的另一个流程。如上关于图2B所述，分类器210识别物理环境200的椅子211E。如图2G所示，基于所识别的椅子211E，用户设备确定椅子211E的一个或多个属性。在一些实施方案中，为了获得实体的属性，用户设备将椅子211E分类(例如，使用分类器210)作为椅子类实体231E并获得椅子类实体231E的属性。

参考图2G并且类似于上面描述的那些，用户设备可以确定的属性包括移动性、建筑物结构、一致性、错误分类的可能性和/或任何其他属性。例如，对应于在确定234A-D处所示的属性，用户设备确定椅子类实体231E在一定程度上是移动的(例如，椅子可以固定到地板上或移动到另一个地方)；不是建筑物结构；随着时间推移一致；并且分别具有较低的错误分类可能性。在一些实施方案中，类似于上面描述的那些，用户设备确定一个或多个属性与这些属性的总计数的组合是否超过置信度阈值。使用图2G所示的示例，用户设备确定移动性属性值为中等；建筑物结构属性值为负；一致性属性值为高；并且错误分类的可能性为低(或对应的数值)。应当理解，用户设备可以确定一个或多个属性的属性值，如确定234A-D所示，并且/或者确定附加属性的属性值。

基于属性值或分数与这些属性的总计数的组合，用户设备可以确定该实体是否属于第一类型。如上所述，在一些实施方案中，用户设备确定一个或多个属性值与一个或多个属性的总计数的组合是否满足置信度阈值。继续图2G中所示的示例，用户设备确定移动性属性值(例如，可能是静止的)等于或略高于类型指标标准；建筑物结构属性值(例如，负)满足类型指标标准；一致性属性值(例如，高度一致)满足类型指标标准；并且错误分类的可能性(例如，低)满足类型指标标准。此外，用户设备确定用于确定实体类型的属性的总计数。在图2G所示的示例中，用户设备可以使用例如包括移动性，建筑物结构、一致性和用于此类确定的错误分类的可能性的所有四个属性。用户设备还可以向移动性属性和/或错误分类的可能性分配更多权重。例如，如果椅子类实体231E是条形椅子类实体并且固定在地板上，则它是用于确定物理环境(例如，厨房)类型的重要因素。如果椅子类实体231E是常规可移动椅子类实体并且可以从一个地方移动到另一个地方，则它是用于确定物理环境的类型的不太重要的因素，因为常规可移动椅子可以位于任何物理环境中。

如上所述，为了确定实体的类型，用户设备确定一个或多个属性值与一个或多个属性的计数的组合是否满足置信度阈值。例如，如果置信度阈值被配置为具有高于置信水平标准的所有属性值的至少四个属性，则用户设备确定椅子211E(与椅子类实体231D对应)可能是第一类型的实体(例如，内部)，其可以用于确定与实体相关联的物理环境。

在一些实施方案中，确定实体是否为第一类型的实体是基于训练数据。例如，基于机器学习技术，可以用训练数据训练用户设备，以确定各种实体的类型。用户设备还可以随时间推移学习和改善实体类型的确定。

参考图2H，在一些实施方案中，基于物理环境中的一个或多个实体是第一类型的实体(例如，内部)的确定，用户设备确定与实体相关联的物理环境的类型。如上述参考图2B至图2G中所示的示例，用户设备确定水槽211A和椅子211E可能是第一类型实体(例如，内部)，并且猫211B、墙壁211C、金属件211D是第二类型实体(例如，外部)。在一些实施方案中，基于所识别的实体包括至少一个第一类型实体的确定，用户设备可以继续确定物理环境的类型。例如，基于物理环境包括水槽211A的确定，用户设备可以确定物理环境是厨房。在一些实施方案中，用户设备可能需要不止一个第一类型实体来确定物理环境的类型。例如，用户设备可以识别和/或分类一个或多个附加实体(例如，椅子211E、烤箱、冷藏机、厨房的工作台面、微波炉、炉子等，如图2B所示)以确定物理环境的类型。识别第一类型的更多实体可以改善确定的准确性并降低错误的可能性，从而改善操作效率和用户满意度。

在一些实施方案中，用户设备通过将第一类型的一个或多个实体(例如，水槽211A和椅子211E)与被确定为与厨房类型的物理环境相关联的一个或多个实体进行比较，以执行物理环境的类型的确定。如果与物理环境的类型相关联的实体与第一类型的实体匹配，后者数量或百分比大于阈值数量或百分比(例如，90％)，则用户设备确定物理环境的类型是预定义类型(例如，厨房)。

在一些实施方案中，不止一种类型的物理环境可以包括相同的特定实体。例如，参考图2B，用户设备将水龙头和容器识别为水槽211A并确定水槽211A是第一类型的实体(例如，因为它是不移动的，在一段时间内是一致的，而不是建筑物结构，并且错误分类的可能性很低)。例如，水槽可以是厨房水槽或浴室水槽。因此，用户设备可能无法仅基于水槽211A来确定用户设备正面向或位于其中的物理环境的类型。

在一些实施方案中，除了第一类型的一个或多个实体(例如，水槽211A)之外，用户设备可以被配置为使用其他信息来确定物理环境的类型。此类附加信息包括例如物理环境中的其他实体(如果有点话)(例如，烤箱、微波炉、厨房的工作台面等，如图2B所示)、物理环境的几何布局和/或上下文信息，例如电子设备。作为一个示例，除了水槽211A之外，用户设备可以使用物理环境中的其他实体确定物理环境的类型是厨房。又如，用户设备可以识别餐巾盒并确定餐巾盒是第一类型的实体，但是由于它是可移动的，所以不能仅基于餐巾盒确定环境的类型。用户设备可以使用上下文信息，诸如过去移动餐巾盒的频率，以确定它很少被移出餐厅。因此，用户设备可以确定物理环境的类型是餐厅。在一些实施方案中，基于附加信息，用户设备可以选择多种类型的物理环境(例如，厨房、浴室)中的一种作为与用户设备相关联的物理环境的类型。

在一些实施方案中，用户设备可能无法确定物理环境的类型(具有或不具有附加信息)，或者可能需要来自用户的关于物理环境的类型的确认。因此，在一些示例中，在用户设备确定多个候选物理环境之后，用户设备输出所确定的物理环境(例如，视觉和/或听觉输出)，并从用户处接收对多个候选物理环境之一的选择。

参考图2H，在一些实施方案中，基于所确定的物理环境的类型，用户设备被配置为呈现与所确定的物理环境的类型对应的一个或多个虚拟对象。如图2H所示，在一些实施方案中，用户设备202呈现物理环境200的表示204，如所描述的，可以将其确定为厨房。表示204可以是例如2D图像、视频、动画、3D图像、或物理环境的任何类型的视觉表示或物理环境的特定实体。例如，用户设备202在物理环境中呈现所识别的实体(第一类型和第二类型)的表示(例如，水槽211A的图像，猫211B的图像等)。

在一些实施方案中，用户设备202可以被配置为在呈现厨房的表示204的同时使用与物理环境对应的一个或多个虚拟对象来提供一个或多个服务。参考图2H，如上所述，本实施方案中的物理环境的类型被确定为厨房。因此，用户设备202可以提供例如虚拟对象286(例如，虚拟遥控器)，使用户能够控制烤箱(例如，设置烘烤时间2小时)；以及虚拟对象288(例如，用户交互机制)向用户提供晚餐食谱建议。在一些实施方案中，虚拟对象可以叠加(例如，重叠)在表示上。虚拟对象还可以呈现在用户设备202的单独显示区域或通信地耦接到用户设备202的另一设备上。

在一些实施方案中，用户设备在不确定(例如，之前)物理环境的类型的情况下呈现一个或多个虚拟对象。例如，用户设备可以识别物理环境中的TV实体。以举例的方式，在一些实施方案中，用户设备确定可以基于所识别的实体提供服务，而不管物理环境的类型如何。例如，无论TV实体是位于卧室还是客厅，都可以提供TV指南服务或TV订阅服务。因此，用户设备被配置为基于所识别的TV实体呈现一个或多个虚拟对象(例如，使用户能够接收在线电影流服务的虚拟对象)，而不必确定物理环境的类型(例如，物理环境是客厅还是卧室)。

在一些实施方案中，在用户设备显示一个或多个虚拟对象之后，用户设备接收表示选择一个或多个呈现的虚拟对象的虚拟对象的输入(例如，来自用户设备的用户)，并根据所选择的虚拟对象执行一个或多个任务。例如，用户设备可以接收虚拟对象288的选择。基于该选择，用户设备可以进一步呈现食谱建议的细节和/或到网站的超链接以购买食谱的成分。

在一些实施方案中，物理环境的类型的确定基于位于用户设备的视野中的一些或所有实体。在以上示例中，位于用户设备的视野中的实体可以包括水槽、猫、椅子、烤箱、冷藏机等。因此，物理环境类型的确定基于这些实体。在一些示例中，当用户设备被定位为面向另一方向时，用户设备的视野改变。因此，可以基于位于所改变的视野中的实体来更新或重新执行物理环境的类型的确定。此外，还可以对应于所改变的视野中的实体来更新在用户设备上呈现的虚拟对象。例如，用户设备可以呈现与位于所改变的视野中的实体对应的其他虚拟对象(例如，如果位于所改变的视野中的实体之一是TV，则虚拟对象使用户能够接收电影流服务)，而不是呈现虚拟对象286和288。

虽然以上示例涉及室内物理环境(例如，厨房)，但是应当理解，上述技术也可以用于室外物理环境。图3A至3E描绘了室外物理环境的实体的表示，用于对所识别的实体进行分类并确定所分类的实体的类型的流程，以及包括虚拟对象的CGR界面。

图3A描绘了呈现室外物理环境300的表示304的用户设备202。图3A示出了用户210将用户设备202保持在用户手中的示例。在一些实施方案中，用户210将用户设备佩戴为头戴式设备。用户设备202可以使用一个或多个相机获得图像数据。示例性相机包括电荷耦合设备(CCD)型相机和事件相机。

在一些实施方案中，用户设备202使用获得的图像数据呈现室外物理环境300的表示304。表示304是从用户设备202的角度的物理环境300的实时2D图像或3D图像。在图3A中，物理环境300是公园的至少一部分。

图3B描绘了包括被配置为识别室外物理环境的一个或多个实体的分类器310的用户设备(例如，用户设备202)的框图。如图3B所描绘，表示304是由用户设备的一个或多个相机捕获或记录的图像。在一些实施方案中，当在用户设备的显示器306上呈现表示304时，该用户设备使用分类器310执行分类。可以随时间预定义、动态更新和/或训练分类器310。在一些实施方案中，对于室外环境，分类器310包括树分类器、叶子分类器、建筑物分类器、湖泊分类器、草坪分类器等。因此，分类器310可以包括来自分类器210的不同分类器，其用于室内环境。在一些实施方案中，分类器310基于上述分层分类技术识别物理环境中的一个或多个实体。如图3B所示，分类器310识别一个或多个实体，包括但不限于树叶311A，树干311B，房屋311C等。在一些实施方案中，分类器310识别整个实体(例如，房屋311C)或实体的一部分(例如，树的树叶311A和树干311B)。在一些实施方案中，基于所识别的实体(或其一部分)，用户设备确定实体的一个或多个属性。例如，基于所识别的实体的一部分，用户设备对实体进行分类并从多个已知或学习的实体确定实体的属性。图3C描绘了根据本公开的实施方案的用于对所识别的实体进行分类并确定所分类的实体的类型的流程。参考图3C，用户设备识别一个或多个叶子。基于所识别的叶子，用户设备将该实体分类(例如，使用分类器310)作为叶子类实体331A，并确定叶子类实体331A的属性。

如图3C所示，并且类似于上面描述的那些，用户设备确定的属性之一是移动性，如确定234A所示。作为图3C中所示的示例，用户设备确定叶子类实体331A通常不可移动(例如，静止的)或仅在短距离内可稍微移动(例如，叶子可在风中移动)。由用户设备确定的另一个属性是建筑物结构属性，如确定234B所示。作为图3C中所示的示例，用户设备确定叶子类实体331A通常不是建筑物结构的一部分。由用户设备确定的另一个属性是一致性，如确定234C所示。作为图3C中所示的示例，用户设备确定叶子类实体331A的外观通常随时间改变(例如，基于季节的改变)并因此是不一致的。

由用户设备确定的另一个属性是实体的错误分类的可能性，如确定234D所示。作为图3C中所示的示例，用户设备确定叶子类实体331A的错误分类的可能性为低。虽然图3C示出了用户设备确定的四种类型的属性，但是应当理解，还可以确定其他类型的属性。

参考图3C，在一些实施方案中，基于实体属性的一个或多个确定(例如，确定234A-D)，用户设备确定该实体是否为第一类型的实体。如上所述，用户设备可以确定每个属性的属性值或分数以及这些属性的总计数。使用图3C中所示的示例，用户设备确定叶子类实体331A的一致性属性值为低(或对应的数值)，从而指示叶子类实体331A可以随时间改变其外观(例如，基于季节)。用户设备还可以确定叶子类实体331A的建筑物结构属性值为负；移动性属性值为低(或对应的数值)；并且错误分类的可能性为低(或对应的数值)。应当理解，用户设备可以确定一个或多个属性的属性值，如确定234A-D所示，并且/或者确定附加属性的属性值。

基于属性值或分数与这些属性的总计数的组合，用户设备可以确定该实体是否属于第一类型。如上所述，在一些实施方案中，用户设备确定一个或多个属性值与一个或多个属性的计数的组合是否满足置信度阈值。继续图3C中所示的示例，用户设备确定一致性属性值(例如，不一致)不满足类型指标标准。通常，随时间改变其外观的实体不是物理环境类型的可靠指标。用户设备还确定移动性属性值(例如，静止的)满足类型指标标准；建筑物结构属性值(例如，负)满足类型指标标准；并且错误分类的可能性(例如，低)满足类型指标标准。此外，用户设备确定用于确定实体类型的属性的总计数。在图3C所示的示例中，用户设备可以使用例如包括移动性、建筑物结构和一致性的属性作出此类确定，因为叶子类实体331A显然不是建筑物结构，并且因此建筑物结构属性不太相关，因此没有或给予很少权重。

如上所述，为了确定实体的类型，用户设备确定一个或多个属性值与一个或多个属性的总计数的组合是否满足置信度阈值。置信度阈值可以随时间预先配置、动态更新和/或学习。如果置信度阈值被配置为具有高于类型指标标准的所有属性值的至少三个属性，则用户设备确定树叶311A(与叶子类实体331A对应)是第二类型的实体(例如，外部)，其不能用于确定与实体相关联的物理环境。在图3C所示的示例中，叶子实体可以随时间改变其外观，因此不太可能是物理环境类型的可靠指标。

图3D示出了用于对所识别的实体(例如，树干311B)进行分类并确定树干类实体331B的类型的另一个流程。如图3D所示，用户设备可以确定如在确定234A、234B和234D处所示的属性，类似于上面关于图3所描述的那些。例如，用户设备确定树干类实体331B通常不可移动(例如，静止的)，不是建筑物结构的一部分，并且树干类实体331B的错误分类的可能性为低。

用户设备可以确定的另一个属性是一致性属性，如确定234C所示。作为图3D中所示的示例并且与图3C中的不同，用户设备确定树干类实体331B的外观通常不随时间改变(例如，基于季节不改变)并因此是一致的。

参考图3D，在一些实施方案中，基于实体的一个或多个属性(例如，移动性、建筑物结构、一致性和/或错误的分类)与这些属性的总计数的组合，用户设备确定该实体是否为第一类型的实体。如上所述，用户设备可以确定每个属性的属性值或分数以及这些属性的总计数。使用图3D所示的示例，用户设备确定树干类实体331B的移动性属性值为低；建筑物结构属性值为负；一致性属性值为高；并且错误分类的可能性为低(或对应的数值)，从而表示对于树干类实体311B的正确分类的置信度为高。应当理解，用户设备可以确定一个或多个属性的属性值，如确定234A-D所示，并且/或者确定附加属性的属性值。

在一些实施方案中，用户设备还可以确定属性的总计数。在图3C所示的示例中，如确定234A-D所示的一个或多个属性和/或任何其他属性(未示出)可用于确定实体是否属于第一类型。例如，如果使用移动性、一致性和错误的分类属性但不使用建筑物结构属性(因为它不太相关，并且因此没有给予权重)，则用户设备确定属性的总数是三。

基于属性值或分数与这些属性的总计数的组合，用户设备可以确定该实体是否属于第一类型。如上所述，在一些实施方案中，用户设备确定一个或多个属性值与一个或多个属性的计数的组合是否满足置信度阈值。继续图3D中所示的示例，用户设备确定移动性属性值(例如，静止的)满足类型指标标准；一致性属性值(例如，高度一致)满足类型指标标准；并且错误分类的可能性(例如，低)满足类型指标标准。

如上所述，为了确定实体的类型，用户设备确定一个或多个属性值与一个或多个属性的总计数的组合是否满足置信度阈值。例如，如果置信度阈值被配置为具有高于置信水平标准的所有属性值的至少三个属性，则用户设备确定树干311B(与树干类实体331B对应)是第一类型的实体(例如，内部)，其可以用于确定与实体相关联的物理环境。在图3D所示的示例中，树干的实体不随时间推移改变其外观，并且因此可以是物理环境类型的可靠指标。

参考图3E并且类似于上面描述的那些，基于确定物理环境中的一个或多个实体为第一类型的实体(例如，内部)，用户设备确定用户设备面向或定位的物理环境的类型。如上所述，在图3A至图3D所示的示例中，用户设备确定树叶311A是第二类型的实体(例如，外部)，并且树干311B是第一类型的实体(例如，内部)。在一些实施方案中，基于所识别的实体包括至少一个第一类型的实体的确定，用户设备可以继续确定物理环境的类型。在一些实施方案中，在用户设备可以确定物理环境的类型之前，用户设备可以要求不止一个实体为第一类型的实体。例如，用户设备可以识别附加实体(例如，房屋311C、湖泊、草坪等)并且在确定物理环境的类型之前确定这些附加实体中的一个或多个为第一类型的实体。在一些实施方案中，除了第一类型的一个或多个实体(例如，树干311B)之外，用户设备可以被配置为使用其他信息来确定物理环境的类型。例如，用户设备可以使用从GPS传感器收集的数据来辅助确定图3E中所示的物理环境的类型(例如，GPS传感器指示树干311B位于公园的区域内)。

参考图3E，在一些实施方案中，基于所确定的物理环境的类型，用户设备被配置为呈现与所确定的物理环境的类型对应的一个或多个虚拟对象。如图3E所示，在一些实施方案中，用户设备202呈现物理环境300的表示304(例如，公园)。表示304可以是例如2D图像、视频、动画、3D图像、或物理环境的任何类型的视觉表示或物理环境的特定实体。例如，用户设备202在物理环境中呈现所识别的实体(第一类型和/或第二类型)的表示(例如，树叶311A的表示，树干311B的表示等)。

在一些实施方案中，用户设备202可以被配置为在呈现公园的表示304的同时使用与物理环境对应的一个或多个虚拟对象来提供一个或多个服务。参考图3E，如上所述，本实施方案中的物理环境的类型被确定为公园。因此，用户设备202可以提供例如虚拟对象386(例如，用户交互机制)，使得用户能够在公园中订购音乐会的票。

如上所述，物理环境(例如，室内环境或室外环境)可以包括各种实体。其中一些实体是暂态物品，可能不是确定物理环境类型的可靠指标。此类暂态物品(例如，猫、车辆)相对于其他更相对静止的物品(例如，建筑物、树木)可具有高移动性。在一些实施方案中，暂态项目不用于确定物理环境的类型。

现在转到图4，其示出了用于识别多种类型的物理环境中的物理环境的类型的示例性过程400的流程图。在以下描述中，过程400被描述为使用用户设备(例如，设备100a或202)来执行。用户设备例如是手持式移动设备或头戴式设备。应当认识到，在其他实施方案中，使用两个或更多个电子设备来执行过程400，例如通信地耦接到另一设备(诸如基础设备)的用户设备。在这些实施方案中，过程400的操作以任何方式分布在用户设备与另一设备之间。此外，应当理解，用户设备的显示器可以是透明的或不透明的。尽管在图4中以特定顺序描绘了过程400的框，但是应当理解，可以以任何顺序执行这些框。此外，过程400的一个或多个框可以是任选的和/或可以执行附加框。

在框402处，使用一个或多个相机获得与物理环境对应的图像数据。

在框404处，基于该图像数据，识别物理环境中的实体的至少一部分。在一些实施方案中，识别物理环境中的实体的至少一部分包括使用多个实体分类器。在一些实施方案中，识别物理环境中的实体的至少一部分包括识别实体的第一部分而不识别整个实体以及前述识别实体的第二部分。

在框406处，基于所识别的实体的至少一部分，确定实体是否为第一类型的实体。在一些实施方案中，基于所识别的实体的至少一部分并且在确定实体是否为第一类型的实体之前，确定实体的至少一部分是否与先前识别的实体的至少一部分对应。根据确定实体的至少一部分不与先前识别的实体的至少一部分对应，存储指示实体的至少一部分的数据。

在一些实施方案中，基于所识别的实体的至少一部分，确定该实体是否为第一类型的实体包括基于所识别的物理环境中的实体的至少一部分来确定实体的一个或多个属性；以及基于实体的一个或多个属性确定实体是否为第一类型的实体。实体的一个或多个属性可以包括，例如，实体的移动性、实体是否为建筑物结构的指示、实体外观的一致性和/或错误分类的可能性。

在一些实施方案中，基于所识别的实体的至少一部分，确定实体是否为第一类型的实体包括确定实体的一个或多个属性的组合是否超过置信度阈值。

在框408处，根据确定实体为第一类型的实体，基于实体确定物理环境的类型。在一些实施方案中，确定物理环境的类型包括确定实体是否与物理环境的多种类型中的至少一者对应。根据确定实体与物理环境的多种类型中的至少一者对应，选择物理环境的多种类型中的一者。在一些实施方案中，确定物理环境的类型还包括确定物理环境的一种或多种其他类型；呈现物理环境的确定的一种或多种其他类型；以及从用户接受对物理环境的确定的类型中的一者的选择。在框410处，呈现了与确定的物理环境的类型对应的一个或多个虚拟对象和实体的表示。

在一些实施方案中，接收表示一个或多个呈现的虚拟对象的虚拟对象的选择的输入。根据所选择的虚拟对象执行一个或多个任务。

如上所述，本技术的一个方面是采集和使用可从各种源获得的数据，以改善识别用户与之相关联的物理环境类型(例如，位于其中)的性能，并基于所识别的物理环境类型向用户提供信息或服务。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健康水平有关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于向用户提供定制信息或服务。因此，使用此类个人信息数据使用户能够接收更多定制和/或个性化信息或服务。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。

本公开设想了负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类策略应该能被用户方便地访问，并应当随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，在收到用户知情同意后，应进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和做法。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险转移和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。

不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，在提供个性化或定制服务的情况下，本技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。又如，用户可以选择不提供用于接收服务的个人信息(例如，最近在客厅中观看的电影)。又如，用户可以选择限制维持个人信息的时间长度或者完全禁止基线个人偏好配置文件的开发。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户上聚集数据)、和/或其他方法来促进去标识。

因此，尽管本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还设想各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低数量的个人信息诸如与用户相关联的设备所请求的内容、提供服务的用户设备的可用的其他非个人信息或公开可用的信息来推断偏好，从而选择信息或服务并将该信息或服务递送至用户。

出于例示和描述的目的呈现了具体实施方案的前述描述。它们并非旨在穷举或将权利要求的范围限制于所公开的精确形式，并且应当理解，鉴于上述教导，许多修改和变型是可能的。

Claims (31)

1.一种方法，包括：

在具有一个或多个处理器、存储器和一个或多个相机的电子设备处：

使用所述一个或多个相机获得与物理环境对应的图像数据；基于所述图像数据，识别所述物理环境中的实体的至少一部分；

基于所识别的所述实体的至少一部分确定所述实体是否为第一类型的实体；

根据确定所述实体为所述第一类型的实体，基于所述实体确定所述物理环境的类型；以及

呈现与所述物理环境的所确定的类型对应的所述实体的表示和一个或多个虚拟对象。

2.根据权利要求1所述的方法，还包括：

在基于所识别的所述实体的至少一部分确定所述实体是否为所述第一类型的实体之前：

确定所述实体的所述至少一部分是否与先前识别的实体的至少一部分对应；以及

根据确定所述实体的所述至少一部分不与先前识别的实体的至少一部分对应，存储指示所述实体的所述至少一部分的数据。

3.根据权利要求1和2中任一项所述的方法，其中识别所述物理环境中的所述实体的所述至少一部分包括：

识别所述实体的第一部分而不识别整个所述实体；以及

放弃识别所述实体的第二部分。

4.根据权利要求1和2中任一项所述的方法，其中基于所识别的所述实体的至少一部分确定所述实体是否为所述第一类型的实体包括：

基于所识别的所述物理环境中的所述实体的至少一部分确定所述实体的一个或多个属性；以及

基于所述实体的所述一个或多个属性确定所述实体是否为所述第一类型的实体。

5.根据权利要求4所述的方法，其中基于所识别的所述实体的至少一部分确定所述实体的所述一个或多个属性包括：

基于所识别的所述实体的至少一部分对所述实体进行分类；

基于所述实体的所述分类，从多个属性获得所述实体的一个或多个属性。

6.根据权利要求4所述的方法，其中所述实体的所述一个或多个属性包括以下中的至少一者：

所述实体的移动性；

所述实体是否为建筑物结构的指示；以及

所述实体的外观的一致性。

7.根据权利要求4所述的方法，其中基于所述实体的所述一个或多个属性确定所述实体是否为所述第一类型的实体包括：

确定所述实体的所述一个或多个属性的组合是否超过置信度阈值。

8.根据权利要求1和2中任一项所述的方法，其中基于所述实体确定所述物理环境的类型包括：

确定所述实体是否与所述物理环境的多个类型中的至少一个对应；以及

根据确定所述实体与所述物理环境的所述多个类型中的至少一个对应，选择所述物理环境的所述多个类型中的一个。

9.根据权利要求8所述的方法，还包括：

确定所述物理环境的一个或多个附加类型；

呈现所述物理环境的所确定的一个或多个附加类型；以及

从用户接收对所述物理环境的所确定的类型中的一个的选择。

10.根据权利要求1和2中任一项所述的方法，还包括：

接收表示一个或多个所呈现的虚拟对象中的虚拟对象的选择的输入；以及

根据所选择的虚拟对象执行一个或多个任务。

11.一种非暂态计算机可读存储介质，存储被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：

使用所述一个或多个相机获得与物理环境对应的图像数据；

基于所述图像数据，识别所述物理环境中的实体的至少一部分；

基于所识别的所述实体的至少一部分确定所述实体是否为第一类型的实体；以及

根据确定所述实体为所述第一类型的实体，基于所述实体确定所述物理环境的类型；以及

呈现与所述物理环境的所确定的类型对应的所述实体的表示和一个或多个虚拟对象。

12.根据权利要求11所述的计算机可读存储介质，其中所述一种或多种程序还包括用于以下操作的指令：

在基于所识别的所述实体的至少一部分确定所述实体是否为所述第一类型的实体之前：

确定所述实体的所述至少一部分是否与先前识别的实体的至少一部分对应；以及

根据确定所述实体的所述至少一部分不与先前识别的实体的至少一部分对应，存储指示所述实体的所述至少一部分的数据。

13.根据权利要求11和12中任一项所述的计算机可读存储介质，其中识别所述物理环境中的所述实体的所述至少一部分包括：

识别所述实体的第一部分而不识别整个所述实体；以及

放弃识别所述实体的第二部分。

14.根据权利要求11和12中的任一项所述的计算机可读存储介质，其中基于所识别的所述实体的至少一部分确定所述实体是否为所述第一类型的实体包括：

基于所识别的所述物理环境中的所述实体的至少一部分确定所述实体的一个或多个属性；以及

基于所述实体的所述一个或多个属性确定所述实体是否为所述第一类型的实体。

15.根据权利要求14所述的计算机可读存储介质，其中基于所识别的所述实体的至少一部分确定所述实体的所述一个或多个属性包括：

基于所识别的所述实体的至少一部分对所述实体进行分类；

基于所述实体的所述分类，从多个属性获得所述实体的一个或多个属性。

16.根据权利要求14所述的计算机可读存储介质，其中所述实体的所述一个或多个属性包括以下中的至少一者：

所述实体的移动性；

所述实体是否为建筑物结构的指示；以及

所述实体的外观的一致性。

17.根据权利要求14所述的计算机可读存储介质，其中基于所述实体的所述一个或多个属性确定所述实体是否为所述第一类型的实体包括：

确定所述实体的所述一个或多个属性的组合是否超过置信度阈值。

18.根据权利要求11和12中任一项所述的计算机可读存储介质，其中基于所述实体确定所述物理环境的类型包括：

确定所述实体是否与所述物理环境的多个类型中的至少一个对应；以及

根据确定所述实体与所述物理环境的所述多个类型中的至少一个对应，选择所述物理环境的所述多个类型中的一个。

19.根据权利要求18所述的计算机可读存储介质，还包括：

确定所述物理环境的一个或多个附加类型；

呈现所述物理环境的所确定的一个或多个附加类型；以及

从用户接收对所述物理环境的所确定的类型中的一个的选择。

20.根据权利要求11和12中任一项所述的计算机可读存储介质，还包括：

接收表示一个或多个所呈现的虚拟对象中的虚拟对象的选择的输入；以及

根据所选择的虚拟对象执行一个或多个任务。

21.一种电子设备，包括：

一个或多个处理器；

一个或多个相机；和

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：

使用所述一个或多个相机获得与物理环境对应的图像数据；基于所述图像数据，识别所述物理环境中的实体的至少一部分；

基于所识别的所述实体的至少一部分确定所述实体是否为第一类型的实体；

根据确定所述实体为所述第一类型的实体，基于所述实体确定所述物理环境的类型；以及

呈现与所述物理环境的所确定的类型对应的所述实体的表示和一个或多个虚拟对象。

22.根据权利要求21所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：

在基于所识别的所述实体的至少一部分确定所述实体是否为所述第一类型的实体之前：

确定所述实体的所述至少一部分是否与先前识别的实体的至少一部分对应；以及

根据确定所述实体的所述至少一部分不与先前识别的实体的至少一部分对应，存储指示所述实体的所述至少一部分的数据。

23.根据权利要求21和22中任一项所述的电子设备，其中识别所述物理环境中的所述实体的所述至少一部分包括：

识别所述实体的第一部分而不识别整个所述实体；以及

放弃识别所述实体的第二部分。

24.根据权利要求21和22中任一项所述的电子设备，其中基于所识别的所述实体的至少一部分确定所述实体是否为所述第一类型的实体包括：

基于所识别的所述物理环境中的所述实体的至少一部分确定所述实体的一个或多个属性；以及

基于所述实体的所述一个或多个属性确定所述实体是否为所述第一类型的实体。

25.根据权利要求24所述的电子设备，其中基于所识别的所述实体的至少一部分确定所述实体的所述一个或多个属性包括：

基于所识别的所述实体的至少一部分对所述实体进行分类；

基于所述实体的所述分类，从多个属性获得所述实体的一个或多个属性。

26.根据权利要求24所述的电子设备，其中所述实体的所述一个或多个属性包括以下中的至少一者：

所述实体的移动性；

所述实体是否为建筑物结构的指示；以及

所述实体的外观的一致性。

27.根据权利要求24所述的电子设备，其中基于所述实体的所述一个或多个属性确定所述实体是否为所述第一类型的实体包括：

确定所述实体的所述一个或多个属性的组合是否超过置信度阈值。

28.根据权利要求21和22中任一项所述的电子设备，其中基于所述实体确定所述物理环境的类型包括：

确定所述实体是否与所述物理环境的多个类型中的至少一个对应；以及

根据确定所述实体与所述物理环境的所述多个类型中的至少一个对应，选择所述物理环境的所述多个类型中的一个。

29.根据权利要求28所述的电子设备，其中所述一个或多个程序还包用于以下操作的指令：

确定所述物理环境的一个或多个附加类型；

呈现所述物理环境的所确定的一个或多个附加类型；以及

从用户接收对所述物理环境的所确定的类型中的一个的选择。

30.根据权利要求21和22中任一项所述的电子设备，其中所述一个或多个程序还包括用于以下操作的指令：

接收表示一个或多个所呈现的虚拟现实对象中的虚拟对象的选择的输入；以及

根据所选择的虚拟对象执行一个或多个任务。

31.一种电子设备，包括：

用于执行权利要求1和2中任一项所述的方法的装置。