CN116472559A - 镜面反射表面映射 - Google Patents

Abstract

用于镜面反射表面映射的方法和装置，其中相机检测来自镜面反射表面的光源的反射。所检测的光源可作为虚拟点源投影到天球上。真正类观察应当紧密地聚集在该天球上；因此，可标识并移除假正类。镜面反射表面信息然后可从该天球上的虚拟点源的集群确定。该天球上的虚拟点源集群可被标识并用于将表面标识为镜面反射表面。这些集群还可用于提取关于该镜面反射表面的其他信息，包括但不限于到该镜面反射表面的距离和该镜面反射表面的范围。

Description

镜面反射表面映射

背景技术

镜面反射映射或镜面反射表面映射是在计算机图形中用于限定表面上的光亮或反射区域的形状或环境中的光亮或反射表面的形状的方法。例如，表面可包括镜面反射部分和非镜面反射部分，并且镜面反射图可使用镜面反射映射技术来生成并且应用于仅将表面的镜面反射部分限定为光亮的或反射的。作为另一个示例，房间可包括非镜面反射表面和对象以及镜面反射表面和对象，诸如，镜子、窗户和玻璃桌面。镜面反射映射技术可用于生成房间的限定房间中的镜面反射表面的镜面反射表面图。

发明内容

描述了用于标识和映射镜面反射表面诸如镜子和窗户玻璃的方法和装置的各种实施方案。镜面反射表面映射方法的实施方案可利用包括玻璃和镜子的高度镜面反射表面的性质，其中850nm或类似波长的NIR光以几乎完全正交的角度强烈反射，并且随着表面或对象的视角改变而遵循时空或振幅分布。实施方案可实现信号处理技术，这些信号处理技术利用NIR光与镜面反射表面的相互作用的物理性质来检测环境中的玻璃、镜子和其他高反射表面以及对材料进行分类。

在实施方案中，NIR光源(例如，NIR LED阵列，也称为NIR点投影仪)将NIR点图案投影到环境中。NIR相机观察在表面诸如玻璃或镜子中反射的NIR光源。NIR光源可位于设备(例如，头戴式设备(HMD)或手持设备，诸如移动多用途设备(例如，智能电话或平板计算机))上，靠近NIR相机。镜面反射表面映射方法利用以下事实：NIR光源的反射的向量相对于反射表面将是恒定的(并且法向于反射表面，如果NIR光源和NIR相机重合)。观察到的NIR光源的反射可被标识为虚拟点源并且被投影到天球上(例如，投影在SLAM(同时定位与建图)模型中)。球体上的点可被视为类似“导引星”并且变得静止，不管设备如何平移或旋转。

将虚拟点源投影到天球上允许聚合结果(例如，多个观察)。天球上的虚拟点源的集群可被标识并且用于将表面标识为镜面反射表面(例如，玻璃或镜子)。天球上的虚拟点源的集群也可用于提取关于镜面反射表面的其他信息，包括但不限于到镜面反射表面的距离和该镜面反射表面的范围。

天球上的虚拟点源的集群可用于滤除假正类。NIR光源的真正类观察应当紧密地聚集在天球上。假正类应当随机分布并且因此可被滤除。

在一些实施方案中，镜面反射表面的范围和距离可通过NIR光源的反射的观察来确定。当镜面反射表面的法线在NIR相机的视场内时，NIR光源的反射在从镜面反射表面垂直投影到环境(例如，房间)中的体积中可见。对该体积内的反射的任何观察落在天球上的相同位置上，但在映射体积内的不同位置处。将天球上的聚集点与它们在映射体积中的位置相关可用于推断反射平面(镜面反射表面)的范围。在一些实施方案中，到观察到的反射的距离也可用于确定镜面发射表面的距离。在一些实施方案中，作为替代或补充，镜面反射表面的范围和距离可从对镜面反射表面的框架的观察来推断。

虽然实施方案通常被描述为使用近红外(NIR)光源，但是一些实施方案可使用其他波长的光源，诸如红外(IR)、短波红外(SWIR)、中波红外(MWIR)、长波红外(LWIR)以及光谱的可见部分中的波长。

如本文中所描述的镜面反射表面映射方法和装置的示例性应用是在手持设备(诸如智能电话、平板电脑或平板计算机设备)中。使用实施方案，设备可由用户移动以标识、映射环境诸如房间中的镜面反射表面和对该镜面反射表面进行分类。该信息可例如整合到设备生成的3D映射信息中。镜面反射表面映射方法的另一个示例性应用是在头戴式设备(HMD)诸如在扩展现实(XR)系统中使用的那些中，该XR系统包括不透明的面向用户的显示器，在该不透明的面向用户的显示器上显示XR内容以供用户观看。通过在环境诸如房间中标识和映射镜面反射表面，实施方案可例如通过通知佩戴者玻璃门、镜子或窗户的存在为HMD的佩戴者提供改进的安全性，这在常规HMD 3D映射系统中可能被错误地标识为墙上的开放空间。

附图说明

图1示出了根据一些实施方案的从镜面反射表面反射到NIR相机的点近红外(NIR)光源。

图2示出了根据一些实施方案的NIR光反射到天球上的投影。

图3示出了根据一些实施方案的来自镜面反射表面的NIR光反射的集群。

图4示出了根据一些实施方案的其中相机可见NIR光反射的体积。

图5A至图5E示出了根据一些实施方案的NIR投影点图案。

图6是根据一些实施方案的镜面反射表面映射方法的高级流程图。

图7是根据一些实施方案的用于将镜面反射表面信息整合到环境的3D映射中的系统的高级框图。

图8A和图8B是示出了根据一些实施方案的可包括镜面反射表面映射机制的设备的框图。

图9A和图9B是示出了根据一些实施方案的可包括镜面反射表面映射机制的另一个设备的框图。

本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

“包括”，该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。

“被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。

“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。

“基于”或“取决于”，如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。

“或”，在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。

具体实施方式

描述了用于标识和映射镜面反射表面诸如镜子和窗户玻璃的方法和装置的各种实施方案。包括但不限于头戴式设备(HMD)和手持设备的各种设备可包括用于生成环境诸如房间的三维(3D)映射的传感器技术和软件。3D映射可用于各种应用中，包括但不限于扩展现实(XR)应用。环境的自动和半自动3D映射通常使用近红外(NIR)光源以及使用计算机视觉算法的深度相机和可见光相机的组合来执行以分割对象、平面和深度来重建周围环境。

然而，使用常规可见光相机和深度相机以及3D映射方法来检测玻璃(例如，窗户和玻璃门、玻璃桌、玻璃房间隔墙等)、镜子以及其他高度镜面反射表面是具有挑战性的。玻璃对结构光深度相机投影的NIR光(～850nm)通常具有很强的透射性，而镜子由于其高反射性而混淆了深度测量。来自NIR深度相机的光不反射或者被反射远离NIR相机。

如本文中所描述的用于镜面反射表面映射的方法和装置的实施方案可利用包括玻璃和镜子的高度镜面反射表面的性质，其中850nm或类似波长的NIR光以几乎完全正交的角度强烈反射，并且随着表面或对象的视角改变而遵循时空或振幅分布。实施方案可实现信号处理技术，该信号处理技术利用NIR光与高度镜面反射表面的相互作用的物理性质来检测环境中的玻璃、镜子和其他高反射表面以及对材料进行分类。

虽然实施方案通常被描述为使用近红外(NIR)光源，但是一些实施方案可使用其他波长的光源，诸如红外(IR)、短波红外(SWIR)、中波红外(MWIR)、长波红外(LWIR)以及光谱的可见部分中的波长。

在一些实施方案中，将NIR点图案投影到环境中的NIR光源(例如，NIR LED阵列，也称为NIR点投影仪)可靠近NIR相机定位。当固定的NIR点图案以正交角度移开时，随着设备相对于环境移动，不同的材料提供能够在固定点图案上的时变振幅中检测到的独特响应和反射率。在设备(例如，HMD或手持设备)上，可立即测量和预测设备的位姿，从而为固定并且随设备刚性移动的NIR点图案提供参考框架。

在实施方案中，映射反射表面的方法涉及对NIR光源(例如，NIR点投影仪)进行观察，该NIR光源可在表面诸如玻璃和镜子中被反射。NIR光源可位于设备(例如，HMD或手持设备)上，靠近NIR相机。该方法利用以下事实：NIR光源的反射的向量相对于反射表面将是恒定的(并且法向于反射表面，如果NIR光源和NIR相机重合)。观察到的NIR光源的反射可被标识为虚拟点源并且被投影到天球上。如果观察被简单地视为反射，则该虚拟点源将随着设备的平移而平移。然而，如果通过将虚拟点源投影到天球上(例如，投影在SLAM(同时定位与建图)模型中)而将虚拟点源移动到无穷远，则球体上的点可被视为类似“导引星”并且变得静止，不管设备如何平移或旋转。

将虚拟点源投影到天球上可允许聚合结果(例如，多个观察)。天球上的虚拟点源的集群可被标识并且用于将表面标识为镜面反射表面(例如，玻璃或镜子)。天球上的点源的集群也可用于提取关于镜面反射表面的其他信息，包括但不限于到镜面反射表面的距离和该镜面反射表面的范围。

天球上的虚拟点源的集群可用于滤除假正类(例如，检测到的来自NIR光源以外的源的反射、通过窗户看到的太阳或太阳闪光、映射体积内的其他点源等)。NIR光源的真正类观察应当紧密地聚集在天球上。假正类应当随机分布并且因此可被滤除。在一些实施方案中，一种或多种其他技术可替代地或者也可用于检测假正类光源。这些技术可包括但不限于：

·将由NIR相机捕获的图像与由设备上的另一相机捕获的可见波段图像进行比较。如果光源出现在可见波段图像中，则它不是NIR光源。

·NIR光源可被关闭和打开。如果光源在NIR光源关闭时仍然存在，则它不是NIR光源。

在一些实施方案中，镜面反射表面的范围和距离可通过NIR光源的反射的观察来确定。当镜面反射表面的法线在NIR相机的视场内时，NIR光源的反射在从镜面反射表面垂直投影到环境(例如，房间)中的体积中可见。对该体积内的反射的任何观察落在天球上的相同位置上，但在映射体积内的不同位置处。将天球上的聚集点与它们在映射体积中的位置相关可用于推断反射平面(镜面反射表面)的范围。在一些实施方案中，到观察到的反射的距离也可用于确定镜面发射表面的距离。在一些实施方案中，作为替代或补充，镜面反射表面的范围和距离可从对镜面反射表面的框架(例如，窗户框架、镜子框架或门框架)的观察来推断。

在一些实施方案中，可使用一个或多个另外的专用NIR光源。例如，另一NIR光源可以是更宽的光束和/或更亮的NIR光源，其独立于NIR点投影仪或飞行时间(TOF)照明器进行控制。

在一些实施方案中，可使用一种或多种方法来增加在镜面反射表面映射中使用的NIR相机的视场(FOV)。例如，在一些实施方案中，可为设备的可见光相机移除或禁用IR滤光片。可见光相机然后可与NIR相机组合使用以寻找NIR光源的反射，从而为镜面反射表面映射系统提供更宽的FOV。在一些实施方案中，可使用专用的宽FOV传感器来提供更宽的FOV而无需修改可见光相机；窄带滤光片可用于增加NIR光源和环境光之间的对比度。

在一些实施方案中，由NIR光源投影的NIR点图案可用于区分镜面反射表面与非镜面反射表面，并且还可用于确定表面的一个或多个特性(例如，材料或类型)。当固定的NIR点图案以正交角度移开时，随着设备相对于环境移动，不同的材料提供能够在固定点图案上的时变振幅中检测到的独特响应和反射率。在设备(例如，HMD或手持设备)上，可立即测量和预测设备的位姿，从而为固定并且随设备刚性移动的NIR点图案提供参考框架。点上的振幅的空间和时间分布产生可与设备的3D映射和位姿比较的向量。例如，玻璃将具有“尖锐”轮廓，由此对于一个正交点来说反射的振幅非常强，而相邻点具有很少的信号。其他镜面反射(和非镜面反射)表面(例如，镜子、抛光表面、有光泽的白色墙等)的轮廓将表现出可用于对当前观察的表面类型进行分类的一系列不同的轮廓。

虽然通常描述使用NIR点投影仪作为结构化NIR光源的实施方案，但也可实现使用专用NIR泛光照明器而非点投影仪作为NIR光源或使用两个或两个以上不同NIR光源的组合的实施方案。

如本文中所描述的用于镜面反射表面映射的方法和装置的示例性应用是在手持设备诸如智能电话、平板电脑或平板计算机设备中。镜面反射表面映射部件(NIR相机、NIR光源等)可附接到设备或集成在设备中，并且设备可由用户移动以在环境诸如房间中标识、映射镜面反射表面以及对该镜面反射表面进行分类。该信息可例如整合到设备的其他部件生成的3D映射信息中。图8A和图8B示出了根据一些实施方案的可包括镜面反射表面映射机制的手持设备。

如本文所描述的用于镜面反射表面映射的方法和装置的另一个示例性应用是在扩展现实(XR)系统中。XR系统可包括可穿戴设备，诸如头戴式耳机、头盔、护目镜或眼镜(在本文中称为头戴式设备(HMD))。HMD可包括不透明的面向用户的显示器，在该显示器上显示XR内容以供用户观看。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。在XR会话中，HMD可能会完全阻挡用户的正常视线，因此需要HMD了解周围环境，并且在距离障碍物太近时向用户提供警告。然而，如先前所提及，常规3D映射系统难以标识高度镜面反射表面，诸如镜子、玻璃门和窗户玻璃。在HMD上实现的镜面反射表面映射方法和装置的实施方案可用于标识和映射这些镜面反射表面的范围；该信息可整合到由HMD的其他部件生成的3D映射中。通过在环境诸如房间中标识和映射镜面反射表面，实施方案可例如通过通知佩戴者玻璃门、镜子或窗户的存在为HMD的佩戴者提供改进的安全性，这在常规HMD 3D映射系统中可能被错误地标识为墙上的开放空间。图9A和图9B示出了根据一些实施方案的可包括镜面反射表面映射机制的示例性HMD 700。

物理环境是指某人在没有使用电子设备的情况下可与其交互和/或对其进行感测的物理世界。物理环境可包括物理特征，诸如物理对象或物理表面。例如，物理环境可包括物理城市，所述物理城市包括物理建筑物、物理街道、物理树和物理人。人们可直接与物理环境交互和/或感测物理环境，例如通过触觉、视觉、味觉、听觉和嗅觉。另一方面，扩展现实(XR)环境是指某人可使用电子设备与其交互和/或对其进行感测的完全或部分模拟的环境。例如，XR环境可包括虚拟现实(VR)内容、增强现实(AR)内容、混合现实(MR)内容等。使用XR系统，可跟踪人的身体运动的一部分或其表示。作为响应，可调整在XR环境中模拟的虚拟对象的一个或多个特征，使得其依附于一个或多个物理定律。例如，XR系统可检测用户的头部运动，并且作为响应，以与视图和声音将在物理环境中变化的方式类似的方式调整呈现给用户的图形和听觉内容。在另一示例中，XR系统可检测呈现XR环境的电子设备(例如膝上型电脑、移动电话、平板电脑等)的移动，并且作为响应，以与视图和声音将在物理环境中改变的方式类似的方式调整呈现给用户的图形和听觉内容。在一些情形中，XR系统可响应于物理运动的表示(例如语音命令)而调整XR环境中的图形内容的一个或多个特征。

各种电子系统使得某人能够与XR环境交互和/或感测XR环境。例如，可使用基于投影的系统、头戴式系统、平视显示器(HUD)、具有集成显示器的窗户、具有集成显示器的车辆挡风玻璃、被设计成放置在用户的眼睛上的显示器(例如类似于接触透镜)、扬声器阵列、头戴式耳机/听筒、输入系统(例如具有或不具有触觉反馈的可穿戴或手持式控制器)、平板电脑、智能电话和台式/膝上型电脑。一种头戴式系统可包括集成式不透明显示器和一个或多个扬声器。在其他示例中，头戴式系统可接受具有不透明显示器(例如智能电话)的外部设备。头戴式系统可包括一个或多个图像传感器和/或一个或多个麦克风以捕获物理环境的图像或视频和/或音频。在其他示例中，头戴式系统可包括透明或半透明显示器。表示图像的光被引导穿过的介质可包括在透明或半透明显示器内。显示器可利用OLED、LED、uLED、数字光投影、激光扫描光源、硅基液晶或这些技术的任何组合。介质可以是全息图介质、光学组合器、光学波导、光学反射器或它们的组合。在一些示例中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可使用视网膜投影技术以将图形图像投影到用户的视网膜上。投影系统也可被配置成将虚拟对象投影到物理环境中，例如在物理表面上或作为全息图。

图1示出了根据一些实施方案的从镜面反射表面反射到近红外(NIR)相机的点NIR光源。在实施方案中，映射反射(镜面)表面的方法涉及对NIR光源140(例如，NIR点投影仪)进行观察，该NIR光源可在镜面反射表面192诸如房间190中的玻璃窗户、玻璃门或镜子中被反射。NIR光源140可位于设备(例如，HMD或手持设备)上，靠近该设备的NIR相机150。该方法利用以下事实：如果NIR光源140和NIR相机150重合，则NIR光源140的反射142的向量相对于镜面反射表面192将是恒定的，并且法向于镜面反射表面192。

图2示出了根据一些实施方案的NIR光反射142到天球上的投影。观察到的NIR光源140的反射142可被标识为虚拟点源并且被投影144到天球110上。如果观察142被简单地视为反射，则该虚拟点源将随着设备的平移而平移。然而，如果通过将虚拟点源投影144到天球上(例如，投影在SLAM(同时定位与建图)模型中)而将所观察到的反射142移动到无穷远，则天球110上的点144可被视为类似“导引星”(在无穷远处)并且变得静止，不管设备如何平移或旋转。

图3示出了根据一些实施方案的来自镜面反射表面的NIR光反射的集群。虚拟点源到天球110上的投影144可允许聚合结果(例如，多个观察)。天球110上的虚拟点源的集群146可被标识并且用于将表面标识为镜面反射表面(例如，玻璃或镜子)。天球110上的虚拟点源的集群146也可用于提取关于镜面反射表面192的其他信息，包括但不限于到镜面反射表面192的距离和该镜面反射表面的范围。

天球110上的虚拟点源的集群146可用于滤除假正类148(例如，检测到的来自NIR光源以外的源的反射、通过窗户看到的太阳或太阳闪光、映射体积内的其他点源等)。NIR光源的真正类观察应当紧密地聚集146在天球110上。假正类148应当随机分布并且因此可被滤除。在一些实施方案中，一种或多种其他技术可替代地或者也可用于检测假正类148光源。这些技术可包括但不限于：

·将由NIR相机150捕获的图像与由设备上的另一相机捕获的可见波段图像进行比较。如果光源出现在可见波段图像中，则它不是NIR光源140。

·NIR光源140可被关闭和打开。如果所检测的光源在NIR光源140关闭时仍然存在，则它不是NIR光源140。

图4示出了根据一些实施方案的其中相机可见NIR光反射的体积194。在一些实施方案中，镜面反射表面192的范围和距离可通过NIR相机150对NIR光源140的反射的观察来确定。当镜面反射表面192的法线在NIR相机150的视场内时，NIR光源140的反射在从镜面反射表面192垂直投影到环境190(例如，房间)中的体积194中可见。对该体积194内的反射的任何观察落在(或聚集在)天球110上的相同位置上，但在3D映射体积内的不同位置处。将天球110上的聚集点与它们在3D映射体积中的位置相关可用于推断反射平面(镜面反射表面192)的范围。在一些实施方案中，到观察到的反射的距离也可用于确定镜面反射表面192的距离。在一些实施方案中，作为替代或补充，镜面反射表面192的范围和距离可从对镜面反射表面192的框架(例如，窗户框架、镜子框架或门框架)的观察来推断。

图5A至图5E示出了根据一些实施方案的NIR投影点图案。在一些实施方案中，由NIR光源投影的NIR点图案可用于区分镜面反射表面与非镜面反射表面，并且用于确定镜面反射表面的材料或类型。图5A至图5C中所示的点544的图案表示在NIR点投影仪正交于镜面反射表面(例如，窗户玻璃、门玻璃、镜子等)时的示例性结果。每个点544表示固定投影，例如在850nm处。点的较深阴影表示反射的振幅。如图5A所示，仅一个点，即中心的正交点544A提供大规模的返回。如图5B所示，当相机移动时，点544A的振幅下降，而另一点544B的振幅增加。如图5C所示，当点544B变为正交时，振幅增加到最大返回振幅。

当固定的NIR点图案以正交角度移开时，随着设备相对于环境移动，不同的材料提供能够在固定点图案上的时变振幅中检测到的独特响应和反射率。在设备(例如，HMD或手持设备)上，可立即测量和预测设备的位姿，从而为固定并且随设备刚性移动的NIR点图案提供参考框架。点上的振幅的空间和时间分布产生可与设备的3D映射和位姿比较的向量。例如，玻璃将具有“尖锐”轮廓，由此对于一个正交点来说反射的振幅非常强，而相邻点具有很少的信号，例如如图5D所示。其他镜面反射(和非镜面反射)表面(例如，镜子、抛光表面、有光泽的白色墙等)的轮廓将表现出可用于对当前观察的表面类型进行分类的一系列不同的轮廓。例如，镜面反射比玻璃低的表面可表现出更多的漫反射(不那么尖锐但规模更大)，并且反射的振幅分布更均匀。

图6是根据一些实施方案的镜面反射表面映射方法的高级流程图。如600处所指示，设备的NIR相机可用于检测光源，该光源包括NIR光源从镜面反射表面(例如，玻璃窗户或门、镜子等)的反射。如610处所指示，检测到的光源可作为虚拟点源被投影到天球上(例如，投影在SLAM(同时定位与建图)模型中)。如620处所指示，可标识并移除假正类(如果有的话)。NIR光源的真正类观察应当紧密地聚集在天球上。假正类应当随机分布并且因此可被滤除。

如630处所指示，镜面反射表面信息然后可至少部分地从天球上的虚拟点源的集群确定。将虚拟点源投影到天球上允许聚合结果(例如，多个观察)。天球上的虚拟点源的集群可被标识并且用于将表面标识为镜面反射表面(例如，玻璃或镜子)。天球上的虚拟点源的集群也可用于提取关于镜面反射表面的其他信息，包括但不限于到镜面反射表面的距离和该镜面反射表面的范围。

在一些实施方案中，镜面反射表面的范围和距离可通过NIR光源的反射的观察来确定。当镜面反射表面的法线在NIR相机的视场内时，NIR光源的反射在从镜面反射表面垂直投影到环境(例如，房间)中的体积中可见。对该体积内的反射的任何观察落在天球上的相同位置上，但在映射体积内的不同位置处。将天球上的聚集点与它们在映射体积中的位置相关可用于推断反射平面(镜面反射表面)的范围。在一些实施方案中，到观察到的反射的距离也可用于确定镜面反射表面的距离。在一些实施方案中，作为替代或补充，镜面反射表面的范围和距离可从对镜面反射表面的框架的观察来推断。

图7是根据一些实施方案的用于将镜面反射表面信息整合到环境的3D映射中的系统的高级框图。设备可包括一个或多个传感器700，该一个或多个传感器收集用于生成环境诸如房间的3D映射的信息。环境的自动和半自动3D映射702通常使用来自近红外(NIR)光源以及使用计算机视觉算法的深度相机和可见光相机的信息的组合来执行以分割对象、平面和深度来重建周围环境。3D映射可用于各种应用中，包括但不限于扩展现实(XR)应用。然而，使用常规可见光相机和深度相机700以及3D映射702方法来检测高度镜面反射表面是具有挑战性的。因此，该设备可包括镜面反射表面传感器710(例如，NIR相机)，该镜面反射表面传感器检测NIR光源(例如，NIR LED阵列，也称为NIR点投影仪)在镜面反射表面中的反射。如本文中所描述的镜面反射表面映射712方法然后可处理传感器710收集的信息(例如，通过将观察投影到天球上，消除假正类等)以生成镜面反射表面信息(例如，环境中的镜面反射表面的位置、深度、范围和/或材料)。然后可将镜面反射表面信息与3D映射信息整合720以生成环境的3D映射，该环境的3D映射包括镜面反射表面信息，例如，房间中的镜子、玻璃门或窗户的位置、范围以及距离)。

图8A和图8B是示出了根据一些实施方案的可实现如图1至图7中所示的镜面反射表面映射方法和装置的设备的框图。如本文中所描述的用于镜面反射表面映射的方法和装置的示例性应用是在手持设备800诸如智能电话、平板电脑或平板计算机中。图8A示出了示例性设备800的侧视图，并且图8B示出了示例性设备800的示例性顶视图。设备800可包括但不限于：位于设备800的“正面”上的显示屏810、包括一个或多个处理器的控制器860、存储器870、NIR光源840、NIR相机850、位姿传感器、运动传感器和取向传感器(未示出)，以及一个或多个其他相机或感测设备880，诸如，可见光相机和深度传感器。镜面反射表面映射部件(NIR相机850、NIR光源840等)可附接到设备800或集成到该设备中(例如，面向设备800的“背”面)，并且设备800可由用户移动以在环境诸如房间中标识、映射镜面反射表面892以及对该镜面反射表面进行分类。该信息可例如整合到设备800的其他部件生成的3D映射信息中。

需注意，如图8A和图8B所示的设备800以举例的方式给出，并且不旨在进行限制。在各种实施方案中，设备800的形状、大小和其他特征可不同，并且设备800的部件的位置、数量、类型和其他特征可变化。

图9A和图9B是示出了根据一些实施方案的可实现如图1至图7中所示的镜面反射表面映射方法和装置的另一设备的框图。图9A示出了示例性设备900的侧视图，并且图9B示出了示例性设备900的示例性顶视图。需注意，如图9A和图9B所示的设备900以举例的方式给出，并且不旨在进行限制。在各种实施方案中，设备900的形状、大小和其他特征可不同，并且设备900的部件的位置、数量、类型和其他特征可变化。

设备900可包括面向用户的显示器910。面向用户的显示器910可实现各种类型的显示技术中的任一种。例如，设备900可包括在由受试者观看的屏幕上显示左图像和右图像的显示系统910，诸如DLP(数字光处理)、LCD(液晶显示器)和LCoS(硅上液晶)技术显示系统。作为另一个示例，显示系统910可以是直接视网膜投影仪系统，该直接视网膜投影仪系统逐像素地将左图像和右图像扫描到受试者的眼睛。为了扫描图像，投影仪生成光束，这些光束被引导到反射部件，这些反射部件将这些光束重新引导到用户的眼睛。在一些实施方案中，设备900可穿戴在用户的头部上，使得显示器910设置在用户的眼睛前方。因此，设备900可以是具有集成显示器910的HMD，或者另选地可以是被配置为接受外部不透明显示器(例如，智能电话)的头戴式系统。

设备900可包括收集关于环境的信息(视频、深度信息、照明信息等)的一个或多个面向世界的传感器980，并且还可包括收集关于用户的信息的一个或多个面向用户的传感器(未示出)(例如，眼睛或凝视跟踪传感器、用户的面部的各个部分的视频)。面向用户的传感器可包括但不限于：捕获用户的眼睛的视图的一个或多个眼睛跟踪相机(例如，红外(IR)相机)、捕获用户的面部的各个部分的视图的一个或多个相机(例如，RGB摄像机)和/或捕获用户的面部的深度信息的传感器。面向世界的传感器980可包括但不限于：捕获在设备900前方的视场中的真实世界环境的图像的一个或多个相机(例如，可见光RGB摄像机)，以及捕获该环境的照明信息的一个或多个环境光传感器。在一些实施方案中，面向世界的传感器980还可包括捕获环境中的对象和表面的深度信息的传感器。设备900还可包括位姿传感器、运动传感器和取向传感器(未示出)。设备900还可包括附接到设备900或集成在该设备中的镜面反射表面映射部件(NIR相机950、NIR光源940等)。

控制器960可在设备900中实现，或者另选地可至少部分地由经由有线或无线接口通信地耦接到设备900的外部设备(例如，计算系统或手持设备诸如智能电话、平板电脑或平板计算机)来实现。控制器960可包括各种类型的处理器、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/解码器(编解码器)、片上系统(SOC)、CPU和/或用于处理和渲染由面向世界的传感器980、面向用户的传感器、位姿传感器、运动传感器和取向传感器，以及NIR相机950捕获的信息的其他部件中的一者或多者。控制器960可例如被配置为基于由传感器捕获的信息来生成环境的3D映射，至少部分地基于从传感器获得的输入来渲染包括虚拟内容的帧，并且可将所渲染的帧提供给显示器910。

存储器970可在设备900中实现，或者另选地可至少部分地由经由有线或无线接口通信地耦接到设备900的外部设备(例如，计算系统、智能电话等)来实现。存储器970可例如用于记录由传感器捕获的信息，存储能够由控制器960执行的程序指令，以及存储由控制器使用的包括但不限于3D映射信息的数据。存储器970可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可耦接到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，这些设备可与实现系统的集成电路在芯片堆叠配置、封装堆叠配置或者多芯片模块配置中安装。

如图9A和图9B所示的设备900的实施方案可例如用于XR应用以将增强或混合现实视图提供给用户。设备900可包括收集关于环境的信息(视频、深度信息、照明信息、镜面反射表面信息等)的一个或多个传感器；传感器可将所收集的信息提供给设备900的控制器960。传感器950可包括一个或多个可见光相机(例如，RGB摄像机)，该一个或多个可见光相机捕获环境的视频，该视频可用于向用户提供其真实环境的虚拟视图。在一些实施方案中，由可见光相机捕获的真实环境的视频流可由设备900的控制器960处理，以至少部分地基于所生成的包括镜面反射表面信息的3D映射信息渲染包括覆在真实环境的视图上的虚拟内容的增强或混合现实帧，并且所渲染的帧可被提供给显示器910。

作为另一个示例，如图9A和图9B所示的设备900的实施方案可用于XR应用中以将虚拟现实视图提供给用户。XR应用可允许用户体验沉浸式人工环境和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。在一些实施方案中，设备900的控制器960可至少部分地基于所生成的包括镜面反射表面信息的3D映射信息渲染虚拟现实帧，并且所渲染的帧可被提供给显示器210。

设备900例如可以是头戴式设备(HMD)，诸如在扩展现实(XR)系统中使用的HMD。HMD可包括不透明的面向用户的显示器910，在该显示器上显示XR内容以供用户观看。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。在XR会话中，HMD可能会完全阻挡用户的正常视线，因此需要HMD了解周围环境，并且在距离障碍物太近时向用户提供警告。然而，常规3D映射系统难以标识高度镜面反射表面992，诸如镜子、玻璃门和窗户玻璃。如本文中所描述的镜面反射表面映射方法和装置的实施方案可在HMD上实现并且用于标识和映射这些镜面反射表面992的范围；该信息可整合到由HMD的其他部件生成的3D映射中。通过在环境诸如房间中标识和映射镜面反射表面992，实施方案可例如通过通知佩戴者玻璃门、镜子或窗户的存在为HMD的佩戴者提供改进的安全性，这在常规HMD 3D映射系统中可能被错误地标识为墙上的开放空间。

在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (20)

1.一种设备，包括：

光源，所述光源被配置为将光发射到环境中；

相机，所述相机被配置为捕获图像，所述图像包含来自所述环境中的表面的所述光源的反射，其中所述相机被定位成邻近所述设备上的所述光源；和

控制器，所述控制器包括一个或多个处理器，所述一个或多个处理器被配置为：

分析由所述相机捕获的所述图像以在所述图像中检测所述光源的所述反射；

将所检测的反射作为点源投影到天球上；

检测所述天球上的所述点源的集群；以及

基于所述天球上的所检测的点源集群，将所述表面标识为镜面反射表面。

2.根据权利要求1所述的设备，其中所述光源是将近红外(NIR)点图案投影到所述环境中的NIR发光二极管(LED)阵列。

3.根据权利要求2所述的设备，其中所述控制器被进一步配置为分析由所述NIR相机捕获的来自所述表面的所述点的所述反射的振幅的空间和时间分布以确定所述表面的一个或多个特性。

4.根据权利要求1所述的设备，其中所述光源是近红外(NIR)泛光照明器。

5.根据权利要求1所述的设备，其中所述控制器被进一步配置为滤除在所述图像中捕获的假正类光源，其中对所述光源的所述反射的真正类观察紧密地聚集在所述天球上，而假正类随机地分布在所述天球上。

6.根据权利要求1所述的设备，其中当所述镜面反射表面的法线在所述相机的视场内时，所述光源的所述反射能够在从所述镜面反射表面垂直投影到所述环境中的体积中由所述相机检测到，并且其中对所述体积内的所述反射的观察落在所述天球上的相同位置上。

7.根据权利要求5所述的设备，其中所述控制器被进一步配置为将所述天球上的所述集群中的所述点源与在所述环境的3D映射体积中所检测的反射的相应反射的位置相关，以确定所述环境中的所述镜面反射表面的范围。

8.根据权利要求1所述的设备，其中所述天球是SLAM(同时定位与建图)技术模型。

9.根据权利要求1所述的设备，其中所述设备还包括：一个或多个传感器，所述一个或多个传感器被配置为捕获关于所述环境的信息，其中所述控制器被进一步配置为：

处理由所述一个或多个传感器捕获的所述信息以生成所述环境的3D映射；以及

将标识所述镜面反射表面的信息整合到所述环境的所述3D映射中。

10.根据权利要求1所述的设备，其中所述设备是智能电话或平板计算机。

11.根据权利要求1所述的设备，其中所述设备是扩展现实(XR)系统的头戴式设备(HMD)。

12.一种方法，包括：

由光源将光发射到环境中；

由相机捕获图像，所述图像包含来自所述环境中的表面的所述光源的反射；

由一个或多个处理器执行：

分析由所述相机捕获的所述图像以在所述图像中检测所述光源的所述反射；

将所检测的反射作为点源投影到天球上；

检测所述天球上的所述点源的集群；以及

基于所述天球上的所检测的点源集群，将所述表面标识为镜面反射表面。

13.根据权利要求12所述的方法，其中所述光源是将近红外(NIR)点图案投影到所述环境中的NIR发光二极管(LED)阵列，所述方法还包括：分析由所述NIR相机捕获的来自所述表面的所述点的所述反射的振幅的空间和时间分布以确定所述表面的一个或多个特性。

14.根据权利要求12所述的方法，还包括：标识并丢弃在所述图像中捕获的假正类光源，其中对所述光源的所述反射的真正类观察紧密地聚集在所述天球上，而假正类随机地分布在所述天球上。

15.根据权利要求12所述的方法，其中当所述镜面反射表面的法线在所述相机的视场内时，所述光源的所述反射能够在从所述镜面反射表面垂直投影到所述环境中的体积中由所述相机检测到，并且其中对所述体积内的所述反射的观察落在所述天球上的相同位置上，所述方法还包括：将所述天球上的所述集群中的所述点源与在所述环境的3D映射体积中所检测的反射的相应反射的位置相关，以确定所述环境中的所述镜面反射表面的范围。

16.根据权利要求12所述的方法，还包括：将标识所述镜面反射表面的信息整合到所述环境的3D映射中。

17.根据权利要求12所述的方法，其中所述光源、所述相机和所述一个或多个处理器是手持设备或头戴式设备(HMD)的部件。

18.一种或多种非暂态计算机可读存储介质，所述一种或多种非暂态计算机可读存储介质存储程序指令，所述程序指令当在一个或多个处理器上或跨所述一个或多个处理器执行时使得所述一个或多个处理器：

分析由相机捕获的图像以在所述图像中检测来自环境中的表面的光源的反射；

将所检测的反射作为点源投影到天球上；

检测所述天球上的所述点源的集群；以及

基于所述天球上的所检测的点源集群，将所述表面标识为镜面反射表面。

19.根据权利要求18所述的一种或多种非暂态计算机可读存储介质，其中所述光源是将近红外(NIR)点图案投影到所述环境中的NIR发光二极管(LED)阵列，所述一种或多种非暂态计算机可读存储介质还包括程序指令，所述程序指令当在一个或多个处理器上或跨所述一个或多个处理器执行时使得所述一个或多个处理器：分析由所述NIR相机捕获的来自所述表面的所述点的所述反射的振幅的空间和时间分布以确定所述表面的一个或多个特性。

20.根据权利要求18所述的一种或多种非暂态计算机可读存储介质，还包括程序指令，所述程序指令当在一个或多个处理器上或跨所述一个或多个处理器执行时使得所述一个或多个处理器：将标识所述镜面反射表面的信息整合到所述环境的3D映射中。