CN110998658A - 利用结构化光和泛光的深度图 - Google Patents

Abstract

一种方法，包括：接收由预定的结构化光图案和泛光填充照明两者照亮的场景的图像；基于所接收的场景的图像来生成场景的活动亮度图像，包括：检测预定的结构化光图案的多个点，以及从活动亮度图像中移除预定的结构化光图案的该多个点；以及基于所接收的图像和活动亮度图像来生成场景的深度图。

Description

利用结构化光和泛光的深度图

背景技术

常规的结构化光深度感测系统通常投射随机点图案，该随机点图案提供足够的纹理以支持相机图像与预记录的点图案图像之间的立体匹配。

发明内容

提供了一种方法，包括：接收由预定的结构化光图案和泛光(flood)填充照明两者照亮的场景的图像；基于所接收的场景的图像来生成场景的活动(active)亮度图像，包括：检测预定的结构化光图案的多个点，以及从活动亮度图像中移除预定的结构化光图案的该多个点；以及基于所接收的图像和活动亮度图像来生成场景的深度图。

提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步被描述。本发明内容不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在被用来限制所要求保护的主题内容的范围。此外，所要求保护的主题内容不限于解决在本公开的任何部分中提到的任何或所有缺点的实施方式。

附图说明

图1示出了根据本公开的一个实施例的以头戴式显示器(HMD)设备的形式的计算设备的侧面透视图。

图2A示出了由图1的计算设备的深度传感器捕获的示例场景。

图2B示出了由图1的计算设备的深度传感器捕获的预定的结构化光图案来照亮的示例场景的示例图像。

图2C示出了使用图1的计算设备的深度传感器的示例深度计算。

图3示出了由图1的计算设备的深度传感器捕获的图像的示例感兴趣区域。

图4A示出了由图1的计算设备的深度传感器捕获的泛光填充照明来照亮的示例场景的另一示例图像。

图4B示出了由图1的计算设备的深度传感器捕获的预定的结构化光图案和泛光填充照明两者来照亮的示例场景的另一示例图像。

图5示出了图1的计算设备的深度传感器的示例结构化光照明器。

图6示出了图1的计算设备的深度传感器的示例泛光填充光照明器。

图7示出了图1的计算设备的示例深度传感器。

图8示出了图1的计算设备的深度传感器的示例混合光照明器。

图9示出了图1的计算设备的另一示例深度传感器。

图10示出了用于使用图1的计算设备的深度传感器来生成深度图的示例方法。

图11示出了用于使用图1的计算设备的深度传感器来生成深度图的另一示例方法。

图12A示出了由图1的计算设备的深度传感器的相机24捕获的示例图像。

图12B示出了基于由图1的计算设备的深度传感器的相机24捕获的图像而生成的示例活动亮度图像。

图13示出了基于由图1的计算设备的深度传感器的相机24捕获的图像而生成的示例活动亮度图像。

图14继续图11的示例方法。

图15A示出了由图1的计算设备的深度传感器的相机24捕获的示例图像。

图15B示出了针对图1的计算设备的深度传感器的预定的结构化光图案的示例预记录的图像。

图16A示出了由图1的计算设备的深度传感器捕获的示例图像的示例深度图。

图16B示出了由图1的计算设备的深度传感器捕获的示例图像的示例支持加权。

图17示出了具有由图1的计算设备的深度传感器捕获的示例图像的准确深度边界的示例深度图。

图18继续图11的示例方法。

图19A示出了由图1的计算设备的深度传感器的相机24捕获的示例图像。

图19B示出了针对图1的计算设备的深度传感器的预定的结构化光图案的示例预记录的图像。

图20示出了由图1的计算设备的深度传感器捕获的示例图像的示例稀疏深度图。

图21示出了根据本说明书的实施例的示例计算系统。

具体实施方式

如上所述，常规的结构化光深度感测系统通常投射点图案，该点图案提供足够的纹理以支持相机图像与预记录的点图案图像之间的立体匹配。然而，在这些结构化光深度感测系统中，没有观察到点的像素不接收任何照明。作为该缺失输入的结果，当前的基于点的结构化光深度图通常具有被不准确重建的深度边界。本文描述的系统和方法已被设计以解决这些挑战。

图1图示了以头戴式显示器(HMD)设备12形式的计算设备10。根据本公开的示例，HMD设备12可以由用户佩戴。在其他示例中，计算设备10可以采取其他合适的形式，诸如，例如台式计算设备、游戏控制台、膝上型计算机、腕戴式计算设备或移动计算设备。

在图1的示例中，HMD设备12包括框架14，框架14缠绕在用户的头部周围，以将显示设备16定位为靠近用户的眼睛。框架支持HMD设备10的附加组件，诸如，例如处理器18和深度传感器20。深度传感器20可以被配置成生成在HMD设备12的深度传感器20前面的物理环境的深度图。

在一个示例中，深度传感器20包括一个或多个照明器22和一个或多个相机24。处理器18包括逻辑和相关联的计算机存储器，处理器18被配置成向显示设备16提供图像信号、从一个或多个相机24接收图像信以及执行本文描述的各种控制过程。例如，处理器18可以包括逻辑处理器，并且计算设备10可以包括与显示设备16和深度传感器20通信的易失性存储器和非易失性存储器，如下面关于图21的示例计算系统100更详细地讨论的。

如图1中图示的，深度传感器20包括照明器22，照明器22被配置成将预定的结构化光图案26和泛光填充照明28两者发射在场景上，场景诸如例如在由用户佩戴的HMD设备12前面的物理环境。在所图示的示例中，所发射的预定的结构化光图案26是基于点的斑点图案。通常的结构化光图案的点通常是小的光点，并且可以例如当在被反射回到深度传感器20之后撞击在深度传感器20内的相机24的光传感器上时，具有一个像素或两个像素的直径。附加地，通常的结构化光图案可以每25个相机像素包括这些点中的一个点。然而，将理解，可以在预定的结构化光图案26中利用任何合适大小的点和点对相机像素密度来实现合适的性能和准确性，诸如2个、3个或4个像素的点直径以及每4个、9个、16个、25个或36个相机像素1个点的点密度。附加地，如图1中所图示的，结构化光图案的点通常不以均匀的网格图案放置。可以生成针对预定的结构化光图案的特定的点图案，使得涵盖一个或多个点的每个感兴趣区域(即块)将与每个其他感兴趣区域(即块)可检测地不同。由点的图案提供的纹理可以由处理器18使用以在由照明器22发射的预定的结构化光图案中的感兴趣区域与由相机24捕获的图像中的对应感兴趣区域之间执行立体匹配。将理解，上面所描述和图1中所图示的预定的结构化光图案26仅仅是示例性的，并且预定的结构化光图案26可以采取其他合适的形式。

如图1中进一步所图示的，所发射的泛光填充照明28是漫射照明，其通常在被发射时具有均匀的强度。附加地，如图1中所图示的，与所发射的预定的结构化光图案26相比，可以利用更低的光强度来发射泛光填充照明28。在一个示例中，可以利用预定的结构化光图案26的强度的十分之一、八分之一、四分之一或二分之一来发射泛光填充照明28。但是，将理解，泛光填充照明28与预定的结构化光图案26之间的其他强度比率可以被照明器22利用。

深度传感器20还包括相机24，相机24被配置成捕获由预定的结构化光图案26和泛光填充照明28来照亮的场景的图像。在一个示例中，照明器22被配置成并发地发射预定的结构化光图案26和泛光填充照明28两者，并且相机24被配置成捕获被预定的结构化光图案26和泛光填充照明28两者并发地照亮的场景的图像。在另一示例中，照明器22被配置成顺序地发射预定的结构化光图案26和泛光填充照明28，并且相机24被配置成捕获至少两个图像，场景的一个图像由预定的结构化光图案26来照亮并且场景的第二图像由泛光填充照明28来照亮。

由处理器18接收由相机24捕获的场景的一个或多个图像，处理器18被配置成基于包括预定的结构化光图案26和泛光填充照明28两者的图像来生成该场景的深度图。处理器18可以被配置成使用诸如例如块或图块匹配算法的、合适的结构化光深度图方法来生成该场景的深度图。然而，将理解，可以利用任何合适的结构化光深度图算法，以使用由深度传感器20的相机24捕获的图像来生成深度图。

图2A图示了包括背景深度32和前景深度34的示例场景30。在该示例中，前景深度34是比背景深度32更靠近HMD设备12的矩形对象，背景深度32例如可以是墙、桌子、另一对象等。如前所述，深度传感器20的照明器22将预定的结构化光图案26投射到示例场景30上，并且相机24捕获由预定的结构化光图案26照亮的示例场景30的图像。

图2B图示了仅由预定的结构化光图案26照亮的示例场景30的示例图像36A。在图2B中，为了便于图示，放大了点的大小。如所示的，示例图像36A包括成像的预定的结构化光图案26L，其是从示例场景30反射并且由相机24接收的所发射的预定的结构化光图案26。由于相机24与照明器22间隔开，所以成像的预定的结构化光图案26L包括与所发射的预定的结构化光图案26中的对应点相比具有不同成像位置的点。对于从更靠近深度传感器20的前景对象反射的点，对应点之间的双目视差更大，并且对于从更远离深度传感器20的背景对象反射的点，对应点之间的双目视差更小。

如图2C中所图示的，在一种结构化光深度图算法中，处理器18可以被配置成：基于从照明器22的位置发射的所发射的结构化光图案26的点与从相机24的位置查看的成像的结构化光图案26L的点之间的双目视差来计算场景中的深度。如前所述，由照明器22发射的基于点的预定的结构化光图案将丰富的纹理投影到场景上，该纹理可以由处理器18使用以在感兴趣区域之间执行立体匹配。在一个示例结构化光深度图算法中，立体对中的参考图像是由相机24捕获的场景的图像。立体对中的第二图像是虚拟图像，其示出了如果照明器22是相机的话其将看到的图像。将理解，无论场景内容如何，该虚拟图像都保持恒定，并且可以被预记录。即，虚拟图像是从照明器22发射的预定的结构化光图案。在一个示例算法中，处理器18被配置成：针对由相机24成像的参考视图的每个像素P，经由合适的立体匹配算法，确定在照明器22的位置处的虚拟相机的第二视图中的对应像素P'。处理器18通过将光线F1P与光线F2P相交来计算对应的3D点P1，其中F1是相机24的焦点，其中F2是在照明器24的位置处的虚拟相机的焦点。

在一个示例中，处理器18对感兴趣区域执行立体匹配。图3图示了包括第一感兴趣区域R1的十六个感兴趣区域。如所示的，第一感兴趣区域R1包括三个点D1、D2和D3的布置，三个点D1、D2和D3在第一感兴趣区域R1中具有特定位置并且与第一感兴趣区域R1中的每个其他点具有特定距离。如所示的，在第一感兴趣区域R1中的点的特定布置与在每个其他感兴趣区域中的点的布置不同。以这种方式，由预定的结构化光图案26提供的纹理为每个感兴趣区域提供了不同且可检测的点的布置。因此，在一个示例中，处理器18可以被配置成：基于检测到的感兴趣区域内的点的布置，在由相机24捕获的参考图像中的感兴趣区域与预记录的虚拟图像中的感兴趣区域之间执行立体匹配。在确定了对应的感兴趣区域之后，处理器18可以被配置成根据上文参考图2C描述的方法来计算参考图像中的每个感兴趣区域的深度值。将理解，为了说明性的目的，图3描绘了十六个感兴趣区域，并且通常处理器18可以被配置成处理任何合适数目的感兴趣区域。通常，当生成由相机24捕获的每个参考图像的深度图时，处理器18可以处理数百个感兴趣区域。例如，每个感兴趣区域可以是5乘5的像素区域。在另一示例中，每个感兴趣区域可以是25乘25的像素区域。可以选择感兴趣区域的大小以实现深度图的性能和准确性之间的合适平衡。

返回图2B，预定的结构化光图案26的点之间的区域通常不接收来自所发射的预定的结构化光图案26的照明。因此，仅基于预定的结构化光图案26，可能难以计算位于预定的结构化光图案26的点之间的场景中的对象的边缘的准确深度数据。

如前所述，照明器22进一步被配置成将泛光填充照明28发射到场景上。图4A图示了由泛光填充照明28照亮的、图2A的相同示例场景30的示例图像36B。泛光填充照明28跨由相机24成像的场景的区域投射强度基本均匀的漫射照明。然而，由于光衰减，由相机24成像的光的强度将是不同的，这取决于场景中的对象被定位为距相机24多近或多远。与从场景中的较远对象反射的泛光填充照明28的光强度相比，从较近对象反射的泛光填充照明28的光强度将以更高的强度被成像。因此，如示例图像36B中所示，场景中前景深度34的对象以比背景深度32更高的强度被成像。附加地，当泛光填充照明28投射均匀的照明时，由相机24捕获的图像的每个像素将接收来自泛光填充照明28的光数据。因此，示例图像36B中的两个像素之间的大深度视差指示示例场景30中对象的边缘。以这种方式，处理器18可以被配置成基于光强度视差来检测图像中的深度视差，并且基于检测到的深度视差来检测场景中的对象的边缘。然而，尽管可以使用泛光填充照明28来检测场景中的边缘，但是将理解，仅基于泛光填充照明28来计算场景中的对象的绝对深度值可能是困难的或资源密集的。

在一个示例中，相机24被配置成捕获由预定的结构化光图案26照亮的场景的第一图像和由泛光填充照明28照亮的场景的第二图像。在该示例中，处理器18可以被配置成通过利用第一图像执行立体匹配并且使用第二图像作为用于准确边缘重建的引导图像来生成场景的深度图。然而，将理解，由于在捕获第一图像和第二图像的时间之间的时间差，可能因为佩戴HMD设备12的用户移动其头部而发生视角移位。这种视角移位可能会降低针对场景生成的深度图的准确性。

因此，在另一示例中，相机24被配置成捕获由预定的结构化光图案26和泛光填充照明28两者并发地照亮的场景的图像。图4B图示了由预定的结构化光图案26和泛光填充照明28两者照亮的示例场景30的示例图像36C。如所示的，泛光填充照明28利用比预定的结构化光图案26更低的强度来发射。以这种方式，示例图像26C中的每个像素接收至少一些照明。如前所述，泛光填充照明28使得处理器18能够确定图像中的深度不连续性/视差以检测边缘，并且预定的结构化光图案26使得处理器18能够计算图像中的每个感兴趣区域的绝对深度值。

在一个示例中，预定的结构化光图案26和泛光填充照明28被发射为红外光。在该示例中，照明器22可以被配置成以红外光的预定的频带发射红外光。例如，照明器22可以包括被配置成发射红外光谱中的光的二极管激光器。特别地，二极管激光器可以被配置成发射红外光谱中的小的预定的频带中的光。另外，在该示例中，相机24可以被配置成对预定的频带中的红外光敏感。即，相机24可以被配置成对具有在预定的频带内的波长的红外光做出响应，并且对具有在预定的频带之外的波长的任何光做出较少响应或不做出响应。例如，相机24可以包括带通滤波器，该带通滤波器被配置成滤除红外光的预定的频带之外的光。以这种方式，深度传感器20可以被配置成从具有在预定的频带之外的波长的环境光中滤除潜在的噪声。

转向图5，照明器22可以包括结构化光照明器和泛光填充光照明器两者。图5图示了包括第一光发射器40和衍射光学元件42的结构化光照明器38，结构化光照明器38被配置成发射预定的结构化光图案26。衍射光学元件42被配置成使用衍射光栅来生成相长和相消的干涉，以从由第一光发射器40发射的光生成预定的结构化光图案。在一个示例中，衍射光学元件42从具有近衍射极限的光束质量的单模激光二极管接收光，并且输出预定的结构化光图案。因此，在该示例中，第一光发射器40可以采取单模二极管激光器的形式。通常，这些单模二极管激光器可以具有小于200mW的输出功率能力。将理解，结构化光照明器38可以生成除图5中图示的斑点图案之外的其他类型的结构化光图案。例如，衍射光学元件42的衍射光栅可以被配置成生成其他合适的照明图案，包括其他点图案、基于线的图案和其他工程化图案。

图6图示了泛光填充光照明器44，其包括第二光发射器46和漫射器光学元件48，泛光填充光照明器44被配置成发射泛光填充照明28。在一个示例中，漫射器光学元件48被配置成使用诸如例如微透镜阵列的几何光学器件使入射光均一化并且分散。在另一示例中，漫射器光学元件48可以采取均匀的平顶衍射光学元件的形式，该平顶衍射光学元件被配置成将单模或多模输入光束变换成具有均一化的平顶强度的输出光束。以这种方式，漫射器光学元件48从采取高功率的多模二极管激光器的形式的第二光发射器46接收光，并且将泛光填充照明28输出到深度传感器20前面的场景上。在该示例中，第二光发射器46被配置为高功率多模二极管激光器，并且可以被配置成具有大于30W的脉冲峰值功率。在另一示例中，第二光发射器46可以采取具有匹配的波长的发光二极管的形式，该发光二极管被配置成将泛光填充照明28发射到场景上。将理解，上述示例光发射器和光学元件仅仅是示例性的，并且可以使用任何其他合适的配置来生成预定的结构化光图案26和泛光填充照明28。

图7图示了示例深度传感器20，其包括相机24和照明器22，照明器22包括如上所述的结构化光照明器38和泛光填充光照明器44两者。如所示的，照明器22与相机24间隔开距离D。可以根据将使用HMD设备12的预期场景或环境来设置距离D。较大的距离D将在由相机24拍摄的参考图像与在照明器22的位置处的相机将看到的虚拟图像之间引起较大的双目视差。因此，较大的距离D可以增加可以使用本文所述的立体技术检测的深度的范围。然而，较大的距离D也增加了深度传感器20的大小。因此，可以将距离D设置为实现合适的大小和性能。

在一个示例中，结构化光照明器38和泛光填充光照明器44位于深度传感器20上的同轴位置，该同轴位置与相机24基本等距。在所图示的示例中，结构化光照明器38和泛光填充光照明器44沿着轴A同轴，轴A垂直于相机24与照明器22之间的距离D的轴。通过如图7中图示的那样位于深度传感器20上的同轴位置，结构化光照明器38和泛光填充光照明器44与相机24基本等距。因此，在该示例中，结构化光照明器38和泛光填充光照明器44具有距相机24基本相同的基线距离D，这可以简化由处理器18执行的深度计算。

如前所述，照明器22可以被配置成并发地或分离地发射预定的结构化光图案26和泛光填充照明28。在图7中图示的示例深度传感器20中，结构化光照明器38和泛光填充照明器44包括分离的光发射器，并且可以由处理器18控制以实现合适的时序，诸如并发地或分离地。在一个示例中，结构化光照明器38和泛光填充光照明器44被配置成在分离的时间点发射预定的结构化光图案26和泛光填充照明28，并且相机24被配置成捕获由预定的结构化光图案26照亮的场景的第一图像和由泛光填充照明28照亮的场景的第二图像。图2B中图示了场景的示例第一图像，如上所述，其是仅由预定的结构化光图案26照亮的示例场景30的示例图像36A。图4A图示了场景的示例第二图像，如上所述，其是仅由泛光填充照明28照亮的示例场景30的示例图像36B。基于第一图像和第二图像，处理器18可以被配置成使用在第二图像26B中检测到的深度视差作为深度图的边缘引导，该深度图是使用立体匹配算法利用第一图像36A生成的。在分离的时间点从结构化光照明器38和泛光照明器44发射光可以潜在地减少照明所需的总体输出功率并且减少来自传感器的散粒噪声。然而，如前所述，由于HMD设备12的用户在图像之间移动其头部，因此在第一图像和第二图像的捕获之间逝去的时间可能在捕获的图像之间引入运动模糊。

在另一示例中，结构化光照明器38和泛光填充光照明器44被配置成并发地发射预定的结构化光图案26和泛光填充照明28，并且相机24被配置成捕获由预定的结构化光图案26和泛光填充照明28两者并发地照亮的场景的图像。在图4B中图示了场景的示例图像，如上所述，其是由预定的结构化光图案26和泛光填充照明28两者照亮的示例场景30的示例图像36C。类似地，处理器18可以被配置成使用基于成像的泛光填充照明28而检测到的深度视差作为深度图的边缘引导，该深度图是使用立体匹配算法利用成像的预定的结构化光图案26生成的。通过捕获利用预定的结构化光图案26和泛光填充照明28两者并发地照亮的场景的单个图像，可以将潜在的运动模糊最小化。然而，并发地发射预定的结构化光图案26和泛光填充照明28两者可能潜在地增加深度传感器20所需的总体输出功率。

图8图示了包括光发射器52和混合衍射光学元件54的混合光照明器50，混合光照明器50被配置成发射预定的结构化光图案26和泛光填充照明28两者。如所示的，来自混合光照明器50的发射光56是预定的结构化光图案26和泛光填充照明28的叠加。在一个示例中，混合衍射光学元件54包括被配置用于预定的结构化光图案26的第一衍射部分54A和被配置用于泛光填充照明28的第二衍射部分54B。即，第一衍射部分54A包括预定的结构化光图案26的衍射图案，并且第二衍射部分54B包括泛光照明28的顶帽衍射图案。当穿过混合衍射光学元件54时，从光发射器52发射的光对第一衍射部分54A和第二衍射部分54B两者进行采样，从而产生光图案，该光图案是预定的结构化光图案26和泛光填充照明28的叠加。

在一个示例中，可以设置第一衍射部分54A与第二衍射部分54B之间的比率，以实现所发射的预定的结构化光图案26的强度与泛光填充照明28的强度之间的合适比率。例如，与第二衍射部分54B相比，混合衍射光学元件54可以包括较大部分的第一衍射部分54A，使得混合光照明器50以低于预定的结构化光图案26的光强度发射泛光填充照明28。在一个特定示例中，混合光照明器50可以被配置成以预定的结构化光图案的光强度的十分之一、八分之一、四分之一或二分之一来发射泛光填充照明28。然而，将理解，混合光照明器50可以被配置成发射泛光填充照明28与预定的结构化光图案26之间的光强度的其他合适比率，诸如，例如1比6的比率、1比5的比率等。

图9图示了示例深度传感器20，其包括相机24和包括混合光照明器50的照明器22。在一个示例中，预定的结构化光图案26和泛光填充照明28共对准地从混合光照明器50发射。即，预定的结构化光图案26和泛光填充照明28两者都从相同的光源即混合光照明器50发射。如所图示的，混合光照明器50与相机24间隔开基线距离D。如前所述，基线距离D可以被设置为实现深度传感器20的合适的大小和性能。

图10示出了用于使用本文所述的深度传感器20来生成深度图的示例方法1000。在步骤1002处，方法1000可以包括将预定的结构化光图案26和泛光填充照明28两者发射在场景上。如上所述，深度传感器20包括照明器22，照明器22被配置成发射预定的结构化光图案26和泛光填充照明28两者。在一个示例中，照明器22可以包括结构化光照明器38和泛光填充光照明器44，其可以被配置成并发地或在分离的时间点发射预定的结构化光图案26和泛光填充照明28。在另一示例中，照明器22可以包括混合光照明器50，其被配置成将预定的结构化光图案26和泛光填充照明28两者同轴地发射到场景上。

在步骤1004处，方法1000可以包括捕获由预定的结构化光图案26和泛光填充照明28照亮的场景的图像。场景的图像由传感器设备20的相机24捕获。在照明器22被配置成在分离的时间点发射预定的结构化光图案26和泛光填充照明28的一个示例中，步骤1004可以包括捕获由预定的结构化光图案26照亮的场景的第一图像和由泛光填充照明28照亮的场景的第二图像。

在步骤1006处，方法1000可以包括基于包括预定的结构化光图案26和泛光填充照明28两者的图像来生成场景的深度图。下文讨论了基于包括预定的结构化光图案26和泛光填充照明28两者的场景的图像来生成具有准确的深度边界重建的深度图的若干方法。

图11示出了用于使用由上述预定的结构化光图案26和泛光填充照明28两者照亮的场景的捕获图像来生成深度图的示例方法1100。在一个示例中，示例方法1100可以由计算设备10的处理器18实施，计算设备10例如可以采取HMD设备12的形式。在步骤1102处，示例方法1100可以包括接收由预定的结构化光图案26和泛光填充照明28两者照亮的场景的图像。场景的图像可以由上面参考示例方法1000描述的深度传感器20的相机24捕获。图12A图示了示例场景的示例图像36D。在该示例中，照明器22被配置成发射在红外光范围内的预定的结构化光图案26和泛光填充照明28，并且相机24被配置成对红外光范围内的光敏感。因此，示例图像36D的每个像素具有与由相机24在该像素处捕获的红外光的强度成比例的强度值。如图12A中所图示的，预定的结构化光图案26的反射由相机24捕获作为多个点58。与可能仅由泛光填充照明28照亮的、示例图像36D的多个点58之外的像素相比，示例图像36D的多个点58内的像素具有更高的强度值。

在步骤1104处，示例方法1100可以包括基于所接收的场景的图像来生成场景的活动亮度图像。图12B图示了基于示例场景的示例图像36D生成的示例活动亮度图像60。在一个示例中，处理器18被配置成通过逐像素地复制示例所接收的图像36D的强度值来初始化示例活动亮度图像60。然而，示例所接收的图像36D包括来自预定的结构化光图案26的反射的多个点58，其具有比周围的泛光填充照明28更高的强度。因此，使用所接收的图像36D本身作为引导图像以过滤使用预定的结构化光图案26生成的深度图的朴素边缘引导算法可能会将在多个点58中每个点的边缘处的强度梯度解释为场景中的深度边界，因此在经过滤的深度图中引入深度伪像。因此，在一个示例中，示例方法1100可以被配置成从接收图像36D的示例活动亮度图像60副本中移除多个点58，如以下步骤中所描述的。

在步骤1106处，示例方法1100可以包括检测预定的结构化光图案的多个点。在图12A中图示的示例中，实施示例方法1100的处理器18可以被配置成检测接收图像36D中的多个点58，该多个点58是所发射的预定的结构化光图案26从场景中的对象反射并且撞击到深度传感器20的相机24的光传感器上的结果。在一示例中，处理器18可以被配置成基于预定的结构化光图案26的各个形状的特征形状和大小来检测多个点58。例如，预定的结构化光图案26可以包括具有一个或两个像素的直径的圆形点，并且处理器18可以被配置成检测在活动亮度图像中呈圆形并且具有一个或两个像素的直径的强度值的分组。将理解，本文描述的基于点的图案示例是示例性的，并且处理器18可以被配置成识别深度传感器20的照明器22可以被配置成发射的任何合适类型的预定的结构化光图案26。在另一示例中，处理器18可以被配置成检测强度值的特定范围。如前所述，预定的结构化光图案26以比泛光填充照明28更高的光强度来发射。在该示例中，处理器18可以被配置成确定活动亮度图像中具有比泛光填充照明28的预期强度高的强度值的像素对应于来自预定的结构化光图案26的反射光。将理解，上面描述的检测预定的结构化光图案26的多个点的方法仅是示例性的，并且可以由处理器18实施其他合适的检测方法。

在步骤1108处，示例方法1100可以包括从活动亮度图像中移除预定的结构化光图案26的多个点58，该活动亮度图像包括来自所接收的图像36D的逐像素复制的强度值。对于由多个点58覆盖的像素，仅通过删除对应的强度值或将对应的强度值设置为默认值来移除多个点58，可能会在活动亮度图像中引入孔洞，并且潜在地在使用这种活动亮度图像来过滤的深度图中引起深度伪像。因此，示例方法1100还可以包括利用合适的强度值来修补由检测到的多个点58覆盖的像素。

在步骤1110处，示例方法1100可以包括：针对预定的结构化光图案26的多个点58中的每个点，利用强度值来修补与该点相对应的像素。图13示出了针对示例活动亮度图像60修补强度值的示例。为了减少或最小化潜在的深度伪像，处理器18可以被配置成利用来自另一像素的强度值来修补与多个点58中的一个点相对应的像素，该另一像素与该点位于相同或基本相似的深度平面上。在一个示例中，步骤1110可以包括示例方法1100的子步骤1112，并且可以包括从图像中该点之外的像素采样强度值。可以从该点的外边缘的阈值像素距离内的另一像素采样强度值，诸如两个像素内、三个像素内或另一合适的阈值像素距离内。在一个示例中，所采样的强度值可以是在阈值像素距离内的每个其他像素的平均值或中值。在另一示例中，从该点之外的邻近的最靠近的像素采样强度值。即，处理器18可以被配置成选择与对应于该点的像素接界的像素，从所选择的像素复制强度值，并且修补活动亮度图像中与多个点58中的该特定点相对应的所有像素。

在图13所图示的示例中，处理器18检测第一点58A以及由该点覆盖的活动亮度图像中的其对应的像素集，并且选择该像素集之外的邻近的最靠近的像素。在所图示的示例中，处理器18选择像素P1，该像素P1与对应于第一点58A的像素集接界。接下来，处理器18被配置成复制活动亮度图像中的像素P1的强度值V1，并且利用该强度值V1来修补与第一点58A相对应的像素集中的每个像素。处理器18针对多个点58中的每个点继续该修补过程。例如，与第一点58位于不同深度平面上的第二点58B利用来自不同的像素P2的不同强度值V2来修补，该像素P2与对应于第二点58B的像素集接界。以这种方式，处理器18利用位于与由多个点58中的每个点覆盖的像素相同的深度平面上的其他像素的合适的强度值来修补那些点中的每个点。图12B图示了根据上述方法的利用合适的强度值修补多个点58中的每个点之后的示例活动亮度图像60。

在步骤1114处，示例方法1100可以包括基于所接收的图像和活动亮度图像来生成场景的深度图。在图12A和图12B所图示的示例中，处理器18可以被配置成使用示例所接收的图像36D和示例活动亮度图像60作为输入来生成示例场景的深度图。在一个示例中，处理器18可以被配置成基于成像的预定的结构化光图案来计算所接收的图像36D中的每个像素的深度值，在所图示的示例中，该成像的预定的结构化光图案是多个点58。附加地，处理器18可以被配置成基于示例活动亮度图像60来过滤或引导每个像素的所计算的深度值，以准确地重建示例场景中的深度边界。

步骤1114可以包括三个不同的子步骤集，以用于基于所接收的图像和活动亮度图像来生成场景的深度图。这些子步骤集在图14和图18中继续。如图14中所示，第一子步骤集包括子步骤1116和1118。在子步骤1116处，示例方法1100可以包括在所接收的图像与预定的结构化光图案的预记录的图像之间执行立体匹配。在一个示例中，预定的结构化光图案26的预记录的图像是在照明器22的位置处的虚拟相机将看到的虚拟图像。如前所述，由于预记录的图像的视角沿着与从照明器22发射的预定的结构化光图案26相同的轴，因此，不管由深度传感器20测绘的场景的内容如何，预记录的图像都保持恒定。因此，由相机24捕获的所接收的图像和表示在照明器22的位置处的虚拟相机的预记录的图像形成立体对。

在一个示例中，处理器18实施立体匹配过程，以将所接收的图像的每个像素与预记录的图像的对应像素进行匹配，使得匹配的像素查看场景中的相同位置。为了执行立体匹配，处理器18可以被配置成使匹配窗口或感兴趣区域围绕所接收的图像的每个像素为中心，并且基于潜在的匹配窗口或感兴趣区域对中每个像素的强度值之间的相似度，从预记录的图像中选择对应的匹配窗口或感兴趣区域。图15A图示了围绕来自示例场景的所接收的图像36D的候选像素P3为中心的示例候选感兴趣区域R3。在所图示的示例中，为了便于图示，点的大小、像素的大小以及感兴趣区域被放大。通常，预定的结构化光图案26的每个点的直径可以是一个到两个像素，并且感兴趣区域的尺寸可以是五个像素乘五个像素。然而，将理解，可以选择预定的结构化光图案的点的尺寸和感兴趣区域的尺寸，以实现立体匹配算法的合适的效率和准确性。附加地，尽管图15中图示的感兴趣区域被描绘为正方形，但是将理解，感兴趣区域可以采取任何合适形状的形式，诸如圆形、三角形、矩形等。

在图15A所图示的示例中，围绕候选像素P3为中心的候选感兴趣区域R3在候选感兴趣区域R3内的特定位置处包含多个点58中的三个点。在该示例中，处理器18可以被配置成循环访问图15B中图示的示例预记录的图像62的感兴趣区域，以找到与候选感兴趣区域R3具有最高匹配对应度的匹配的感兴趣区域。例如，来自预记录的图像62的感兴趣区域R4’仅包括与候选感兴趣区域R3内的三个点的特定相对位置相比在感兴趣区域R4’内的不同的相对位置的、预定的结构化光图案26的两个点。通过在候选感兴趣区域R3与来自预记录的图像62的感兴趣区域R4’之间执行逐像素的强度值比较，处理器18可以确定两个图示的感兴趣区域具有低匹配对应度。在另一方面，通过对来自预记录的图像62的感兴趣区域R3’执行相同的过程，处理器18可以确定候选感兴趣区域R3和来自预记录的图像62的感兴趣区域R3’具有两个感兴趣区域内的像素强度值的更高的匹配对应度。在确定两个感兴趣区域R3和R3’匹配之后，处理器18可以被配置成确定在候选感兴趣区域R3的中心的候选像素P3和在匹配的感兴趣区域R3’的中心的匹配像素P3’形成立体对，并且可以使用参考图2C描述的方法来计算示例所接收的图像36D的候选像素P3的深度值。

图16A图示了使用上文参考图15A和图15B描述的立体匹配过程针对示例所接收的图像36D生成的示例深度图64。如所示的，示例深度图64中的边缘可能被向外吹出(blowout)并且在场景中的深度边界处不准确。仅使用结构化光作为输入的块/图块匹配算法通常会出现不准确的边缘，因为通常的结构化光深度传感器不提供结构化光之间的空间中的像素的光数据，这使得难以检测位于结构化光之间的那些空间中的边缘/深度边界，以不能在生成深度图时准确地重建。然而，示例活动亮度图像60包括场景的图像中的所有像素的光强度数据，并且可以由处理器18用来准确地重建场景中的深度边界。

返回图14，在子步骤1118处，方法1110可以包括基于所生成的活动亮度图像来过滤场景的所生成的深度图。如上文参考图16A所讨论的，示例所接收的图像36D的示例所生成的深度图64具有不准确的深度边界。为了重建示例场景的深度边界，实施方法1110的处理器18可以被配置成使用示例活动亮度图像60来过滤示例所生成的深度图64。即，处理器18可以被配置成对示例生成深度图64执行后处理，以改善深度图中的边缘以更准确地表示场景中的实际深度边界。

在一个示例中，为了过滤场景的所生成的深度，处理器18可以被配置成针对所生成的深度图中的每个像素，确定以该像素为中心的感兴趣区域，并且确定对应的活动亮度像素和以所生成的活动亮度图像中的该活动亮度像素为中心的活动亮度感兴趣区域。在该示例中，活动亮度图像是基于所接收的图像生成的，并且具有与所接收的图像相同的视角。因此，从所接收的图像生成的深度图中的每个像素在活动亮度图像中的相同像素位置处具有对应的像素。在图16A图示的示例中，深度图像素P5具有像素位置(X，Y)，该像素位置在图16B图示的示例活动亮度图像60中的相同像素位置(X，Y)处具有对应的活动亮度像素P5’。类似地，以深度图像素P5为中心的深度图感兴趣区域R5也具有对应的活动亮度感兴趣区域R5’。将理解，深度图像素P5和对应的活动亮度像素P5’两者都查看场景中的相同位置。但是，由于块匹配立体算法的边缘重建不准确性，因此深度图像素P5被分配以下深度值：该深度值与示例场景中的灯对象位于相同深度平面上。而在示例活动亮度图像60中的、与深度图像素P5查看场景中的相同位置的对应的活动亮度像素P5’具有以下强度值：该强度值指示活动亮度像素P5’位于比灯对象离深度传感器20更远的背景深度平面上。然而，由于活动亮度图像为图像中的每一个像素提供强度数据，所以活动亮度图像包括准确的深度视差/深度边界数据。

为了基于示例活动亮度图像60过滤示例深度图64以改善深度边界，处理器18可以被配置成计算除中心像素之外的活动亮度感兴趣区域中的每个像素的支持权重。在图16B所图示的示例中，示例活动亮度感兴趣区域R5’中的特定像素的支持权重的值指示了该像素的强度值与活动亮度感兴趣区域R5’的中心处的活动亮度像素P5’的强度值相比有多相似。即，与中心活动亮度像素P5’相比具有不相似强度值的、活动亮度感兴趣区域R5’中的像素被分配低加权，并且与中心活动亮度像素P5相比具有相似强度值的、活动亮度感兴趣区域R5’中的像素被分配较高的加权。

图16B图示了示例活动亮度感兴趣区域R5’的所计算的支持权重66的示例。如所示的，与中心活动亮度像素P5’位于相同背景深度平面上的像素被分配较高的加权，其在图16B中被图示为白色。另一方面，与中心活动亮度像素P5’相比位于更靠近深度传感器20的灯深度平面上的像素被分配较低的加权，其在图16B中被图示为黑色。接下来，处理器18可以被配置成将所计算的支持权重66应用于深度图像素P5，以重新计算该像素的深度值。例如，可以通过将所计算的支持权重66应用于深度图感兴趣区域R5中的每个像素的深度值，来将深度图像素P5的深度值重新计算为深度图感兴趣区域R5内所有像素的加权中值深度值。在图16A所图示的示例中，所计算的支持权重66将减小深度图感兴趣区域R5的左下象限中的像素的权重，并且增大深度图感兴趣区域R5的其他象限中的像素的权重，这将使得感兴趣的中心深度图像素P5具有与位于背景深度平面上的其他像素相似的加权中值深度值。在该示例中，在使用上述支持权重方法对示例深度图64的每个像素进行过滤之后，处理器18可以生成图17中图示的示例经过滤的深度图68。示例经过滤的深度图86包括每个像素的准确深度边界和深度值两者。

返回图14，步骤1114可以包括用于基于所接收的图像和活动亮度图像来生成深度图的第二子步骤集1120和1122。在子步骤1120处，方法1100可以包括针对所接收的图像中的每个像素，基于所生成的活动亮度图像，计算围绕该像素的感兴趣区域中的每个其他像素的支持权重。支持权重可以根据参考图16A和图16B描述的方法来计算。然而，在示例第二子步骤集中，方法1100在后处理步骤期间不使用所计算的支持权重来过滤已经生成的深度图。相反，在子步骤1122处，方法1100可以包括基于感兴趣区域和针对每个像素的所计算的支持权重，在所接收的图像与预定的结构化光图案的预记录的图像之间执行立体匹配。即，实施示例方法1100的子步骤1120和1122的处理器18使用在子步骤1120处计算的支持权重来改善所接收的图像中的感兴趣区域与预记录的图像中的对应感兴趣区域之间的立体匹配。在图15A中图示的示例所接收的图像36D中，实施子步骤1120和1122的处理器18可以被配置成将感兴趣区域R3的支持权重应用于被包含在感兴趣区域R3中的预定的结构化光图案的点。与参考图16B描述的支持权重计算方法类似，可以基于活动亮度图像中的强度值的相似度来计算支持权重。即，具有与感兴趣区域的感兴趣中心像素相似的强度值的像素被给予较高的加权，并且具有与感兴趣中心像素不相似的强度值的像素被给予较低的加权。

因此，在图15A中所图示的示例中，当在图15B图示的预记录的图像62中搜索匹配的感兴趣区域时，感兴趣区域R3中的下方的两个点将被给予较高的加权，并且当搜索匹配的感兴趣区域时，感兴趣区域R3的右上象限中的点将被给予较低的加权。以这种方式，可以在示例所接收的图像36D的边缘/深度边界处提高块/图块匹配立体算法的准确性，并且处理器18可以直接从上述支持权重块匹配立体算法生成具有准确深度边界68的示例深度图。

转向图18，步骤1114可以包括第三子步骤集1124至1136，以用于基于所接收的图像和活动亮度图像来生成深度图。在子步骤1124处，方法1100可以包括针对在所接收的图像中检测到的多个点中的每个点来计算一个或多个特征向量。在一个示例中，基于到多个点中的另一点的像素距离来计算多个点中的每个点的一个或多个特征向量。在图19A所图示的示例中，针对示例所接收的图像36D的多个点58中的示例点58C示出了五个特征向量。如所图示的，处理器18可以计算示例点58C的五个特征向量，其包括朝向多个点58中最邻近的五个其他点的向量。为了确定图19B中图示的示例预记录的图像62中的对应点，处理器18可以被配置成搜索存储表以找到最靠近的匹配，该存储表包括针对预记录的图像62中的多个点中的每个点的特征向量。由于预记录的图像62对于所有场景内容都是恒定的，因此预记录的图像中每个点的特征向量可以被预计算并且被存储在HMD设备12的存储器中的查找表中。即，可以针对每个点预计算特征向量，该特征向量指示到示例预记录的图像62中的预定的结构化光图案26中的最邻近的五个点的像素距离，如图19B中针对预记录的点58C’和58D’所示的。将理解，以上示例特征向量仅仅是示例性的，并且处理器18可以被配置成计算任何合适类型的特征向量以表征预定的结构化光图案26中的每个点。

在子步骤1126处，方法1100可以包括基于所计算的特征向量，在所接收的图像中的多个点中的每个点与预定的结构化光图案的预记录的图像中的对应的多个点之间执行立体匹配。如上所述，处理器18可以通过计算示例所接收的图像36D中的每个点的一个或多个特征向量，并且在预计算的查找表中搜索示例预记录的图像62中具有匹配或相似特征向量集的对应点，来确定图19A的示例所接收的图像36D中的点与图19B的示例预记录的图像62中的点之间的立体匹配。

在子步骤1128处，方法1100可以包括基于立体匹配来计算由所接收的图像中的多个点中的每个点覆盖的像素的深度值。在找到示例所接收的图像36D中的多个点58中的每个点的匹配立体对之后，处理器18可以被配置成使用参考图2C描述的深度计算方法来计算每个点的深度值。处理器18可以被进一步配置成将所计算的深度值修补到示例所接收的图像36D中与预定的结构化光图案26的该点相对应的每个像素。以这种方式，处理器18生成稀疏深度图该稀疏深度图包括与所接收的图像中的多个点58中的每个点相对应的像素的深度值，诸如例如图20中图示的示例稀疏深度图70。然而，示例稀疏深度图70不包括多个点58之外的像素的深度值。

因此，在子步骤1130处，方法1100可以包括针对所接收的图像中该多个点之外的每个像素，确定围绕该像素的感兴趣区域。处理器18可以被配置成根据参考图15A描述的方法来确定围绕每个像素的感兴趣区域。在图20所图示的示例中，处理器18确定以示例像素P6为中心的示例感兴趣区域R6。可以针对所接收的图像中该多个点之外的每个像素确定相似的感兴趣区域。

在子步骤1132处，方法1100可以包括基于所生成的活动亮度图像来计算该感兴趣区域中的每个像素的支持权重。处理器18可以被配置成根据参考图16B描述的方法来计算支持权重。在图20所图示的示例中，示例像素P6位于灯对象深度平面上。因此，示例感兴趣区域R6中与示例像素P6位于相同深度平面上的其他像素将接收较高的支持权重值，并且示例感兴趣区域R6中位于不同深度平面上的其他像素将接收较低的支持权重值。

在子步骤1134处，方法1100可以包括基于由感兴趣区域内的多个点中的一个或多个点覆盖的像素的所计算的深度值和所计算的支持权重，来计算该像素的加权深度中值。处理器18可以被配置成根据参考图16A和图16B描述的方法来计算加权深度中值。然而，在示例稀疏深度图70中，多个点58中的每个点之外的像素可能还不具有所计算的深度值。因此，处理器18可以被配置成基于由示例稀疏深度图70中的具有所计算的深度值的点覆盖的像素来计算加权深度中值。

在步骤1136处，方法1100可以包括利用加权深度中值来修补该像素。处理器18可以被配置成针对与多个点58相对应的像素之外的稀疏深度图70中的每个像素执行子步骤1130至1136，该多个点58是所发射的预定的结构化光图案26的成像的反射。以这种方式，在图20的示例稀疏深度图70中的每个像素利用合适的深度值被修补，从而生成具有图17中所图示的准确深度边界68的示例深度图。

在一些实施例中，本文描述的方法和过程可以与一个或多个计算设备的计算系统联系在一起。特别地，这样的方法和过程可以被实施成计算机应用或服务、应用编程接口(API)、库和/或其他计算机程序产品。

图21示意性地示出了可以执行上述方法和过程中的一个或多个的计算系统100的非限制性实施例。计算系统100以简化的形式示出。计算系统100可以体现图1的计算设备10和HMD设备12。计算系统100可以采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备，以及诸如智能腕表和头戴式增强现实设备的可穿戴计算设备。

计算系统100包括逻辑处理器102、易失性存储器104和非易失性存储设备106。计算系统1000可以可选地包括显示子系统108、输入子系统110、通信子系统112和/或图21中未示出的其他组件。

逻辑处理器102包括被配置成执行指令的一个或多个物理设备。例如，逻辑处理器可以被配置成执行作为一个或多个应用、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。可以实施这样的指令以执行任务、实施数据类型、变换一个或多个组件的状态、实现技术效果，或以其他方式达到期望的结果。

逻辑处理器可以包括被配置成执行软件指令的一个或多个物理处理器(硬件)。附加地或备选地，逻辑处理器可以包括被配置成执行硬件实施的逻辑或固件指令的一个或多个硬件逻辑电路或固件设备。逻辑处理器102的处理器可以是单核或多核，并且在其上执行的指令可以被配置成用于顺序、并行和/或分布式处理。逻辑处理器的各个组件可选地可以跨两个或多个分离的设备分布，这些设备可以被远程定位和/或配置成用于协同处理。逻辑处理器的各方面可以由在云计算配置中配置的远程可访问的联网的计算设备虚拟化和执行。将理解，在这种情况下，这些虚拟化方面在各种不同的机器的不同物理逻辑处理器上运行。

非易失性存储设备106包括一个或多个物理设备，其被配置成保持由逻辑处理器可执行的指令以实施本文所描述的方法和过程。当这样的方法和过程被实施时，非易失性存储设备106的状态可以被变换，例如以保持不同的数据。

非易失性存储设备106可以包括可移除和/或内置的物理设备。非易失性存储设备106可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，ROM、EPROM、EEPROM、FLASH存储器等)，和/或磁存储器(例如，硬盘驱动、软盘驱动、磁带驱动、MRAM等)或其他大容量存储设备技术。非易失性存储设备106可以包括非易失性、动态、静态、读/写、只读、顺序访问、位置可寻址、文件可寻址和/或内容可寻址的设备。将理解，非易失性存储设备106被配置成即使在切断非易失性存储设备106的功率时也保持指令。

易失性存储器104可以包括物理设备，其包括随机存取存储器。逻辑处理器102通常利用易失性存储器104以在软件指令的处理期间临时存储信息。将理解，当切断易失性存储器104的功率时，易失性存储器104通常不继续存储指令。

逻辑处理器102、易失性存储器104和非易失性存储设备106的各方面可以被集成在一起成为一个或多个硬件逻辑组件。例如，这样的硬件逻辑组件可以包括现场可编程门阵列(FPGA)、程序和专用集成电路(PASIC/ASIC)、程序和专用标准产品(PSSP/ASSP)、片上系统(SOC)和复杂可编程逻辑器件(CPLD)。

术语“模块”、“程序”和“引擎”可以被用来描述计算系统100的方面，通常由处理器以软件实施计算系统100的方面，以使用易失性存储器的各部分来执行特定功能，该功能涉及专门将处理器配置成执行该功能的变换性处理。因此，可以经由逻辑处理器102使用易失性存储器104的各部分执行由非易失性存储设备106保持的指令，来实例化模块、程序或引擎。将理解，可以从相同的应用、服务、代码块、对象、库、例程、API、功能等来实例化不同的模块、程序和/或引擎。同样，可以由不同的应用、服务、代码块、对象、例程、API、功能等来实例化相同的模块、程序和/或引擎。术语“模块”、“程序”和“引擎”可以涵盖单独的或各组可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

当显示子系统108被包括时，其可以被用来呈现由非易失性存储设备106保持的数据的视觉表示。视觉表示可以采取图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变由非易失性存储设备保持的数据，并因此变换非易失性存储设备的状态，所以显示子系统108的状态同样可以被变换以在视觉上表示在基础数据中的改变。显示子系统108可以包括利用几乎任何类型的技术的一个或多个显示设备。这样的显示设备可以在共享封装中与逻辑处理器102、易失性存储器104和/或非易失性存储设备106组合，或者这样的显示设备可以是外围显示设备。

当输入子系统110被包括时，其可以包括一个或多个用户输入设备或与其接口，用户输入设备诸如键盘、鼠标、触摸屏或游戏控制器。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)组件或与其接口。这样的组件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外被处理。示例NUI组件可以包括用于语音和/或声音识别的麦克风；用于机器视觉和/或姿势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、惯性测量单元和/或陀螺仪；以及用于评估大脑活动的电场感测组件；和/或任何其他合适的传感器。

当通信子系统112被包括时，其可以被配置成将本文所描述的各种计算设备彼此通信地耦合，并与其他设备通信地耦合。通信子系统112可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置成用于经由无线电话网络，或有线或无线局域网或广域网(诸如，通过Wi-Fi的HDMI连接)的通信。在一些实施例中，通信子系统可以允许计算系统1000经由诸如互联网的网络向其他设备发送消息和/或从其他设备接收消息。

以下段落为主题申请的权利要求提供了附加的支持。一个方面提供了一种方法，该方法包括：接收由预定的结构化光图案和泛光填充照明两者照亮的场景的图像；基于所接收的场景的图像来生成场景的活动亮度图像，包括：检测预定的结构化光图案的多个点，以及从活动亮度图像中移除预定的结构化光图案的多个点；以及基于所接收的图像和活动亮度图像来生成场景的深度图。在该方面，附加地或备选地，移除多个点还可以包括：针对预定的结构化光图案的多个点中的每个点，利用强度值来修补与该点相对应的像素。在该方面，附加地或备选地，修补像素可以包括从图像中该点之外的像素采样强度值。在该方面，附加地或备选地，强度值可以从点之外的邻近的最靠近的像素被采样。在该方面，附加地或备选地，生成场景的深度图可以包括：在所接收的图像与预定的结构化光图案的预记录的图像之间执行立体匹配。在该方面，附加地或备选地，该方法还可以包括基于所生成的活动亮度图像来过滤场景的所生成的深度图。在该方面，附加地或备选地，生成场景的深度图可以包括：针对所接收的图像中的每个像素，基于所生成的活动亮度图像，计算针对围绕该像素的感兴趣区域中的每个其他像素的支持权重，以及基于感兴趣区域和针对每个像素的所计算的支持权重，在所接收的图像与预定的结构化光图案的预记录的图像之间执行立体匹配。在这方面，附加地或备选地，支持权重可以基于活动亮度图像中的强度值的相似度而被计算。在该方面，附加地或备选地，生成场景的深度图可以包括：针对在所接收的图像中检测到的多个点中的每个点，计算一个或多个特征向量；基于所计算的特征向量，在所接收的图像中的多个点中的每个点与预定的结构化光图案的预记录的图像中的对应的多个点之间执行立体匹配；基于该立体匹配，计算针对由所接收的图像中的多个点中的每个点覆盖的像素的深度值；针对所接收的图像中多个点之外的每个像素：确定围绕该像素的感兴趣区域；基于所生成的活动亮度图像，计算针对该感兴趣区域中的每个像素的支持权重；基于由感兴趣区域内的多个点中的一个或多个点覆盖的像素的所计算的深度值和所计算的支持权重，计算针对该像素的加权深度中值；以及利用加权深度中值来修补该像素。在该方面，附加地或备选地，针对多个点中的每个点的一个或多个特征向量可以基于到多个点中的另一点的像素距离而被计算。

另一方面提供了一种计算设备，包括：照明器，被配置成将预定的结构化光图案和泛光填充照明两者发射在场景上；相机，被配置成捕获由预定的结构化光图案和泛光填充照明来照亮的场景的图像；以及处理器，被配置成：基于所捕获的场景的图像来生成场景的活动亮度图像，包括：检测预定的结构化光图案的多个点；以及从活动亮度图像中移除预定的结构化光图案的多个点；以及基于所捕获的图像和活动亮度图像而生成场景的深度图。在该方面，附加地或备选地，为了移除多个点，处理器还可以被配置成：针对预定的结构化光图案的多个点中的每个点，利用强度值来修补与该点相对应的像素。在该方面，附加地或备选地，为了修补像素，处理器还可以被配置成从图像中该点之外的像素采样强度值。在该方面，附加地或备选地，强度值可以从该点之外的邻近的最靠近的像素被采样。在该方面中，附加地或备选地，为了生成场景的深度图，处理器还可以被配置成在所捕获的图像与预定的结构化光图案的预记录的图像之间执行立体匹配。在该方面，附加地或备选地，处理器还可以被配置成基于所生成的活动亮度图像来过滤所生成的场景的深度图。在这方面，附加地或备选地，为了生成场景的深度图，处理器还可以被配置成：针对所捕获的图像中的每个像素，基于所生成的活动亮度图像，计算围绕该像素的感兴趣区域中的每个其他像素的支持权重，以及基于感兴趣区域和每个像素的所计算的支持权重，在所捕获的图像与预定的结构化光图案的预记录的图像之间执行立体匹配。在这方面，附加地或备选地，支持权重可以基于活动亮度图像中的强度值的相似度而被计算。在这方面，附加地或备选地，为了生成场景的深度图，处理器还可以被配置成：针对在所捕获的图像中检测到的多个点中的每个点，计算一个或多个特征向量；基于所计算的特征向量，在所捕获的图像中的多个点中的每个点与预定的结构化光图案的预记录的图像中的对应的多个点之间执行立体匹配；基于该立体匹配，计算针对由所捕获的图像中多个点中的每个点覆盖的像素的深度值；针对所捕获的图像中多个点之外的每个像素：确定围绕该像素的感兴趣区域；基于所生成的活动亮度图像，计算针对该感兴趣区域中的每个像素的支持权重；基于由感兴趣区域内的多个点中的一个或多个点覆盖的像素的所计算的深度值和所计算的支持权重，计算针对该像素的加权深度中值；以及利用该加权深度中值来修补该像素。

另一方面提供了一种方法，包括将预定的结构化光图案和泛光填充照明两者发射在场景上；捕获由预定的结构化光图案和泛光填充照明来照亮的场景的图像；基于所捕获的场景的图像来生成场景的活动亮度图像包括：检测预定的结构化光图案的多个点，以及针对预定的结构化光图案的多个点中的每个点，利用强度值来修补与该点相对应的像素；以及基于所捕获的图像和活动亮度图像生成场景的深度图。

将理解，本文描述的配置和/或方法在本质上是示例性的，并且这些特定的实施例或示例不应当被视为具有限制意义，因为许多变型是可能的。本文描述的特定例程或方法可以表示任何数目的处理策略中的一个或多个。因此，所图示和/或所描述的各种动作可以以所图示和/或所描述的顺序、以其他顺序、并行地执行或被省略。同样，可以改变上述过程的次序。

本公开的主题包括本文公开的各种过程、系统和配置的所有新颖且非明显的组合和子组合以及其他特征、功能、动作和/或性质及其所有等价物。

Claims (15)

1.一种方法，包括：

接收由预定的结构化光图案和泛光填充照明两者照亮的场景的图像；

基于所接收的所述场景的所述图像，生成所述场景的活动亮度图像，包括：

检测所述预定的结构化光图案的多个点；以及

从所述活动亮度图像中移除所述预定的结构化光图案的所述多个点；以及

基于所接收的所述图像和所述活动亮度图像，生成所述场景的深度图。

2.根据权利要求1所述的方法，其中移除所述多个点还包括：针对所述预定的结构化光图案的所述多个点中的每个点，利用强度值来修补与所述点相对应的像素。

3.根据权利要求2所述的方法，其中修补像素包括从所述图像中所述点之外的像素采样所述强度值。

4.根据权利要求3所述的方法，其中所述强度值从所述点之外的邻近的最靠近的像素被采样。

5.根据权利要求1所述的方法，其中生成所述场景的所述深度图包括：在所接收的所述图像与所述预定的结构化光图案的预记录的图像之间执行立体匹配。

6.根据权利要求5所述的方法，还包括：基于所生成的所述活动亮度图像，过滤所述场景的所生成的所述深度图。

7.根据权利要求1所述的方法，其中生成所述场景的所述深度图包括：

针对所接收的所述图像中的每个像素，基于所生成的所述活动亮度图像，计算针对围绕所述像素的感兴趣区域中的每个其他像素的支持权重；以及

基于所述感兴趣区域和针对每个像素的所计算的支持权重，在所接收的所述图像与所述预定的结构化光图案的预记录的图像之间执行立体匹配。

8.根据权利要求7所述的方法，其中所述支持权重基于所述活动亮度图像中的强度值的相似度而被计算。

9.根据权利要求1所述的方法，其中生成所述场景的所述深度图包括：

针对在所接收的所述图像中检测到的所述多个点中的每个点，计算一个或多个特征向量；

基于所计算的所述特征向量，在所接收的所述图像中的所述多个点中的每个点与所述预定的结构化光图案的预记录的图像中的对应的多个点之间执行立体匹配；

基于所述立体匹配，计算针对由所接收的所述图像中的所述多个点中的每个点覆盖的像素的深度值；

针对所接收的所述图像中所述多个点之外的每个像素：

确定围绕所述像素的感兴趣区域；

基于所生成的所述活动亮度图像，计算针对所述感兴趣区域中的每个像素的支持权重；

基于由所述感兴趣区域内的所述多个点中的一个或多个点覆盖的像素的所计算的深度值和所计算的所述支持权重，计算针对所述像素的加权深度中值；以及

利用所述加权深度中值来修补所述像素。

10.根据权利要求9所述的方法，其中针对所述多个点中的每个点的所述一个或多个特征向量基于到所述多个点中的另一点的像素距离而被计算。

11.一种计算设备，包括：

照明器，被配置成将预定的结构化光图案和泛光填充照明两者发射在场景上；

相机，被配置成捕获由所述预定的结构化光图案和所述泛光填充照明照亮的所述场景的图像；以及

处理器，被配置成：

基于所捕获的所述场景的所述图像，生成所述场景的活动亮度图像，包括：

检测所述预定的结构化光图案的多个点；以及

从所述活动亮度图像中移除所述预定的结构化光图案的所述多个点；以及

基于所捕获的所述图像和所述活动亮度图像，生成所述场景的深度图。

12.根据权利要求11所述的计算设备，其中为了移除所述多个点，所述处理器还被配置成：针对所述预定的结构化光图案的所述多个点中的每个点，利用强度值来修补与所述点相对应的像素。

13.根据权利要求12所述的计算设备，其中为了修补像素，所述处理器还被配置成：从所述图像中所述点之外的像素采样所述强度值。

14.根据权利要求13所述的计算设备，其中所述强度值从所述点之外的邻近的最靠近的像素被采样。

15.根据权利要求11所述的计算设备，其中为了生成所述场景的所述深度图，所述处理器还被配置成：

针对在所捕获的所述图像中检测到的所述多个点中的每个点，计算一个或多个特征向量；

基于所计算的所述特征向量，在所捕获的所述图像中的所述多个点中的每个点与所述预定的结构化光图案的预记录的图像中的对应的多个点之间执行立体匹配；

基于所述立体匹配，计算针对由所捕获的所述图像中的所述多个点中的每个点覆盖的像素的深度值；

针对所捕获的所述图像中所述多个点之外的每个像素：

确定围绕所述像素的感兴趣区域；

基于所生成的所述活动亮度图像，计算针对所述感兴趣区域中的每个像素的支持权重；

基于由所述感兴趣区域内的所述多个点中的一个或多个点覆盖的像素的所计算的深度值和所计算的所述支持权重，计算针对所述像素的加权深度中值；以及

利用所述加权深度中值来修补所述像素。

Images