CN106662650B - 解析直接路径和多路径辐射分量的飞行时间相机系统 - Google Patents

Abstract

本发明提供了一种飞行时间相机系统，该系统设置为对从目标反射的调制辐射的直接路径分量或多路径分量进行解析。相机系统包括设置为在目标处发射调制辐射的飞行时间发射器、以及在发射器与目标之间操作的至少一个图案应用结构。图案应用结构操作为将至少一个结构光图案应用至调制发射器辐射。相机系统还包括配置为测量从目标反射的辐射的图像传感器。相机系统设置为通过接收的测量，来解析从目标反射的直接源反射辐射的贡献。

Description

解析直接路径和多路径辐射分量的飞行时间相机系统

技术领域

本发明涉及关于飞行时间相机系统的改进，该飞行时间相机系统配置为解析由该系统接收的辐射的直接路径分量和多路径分量之一或二者。

背景技术

飞行时间相机系统能够解析来自辐射光束的距离或深度信息，其中辐射光束已被调制并从场景中的目标反射。这些相机系统基于从接收的反射辐射提取的相位信息来计算来自目标的距离测量。

通过飞行时间相机的传感器生成的测量代表调制光源的直接路径反射，以及来自附近物体的相同调制光源的多个反射的贡献的多路径分量。飞行时间成像会受到不利于成像质量的许多影响。示例包括多路径干扰和运动模糊。

直接路径辐射关注深度或范围测量应用，而在其它情况下，多路径分量提供关于目标的当前状态的有价值信息。例如，公开号为WO2012/053908的PCT专利申请公开了用于飞行时间技术的层析成像型应用，其中多路径分量提供表面下散射信息。

多路径分量的贡献在飞行时间深度感测应用中是多余的。现有技术中这些装置的实现方案已不能解析来自场景的、包括拐角或其它类似反射表面的区域的深度信息。这是因为接收的直接路径与多路径信号返回之间的距离(光学路径长度)的较小差异。

在涉及使用结构光扫描的3D成像的应用中，多路径干扰也是待解决的误差来源。在这些应用中，结构光图案被投射到目标上，其中通过接收相机检测到的图案变形被用于确定目标的形式或表面形状。这可对比于飞行时间成像，在飞行时间成像中接收到的光的相位被用于确定传播延迟并因此确定距离信息。因此，在结构光深度相机和飞行时间相机中，由多个传播路径导致的测量误差是不同的。飞行时间相机测量返回光的相位和振幅，而结构光方法测量场景中光的强度。

在3D成像领域中已有旨在降低多路径干扰的误差效果的若干公开文献。这种方式的一个示例由Shree K Nayar、Gurunandan Krishnan、Michael D Grossberg和RameshRaskar在美国计算机学会图形学汇刊(ACM Transactions on Graphics(TOG)，25(3):935–944,2006上公开，标题为“Fast separation of direct and global components of ascene using high frequency illumination(使用高频照明快速分离场景的直接和全局分量)”。在该公开文献中，提出了通过将结构光图案投射到目标的快速分离全局和直接光返回的方法，其中由接收相机系统的像素评估的每个目标区域经受改变照明的每个图案。通过该方式收集的信息在投射图案中采用空间变化，以分离用于相机的每个像素的直接路径返回。

与飞行时间相机系统和缓解多路径误差效果尤其相关的另一公开文献由Oggier的US公开专利申请US 2014/0055771提供。但是，虽然针对飞行时间相机应用，但是所公开的结构光传输系统操作为仅扫描相机整个视野内分离的关注目标。该方式的最终结果在于使相机接收的直接路径返回相乘，使得多路径返回成为接收信号的相对较低比例。虽然对于现有技术存在改进，但是该方式不计算或分离接收的相机信号的直接路径分量，仅提供误差降低效果。

相比于传统的均匀照明场，这些工艺和技术的一个方面在于图案化照明的投射。典型地，数字微镜装置(Digital Micromirror Device，DMD)，也被称为微镜阵列或数字光投射装置被用于生成图案。DMD的缺陷为大尺寸、大功耗、以及需要复杂控制图像生成电子装置。另一明显的缺点是效率低，因为浪费了没有投射的光。然而，其具有的优势是一个装置可生成许多工艺和技术所需的多个图案。

因此，改进以上现有技术的飞行时间相机系统，并解决以上问题中的任意或全部，将是有利的。对允许解析相机系统接收的信号中直接路径和多路径辐射贡献中的任一个或二者的飞行时间相机系统进行特别改进，也是有利的。

发明内容

根据本发明的一个方面，提供了一种飞行时间相机系统，设置为对从目标反射的调制辐射的直接路径分量或多路径分量进行解析，该相机系统包括：

飞行时间发射器，设置为在目标处发射调制辐射；以及

至少一个图案应用结构，在发射器与目标之间操作，图案应用结构操作为将至少一个结构光图案应用至调制发射器辐射，以及

图像传感器，配置为测量从目标反射的辐射，

飞行时间相机被设置为通过接收的测量，来解析从目标反射的直接源反射辐射的贡献。

根据本发明的另一方面，提供了一种飞行时间相机系统，设置为对从目标反射的调制辐射的直接路径分量或多路径分量进行解析，该相机系统包括：

飞行时间发射器，设置为在目标处发射调制辐射；以及

至少一个图案应用结构，在发射器与目标之间操作，图案应用结构操作为将至少一个结构光图案应用至调制发射器辐射，以及

图像传感器，配置为测量从目标反射的辐射，以及

处理器，设置为接收图像传感器测量并且被编程为通过接收的测量，解析直接源反射辐射、多路径分量辐射和/或直接路径辐射和多路径辐射的相对贡献。

优选地，至少一个图案应用结构被设置为应用初始图案和相同初始图案的倒转形式。

优选地，相同初始图案的倒转形式通过与用于应用初始图案的调制辐射存在相移的调制辐射来应用。

优选地，相同初始图案的倒转形式通过与用于应用初始图案的调制辐射存在180度相移的调制辐射来应用。

根据本发明的另一方面，提供了一种通过飞行时间相机系统为对从目标反射的调制辐射的直接路径分量或多路径分量进行解析的方法，包括以下步骤：

通过调制光束照亮待成像的目标，调制光束对第一结构光图案进行编码；

通过图像捕获装置捕获被照亮的目标的第一图像，被捕获的图像限定由多个像素组成的像素表面；

通过多个调制光束照亮待成像的目标，多个调制光束对不同的结构光图案进行编码；

捕获由一系列不同的结构光图案的编码照亮的目标的其它图像；

计算直接源反射辐射的贡献或多路径分量辐射的贡献。

在一些实施方式中，通过对不同结构光图案进行编码的调制光束在相同的时间照亮目标，所述调制光束中的每个具有通过不同正交编码而编码的结构光图案。

在一些实施方式中，通过对不同结构光图案进行编码的调制光束在不同时间照亮目标。

优选地，目标的另一图像是捕获的目标被第一结构光图案的倒转形式照亮的图像，应用结构光图案的倒转形式的调制辐射与应用第一结构光图案的调制辐射存在相移。

优选地，180度相移的调制辐射被用于应用第一结构光图案的倒转形式。

优选地，通过将针对所应用的结构光图案而测量的图像值加到针对所应用的相同结构光图案的倒转形式而测量的图像值，来计算直接源反射辐射的贡献。

根据本发明的又一方面，提供了一种通过计算机程序代码编码的用于飞行时间范围成像的非暂时性计算机可读介质，程序代码包括以下指令：

用于使调制照明信号发射的指令；

用于使至少一个图案应用结构将多个结构光图案应用到调制照明信号的指令；

用于使图像传感器捕获调制照明信号的多个反射图像以用于图像传感器的多个像素的指令；

用于通过多个像素的每个处的捕获的图像，解析直接源反射辐射的贡献或多路径分量辐射的贡献的指令。

优选地，代码使得被第一结构光图案和第一结构光图案的倒转形式照亮的目标的图像被捕获。

优选地，代码使得第一结构光图案的倒转形式通过以下调制照明信号应用，该调制照明信号与用于应用第一结构光图案的调制照明信号存在相移。在又一优选实施方式中，调制照明信号180度相移。

优选地通过将针对所应用的结构光图案而测量的图像值加到针对所应用的相同结构光图案的倒转形式而测量的图像值，来计算直接源反射辐射的贡献。

根据本发明的另一方面，提供了一种处理器可读介质，其中存储有在处理器执行基本如上所述的方法时所执行的处理器可执行指令。

本发明提供了对飞行时间范围成像相机系统领域的改进。通过这些装置提供的图像信息对与其生成的图像的每个像素中的目标信息之间的距离进行编码。该距离信息通过接收的光的相位获得。本发明通过解析或计算由相机产生的反射光测量中的直接路径光返回、或多路径光返回、或直接路径和多路径光返回，改进了现有的飞行时间相机技术。本领域技术人员将领会，飞行时间相机技术的各种应用可采用多路径返回信息之一或二者，以去除测量误差，或者提供与组成被成像场景内的目标有关的信息。

本领域技术人员将领会，本发明可应用于各种飞行时间范围成像相机系统的实现方案。为了简化起见，在整个说明书中将主要涉及使用调制辐射或光束实现本发明的飞行时间相机系统，其中光的相位周期性地偏移。然而，本领域技术人员将领会其它方式，例如诸如基于脉冲光、基于伪随机或频率调制连续波的飞行时间相机也可在各个实施方式中采用或实现本发明。

由本发明提供的方式依赖于对关注场景内的目标应用结构光图案，并且优选地对相机系统的像素所成像的整个场景应用结构光图案。由本发明应用的结构光图案在由现有技术的飞行时间相机系统通常发送的调制光或辐射内进行编码。

本发明采用的结构光图案改变强度或相位、或代码、或落入待成像场景的至少一部分且由该部分反射的调制光的其它方面。优选地，通过本发明对相对高的空间频率图案进行编码，由此所应用的每个图案展示组成图案的分量像素之间的空间变化。

由本发明编码的不同图案以预定的方式改变通过特定像素接收的直接路径反射的辐射。该方式允许对通过不同图案所获得的结果进行比较，以计算对于每个像素接收的光的直接路径分量和多路径分量。

优选地，飞行时间发射器照亮包含目标的场景的至少50％。在另一优选实施方式中，飞行时间发射器照亮包含目标的场景的基本全部。本领域技术人员将领会，增加场景的被编码结构光图案照亮的量将增加根据本发明执行的、直接和多路径解析计算的精确度。

如上所述，本发明包括或提供了至少一个图案应用结构。根据本发明所使用的图案应用结构可由设置为将结构光图案应用到由飞行时间相机系统发射的调制光的任何部件或设备来提供。在各个实施方式中，图案应用结构可通过与用于生成由飞行时间相机使用的调制光的部件相同的部件实现，或者可替换地，可通过位于所发射的调制光与待成像的场景之间的分立部件形成。

在一些实施方式中，至少一个图案应用结构由至少一个工程扩散器形成。

在其它实施方式中，至少一个图案应用结构由至少一个微镜阵列投射器形成。

在各个实施方式中，至少一个图案应用结构的效果与用于照亮关注场景的至少一部分的辐射中的至少一个源调制频率结合。特别地，图案应用结构对调制发射器辐射操作，使得关注场景的至少一部分被限定结构光图案的辐射照亮，其中该辐射也被源调制频率调制。

优选地，至少一个图案应用结构被设置为将多个结构光图案应用到调制发射器辐射，所述多个结构光图案使用初始图案生成。在这些实施方式中，最初可通过图案应用结构应用初始图案(优选展示较高的空间变化度)。然后，可生成其它图案并且通过利用例如与用于调制发射器辐射的波形相同类型的波形、对图案的每个像素的亮度进行调制来应用其它图案。

例如，在一些实施方式中，投射图案的相位可以以辐射调制频率的相位偏差比率的三倍而改变。如果仅考虑场景中的一个像素，那么该像素因源调制相位的改变以及对所应用图案的改变而导致随着时间改变亮度。这两个效果以不同的频率操作，允许与移动图案独立地对来自源调制的信息进行解码。

优选地，用于调制发射器辐射并生成结构光图案的波形来源于允许直接源反射辐射和多路径分量辐射被解码至正交数学空间的相同的基函数。

例如，当使用如上所述的示例性共同波形方法时，直接路径和全局路径在以傅里叶基础上正交的不同频率中被隔离。然而，本领域技术人员将领会，可能在其它基础上正交的向量中对返回进行隔离。在各个附加的实施方式中，例如可通过应用不同的伪随机码实现隔离。

在整个说明书中，将涉及本发明通过使用与用于调制发射器辐射的波形类似类型的波形、完成对初始图案的操作应用所生成的其它图案。然而，本领域技术人员将领会，可在本发明的替换实施方式中使用一些不同的图案变换操作。

优选地，使用正弦基函数，以及使用正弦或方波形来调制发射器辐射并生成被应用到发射器辐射的结构光图案。

在一些实施方式中，对于每个投射图案，适时地通过不同的伪随机序列、Walsh-Hadamard码或等同方式对发射的辐射进行编码。本领域技术人员将领会，可采用各种技术来生成本发明所使用的结构光图案。

本领域技术人员还将领会，本发明所使用的图案可不必是规则的、重复的或同质的图案。不同的图案尺寸和形状具有不同的优势和缺陷。例如，小图案可更好地解析更小的多路径特征，但是也具有更多边缘像素，更多边缘像素可能在图案数量较小时带来问题。在特定场景中，场景的一些部分可以是适合于特定图案尺寸或形状的特征，而另一些部分更适合其它尺寸和形状。

这种妥协可在一些实施方式中通过具有一次投射到场景的不同部分上的不同图案尺寸和形状来克服。在动态投射系统的情况下，类似DLP(DMA)投射器，在场景上图案尺寸和形状的布置可以从测量到测量动态地调节，以随着场景改变而更好地适应场景。

在一些实施方式中，本发明设置为以一定的时间间隔对若干不同图案进行编码，在该时间间隔中所应用的图案随时间改变。以此方式，可在该时间间隔的进程上获得本发明所需的结果。例如，在这些实施方式中，图案应用结构可配置为对由多个像素构成的图案进行编码，其中在至少一个像素上被编码的图案值改变以随时间对不同图案编码。

在一些实施方式中，根据从与用于调制所述发射器照明信号的基函数相同的基函数获得的波形，通过随时间改变的图案值对单个像素进行编码。

在一些实施方式中，初始图案被空间平移并且作为不同图案被应用至调制辐射。在这些实施方式中，初始图案可竖直地、水平地或竖直且水平地平移，以形成新图案，所述新图案展示通过初始图案所呈现的空间变化。

在另一实施方式中，本发明可采用一个所选图案，并且还可采用所选图案的倒转形式。在这些实施方式中，发射的辐射的相位可在应用所选图案与应用其倒转形式之间移动。

例如，在一个可能的实施方式中，所选图案可通过调制辐射应用，而该图案的倒转形式可通过已相移180度的相同形式的调制辐射来应用。

在整个说明书中，本领域技术人员将理解，涉及的相反图案是这样的图案，即通过取用于编码图案的强度值的最初范围的中点并且通过反射这些关于中点强度的值生成新图案来生成的图案。因此，图案的具有最大光强度或最小光强度的区域将经受最大改变，被倒转以展示最小的可用光强度，反之亦然，在相反图案中展示最大光强度。

所选图案的倒转以及用于应用其的调制辐射的相移允许通过添加两组测量像素值的直接贡献计算的简化方法。由于测量对的每个中存在的全局照明贡献是相同的，所以第二组像素测量中的图案的倒转以及照明辐射的相移用于从总和的结果取消全局或多路径贡献，仅留下直接源反射辐射测量。本领域技术人员还将领会，分离直接源测量可转而用于确定本发明所采用的特定应用所需的多路径辐射分量。

在另一优选实施方式中，所选图案可以以其初始形式和倒转形式应用，然后修改为新形式并再次以修改形式和倒转的修改形式应用。本领域技术人员将领会，以上涉及的图案修改技术中的任一种或组合可用于生成随后的、可以以它们的原始形式和倒转形式应用的修改图案。此外，可在各个实施方式中完成另一附加的图案修改步骤，以通过倒相照明辐射应用一系列的不同图案及其倒转形式。

在又一实施方式中，本发明可应用图案集合，其结合在一起照亮飞行时间相机系统的目标场景，其中该集合的每个图案通过具有特定相位偏差的调制辐射应用，该特定相位偏差与用于应用该集合的其它分量图案的调制辐射的相位偏差不同。该集合的图案均可仅照亮目标场景的所选的不同区域，使得图案集合的应用的净效应仅照亮整个目标场景一次。由于该集合的每个图案可通过其自身的特定相移应用，这允许同时应用图案，并仍允许每个图案的反射被独立地解析。如上关于倒转图案的应用所讨论的，可通过简单的数学运算为每个所选的不同区域再次分离直接路径贡献，以从该区域去除与反射共有的多路径贡献。

本领域技术人员将领会，以上涉及的用于集合的每个图案的应用中的相位偏差是独立于飞行时间相机系统中的、也将相移应用至其发射的调制辐射的任何实施方案。在这些实施方式中，所涉及的相位偏差将被加到在这些形式的飞行时间相机系统的标准操作中通常完成的相移。

在一些实施方式中，本发明可包括两个或更多个图案应用结构，每个图案应用结构在调制照明信号中对多个结构光图案之一进行编码，通过图案应用结构所应用的图案使用与另一图案应用结构所使用的正交编码不同的正交编码。

在这些实施方式中，多个图案应用结构可用于在照亮待成像场景的光上同时对不同的结构光图案进行编码，或者对每个图案应用不同的调制伪随机码(或一些类似的正交编码)，或者这些方式的组合。因此，该方式可增加获得的飞行时间相机的操作速度，通过简单的图案应用结构来消除不同的结构光图案在时间间隔上的编码中内在的任何延迟。

本领域技术人员将领会，同时使用结构光图案需要每个单独的图案与所应用的其它图案是可区别的。在这些实施方式中，对于每个投射图案，被发射的辐射可具有不同的调制频率，和/或对于每个投射图案，被发射的辐射具有不同的调制相位步进序列。

在另一优选实施方式中，可通过飞行时间相机系统同时应用结构光图案的初始形式和倒转形式。这些图案可同时应用以简化用于分离图像内的直接路径分量和多路径分量的图像处理技术。由于可使用相移照明辐射同时应用图案及其倒转形式，所以分离直接路径贡献所需的总和操作可在图像传感器的图像整合处理内完成。因此，得到的图像将提供仅与直接路径贡献有关的信息，而无需使用处理器运行图像处理添加操作。

类似地，在图像集合结合地通过具有不同相位偏差值的辐射照亮目标的实施方式中，可再次同时应用集合的图案。同时应用该图案集合再次允许直接路径分离总和在图像传感器的图像整合处理内完成。

在一些应用中，有用的是知晓图像或场景的哪个部分受到多路径干扰的影响以及影响到何种程度。例如，可能有用的或有价值的是仅对图像的受到多路径的充分大影响的部分选择性地应用多路径移除处理，并且留下未影响的那些部分不处理。而且，在一些实施方式中，可能必要的是检测图像的哪个部分被多路径影响，并从图像中移除受影响的数据，仅留下未受影响的区域(其不需要多路径移除处理)。(直接和全局隔离方法的)全局多路径振幅分量提供了多路径影响程度的指示。然而，对本领域技术人员应显而易见的是，在一些情况下，其它分量，例如直接振幅分量或未处理的振幅分量也可用于进一步限制多路径影响的程度。

在一些应用中，可能有用的或有价值的是知晓分开的直接路径和多路径全局分量的质量或置信度。例如，如果多路径移除算法的输出被认为具有可疑质量，那么可丢弃并且不使用那些可疑数据。可通过比较直接振幅分量与全局多路径振幅分量来计算这种质量或置信度的指示。该比较可执行为这些分量之比，但是本领域技术人员应明白，其它因素，例如未处理的振幅分量或其它比较计算可能在特定情况中更适合。

在整个说明书中通常涉及的本发明在各个实施方式中包括或需要处理器。然而，如上指出的，在一些示例中，从目标反射的辐射的至少直接路径分量可使用除处理器之外的硬件部件分离。本领域技术人员将领会，处理器可按需要在各个实施方式中通过接收到的测量解析直接源反射辐射、多路径分量辐射和/或直接路径辐射和多路径辐射的相对贡献的任何组合。

附图说明

图1示出了本发明的飞行时间相机系统的一个示例性实施方案，以及一个像素的测量信号如何因来自源的直接照明和全局照明而出现；

图2示出了在使用标准飞行时间相机时的测量相位与振幅之间的比较，以及与地面真值相比较的重构的直接分量示出直接全局分离，以成功地解析拐角中的多路径；

图3示出了测量出的拐角的相位和振幅如何被分解成其直接分量和全局分量；

图4示出了在使用不同照明图案时的直接分离与全局分离之间的比较。棋盘式图案相移25倍，在每个相移处计算了相位和振幅。对于正弦图案，取全部9个相移。

图5a，图5b和图5c示出了能够与本发明的各个实施方式一起使用的示例性结构光图案。

图6示出了根据本发明的又一实施方式实现的飞行时间相机系统的分量的示意性框图。

图7示出了设置为实现操作图6中所示的飞行时间相机系统的方法的可执行指令的流程图。

图8至图12示出了采用多个激光发射器和一个或多个工程扩散器以同时生成多个结构光图案的另一实施方式。

图13示出了用于同时投射的四个结构光图案的照明调制序列的可能的实现方案。

图14示出了图13的调制编码方法，其中相位偏差被应用到每个编码照明调制。

图15示出了配置为实现通过飞行时间相机系统，对从目标反射的调制辐射的直接路径分量或多路径分量进行解析的方法的可执行指令的流程图。

图16示出了根据本发明的另一实施方式提供的若干示例性图案集合，以及用于应用该集合的每个组成图案的调制辐射相位偏差。

通过以下仅由示例的方式提供的实施方式的描述，本发明的附加和其他方面将对阅读者而言是显而易见的。

具体实施方式

飞行时间相机通过经振幅调制的光照亮场景，并且测量向外的调制包络与反射的调制包络之间的相位变化。光行进的距离在调制包络中的相位变化中被编码。飞行时间相机存在由从光源返回至同一像素的多路径传播通路而导致的测量误差。原因之一是场景中的相互反射。

以下讨论的本发明的实施方式提供了用于恢复场景的复杂的直接路径分量和多路径分量的技术。

飞行时间范围相机中的多路径引起测量误差，这些测量误差是场景相关的。当存在从光源到像素的多条传播路径时，出现多路径。测量出的相位和振幅值是复平面上路径的组合。

例如，与Mesa Imaging(美萨影像)的SR4000飞行时间相机有关的文献指出使用该相机对拐角进行成像，将因为多路径而导致错误的测量值。

从通过飞行时间相机成像的场景反射的光可表示为：

s(t)＝a cos(ω_lt-φ)+b (1)

其中，a是返回光的振幅，ω_l对调制频率编码，是因行进的距离而导致的相位偏差，以及b是背景光。为了提取相位，反射光与参考信号g(t)相关联。

g(t)＝cos(ω_lt) (2)

来自飞行时间成像中每个像素的测量关联波形是以上两个式子的关联性：

当对该式中的积分求值时，关联波形为：

其中，τ为参考波形g(t)的相位。通过相移参考波形，可进行关联波形的多个测量并且估计未知的测量。最少三个测量是必需的，通常使用四个。测量出的相位与距离d之间的关系在于：

其中，c为光的速度。多路径问题可表示为复指数之和，因为相位和振幅是复平面上的向量。通过N个返回，其表示为：

当同一频率但不同振幅和相位处的两个正弦波加在一起时，所得的函数是具有新相位和振幅的另一正弦波。因为两个返回中每个的关联波形具有彼此相同的频率，所以不可能与一个测量分离。

本发明的目的在于直接分量和全局分量分离，以将每个像素处的测量辐射率L分解为直接分量L_d和全局分量L_g。

L＝L_d+L_g (7)

假设每个点处的全局函数与照明频率相比而言是平滑的。这意味着不能因镜面反射而导致全局分量。

通过高频棋盘式图案照亮该场景，使得场景一半是黑色，而另一半是白色。在照亮的像素(白色的像素)中，测量的信号为：

如果场景接下来被相反的棋盘式图案照亮，则黑色像素将测量

这组两个式子具有两个未知变量，因此可求解出未知数。然而，实际上，本发明使用投射器来投射结构光图案，这些装置已在边缘外并且投射器坐标与相机坐标不匹配。这意味着在正方形边缘上的结果将是不正确的。一个解决方案是通过相移棋盘在x和y维度中的位置来捕获更多图像。可通过下式来计算直接分量和全局分量：

L_g＝2L_min (10)

L_d＝L_max-L_min (11)

存在多次移动棋盘式图案的可能性，例如25次，包括对于y方向上的每个5次移动，而在x方向上的5次移动。

可能通过三个帧来解析直接分量和全局分量。通过高频图案照亮场景，例如，

其中，P为投射的图案，n和m是投射器坐标，以及v是x维度中每一帧的像素中图案的相移。变量k和l分别改变x方向和y方向中图案的频率。光源具有最大振幅A，并且投射的正弦图案具有频率f周期/像素。随时间在每个相位步进上的值可写为：

其中，ω_p＝2πfv是投射图案的调制频率。如果场景的每个点具有反射率R，则每个相机像素处的返回光表示为：

这可重新排列为：

可通过对t进行傅里叶变换来提取未知量α、β、γ。可通过下式计算直接分量和全局分量：

式6的多路径问题可根据直接分量和全局分量重写为：

ζ＝a_dexp(-jφ_d)+a_gexp(-jφ_g) (21)

其中a d和分别是直接分量的振幅和相位，a g和是全局分量的振幅和相位。为了说明的目的，假设存在一个直接返回和包括所有其它返回的全局返回，其中该直接返回是从光源到像素的最短返回。

当使用高频棋盘式图案作为照明源时，式8至11仍可在某些假设下与复向量一起使用。最大值和最小值可通过下式来估计：

L_maxest≈max|L(t)| (22)

L_minest≈min|L(t)| (23)

最大和最小复值可通过寻找绝对值的最大值和最小值来找到。应该相信，这些假设是有效的，只要：

|L_g+L_d|＞|L_g| (24)

其得到：

|L_g|<<|L_d| (25)

或者，必须满足该约束。

这些约束的物理中断为：当返回被加在复平面上时，得到的测量是向量。如果直接分量和全局分量具有类似的振幅，那么测量出的振幅实际可小于全局振幅，因此式23将是无效的。当返回具有类似振幅且返回之间的相位差小于90度时出现第二约束，这样得到的测量向量的振幅将一直大于全局分量的振幅，因此，式22将仍是真的。

通过额外的两个约束，限制了直接全局分离的方法可与飞行时间成像一同使用的可应用情况。期望没有约束和最小帧数量的分离。通常的形式可表示为式14和式4的组合。其得到：

其中，h_d和h_g是用于直接分量和全局分量的关联波形，以及L(t)是随时间的投射图案。期望找到这样的函数L(t)，即，使得分离分量所需的样本数量最小并且同时保持噪声存在的结果，而且理想地对未知变量不进行任何额外约束。这可被认为是按时间对振幅编码，而通过之前的工作，频率随时间而改变。在以上式子中可包括使用多个调制频率，得到的式子为：

期望函数L(t)使逆问题得到良好处理。如果函数L(t)被定义为余弦波，并且其频率使得：

ω_pt＝lω_lτ (32)

期望l的值使得该问题在最少样本τ中是可逆的。下表示出了对于整数值l而言，该问题使用傅里叶分析是否可解，以及需要多少样本。

l	可解的	样本
			0	否	-
1	否	-
			2	否	-
3	是	8
			4	是	10
5	是	12

该表提供了对于不同的l值使用傅里叶分析的式33的可解性的概述。通过尼奎斯特频率计算样本的数量。

通过最少数量样本使用傅里叶分析使得系统可解的值l为l＝3。对于第k频率处的振幅α_k和相位_k以及l≥3而言，

a_d＝2(α_l-1+α_l+1) (36)

对直接分量和全局分量没有额外约束，仅存在已有的约束：全局分量具有比直接分量更小的空间频率。

然而，之前用于解析直接全局分离的分析是不成熟的，因为其忽略了关联函数是三角形并因此具有更高阶的奇次谐波的实际情况。添加奇次谐波具有以下影响：

在l＝3的情况中，第三谐波被乘到DC和第六谐波。在使用9个样本的情况中，第六谐波化名为第三谐波，其中第三谐波没有用于计算直接分量。然而，第五谐波被混合到第二和第八谐波。第八谐波化名为第一谐波。这在直接和全局计算中引起误差。存在第三谐波不会引起问题，然而第五谐波会引起问题。

还应该注意，关联函数的每个测量包含真实测量和噪声。在飞行时间相机中，其包括光子散粒噪声、暗噪声、ADC量化和抖动。假设所有这些噪声源是附加的白噪声并且在样本之间是独立的。如果满足这些条件，那么经缩放的协方差矩阵C为

其中，N为样本数量，I是单位矩阵，σ² _cτ是附加白噪声的方差。在当前情况下，对关联函数c_τ取N个样本。假设实部分量和虚部分量是独立的，那么可示出对于每个频率段的振幅a和相位的方差为

对于N个样本，这是4个样本的常见情况。在通过标准飞行时间测量的直接相位和振幅估计中方差增加中，增加被计算为a_t，相位为考虑假设：

那么，相比于总数的方差可计算为

这显示了与使用标准飞行时间技术相比，直接相位和振幅估计的方差增加了8倍。全局分量的方差将更大，因为全局分量是通过直接分量计算出的。

图1示出了在PMD19k3传感器2周围构建的示例性飞行时间范围相机1，PMD19k3传感器2包含120×160像素阵列。DLP LightCrafter投射器3被修改为通过以上所述的期望结构光图案照亮场景。LED已从投射器移除，并且红色LED被HL6545MG，660nm，120mW激光二极管替换。激光二极管通过相机控制并且被调制处于30MHz。投射器被校正以具有线性振幅响应。

图1还示出了若干光线表示，其示出了一个像素的经测量的信号如何因来自源的直接照明和全局或多路径照明而出现。多路径照明可能因为表面下散射、归一化体散射和半透明而引起。

通过关于图1所示的本发明的实施方式展示了解析拐角中的多个路径。所使用的拐角被构造在白色泡沫板外。表面光洁度是朗伯(lambertian)的。这意味着满足振幅约束，并且直接返回将通常比全局返回更亮。由于测试的拐角小于50cm(其比30Mhz处的波长的1/4小很多)，所以也满足相位约束。这使得拐角是理想测试情况。当拐角的每个侧面被移除时，通过投射器进行线性扫描来测量拐角的地面真值。

图2a对使用全场照明时拐角中的一行的测量相位、恢复的直接相位分量以及地面真值相位测量进行比较。直接分量与地面真值一致。地面真值测量是弯曲的，因为透镜畸变没有校正。

图2b比较了使用全场照明时拐角中的一行的测量振幅。在图3中示出了拐角的整个图像上的结果。投射器视野与相机视野不匹配。因此，拐角的底部部分没有直接照亮。由于存在没有直接照亮的部分，所以测量的直接相位因为其不存在而没有噪声。基于振幅的静态阈值在相位图像上的简单滤波器将去除噪声相位像素。

在图4中示出了使用优化照明的结果。在9个原始帧中解析复杂场景中的多个路径。这相比于方形网格，方形网格的每个相位帧需要3个原始帧并且对于总共75个原始帧需要25个相位帧。基于振幅对相位图像进行滤波。移除振幅低于阈值的像素的相位。由于光源和相机不是并列的，所以存在从瓶和花瓶到背壁的阴影。由于其是阴影，所以没有来自那些像素的直接返回。对全局分量的计算取决于直接全局。因此，直接计算中的误差被引入到全局分量。

图5a、图5b和图5c示出了与本发明的各个实施方式一同使用的可接受的结构光图案。具体地，图5a示出了具有正方形之间的强对比过渡的棋盘式图案、图5b示出了正弦波形式图案、以及图5c示出了具有高斯分布轮廓的图案。从这些图中可看出，所使用的图案展示出较高的空间变化程度。

图6示出了根据本发明的又一实施方式实现的飞行时间相机系统的分量的示意性框图。

在所示的实施方式中，相机系统10包括光发射器11，光发射器11设置为在待成像的目标处发射调制辐射。

系统包括在发射器与目标场景之间操作的图案应用结构12。图案应用结构操作为将结构光图案应用到调制发射器辐射。在所示的实施方式中，该部件由工程扩散器形成，虽然本领域技术人员将领会也可使用其它形式的部件。

相机系统10还提供图像传感器13。该传感器配置为测量从目标反射的辐射，并且将输出测量信息提供至处理器14。处理器被编程为通过接收的测量解析直接源反射辐射、多路径分量辐射以及直接辐射和多路径辐射的相对贡献。

图7示出了设置为实现操作图6中所示的飞行时间相机系统的方法的可执行指令的流程图。

实现的方法的第一步骤A提供指令，该指令生成调制照明信号以驱动相机系统的光发射器的操作。

接下来，在步骤B中，提供指令触发图案应用结构将结构光图案应用到调制光照明信号。在该实施方式中，这些指令触发光发射器通过由工程扩散器提供的图案应用结构对调制光的发射。

在步骤C中，提供指令使得图像传感器能够捕获调制照明信号的多个反射图像以用于图像传感器的多个像素。

最后，在步骤D中，一组指令被编程进相机系统的处理器，其通过在多个像素的每个处捕获的图像，计算直接源反射辐射的贡献，以及多路径分量辐射的贡献。

本领域技术人员将领会，本发明可以在各种实施方式中以若干不同的方式实现。例如，本发明可在各个实施方式中实现为一个或多个调制光发射器和一个或多个图案应用结构，如图8至12所示。在所示的实施方式中，提供的飞行时间相机系统使用激光二极管作为调制光发射器，并使用工程扩散器作为图案应用结构。本发明的这些配置随时间应用一系列结构光图案，提供了具有较小尺寸且具有相对低功耗的有效装置。

在各个实施方式中，多个激光发射器和/或工程扩散器集合可用于生成所使用的多个投射图案，如关于图8至图12所示的。如本领域技术人员将领会的，图8至12中所示的图案对准仅用于说明，本发明能够实现不同的且变化的图案结构和对准。

具体地；

·图8示出了使用多个激光二极管，每个与其自身的应用工程扩散器的图案组合，

·图9示出了使用具有单个激光二极管和工程扩散器的机械致动器，该致动器设置为移除扩散器以改变所应用的图案，

·图10示出了使用具有单个激光二极管和工程扩散器的机械致动器，该致动器设置为移除激光二极管以改变所应用的图案，

·图11和图12示出了使用多个激光二极管和单个工程扩散器，每个激光二极管被定向使得产生所示的重叠投射结构光图案集合之一。

被应用至每个激光器的调制信号和图像捕获过程可通过沃尔什(Walsh)码或其它伪随机序列进行编码，并且这些激光器的一些或全部可同时操作。需要更多的图像捕获，其中传统捕获中的每个被分为更短的捕获，每个具有根据编码序列的相位。

图13中示出了与传统的四相位捕获过程相比较，用于四个投射图案的照明调制序列的可能的实现方案。用于每个发射器的成像图案可通过在后处理中将匹配编码序列应用到收集的图像捕获而被解码。对于每个捕获，单个图案可计算为如下形式：

图14示出了图13的调制编码方法，其中相位偏差被应用到每个编码照明调制。该方法可改进重叠图案的区域中的信号级，在重叠图案的这些区域中调制信号180度异相导致破坏性干扰和调制信号级的损失。

关于图13和图14所描述的调制和捕获编码也可应用到具有不同频率调制信号的均匀照明，以获得同时多个频率调制。

如本领域技术人员将领会的，这些结构光图案可用于解析直接和全局散射，由此分开直接返回和干涉的多路径返回，去除由多路径二引起的精确度误差。

结构光图案可用于解析直接和全局散射，由此分开表面散射返回和表面下散射返回，去除因表面下散射而引起的精确度误差并且展示表面下散射信息。表面下散射信息对于选择物体内部散射特性的本质或本质的局部变化是有用处的。例如，表面下散射信息可用于检测水果或其它农产品中的异常，或者也可用在扩散光层析成像应用中，例如内科成像。

结构光图案可帮助检测运动模糊，并且可增强用于纠正现有技术中的运动模糊的算法。

以上关于图13和图14所讨论的实现方案中描述的编码调制和捕获过程也可随机化，或者以其它方式排序以使运动伪影最小化，并进一步有助于运动模糊纠正算法。

本领域技术人员还将领会，本发明的范围还扩展至存储在计算机可读介质或存储器中的计算机可读指令。图15提供了在一个实施方式中这些指令的执行过程的示例性流程图。

例如，这些指令可连同关于图9所示的物理设备一起实现，该物理设备设置为应用光和暗棋盘式结构光图案。所示的机械致动器还设置为移除工程扩散器以呈现初始图案和该初始图案的倒转形式。然后，同一致动器可再次移除工程扩散器，以应用新的修改图案，并且再次应用该修改图案的倒转形式。

如关于图15所示，计数器变量n被初始化为值0。激光二极管在其起始位置被激活，其光辐射的相位设置为值T(0)。然后，记录强度测量以获得对于关注目标场景的像素值的帧。

由于在该点仅获得了一个帧，所以n的值增加，并且新图案L(1)通过机械致动器创建。接下来的图案是L(0)图案的倒转形式，其中棋盘式图案的暗的方形替代光亮方形的位置，并且反之亦然。

接下来，激光二极管在其新位置被激活，其光的相位被设置为值T(1)。相位值T(1)是T(0)添加有180度相移的相位值。

然后通过初始选择图案的新的倒转配置获取像素值的帧。在一些应用中，这两个帧可提供直接路径和多路径贡献的充分准确的计算。

期望在各个实施方式中，也可应用多个修改图案及其倒转形式的集合。在这些情况中，将再次实现计数器值n，并且通过以下机械致动器表示新图案L(2)，该机械致动器使得扩散器仅移动棋盘式图案的方形维度的小部分长度和/或高度。这样，该新平移将呈现用于捕获测量的另一帧的修改图案，并且该修改图案也可在此倒转(以形成具有相位T(3)的图案L(3))以捕获其相关的反向帧。

本领域技术人员将领会，在其它实施方式中，不同形式的辐射发射器和图案应用结构可设置为通过相移的调制辐射，同时应用图案和该图案的倒转形式。在这些实施方式中，单个图像可捕获从初始图案及其倒转形式照亮的目标反射的光。

一旦已捕获充分数量的帧以满足实施系统的精确度需求，这些帧可计算指定用于测量帧内每个像素的直接和多路径贡献的图像。在讨论的实施方式中，该计算通过将初始图案形成的每个帧与通过相同图案的倒转形式生成的帧加到一起来完成。图案的倒转形式与用于应用其的180度相移辐射的组合的结果是将多路径贡献从计算的总和值移除。根据本发明所采用的应用，来自该总和的直接路径贡献信息然后可被编码到计算图像中，和/或可完成另一操作以将计算出的直接分量从测量中去除，从而分离当前的多路径贡献。

图16示出了在另一实施方式中的若干示例性图案集合，以及用于应用该集合的每个组成图案的调制辐射相位偏差。这些集合的图案中的每个仅照亮目标场景的所选的不同区域，使得图案集合的应用的净效应仅照亮整个目标场景一次。可通过简单的数学运算针对每个所选的不同区域分离直接路径贡献，从而去除与来自该区域的反射共有的多路径贡献。每个集合的组合的照明覆盖范围被示出为每个图案集合的右侧。

在如方形2相位图案所示的实施方式中，本发明应用初始的左手图案，并且还应用该初始图案的右手倒转形式。初始图案应用有具有0度相移的调制辐射，并且倒转形式应用有已经相移180度的相同形式的调制辐射。

在如方形4相位图案所示的实施方式中，集合的每个图案示出了方形棋盘式设计中的仅一个方形。每个拐角区域仅通过一个图案示出一次，其中每个图案被应用有连续的90度相位偏差值。

通过所示的六角形3、4和7相位实施例还示出了所采用的若干相位偏差和所应用的图案形式的其它变形。而且，该集合中的每个组成图案仅示出了飞行时间相机的目标的所选区域，其中所应用的图案形式由所使用的相位偏差数量规定。

在说明书和所附权利要求书中，用词“包括”或其等同变形用于包含性意义，以指定存在所指的一个或多个特征。该术语不排除存在或添加各个实施方式中的其它特征。

应该理解，本发明不限于本文所描述的实施方式，并且通过参照附图所示的实施例，在本发明的精神和范围内的其它和附加实施方式将对有经验读者是显而易见的。特别地，本发明可旨在本文所描述的特征的任意组合，或者可旨在这些特征与给定特征的已知等同的替换实施方式或组合。以上所讨论的本发明的实施方式的修改和变形将对本领域技术人是显而易见的，并且在不偏离由所附权利要求所限定的本发明的范围的情况下，可对本发明的实施方式进行修改和变形。

Claims (29)

1.一种飞行时间相机系统，设置为对从目标反射的调制辐射的直接路径分量或多路径分量进行计算，所述相机系统包括：

飞行时间发射器，设置为在目标处发射调制辐射；以及

至少一个图案应用结构，在所述发射器与所述目标之间操作，所述图案应用结构操作为将至少一个结构光图案应用至调制发射器辐射，所应用的图案展示组成所述图案的分量像素之间的空间变化，以及

图像传感器，配置为测量从目标反射的辐射，

所述飞行时间相机被设置为通过接收的测量，来计算从所述目标反射的直接源反射辐射的贡献。

2.如权利要求1所述的飞行时间相机系统，其中所述飞行时间相机系统包括处理器，所述处理器设置为接收图像传感器测量，并且被编程为通过接收到的测量，计算所述直接源反射辐射、多路径分量辐射和/或直接路径辐射和多路径辐射的相对贡献。

3.如权利要求1所述的飞行时间相机系统，其中，所述至少一个图案应用结构被设置为将多个结构光图案应用到调制发射器辐射，所述多个结构光图案是使用初始图案而产生的，所述初始图案通过与用于调制所述发射器辐射的波形类似类型的波形而操作。

4.如权利要求3所述的飞行时间相机系统，其中，用于调制所述发射器辐射并产生结构光图案的所述波形来源于允许所述直接源反射辐射和所述多路径分量辐射被解码至正交数学空间的相同的基函数。

5.如权利要求4所述的飞行时间相机系统，其中，使用正弦基函数，以及使用正弦或方波形来调制所述发射器辐射并生成被应用到所述发射器辐射的结构光图案。

6.如权利要求1所述的飞行时间相机系统，其中，所述至少一个图案应用结构设置为应用初始图案和相同初始图案的倒转形式。

7.如权利要求6所述的飞行时间相机系统，其中，应用所述相同初始图案的倒转形式的调制辐射与应用所述初始图案的调制辐射存在相移。

8.如权利要求1所述的飞行时间相机系统，其中，所述至少一个图案应用结构由至少一个工程扩散器形成。

9.如权利要求1所述的飞行时间相机系统，其中，所述至少一个图案应用结构由至少一个微镜阵列投射器形成。

10.如权利要求1所述的飞行时间相机系统，其中，所述图案应用结构对所述调制发射器辐射操作，使得关注场景的至少一部分被限定所述结构光图案的辐射照亮，其中所述辐射也通过源调制频率调制。

11.如权利要求10所述的飞行时间相机系统，其中，所述飞行时间发射器照亮包含所述目标的所述场景的至少50％。

12.如权利要求11所述的飞行时间相机系统，其中，所述飞行时间发射器照亮包含所述目标的所述场景的基本全部。

13.如权利要求1所述的飞行时间相机系统，其中，通过所述结构应用的所述图案随时间改变。

14.如权利要求13所述的飞行时间相机系统，其中，图案应用结构配置为对通过多个像素组成的图案进行编码，其中在至少一个像素上被编码的图案的值改变以随时间对不同图案进行编码。

15.如权利要求14所述的飞行时间相机系统，其中，根据从与用于调制所述发射器照明信号的基函数相同的基函数获得的波形，通过随时间改变的图案值对单个像素进行编码。

16.如权利要求13所述的飞行时间相机系统，其中，初始图案被空间平移并且作为不同图案被应用至所述调制辐射。

17.如权利要求1所述的飞行时间相机系统，其中，所述飞行时间相机系统包括两个或更多个图案应用结构，每个所述图案应用结构在调制照明信号中对多个结构光图案之一进行编码，通过图案应用结构所应用的图案使用的正交编码与另一图案应用结构所使用的正交编码不同。

18.如权利要求17所述的飞行时间相机系统，其中，对于每个投射图案，被发射的辐射具有不同的调制频率。

19.如权利要求17所述的飞行时间相机系统，其中，对于每个投射图案，被发射的辐射具有不同的调制相位步进序列。

20.如权利要求17所述的飞行时间相机系统，其中，对于每个投射图案，适时地通过不同的伪随机序列、Walsh-Hadamard码或等同方式对发射的辐射进行编码。

21.一种通过飞行时间相机系统为对从目标反射的调制辐射的直接路径分量或多路径分量进行计算的方法，包括以下步骤：

i.通过调制光束照亮待成像的目标，所述调制光束对第一结构光图案进行编码，所述第一结构光图案展示组成所述图案的分量像素之间的空间变化；

ii.通过图像捕获装置捕获被照亮的目标的第一图像，被捕获的图像限定由多个像素组成的像素表面；

iii.通过多个调制光束照亮待成像的目标，所述多个调制光束对不同的结构光图案进行编码，所述不同的结构光图案中的每个展示组成所述图案的分量像素之间的空间变化；

iv.捕获由一系列所述不同的结构光图案的编码照亮的所述目标的其它图像；

v.计算直接源反射辐射的贡献或多路径分量辐射的贡献。

22.如权利要求21所述的通过飞行时间相机系统为对从目标反射的调制辐射的直接路径分量或多路径分量进行计算的方法，其中，在与对不同结构光图案进行编码的调制光束的同一时间照亮所述目标，所述调制光束中的每个具有通过不同的正交编码而编码的结构光图案。

23.如权利要求21所述的通过飞行时间相机系统为对从目标反射的调制辐射的直接路径分量或多路径分量进行计算的方法，其中，通过对不同结构光图案进行编码的调制光束在不同的时间照亮所述目标。

24.如权利要求21所述的通过飞行时间相机系统为对从目标反射的调制辐射的直接路径分量或多路径分量进行计算的方法，其中，所述目标的图像是捕获的所述目标被第一结构光图案的倒转形式照亮的图像，应用所述结构光图案的所述倒转形式的调制辐射与应用所述第一结构光图案的调制辐射存在相移。

25.如权利要求24所述的通过飞行时间相机系统为对从目标反射的调制辐射的直接路径分量或多路径分量进行计算的方法，其中，通过将针对所应用的结构光图案而测量的图像值加到针对所应用的相同结构光图案的倒转形式而测量的图像值，来计算所述直接源反射辐射的贡献。

26.一种通过计算机程序代码编码的、用于飞行时间范围成像的非暂时性计算机可读介质，所述程序代码包括以下指令：

用于使调制照明信号发射的指令；

用于使至少一个图案应用结构将多个结构光图案应用到所述调制照明信号的指令，所述多个结构光图案中的每个展示组成所述图案的分量像素之间的空间变化；

用于使图像传感器捕获所述调制照明信号的多个反射图像以用于所述图像传感器的多个像素的指令；

用于通过所述多个像素的每个处的捕获的图像，计算直接源反射辐射的贡献或多路径分量辐射的贡献的指令。

27.如权利要求26所述的通过计算机程序代码编码的、用于飞行时间范围成像的非暂时性计算机可读介质，其中，所述代码使得被第一结构光图案和所述第一结构光图案的倒转形式照亮的目标的图像被捕获。

28.如权利要求27所述的通过计算机程序代码编码的、用于飞行时间范围成像的非暂时性计算机可读介质，其中，所述代码使得所述第一结构光图案的所述倒转形式由以下调制照明信号应用，该调制照明信号与用于应用所述第一结构光图案的调制照明信号存在相移。

29.一种处理器可读介质，其中存储有在处理器执行如权利要求21所述的方法时所执行的处理器可执行指令。