CN105723238A - 概率飞行时间成像 - Google Patents

Abstract

本发明的一实施例提供一种飞行时间三维TOF-3D相机，该相机响应于来自场景的由各像素在不同的曝光时段期间配准的光量以及预期这些像素将在这些不同的曝光时段中的每一者期间配准多少光的通过实验确定的概率模型来确定距该场景中的各特征的距离。

Description

概率飞行时间成像

技术领域

本发明的各实施例涉及使用飞行时间相机来确定距场景中的各特征的距离。

背景

飞行时间(TOF)三维(3D)相机通过以下方式获取距由TOF-3D相机成像的场景中的各特征的距离：确定相机发射来照明该场景的在时间上被调制的光形成从相机到这些特征并返回到相机的“往返”要花费多少时间。已知的光速以及到由TOF-3D相机确定的场景中的给定特征的往返时间被用来确定该给定特征距TOF-3D相机的距离。该场景的“距离图像”一般指代由TOF-3D相机获取的距由该TOF-3D相机在基本上相同的给定时间成像的场景中的基本上所有特征的距离。

在“门控”TOF-3D相机中，光脉冲串可由光源发射以照明相机成像的场景。在经过预定的相同延迟间隔(此后称为“曝光延迟”)之际，在光脉冲串中的每一光脉冲都被发射后，相机被通过快门或“门控”开启达短曝光时段，该短曝光时段在相机被通过快门或“门控”关断时结束。相机对由到达该相机的场景中的特征在曝光时段期间从发射光脉冲反射到该相机包括的光传感器的各像素上的光进行成像。由场景中的特征从发射光脉冲中反射的光到达一像素，在该像素上，该特征被成像为与该光被反射时发射光脉冲的脉冲形状具有基本上相同的脉冲形状的经反射光脉冲。

从被成像在像素上的特征反射的光量由该像素在曝光时段期间配准，该量是反射光脉冲的脉冲形状与用于在曝光时段期间配准光的像素的曝光时段敏感性分布之间的相关性的函数。该相关性也可被称为光脉冲和曝光时段之间的相关性，其是光传播到特征并返回到门控TOF-3D相机的往返时间和已知曝光延迟的函数。反射的光脉冲中由像素在与发射光脉冲串相关联的曝光时段期间配准的光量以及已知的曝光延迟被用于确定光到达该特征以及从该特征返回的往返时间以及从其到该特征的距离。

像素通过积累由入射光中的光子生成的电子-空穴对所提供的正或负电荷(此后也被称为“光电荷”)来配准入射光。TOF-3D相机中的电路系统将由各像素积累的光电荷转换成电压，这些电压用作这些像素分别积累的光电荷量的测量。某像素配准的光量可指代由像素响应于入射光积累的光电荷量或响应于积累的光电荷生成的电压。像素的响应指代该像素响应于入射光配准的光量。

光脉冲的脉冲形状指代根据时间表示该光脉冲通过的表面上的光强度(其被归一化成该光脉冲中的最大光强度)的曲线的形状。脉冲形状还可指代根据沿着该光脉冲的宽度的位置表示经归一化的强度的曲线的形状。光脉冲中的光在给定的时间或沿着光脉冲宽度的位置的强度等于该脉冲形状在该时间或位置的幅值乘以该光脉冲的最大强度的乘积。曝光时段“敏感性分布”或曝光时段“分布”指代表示TOF-3D相机光传感器中的用于在曝光时段的开启和关断时间之间配准光的像素的敏感性的曲线的形状。用于配准光的像素的敏感性指代该像素配准入射在该像素上的每单位光能的光电荷量。

尽管由像素在曝光时段期间配准的光量是反射的光脉冲和曝光时段之间的相关性的函数，但该量也是反射的光脉冲的强度的函数并由此是特征的反射率的函数。特征的反射率一般不是从经配准的光中获知的。此外，在曝光时段期间，除了从特征反射的光以外，像素还配准来自场景的背景光以及来自“多径光”的光。背景光不是往返时间的函数。多径光指代反射的光脉冲中在到达TOF-3D相机时已经历了多于一次的反射而不是被反射一次就直接从由该相机成像的特征返回该相机的光。多径光相对于直接反射的光延迟地到达TOF-3D相机。像素在曝光时段期间配准的光量由此受到各变量而非往返时间的影响，这破坏了经配准的光量中的距离信息。

概述

本发明的一实施例的一方面涉及提供一种TOF-3D相机，该相机响应于来自场景的由各像素在不同的曝光时段期间配准的光量以及预期这些像素将在所述不同的曝光时段中的每一者期间配准多少光的概率模型来确定距该场景中的各特征的距离。距所述场景中的某特征的距离可以是响应于最可能已经导致由该像素为所述不同的TOF曝光时段配准的光量的概率模型来确定的距离。

在本发明的一实施例中，为了配准光量，TOF-3D相机用多个发射光脉冲来照明该场景，每一发射光脉冲与从该相机的多个不同的曝光时段中选择的、与发射光脉冲的发射时间同步的一不同曝光时段相关联以配准来自该场景的光量。TOF-3D相机、发射光脉冲以及相关联的曝光时段被配置成使得TOF-3D相机的光传感器中的每一像素配准并提供在不同曝光时段(此后也被称为TOF曝光时段)中的每一者内从该场景到达该像素的光量的测量。如果两个TOF曝光时段的相应开启和/或关断时间相对于其相应的相关联光脉冲的发射时间是不同的，则这两个TOF曝光时段是不同的。如果两个TOF-3D曝光时段的相应开启和关断时间之间的分布不同，则这两个TOF-3D曝光时段是不同的。

本发明的一实施例的一方面涉及提供基于用实验方法确定的TOF-3D相机中的像素的敏感性的概率模型来在不同TOF曝光时段中的每一者内根据场景中的某一特征距相机的距离来配准从该特征反射的光。

在本发明的一实施例中，该模型采用函数Λ(t)，该函数根据时间t描述从成像在像素上的场景中的某一特征到达该像素的光的强度。时间t可相对于多个发射光脉冲中的给定光脉冲被相机发射以照明场景的时间来测量。在一实施例中，Λ(t)由以下表达式定义：

Λ(t)＝αρ+ρIP(t)+ρβ(δt)IP(t+δt)。

在针对Λ(t)的表达式中，α是入射在经成像的特征上的环境背景光的强度的测量，并且ρ是将光反射到TOF-3D相机的经成像的特征的表面的反射率。I是发射光脉冲的最大强度，且P(t)是根据时间t的发射光脉冲的脉冲形状。因数β(δt)是描述经延迟的反射光脉冲中相对于ρI的光强度的比例因数，该经延迟的反射光脉冲相对于到达TOF-3D相机时的时间t延迟了时间δt。由于经延迟的反射光脉冲中的光除了由经成像的特征的反射以外还经历了至少一次反射，并通过比从相机直接行进到经成像的特征并直接返回相机的反射光脉冲中的光更长的路径到达TOF-3D相机，因此造成了延迟δt。到达TOF-3D相机的反射光脉冲在被反射了多于一次后被称为“多径反射脉冲”。一般来说，多径反射光对Λ(t)的贡献涉及采用对多径反射光如何到达TOF-3D相机中的像素进行建模的模型来对延迟δt执行积分。该积分考虑从在成像在像素上的特征处始发的经历多于一次附加反射的多径反射光脉冲中到达该像素的光，并且还考虑在除经成像的特征以外的特征处始发的到达该像素的多径反射光脉冲β(δt)。

在讨论中，除非另行说明，修改本发明的实施例的特征的条件或关系特性的诸如“基本上”和“大约”的形容词应被理解为该条件或特性被定义为针对该实施例所意图的应用在该实施例的操作可接受的容差范围以内。除非另外指示，本描述和权利要求书中的单词“或”被认为是包含性“或”而不是排他性或，并且指示其结合的各项目中的至少一者或其组合。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

附图简述

下面将参考在此所附的在此段落之后列出的附图来描述本发明的实施例的非限制性示例。在多于一幅附图中出现的相同的特征通常在其出现的所有附图中都以相同的标记来标记。标记表示附图中的本发明的实施例的一个给定特征的图标的标记可被用于参考该给定的特征。附图中所示的特征的维度是为了方便和清楚呈现而选择的，并且不必按比例显示。

图1A示意性地示出发射光脉冲串以照明场景并在存在背景光和多径反射光脉冲的情况下确定距该场景中的各特征的距离的TOF-3D相机；

图1B示出时间线图，该时间线图解说以下的相对时序：由图1A中示出的TOF-3D相机发射的光脉冲串中的各光脉冲、与发射光脉冲相关联的TOF-3D曝光时段、及被场景中的各特征反射的光脉冲对由相机的光学传感器中的各像素积累的光量的贡献、以及多径反射；

图1C示出根据本发明的一实施例的光脉冲串以及可与光脉冲串一起用于确定距场景中的各特征的距离的不同曝光时段的时间线图；以及

图2根据本发明的一实施例示意性地示出经历了受控环境中的校准的图1A中示出的TOF-3D相机。

详细描述

在详细描述的以下文本中，在图1A中示出并参考各附图讨论TOF-3D相机的特征。参考图1B中示出的时间线图来讨论图1A中示出的TOF-3D相机的操作。该时间线图示出用于照明由图1A中示出的TOF-3D相机成像的场景的发射光脉冲的发射时间的时序以及由该场景中的各特征从发射光脉冲中反射出的光与相机的TOF曝光时段之间的时序关系。图1C示出光脉冲串和TOF-3D相机的具有不同的开启时间的多个不同TOF曝光时段的时间线图。根据本发明的一实施例，这些TOF曝光时段可在通过快门开启相机时被用来配准这些光脉冲中被场景中的各特征反射的光量，这些光量可用于确定距这些特征的距离。图2根据本发明的一实施例示意性地示出TOF-3D相机，该TOF-3D相机被校准，以确定预期该TOF-3D相机中有多少光像素将在多个不同的TOF曝光时段中的每一者期间配准以对场景进行成像的概率模型，并确定距该场景中的各特征的距离。

图1A示意性地示出被用来确定距具有对象31、32和33的场景30中的各特征的距离的门控TOF-3D相机20。图标60示意性地指示场景中的对象31、32和33被暴露在环境背景光中。该图标及其参考标记表示并被用于引用环境背景光。

被非常示意性地表示的TOF-3D相机20包括由透镜21表示的光学系统以及具有像素23的光传感器22，透镜系统在像素23上对场景30进行成像。TOF-3D相机30任选地包括用于通过快门开启和关断相机的快门25、光源26以及控制快门25和光源26的控制器24。尽管TOF-3D相机20被示意性地示为具有与光传感器22分开的快门25，但TOF-3D相机可包括以下光传感器：该光传感器包括可用于通过快门开启和通过快门关断光传感器并由此开启和关断相机的电路系统。对通过快门开启或通过快门关断TOF-3D相机的引用被理解为包括使用本领域公知的任何方法和设备来用快门开启和关断相机，而不管是否对“分开的”快门作出特定引用。

为了确定距场景30中的各特征的距离，控制器24控制光源26以发射出发射光脉冲41的串40以照明场景30。发射光脉冲41由与指示这些光脉冲的传播方向的顶部箭头42相关联的矩形脉冲示意性地表示。在实践中，光脉冲41一般不是矩形，而可具有不规则的脉冲形状，并且通常具有类似于分别描述电容器充电和放电的曲线的上升沿和下降沿。光脉冲41可具有在约5和20ns(纳秒)之间的脉冲宽度。场景30中的各特征将来自每一发射光脉冲41的光反射回到TOF-3D相机20作为反射光脉冲。

在图1A中，对象31和32分别具有特征131和132，特征131和132被示意性地示为将来自发射光脉冲41的光分别反射成反射光脉冲47和48的串45和46。顶部箭头67和68分别示意性地指示光脉冲47和48的传播方向。反射光脉冲(诸如反射光脉冲47和48)与这些反射光脉冲从其反射的发射光脉冲41相比具有降低的强度，但与发射光脉冲具有基本上相同的脉冲形状。特征131还被示意性地示为反射不直接传播到TOF-3D相机20而在继续前进到TOF-3D相机20上之前经历从主体33的反射的光脉冲51的串50。反射光脉冲51是多径反射光脉冲。由于其附加反射，多径反射光脉冲51与光脉冲47或48相比被削弱更多，并且具有相对于表征反射光脉冲47和48的光强度而言显著降低的强度。

在相对于每一发射光脉冲41被发射的时间的给定预定开启时间，控制器24打开快门24以通过快门开启TOF-3D相机20达TOF-3D曝光时段。作为示例，假设该开启时间在发射时间后一预定时间流逝，该预定时间流逝可以是曝光延迟“TL”。在每一TOF-3D曝光时段期间，TOF-3D相机20将从场景30中接收到的光成像在光传感器22中的像素23上。来自场景30中的给定特征的在曝光时段期间到达TOF-3D相机的反射光脉冲中的光由相机在其上对给定特征进行成像的像素23配准，该曝光时段在从其反射出该反射光脉冲的发射光脉冲41之后。反射光脉冲中在曝光时段期间被配准的光量基本上与反射光脉冲和曝光时段之间的相关性成比例。由像素在TOF曝光时段中的每一者期间配准的反射光之和可被用来提供对光从TOF-3D相机20到特征并返回该相机的往返传送时间的测量。经配准的光之和可被用来确定距被成像在像素上的特征的距离。

然而，除了配准由经成像的特征从发射光脉冲41反射出的光量外，像素还对TOF曝光时段期间的背景光60以及在每一TOF曝光时段期间到达TOF-3D相机20的来自经成像的特征和场景30中的其他特征的多径反射光进行成像。

作为解说示例，从特征131反射的光脉冲47中的光被成像在图1A中被指定为23-131的像素23上并由该像素来配准，并且从特征132反射的光脉冲48中的光被成像在该图中被指定23-132的像素23上并由该像素来配准。由像素23-131和23-132响应于反射光脉冲47和48配准的光量基本上同TOF-3D的曝光时段与反射光脉冲47和48的相关性成比例。这些相关性是光从光源26到特征131和132并从这些特征返回到TOF-3D相机20的往返传送时间的函数。由像素23-131和23-132在TOF曝光时段期间配准的光量提供对这些相关性的测量，并任选地被控制器24用于确定从TOF-3D相机20分别到特征131和132的距离。

然而，如上所述，光传感器22中的像素23在TOF-3D相机20的TOF曝光时段期间配准背景光60。并且如针对图1A中接收来自多径反射光脉冲51以及来自反射光脉冲47的光的像素23-131示意性地示出的，光传感器22中的像素23还可配准来自多径反射光脉冲51的光。

图1B示出时间线图200，该时间线图示意性地解说以下的相对时序：串40中的发射光脉冲41、TOF-3D相机20的TOF曝光时段、反射光脉冲47和48、以及多径反射光脉冲51。该图示意性地解说TOF-3D相机20的TOF曝光时段和反射光脉冲47、48和多径反射光脉冲51之间的相关性。时间线图200包括时间线202、204、206和208。

发射光脉冲41由沿着时间线202的各矩形示意性地表示，并被指示为具有光脉冲宽度τ。TOF曝光时段由沿着时间线204的虚线矩形70示意性地表示，并具有历时SW，任选地如图1B中所示等于τ。TOF曝光时段70与每一发射光脉冲41相关联，并且被指示为在与TOF曝光时段70相关联的发射光脉冲41的发射时间后具有跟随曝光延迟TL的开启时间。

由特征131从发射光脉冲41反射的反射光脉冲47和多径反射光脉冲51沿着时间线206被示出。由特征132从发射光脉冲41反射的反射光脉冲48沿着时间线208被示出。到达TOF-3D相机20的背景光的强度由线61超出时间线206和208的高度表示。发射光脉冲41超出时间线202的高度以及反射光脉冲47、48和多径反射光脉冲51超出背景光61的高度在图1B中示意性地表示光脉冲中的光强度。反射光脉冲47的高度小于发射光脉冲41的高度以示意性地指示反射光脉冲的强度小于发射光脉冲的强度。光脉冲48的高度小于光脉冲47的高度以指示特征132的反射率(图1A)显著地小于特征131的反射率。多径反射光脉冲51的高度小于任一反射光脉冲47和48的高度，因为多径反射光脉冲51在到达TOF-3D相机20之前被反射了两次。

注意，在图1A中，像素23-131被指示为接收多径光脉冲51中的光，该多径光脉冲51在特征131处始发，并且在到达像素23-131之前被从对象33反射并行进相同的路径到像素23-131。然而，像素23-131可接收多径反射光脉冲中的光，该多径反射光脉冲不必在特征131处发起，或不必行进与多径反射光脉冲51行进的相同的路径到TOF-3D相机20。并且，尽管光脉冲51被指示为具有小于从特征131直接反射到像素23-131的光脉冲47的强度，行进通过不同的路径到达像素23-131的多径反射光脉冲中入射在像素23-131上的光的总量可能大于从特征131直接反射到该像素的光脉冲47中接收到的光量。

沿着时间线204示出的TOF曝光时段70被沿着时间线206和208复制以示出TOF曝光时段70与反射光脉冲47、48和多径反射光脉冲51之间的相对时序。如沿着时间线206和208示出的，相对于其相应的相关联TOF曝光时段70，反射光脉冲48比反射光脉冲47更早到达TOF-3D相机20，因为特征132比特征131更接近TOF-3D相机(图1A)。反射光脉冲48中的光比反射光脉冲47中的光具有更短的往返时间。沿着时间线206示出的多径反射光脉冲51比反射光脉冲47更晚到达TOF-3D相机20，因为如图1A中示意性地示出的，反射多径光脉冲比“直接反射”光脉冲47进行更长的距离到TOF-3D相机20。

从光脉冲的区域中的特征131反射的光脉冲47的在时间上重叠TOF曝光时段70的阴影区域A(47-70)示意性地表示反射光脉冲47和TOF曝光时段之间的相关性的幅值。反射光脉冲47中由对特征131进行成像的像素23-131配准的光量与该相关性成比例，并且还由图1B中的阴影区域A(47-70)来表示。多径反射光脉冲51和TOF曝光时段70的阴影时间重叠区域A(51-70)表示多径反射光脉冲和TOF曝光时段之间的相关性的幅值以及多径反射光脉冲中由像素23-131在TOF曝光时段期间配准的光量。由像素23-131在每一TOF曝光时段70期间配准的背景光60(图1A)的量基本上等于背景光从TOF曝光时段的启动时间到关断时间的积分，并且由阴影区域A(61-70)表示。

类似地，从特征132反射的光脉冲48和TOF曝光时段70之间的相关性的幅值由反射光脉冲48和TOF曝光时段70的阴影时间重叠区域A(48-70)指示，并且表示反射光脉冲中由像素23-132配准的光量。并且，如在像素23-131的情况下一样，像素23-132在沿着时间线208示出的每一TOF曝光时段70期间配准由阴影区域A(61-70)表示的背景光60的量。

通过以上讨论和示例，应看出，由光传感器22中的像素23在TOF曝光时段70期间配准的光量一般是从场景30中的不同源到达该像素的光量和来自不同源的光与TOF曝光时段70之间的时间关系的复杂函数。尽管在TOF曝光时段70期间光传感器22中的像素23相对于被成像在这些像素上的场景30中的各特征来配准来自包含距离信息的反射光脉冲的光量，但这些像素还配准不包含距离信息的背景光量以及包含距离“错误信息”的多径反射光量。此外，来自被配准的反射光脉冲的光的量是经成像的特征的反射率的函数，这些经成像的特征一般不是从由像素23在TOF曝光时段70期间配准的光量中获知或准确地获知的。

为了提供距由TOF-3D相机20成像的场景中的各特征的距离，根据本发明的一实施例，控制器24控制TOF-3D相机20在多个即“N”个不同的TOF曝光时段中的每一者内配准由这些特征从由光源26发射的光脉冲中反射的光。N可以是大于或等于2的任何数字。任选地，N大于或等于3。根据本发明的一实施例，由光传感器22中的给定像素23在不同的TOF曝光时段中的每一者内配准的光量被用来对经配准的光的源的复杂性进行仲裁，并确定距被成像在该像素上的特征的距离。

如上所述，如果两个TOF曝光时段的相应开启和/或关断时间相对于其相应的相关联发射光脉冲的发射时间不同，则这两个TOF曝光时段是不同的。如果两个TOF-3D曝光时段的相应开启和关断时间之间的分布不同，则这两个TOF-3D曝光时段是不同的。图1C根据本发明的一实施例示出时间线图300，该时间线图300示出可被用于照明场景的光脉冲41的串40(图1A)以及N个TOF曝光时段中的三个不同的TOF曝光时段311、312和313，TOF曝光时段311、312和313可与同串40相同的光脉冲联用来配准来自场景的光并确定距该场景中的各特征的距离。光脉冲41沿着时间线320被示意性地示出，并且曝光时段311、312和313分别沿着时间线321、322和323被示意性地示出。作为示例，曝光时段311、312和313具有相同的敏感性分布，但由于这些曝光时段的相应开启时间Ton311、Ton312、Ton313相对于光脉冲41的发射时间不同，因此这些曝光时段是不同的。这些开启时间分别由光脉冲311、312和313的发射时间与TOF曝光时段311、312和313的开启时间之间的证明箭头标记的Ton311、Ton312和Ton313指示。根据本发明的一实施例的曝光时段当然可具有不同的历时，并且曝光时段312在图1C中被示意性地示为比曝光时段311和313具有更长的历时。

注意，在图1A-1C中，出于方便呈现的目的，将发射光脉冲41以及反射光脉冲47和48示为具有基本上零上升时间、零下降时间和完全一致的强度的各理想方形脉冲。TOF曝光时段70和311、312和313也被示为是理想的，并具有完美矩形形状，其中TOF3D相机20中的像素23的敏感性在TOF曝光时段的开启时间处以零上升时间上升以在该TOF曝光时段的历时内维持恒定敏感性直到TOF曝光时段的关断时间。在关断时间，用于配准光的像素23的敏感性被示为以零下降时间突然下降到零。

然而，实际的光脉冲和TOF曝光时段具有非零上升和下降时间，并且一般不是由提供理想一致强度和敏感性的矩形脉冲形状和敏感性分布来表征的。此外，对于相同的发射光脉冲和相同的环境光条件，分别对第一和第二相同特征进行成像的第一和第二像素可被暴露于给不同的入射光量。不同的入射光量可例如由TOF-3D相机20、透镜21和/或光源26的结构的配置和制造公差方面的特性造成。此外，作为各像素将入射光转换成光电荷的效率差的结果，两个不同的像素23可为相同的入射光量配准不同的光量。结果，在实践中，反射光脉冲和TOF曝光时段之间的相关性一般显著地比图1A、1B和1C中的简单矩形特征可暗示的相关性更复杂。

令由TOF-3D相机20在时间to＝0发射的用于照明由TOF-3D相机20成像的场景(诸如图1A中的场景20)的发射光脉冲具有脉冲形状P(t)，该脉冲形状P(t)被定义为在0<t<PW的情况下具有非零强度，其中PW是发射光脉冲的脉冲宽度。注意，P(t)在以上被定义为具有等于1的最大值的“归一化”函数，使得发射光脉冲中的光强度可被写为IP(t)，其中I是光脉冲的最大强度。

令TOF-3D相机20的TOF曝光时段具有历时SW，并且由时间函数S(t)定义的敏感性分布在0<t<SW的情况下具有非零值。假设TOF-3D相机20在相对于时间to＝0的时间Ton处被通过快门开启，作为其结果，根据时间的TOF曝光时段敏感性分布S(t)可由S(t,Ton)＝S(t-Ton)表示。S(t)可被用于表示并指代具有敏感性分布S(t)的曝光时段，并且S(Ton)可被用于表示并指代具有敏感性曲线S(t)以及开启时间Ton的TOF曝光时段。令光传感器22中给定的第“j”个像素23由pj表示，0<j≤J，其中J可等于光传感器22中的像素23的总数。

如果来自发射光脉冲的光由距TOF-3D相机20距离D处的特征反射，则反射光的往返时间TRT等于约2D/c，其中c为光速。令入射在对该特征进行成像的光传感器22中的给定像素pj上的光的根据时间t的强度由函数Λ(j,t)表示。Λ(j,t)可由以下表达式定义：

Λ(j.t)＝px_j[αρ+ρIP(t-T_RT)+ρβ(δ)IP(t-T_RT-δt)]。(1)

在针对Λ(j,t)的表达式中，α是入射在经成像的特征上的环境背景光的强度的测量，并且ρ是经成像的特征的反射率。因数β(δt)是描述经延迟的反射光脉冲中相对于ρI的光强度的比例因数，该经延迟的反射光脉冲相对于到达TOF-3D时的往返时间TRT延迟了时间δt。延迟δt由于经延迟的反射光脉冲中的光除了由经成像的特征反射外还经历至少一次反射而形成。结果，多径反射光脉冲中的光通过比从TOF-3D相机直接行进到经成像的特征并直接返回TOF-3D相机的反射光脉冲中的光更长的路径到达相机。函数px_j考虑针对相同的环境光条件相比于其他像素的到达像素p_j的光强度方面的可能差异、发射光脉冲以及成像在这些像素上的特征的反射率和距离。函数px_j可以是恒定的。

Λ(j,t)和S(t)的相关性是往返时间T_RT的函数，并提供到达像素p_j的光量的测量，该光量可由该像素在TOF曝光时段即曝光时段S(t)期间配准。令由像素p_j在TOF曝光时段S(t,T_on)期间配准的光量由该像素的“响应”R(T_RT)表示。R(T_RT)与Λ(j,t)和S(t)之间的相关性Λ(j,t)*S(t,T_on)成比例，并可被写成：

$\begin{array}{c}R(j,T_{RT})={\mathrm{\&gamma;}}_j\mathrm{\&Lambda;}(j,t)*S(t,T_{on})={\mathrm{\&lambda;}}_j{\&Integral;}_{-\mathrm{\&infin;}}^{\mathrm{\&infin;}}S(t-T_{on})\mathrm{\&Lambda;}(j,t)dt=\\ {\mathrm{\&gamma;}}_j{\&Integral;}_{T_{on}}^{T_{on}+SW}S(t-T_{on})\mathrm{\&Lambda;}(j,t)dt=\\ {\mathrm{\&gamma;}}_j{\&Integral;}_{T_{on}}^{T_{on}+SW}S(t-T_{on}){\mathrm{px}}_j\&lsqb;\mathrm{\&alpha;}\mathrm{\&rho;}+\mathrm{\&rho;}IP(t-T_{RT})+\mathrm{\&rho;}\mathrm{\&beta;}\left(\mathrm{\&delta;}t\right)IP(t-T_{RT}-\mathrm{\&delta;}t)\&rsqb;dt.\end{array}---\left(2\right)$

在表达式(2)中，γ_j是等于入射到像素p_j上的每单位光能的由该像素生成和积累的光电荷的预期量的比例常数。令u＝(t-T_on),并使用关系式T_RT＝2D/c来显式地展现R对距离D的依赖性，等式(2)变为：

$\begin{array}{c}R(j,D)=\\ {{\mathrm{px}}^{\&prime;}}_j{\&Integral;}_0^{SW}S\left(u\right)\&lsqb;\mathrm{\&alpha;}\mathrm{\&rho;}+\mathrm{\&rho;}IP(u-(\frac{2D}{c}-T_{on}\left)\right)+\mathrm{\&rho;}\mathrm{\&beta;}\left(\mathrm{\&delta;}t\right)IP(u-(\frac{2D}{c}-T_{on})-\mathrm{\&delta;}t)du.\end{array}---\left(3\right)$

其中，在等式(3)和各等式中，其遵循px_i′＝γ_jpx_j。

注意，(2D/c–T_on)只是TOF-3D相机被通过快门开启的时间与从成像在像素p_j上的特征反射的光脉冲中的光到达TOF-3D相机的时间之间的时间差。令Δt＝(2D/c–T_on)，并将R(j,D)写为显式地展现R(j,D)对除索引j和距离D外的变量的依赖性，等式(3)可被表达为：

$R(j,\mathrm{\&alpha;},\mathrm{\&rho;},I,S(T_{on}),\mathrm{\&beta;},D)={{\mathrm{px}}^{\&prime;}}_j{\&Integral;}_0^{SW}S\left(u\right)\&lsqb;\mathrm{\&alpha;}\mathrm{\&rho;}+\mathrm{\&rho;}IP(u-\mathrm{\&Delta;}t)+\mathrm{\&rho;}\mathrm{\&beta;}\left(\mathrm{\&delta;}t\right)IP(u-\mathrm{\&Delta;}t-\mathrm{\&delta;}t)\&rsqb;du---\left(4\right)$

除D外，等式4还示出经配准的光量可依赖于的多个独立变量。该等式指示针对来自由TOF-3D相机20成像的场景(诸如场景30)的光，TOF-3D相机20中的给定像素p_j的响应可能有多复杂。

在本发明的一实施例中，TOF-3D相机20被调节以为包括在其光传感器22中的每一像素p_j确定像素响应函数“ER”，该响应函数“ER”用于响应于光被该像素配准而确定距成像在该像素上的特征的距离。ER根据α、ρ和I为TOF-3D相机20使用来对场景进行成像的多个即N个不同的TOF曝光时段S(T_on)中的每一者提供预期量的由像素p_j配准的光，并提供成像在该像素上的特征距TOF-3D相机20的距离范围。

任选地，假设不存在多径反射光脉冲的情况下，ER提供预期量的经配准的光。然而，如以下讨论的，对于这样的实例，由ER提供的预期量的经配准的光可被用于决定响应于ER确定的距离的准确性是否被多径反射光降级到保证丢弃所确定的距离的程度。ER还可提供预期量的由该像素配准的光的变化。

令N个不同的TOF曝光时段由带下标的函数S_n,0<n≤N来表示和区分。如上所述，如果两个TOF曝光时段具有不同的开启时间T_on、不同的脉冲宽度SW和/或不同的分布，则两个TOF曝光时段是不同的。通过不同的下标区分的TOF曝光时段是不同的。令用于定义ER的距离范围中的距离由d来表示。

ER任选地基于参考函数RF，该参考函数RF针对参数α、ρ和I的已知值α_o、ρ_o和I_o提供每一像素p_j的通过实验确定的响应，而无需考虑多径反射。该通过实验确定的响应还为比例常数px′_j提供值κ_j。该参考函数可由以下表达式定义：

$RF(j,n,d,{\mathrm{\&alpha;}}_o,{\mathrm{\&rho;}}_o,I_o)={\mathrm{\&kappa;}}_j{\&Integral;}_0^{{\mathrm{SW}}_n}{S}_n\left(u\right)\&lsqb;{\mathrm{\&alpha;}}_o{\mathrm{\&rho;}}_o+{\mathrm{\&rho;}}_o{I}_{o}P(u-\mathrm{\&Delta;}t(n,d\left)\right)\&rsqb;du,---\left(5\right)$

其中显式地指示Δt＝(2d/c–T_on)对距离d的依赖性以及通过T_on对索引n的依赖性的对索引n的依赖性。

在对括号中的第一项以及重排项进行积分后，表达式(5)变为：

$RF(j,n,d,{\mathrm{\&alpha;}}_o,{\mathrm{\&rho;}}_o,I_o)={\mathrm{\&kappa;}}_j{\mathrm{\&alpha;}}_o{\mathrm{\&rho;}}_o{A}_n+{\mathrm{\&kappa;}}_j{\mathrm{\&rho;}}_o{I}_o{\&Integral;}_0^{{\mathrm{SW}}_n}{S}_n\left(u\right)P(u-\mathrm{\&Delta;}t(n,d\left)\right)du---\left(6\right)$

在表达式(6)中，A_n是在根据时间来定义TOF曝光时段Sn的分布的曲线之下的面积。可通过以下方式通过实验为每一像素p_j确定函数RF：获取针对已知值α_o、ρ_o和I_o以及具有脉冲形状P(t)的发射光脉冲、针对每一TOF曝光时段S_n并针对多个距离d，该像素配准了多少光的测量。以下参考图2讨论确定ER(j,n,d,α,ρ,I)的示例性方法。

在给定RF(j,n,d,α_o，ρ_o，I_o)的情况下，像素响应函数ER可被表达为：

$\begin{array}{c}ER(j,n,d,\mathrm{\&alpha;},\mathrm{\&rho;},I)=\\ \&lsqb;\mathrm{\&alpha;}\mathrm{\&rho;}/{\mathrm{\&alpha;}}_o{\mathrm{\&rho;}}_o\&rsqb;{\mathrm{\&kappa;}}_j{\mathrm{\&alpha;}}_o{\mathrm{\&rho;}}_o{A}_n+\&lsqb;\mathrm{\&rho;}/{\mathrm{\&rho;}}_o\&rsqb;\&lsqb;I/I_o\&rsqb;{\mathrm{\&kappa;}}_j{\mathrm{\&rho;}}_o{I}_o{\&Integral;}_0^{{\mathrm{SW}}_n}{S}_n\left(u\right)P(u-\mathrm{\&Delta;}t(n,d\left)\right)du.\end{array}---\left(7\right)$

如果记住ER的值是针对已知值α_o、ρ_o、I_o确定的、ER是比[αρ/α_oρ_o]和[ρ/ρ_o]的函数且[I/I_o]是几乎不变的，则通过设置α_o＝ρ_o＝I_o＝1并将表达式(7)写为以下一般不会丢失通过配置光源26并操作控制器24确定的已知参数：

等式(8)根据一般未知的α、ρ和d的值、已知的κ_j的值以及已知的发射光脉冲41的强度和脉冲形状(图1A和1B)为每一TOF曝光时段S_n提供由像素p_j配准的光量的预期值。用具有分量ER_n＝ER(j，n，d，α，ρ)，0＜n≤N.的向量来表示针对TOF曝光时段S_n和给定像素p_j的预期值ER(j，n，d，α，ρ)是方便的。

令在TOF曝光时段S_n内像素p_j对从由TOF-3D相机20成像在像素p_j上的场景中的特征反射的光脉冲的实际响应由“R_n”来表示。令TOF曝光时段S_n由其分量为S_n的N维向量来表示，并且响应R_n由其分量为R_n的N维向量来表示，其中0<n≤N。令针对像素p_j为给定的预期响应提供响应的概率密度函数由以下表示：

在本发明的一实施例中，距成像在像素p_j上的特征所位于的TOF-3D相机20的距离通过以下方式来确定：分别确定α、ρ和d的使最大化的值集合α_j*、ρ_j*和d_j*，并确定该特征位于距TOF-3D相机20距离d_j*处。

作为示例，在本发明的一实施例中，N任选地等于3，并且是多变量高斯密度函数。假设的协方差矩阵是对角的，则变为：

其中变量σ² ₁、σ² ₂和σ² ₃可被确定为是点噪声的函数并被设为分别等于R₁、R₂和R₃。使最大化的值α*、ρ*和d*可使用本领域公知的任何合适的过程来确定。例如，α*、ρ*和d*可例如使用最小二乘法或连续优化技术(例如，梯度下降法)来确定。

在本发明的一实施例中，置信度参数和相应的置信度区间被定义为供在提供对值α*、ρ*和d*的集合中的置信度的测量时使用。如果针对值α*、ρ*和d*的集合来求值的置信度参数不被包含在置信度区间内，则可得出以下结论：α*、ρ*和/或d*的准确性可能被多径反射光降级到使得任选地d_j*应当被丢弃的程度。

例如，在本发明的实施例中，针对α*、ρ*和d*来求值的置信度参数“CP”可被定义为：

$CP(d*,\mathrm{\&rho;}*,\mathrm{\&alpha;}*)=\&lsqb;\frac{{(R_1-{\mathrm{ER}}_1(d*,\mathrm{\&rho;}*,\mathrm{\&alpha;}\left)\right)}^2}{{{\mathrm{\&sigma;}}_1}^2}+\frac{{(R_2-{\mathrm{ER}}_2(d*,\mathrm{\&rho;}*,\mathrm{\&alpha;}*\left)\right)}^2}{{{\mathrm{\&sigma;}}_2}^2}+\frac{(R_3-{\mathrm{ER}}_3(d*,\mathrm{\&rho;}*,\mathrm{\&alpha;}\left)\right)}{{{\mathrm{\&sigma;}}_3}^2}\&rsqb;---\left(11\right)$

并且，置信度区间可以被设为处于95％处。如果CP(d*，ρ*，α*)具有小于95％的发生概率，则d_j*可被确定为是不可靠的并被丢弃。

在本发明的一实施例中，贝叶斯推断被用于为给定确定d_j*。任选地，概率密度函数(距离d_j为距由TOF-3D相机20成像在像素p_j上的特征的距离)是通过相对于α和ρ对求积分来确定的。在假设α和ρ为均匀先验的情况下，可执行该积分。后验距离d_j*可随后根据本发明的一实施例被确定为是使最大化的d_j的值，用符号表示为：

根据本发明的一实施例，被成像在像素23上的特征的反射率ρ_j*和环境光的强度αj*是从以下概率函数中确定的：

其中，是从确定的，并为等于d_j*的d求值。α_j*、ρ_j*和d_j*的置信度准则可如上所述任选地响应于下式的值来确定：

$\&lsqb;\frac{{(R_1-{\mathrm{ER}}_1(d*,\mathrm{\&rho;}*,\mathrm{\&alpha;}\left)\right)}^2}{{{\mathrm{\&sigma;}}_1}^2}+\frac{{(R_2-{\mathrm{ER}}_2(d*,\mathrm{\&rho;}*,\mathrm{\&alpha;}*\left)\right)}^2}{{{\mathrm{\&sigma;}}_2}^2}+\frac{{(R_3-{\mathrm{ER}}_3(d*,\mathrm{\&rho;}*,\mathrm{\&alpha;}*\left)\right)}^2}{{{\mathrm{\&sigma;}}_3}^2}\&rsqb;.$

如果置信度准则不被α_j*、ρ_j*满足，则d_j*、d_j*可由于不可靠而被丢弃。

图2示意性地示出用于通过实验校准TOF-3D相机20并为响应函数可基于的每一TOF曝光时段S_n确定参考函数RF(j，n，d，α_o，ρ_o，I_o)的方法。

TOF-3D相机20被置于受控环境500中以将校准屏幕502成像在距TOF-3D相机的光学中心121的多个不同的距离CS-D₁、CS-D₂、…CS-D_M处。校准屏幕502由其在该处被成像的其相应距离CS-D₁、CS-D₂、…CS-D_M来标记，并且在距离CS-D₁处用实线并在距离CS-D₂、…CS-D_M处用虚线示意性地示出。

校准屏幕502具有已知的反射率ρ_o，并被暴露于已知强度α_o的背景光504。任选地，α_o等于0。任选地，校准屏幕502被配置成使得在每一距离CS-D₁…CS-D_M处，校准屏幕可被弯曲成具有基本上等于该校准屏幕距光学中心121的距离的幅值的半径。任选地，校准屏幕502足够大，并且在每一距离CS-_D1…CS-_DM处被定向成使得光传感器23中的每一像素p_j(每一像素23)对校准屏幕的一区域进行成像。

对于距光学中心121的每一距离CS-D₁…CS-D_M，控制器24控制光源26用具有最大强度I_o和脉冲形状P(t)的发射光脉冲41的串40来照明校准屏幕502。对于每一发射光脉冲41，控制器24控制快门25来通过快门开启TOF-3D相机20任选地达TOF曝光时段S₁以配准由校准屏幕从发射光脉冲中反射的光。从处于位置CS-D₁的校准屏幕的各区域反射的光由反射光脉冲521的串520示意性地表示。由每一像素配准的光量提供针对n＝1时的参考函数RF(j，n，d，α_o，ρ_o，I_o)的值。任选地，用于确定n＝1时的RF(j，n，d，α_o，ρ_o，I_o)相同过程被用于确定n等于2到N时的RF(j，n，d，α_o，ρ_o，I_o)。所确定的0<n≤N时的RF(j，n，d，α_o，ρ_o，I_o)的值被用于确定

根据本发明的一实施例的响应函数可以是d的离散函数或连续函数。可自然是d的离散函数，因为RF(j，n，d，α_o，ρ_o，I_o)在传统上是为离散值CS-D₁…CS-_DM确定的。连续函数可通过将N维曲线递归拟合到的离散值来确定。在本发明的一实施例中，为了降低处理复杂度，光传感器22可被划分成各像素p_j分组，每一分组包括多个连续像素。共同的可以被确定并被用于同一像素分组中的所有像素p_j，以确定距成像在这些像素上的特征的距离。

在本发明的一实施例中，确定针对TOF-3D20的标准化响应函数该标准化响应函数可被用于确定距TOF-3D相机中的多个像素中的不同像素p_j上成像的特征的距离。任选地，标准化响应函数是针对光传感器22的中心像素p_j确定的响应函数。线性变换是针对标准化响应函数以及不同像素p_j中的每一者定义的，其将为像素p_j确定的给定响应函数变换成在符号中，是执行以下变换的张量：

为了确定距被成像在多个不同的像素中配准光量(即，在TOF曝光时段内向入射光提供响应向量)的给定像素p_j上的特征的距离d_j*，变换被用于将变换成以下响应

确定为针对和预期的最可能的距离并被用作针对给定像素p_j的距离d_j*的距离d_o*。

在本申请的说明书和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的组件、元素、或部分的完整列表。

在本申请中作为示例提供了对本发明的各实施例的描述，而不旨在限制本发明的范围。所描述的实施例包括不同的特征，对于本发明的所有实施例来说并不是所有的特征都是必需的。一些实施例只利用部分特征或特征的可能组合。本领域的技术人员会想到所描述的本发明的各实施例的变型以及本发明的各实施例包括在所描述的各实施例中注明的特征的不同组合。本发明的范围仅由权利要求来限定。

Claims (9)

1.一种确定距场景中的特征的距离的方法，所述方法包括：

a.用至少一个光脉冲来照明所述场景；

b.在相对于所述至少一个光脉冲中的每一者被发射的时间相同的已知开启时间处通过快门开启相机达曝光时段，以对被所述场景中的特征反射到所述相机的像素上的光进行成像；

c.确定所述相机中的像素在所述曝光时段期间为被成像在所述像素上的特征配准的反射光量；

d.为多个即N个不同的曝光时段中的每一者重复a-c，从而用不同的开启时间、不同的关断时间和不同的曝光时段敏感性分布中的至少一者或其中的两者或更多者的组合来将其彼此区分；

e.响应于提供预期所述像素将在所述N个曝光时段中的每一者内配准的光量的概率模型，针对由所述像素在所述N个曝光时段中的每一者内配准的光量确定概率密度函数；

f.针对确定的由所述像素在所述N各不同的曝光时段中的每一者内配准的光量确定使所述概率密度函数最大化的距所述特征的距离；

g.为响应于所述概率模型确定的距离确定提供置信度测量的置信度参数；

h.确定所述置信度参数的置信度区间；以及

i.使用所述置信度参数以及置信度区间来确定所确定的距离是否应当被丢弃。

2.根据权利要求1所述的方法，其特征在于，所述概率模型根据成像在所述像素上的特征的距离、所述特征的反射率以及照明所述场景中的特征的背景光的强度来提供预期要在所述N个曝光时段中的每一者内配准的反射光量。

3.根据权利要求1或权利要求2所述的方法，其特征在于，包括响应于通过实验确定由所述像素针对在距所述相机多个不同的已知距离处并具有已知反射率的特征配准的光量，确定所述概率模型。

4.根据前述权利要求中的任一项所述的方法，其特征在于，针对所述像素以及所述N个曝光时段中的一曝光时段的预期的经配准光量是响应于该曝光时段的分布和所述发射光脉冲的脉冲形状之间的相关性来确定的。

5.根据前述权利要求中的任一项所述的方法，其特征在于，确定针对所述特征的距离包括基于针对所述N个曝光时段中的每一者的预期的经配准光量确定作为所述距离的函数的概率密度函数并确定使所述密度函数最大化的距离。

6.根据前述权利要求中的任一项所述的方法，其特征在于，N大于3。

7.一种飞行时间(TOF)三维(3D)相机，所述相机提供距所述相机成像的场景中的特征的距离，所述相机包括：

光源，所述光源可控制来发射光脉冲以照明所述场景；光传感器，所述光传感器具有配准入射在所述像素上的光的像素；

光学系统，所述光学系统对由所述场景中的特征从所述发射光脉冲反射到所述像素上的光进行成像；

快门，所述快门可控制来通过快门开启以及通过快门关断所述相机以向所述相机提供曝光时段；以及

控制器，所述控制器：

a.控制所述光源用多个飞行脉冲来照明所述场景；

b.控制所述快门在相对于所述至少一个光脉冲中的每一者被发射的时间相同的已知开启时间处通过快门开启相机达曝光时段，以对被所述场景中的特征反射到所述相机的像素上的光进行成像；；

c.确定所述相机中的像素在所述曝光时段期间为被成像在所述像素上的特征配准的反射光量；

d.为多个即N个不同的曝光时段中的每一者执行a-c，从而用不同的开启时间、不同的关断时间和不同的曝光时段敏感性分布中的至少一者或其中的两者或更多者的组合来将其彼此区分；以及

e.响应于所确定的在所述N个不同的曝光时段中的每一者内配准的光量以及提供预期所述像素要在所述N个不同的曝光时段中的每一者内配准的光量的概率模型来确定距所述特征的距离。

8.根据权利要求7所述的TOF-3D相机，其特征在于，所述概率模型根据成像在所述像素上的特征的距离、所述特征的反射率以及照明所述场景中的特征的背景光的强度来提供预期要在所述N个曝光时段中的每一者内配准的反射光量。

9.根据权利要求7或权利要求8所述的TOF-3D相机，其特征在于，所述控制器基于在所述N个曝光时段中的每一者内预期的配准光量来确定作为所述距离的函数的概率密度函数并确定距所述特征的距离为使所述密度函数最大化的距离。