CN102112844B - 成像系统 - Google Patents

Abstract

一种成像系统，包括：光源，该光源通过已知强度光照亮场景；相机，该相机具有响应于被场景从照射已知强度光反射的光使场景成像的光轴和光心；测距仪，该测距仪可控制以确定至由相机成像的场景表面元的距离；控制器，该控制器被配置成响应于表面元离相机的距离、照射光和来自由相机成像的表面元的光的已知强度来确定由相机成像的场景表面元的反射率。

Description

成像系统

关联申请的交叉引用

本申请根据35U.S.C§119(e)要求对2008年7月29日提交的美国临时申请61/084,263的权益，其全篇内容通过引用纳入于此。

领域

本发明涉及配置成采集场景的3D图像的成像系统。

背景

光学成像系统针对越来越多的不同应用来使用和配置，并且由系统提供的图像被处理以提供应用所要求的不同类型和质量的信息。这些应用是所制造的货物和原料的检查、CAD验证、生物测定标识、机器人视觉、地理勘测和姿态识别。

总的来说，随着场景图像中的特征的图像质量提高，由给定应用的图像所提供的数据的质量也提高。各种硬件和/或图像处理技术被用来定制成像系统以使其适应其使用场合并为其提供的图像提供所要求的质量和/或特征。

例如，美国专利申请公开2008/0002060提供一种用于消除“红眼”以改善使用闪存通过数字相机采集的人物图像的方法。相机包括红眼过滤器，该红眼过滤器分析所采集的红眼图像并通过将红眼区域的颜色改变成黑色来修改图像。美国专利6,993,255描述了响应图像的景深图调整成像的场景的照度以针对所要求的效果定制场景的图像。在本发明的一个实施例中，景深图由飞行时间3D相机提供。可调照明由称为“发光-像素(luxel)”的可任选相对小光源的阵列提供。

前面引用的美国专利申请公开和专利的公开内容通过引用纳入于此。

概述

本发明一些实施例的一个方面涉及提供一种响应于离成像系统的表面元的距离来确定成像场景的表面元的反射率值的可任选光学3D成像系统。

本发明一些实施例的一方面涉及提供响应于表面元的各法线确定场景表面元的反射率值的3D成像系统。

本发明一些实施例的一方面涉及提供一种3D成像系统，该3D成像系统基本上仅响应于场景表面元的反射率和/或表面元各法线和表面元成像所沿方向之间的夹角“朗伯角”来提供场景的图像。

根据本发明一些实施例的一方面，3D成像系统包括：光源，用于照亮场景；相机，该相机可控以响应于来自光源的光将场景成像在光敏表面上；以及测距仪，用于确定至场景表面元的距离。为了方便起见，将光敏表面称为感光表面并假设其包括成像系统在其上成像一场景的光敏像素阵列。

为了确定场景的表面元的反射率，根据本发明的一个实施例，可控制光源以通过已知强度的光来照亮场景，并使由表面元反射的光成像在相机感光表面上。至成像在感光表面上的场景的表面元的距离是由测距仪确定的。

根据本发明的一个实施例，对距离进行处理以确定每个表面元的法线。来自每个表面元沿从表面元至在其上成像表面元的感光表面的像素的方向的单位矢量被称为“成像方向”。假设表面元是散射型、朗伯反射表面。结果，由其上成像给定表面元的像素配准的光量“I_p”视为基本上与表面的单位法线和成像方向之间的点积成比例。如果θ是该角，即矢量间的“朗伯角”，则I_p可表达成：

I_p＝α(I_o/D⁴)Rcos θ                                        (1)

在表达式(1)中，α是取决于相机的光学参数和光源的已知比例恒量，I_o是由光源的每单位面积光源提供的光强度，D是至表面元的距离而R是该区域的反射率。根据本发明的一个实施例，反射率R是响应于由等式1定义的约束条件针对该区域确定的。

可任选地，根据本发明一个实施例的3D成像系统中的测距仪包括门选飞行时间测距仪。该门选飞行时间测距仪包括：光源，该光源可控制以用至少一个光脉冲来照亮场景；以及门选感光表面，该门选感光表面将来自场景反射的至少一个光脉冲的光成像。在至少一个光脉冲中的每个光脉冲由光源发出之后，感光表面在一个短周期内被选通，在下文中称其为“门选”。在门选期间由像素配准在感光表面上的光的量被用来确定至在像素上成像的场景表面元的距离。可任选地，用来成像场景的光源和感光表面对于门选飞行时间测距仪是通用的。门选飞行时间测距仪的各种类型和配置及其门选方法记载于美国专利6,057,909、6,100,517、7224384、美国专利申请2007/0091175和PCT申请IL 2007/001571中，这些文献的内容通过引用纳入于此。为了便于阐述，根据本发明一个实施例的包括门选测距仪的3D成像系统被称为“3D门选成像器”。

在本发明的一些实施例中，3D成像系统提供一场景图像，其中图像中的每个像素——即“图像像素”——提供有基本上与对对应于图像像素的场景元确定的反射率R成比例的强度值。在本发明的一些实施例中，3D成像系统提供一场景图像，其中图像中每个像素——即“成像像素”——提供有基本上与对对应于图像像素的场景元确定的Rcosθ成比例的强度值。

根据本发明一些实施例的一方面，响应于与特征相关联的反射率R和/或朗伯角来标识场景中的特征。

例如，假设给定材质已知对用来照亮由根据本发明一实施例的3D成像系统成像的场景的光具有特定反射率R^*。只有在其各个反射率R和/或Rcosθ的值与具有反射率R^*的区域一致的情况下，才将场景的各个区域标识为由该材质形成。作为一具体示例，如果要求标识包括人手的场景区域，则可通过确定该场景区域是否表现出与人的肌肤一致的反射率来标识手在场景中的位置。作为又一具体示例，根据本发明的一个实施例，可通过人物图像中因公知的红眼效应产生的对红光和IR光相对较高的反射率来标识图像中的人眼。

根据本发明一些实施例的一方面，由3D成像系统成像的场景的照亮响应于场景表面元的反射率值和/或法线而受到控制。

可任选地，3D成像系统包括具有发光像素的可控光源，诸如在US6,993,255中记载的光源，用来响应于场景表面元的反射率和/或法线来控制场景的照度。可任选地，光源可与在其上成像场景的感光表面视轴对准。

例如，确定为具有相对较低反射率的场景表面元与具有相对高反射率的表面元相比可被更强烈地照亮。同样，其法线与各自的成像方向形成相对大夹角的表面元与法线与其各成像方向具有相对小夹角的表面元相比可被更强烈或更弱地照亮。作为替代或附加，可增强或减弱表现出在特定范围反射率值的场景表面元的照度，以改变区域在由3D成像系统提供的场景的图像中出现的方式。例如，根据本发明的一个实施例，人物图像中的红眼是响应于图像中红眼区域的反射率来检测和定位的，并且人物脸部的照明响应于红眼的检测和位置来调节以减弱红眼效应。

因此，提供一种根据本发明一个实施例的成像系统，该成像系统包括：光源，该光源用已知强度光照亮场景；相机，该相机具有响应于场景从照射的已知强度光反射的光使场景成像的光轴和光心；测距仪，该测距仪可控制以确定至由相机成像的场景表面元的距离；控制器，该控制器被配置成响应于表面元离相机的距离、照射光和来自相机成像的表面元的光的已知强度来确定由相机成像的场景表面元的反射率。

可任选地，控制器处理所确定的距离以限定由相机成像的场景表面元的法线。可任选地，控制器响应于表面元的法线来确定场景表面元的反射率。可任选地，控制器确定相机成像的表面元的成像方向，相机沿该成像方向对来自表面元的光成像。可任选地，成像方向平行于从表面元至相机光心的直线。作为替代，成像方向可任选地平行于相机的光轴。

在本发明的一些实施例中，控制器响应于成像方向确定表面元的反射率。可任选地，控制器响应于法线和平行于成像方向的矢量之间的点积来确定表面元的反射率。

在本发明的一些实施例中，控制器被配置成响应于对相机成像的表面元确定的反射率与表面元成像方向和法线之间夹角的余弦之积来标识场景中的特征。

在本发明的一些实施例中，控制器被配置成响应于由相机成像的表面元的反射率来标识场景中的特征。

在本发明的一些实施例中，成像系统包括配置成提供场景图像的控制器，其中该场景图像中的像素的灰度级基本上等于对成像在像素上的表面元确定的反射率乘以表面元成像方向和法线之间的夹角的余弦之积。

在本发明的一些实施例中，成像系统包括控制器，该控制器被配置成提供包括其灰度基本上与对成像在像素上的场景表面元确定的反射率成比例的图像像素的场景图像。

在本发明的一些实施例中，测距仪包括门选飞行时间测距仪。

在本发明的一些实施例中，成像系统包括光源，该光源可控制以通过响应于其各法线的光强度彼此独立地照亮场景的不同区域。

在本发明的一些实施例中，成像系统包括光源，该光源可控制以通过响应于其各折射率的光强度彼此独立地照亮场景的不同区域。

进一步提供了根据本发明一个实施例的确定场景表面元的反射率的方法，该方法包括：通过已知强度的光来照亮场景；通过来自已知强度光由表面元反射的光使表面元成像；确定至场景的多个表面元的距离；响应于所确定的距离来确定表面元的法线；以及响应于该法线以及由表面元反射和成像的已知强度光的光的量来确定表面元的反射率。

可任选地，该方法包括确定来自表面元的光成像基本上所沿的成像方向。可任选地，该方法包括响应于成像方向确定反射率。可任选地，该方法包括通过具有光心的相机使场景成像，而确定成像方向包括将成像方向确定为是平行于从表面元至相机光心的直线的方向。替代地，该方法可任选地包括通过具有光心的相机使场景成像，而确定成像方向包括将成像方向确定为平行于光轴的方向。

在本发明的一些实施例中，该方法包括响应于法线和平行于成像方向的矢量的点积来确定表面元的反射率。

在本发明的一些实施例中，该方法包括响应于反射率乘以成像方向和法线之间的夹角的余弦之积来标识场景中的特征。

在本发明的一些实施例中，该方法包括响应于反射率来标识场景中的特征。

在本发明的一些实施例中，该方法包括提供场景图像，其中使表面元成像的图像中像素的灰度级基本上等于所确定的反射率与成像方向和法线之间的夹角的余弦之积。

在本发明的一些实施例中，该方法包括提供场景图像，其中图像中使表面元成像的像素的灰度级基本上与反射率成比例。

附图简述

本发明实施例的非限定性示例将在下文中参照在后面列出的附图予以说明。出现在一张以上附图中的相似结构、元件或部件一般在其出现的全部附图中用相同附图标记来标示。附图中示出的组件和特征的尺寸是为了方便和清楚表示而选择的，并且不一定按比例绘制。

图1示意性地示出根据本发明一个实施例的使场景成像以确定场景表面元的反射率的3D成像系统；

图2示出图1所示的门选成像器的光脉冲和门选的同步的示图；

图3A示出根据现有技术的场景图像；

图3B示出根据本发明一个实施例的图3A所示的同一场景的图像；以及

图4示意性地示出根据本发明一个实施例的包括光源的3D成像系统。

详细说明

图1示意性地示出根据本发明一实施例的使包括物体61、62的场景60成像以确定物体表面元的反射率的3D门选成像系统20。

作为示例，假设3D门选成像系统20为3D门选成像器。该3D门选成像器可任选地包括：通过可任选红外(IR)光的至少一个光脉冲照亮场景60的光源22；以及包括诸如举例而言门选CCD或CMOS感光表面的像素阵列25的可门选感光表面24。可任选地，可门选感光表面是前面引述的美国专利公开2007/0091175中记载的感光表面。以具有光心27和用虚线29示出的光轴的透镜26为代表的透镜或光学系统采集来自场景60的光并在感光表面24上使所采集的光成像。控制器28控制光源22和感光表面24以使感光表面的门选与光源22发出的至少一个脉冲的发射时间同步以照亮场景60并确定至场景区域的距离。原点位于光心27并且z轴与光轴29重合的坐标系80用来方便对场景60特征的参照。

在图1中，举例而言，各自由虚线圆弧和波浪箭头示意性地表示的两个IR光脉冲41、42被示为通过光源22辐射出以照亮场景60。从光脉冲41或42由通过3D门选成像器成像的场景60中的表面元反射出的光脉冲由波浪箭头50表示。对每个表面元63、64均示出波浪箭头50。每个波浪箭头50被示为从表面元沿从表面元至感光表面24内使表面元成像的像素25的直线(即成像方向)延伸。成像方向由从表面元起经过以透镜26为代表的光学系统的光心27并终止在使表面元成像于其上的像素的直线界定。表面元63、64分别具有成像方向51、52，并各自在加阴影以便解说的像素53、54上成像。

有许多方法将感光表面24的门选与光源22所发出的光脉冲41、42同步，以确定至表面元——诸如场景60的表面元63、64——的距离。这些方法中的一些记载在前述美国专利6,057,909、6,100,517、7224384、美国专利申请2007/0091175和PCT申请IL 2007/001571中。

图2示意性地示出具有时间线101、121的图表100，其示出门选感光表面24与诸如图1所示光脉冲41、42的光脉冲同步的示例性方法，这些光脉冲由光源22发出以确定与场景60中特征的距离。

时间线101示意性地表示所发射的光脉冲41、42和由场景60的表面元从所发射光脉冲反射的诸如图1光脉冲50的光脉冲的时序。所发射光脉冲41沿时间线101由带阴影的实线矩形141表示，该矩形141顶上具有从左指向右的顶上箭头，用来指示光脉冲中的光是从3D门选成像器20射出的。同样，所发射光脉冲42沿时间线101由带阴影的实线矩形142和相关联顶上箭头表示。假设光脉冲141、142分别在时间t₄₁和t₄₂由光源22发出并具有相同脉宽“τ”。光脉冲“座落”在阴影带104上并且IR背景带104高于时间线的高度示意性地表示周围环境IR光的强度。

由场景60的与3D门选成像器20相距距离“D”的任意给定表面元从光脉冲141、142反射的光脉冲分别由带阴影的虚线矩形151、152表示。每个虚线矩形具有从右指向左的顶上箭头以表示该光脉冲中的光是“输入”回3D门选成像器的。经反射的光脉冲具有与其反射来源的发射脉冲的脉宽相等的脉宽τ。经反射的光脉冲151和152可例如代表分别由图1所示的区域63或区域64从发射光脉冲141、142反射的光脉冲。

令“c”代表光速，经反射的光脉冲151和151中的光首先分别在时间t₄₁+Δt和t₄₂+Δt到达3D门选成像器，其中Δt＝2D/c是光子从光源22至反射表面元、并返回到3D门选成像器20的往返时间。来自给定反射光脉冲的光继续入射到3D门选成像器20上长达从反射光脉冲中的第一个光子到达3D成像器的时间开始的周期τ。

周期，即门选——控制器28对此选通感光表面24使之打开并且感光表面内的像素25对由透镜26成像在感光表面上的光敏感——由沿时间线121的实线矩形表示。例如，在发射光脉冲141之后，在时间t_Fg，感光表面24针对具有可任选地等于光脉宽τ的门宽的被称为“前门选”的第一门选161以及同样可任选地具有门宽τ的第二时间相邻的“后门选”162选通。如果从场景60的给定表面元反射的光脉冲中的光在前门选和/或后门选161、162期间到达3D门选成像器20，则来自给定表面元的光将分别在前门选和/或后门选期间在使表面元成像的像素上配准。对于前门选161开始的时间t_Fg，来自3D门选成像器20视野内并处于距离(c/2)(t_Fg-τ)和(c/2)(t_Fg+2τ)之间的距离“D”的场景60的任何区域的光将在前和/或后门选161和/或162期间被配准。

在门选期间由像素25配准的光的量包括：在门选期间由3D成像器20采集和成像的IR背景光104；以及在门选期间由成像在像素上的场景60的给定表面元从发射光脉冲反射并到达3D成像器的光。

门选中带阴影的基区163、164代表在前门选和后门选161、162期间由像素配准的背景光的量104。在前门选161或后门选162期间场景60的给定表面元成像于其上的像素所配准的从光脉冲141反射的光的量取决于给定表面元所在的范围为从(c/2)(t_Fg-τ)至(c/2)(t_Fg+2τ)的距离。例如，如果给定表面元位于距离D的位置，且距离D满足(c/2)(t_Fg-τ)≤D≤(c/2)(t_Fg)，则像素仅在前门选期间配准所反射的光。如果D＝(c/2)(t_Fg)，则像素在前门选161期间基本上配准到达3D门选成像器20的来自给定表面元的全部反射光。如果D满足约束条件(c/2)(t_Fg＜D＜c/2)(t_Fg+τ)，则像素在前门选和后门选两者期间配准所反射的光。如果D＝(c/2)(t_Fg+τ/2)，则像素将在前门选期间配准来自给定区域的一半反射光并在后门选期间配准反射光的另一半。并且如果(c/2)(t_Fg+τ)≤D≤(c/2)(t_Fg+2τ)，则像素仅在后门选162期间配准反射的光。

作为示例，在图2中，假设将来自反射光脉冲141的光作为反射IR光脉冲151反射回3D成像系统20的给定表面元是成像于像素53上的表面元63。进一步假设区域63位于离成像系统距离为D的位置且D满足约束条件(c/2)(t_Fg＜D＜c/2)(t_Fg+τ)。结果，像素63在前门选161和后门选162两者期间配准来自反射的光脉冲151的光。前、后门选161、162内高于基区163、164的阴影区165和166代表分别在前、后门选期间由像素53配准的反射光的量151。

由给定像素25在前门选161和/或后门选162期间配准的从发射光脉冲反射的光的量以及前门选相对于发射光脉冲的开始时间T_Fg如业内已知的可用来确定至成像在给定像素上的场景60的表面元的距离。然而，总的来说，由表面元从发射光脉冲反射并在前和/或后门选161和/或162期间由给定像素配准的光的量当然不仅仅是反射脉冲和背景光的到达时间的函数。该光量也是尤其发射脉冲中的光强度、透镜26在表面元对向的立体角、以及对于发射光脉冲中的光的表面元反射率的函数。

为了提供至表面元的距离D的值，在前门选161和后门选162期间由给定像素配准的反射光脉冲151中的光的量被归一化至反射光脉冲中从表面元到达3D成像器20的反射光脉冲中的总光量。还较为有利地为背景光校正配准的光。为了确定感光表面24中的像素25在门选期间配准的背景光163、164的量，在从发射光脉冲(例如图2中的光脉冲141和142)反射的光没有到达3D成像系统20的这段时间内将感光表面24选通长达被称为“背景门选”的周期。

在图2中，作为示例，感光表面24被指示为在IR反射脉冲151到达3D成像器20之后的某一时间在可任选地具有等于τ的背景门选170期间被选通，在这段时间没有来自发射IR脉冲(例如脉冲141)的光入射到3D成像器上。由成像给定表面元的像素25所配准的背景光示意性地由门选170中的阴影区域171表示。

将用来归一化光从脉冲151反射的在前门选和/或后门选161、162期间由像素25配准的光的量称为“归一化光”。可任选地，为了确定用于归一化从第一发射光脉冲反射的在前门选和后门选161、162期间由像素25配准的光的归一化光量，在发出第二光脉冲后将感光表面24选通长达相对长的“归一化门选”。如果第一和第二光脉冲具有脉宽τ，且前、后门选也具有τ的门宽，则归一化门选较为有利地具有基本上等于4τ的门宽。如果前门选开始于发出第一光脉冲之后的时间t_Fg，则归一化门选较为有利地在发出第二发射脉冲时间之后的时间(t_Fg-τ)开始。归一化门选的门宽和时序使归一化门选期间由每个像素25配准的光的量基本上等于从来自成像在像素上的场景64的表面元的到达3D门选成像器20的第一脉冲反射的光的总量。

在图2中，用来确定像素25、光脉冲141以及前门选161和后门选162的归一化光的归一化门选180示意性地沿时间线121示出。归一化门选180具有等于4τ的门宽并在t₂之后的时间(t_Fg-τ)开始。在归一化门选期间由使表面元63成像的像素53配准的归一化光示意性地由门选180中的阴影区181表示。归一化门选180中的阴影基区182表示在归一化门选期间由像素配准的IR背景光。

假使在前门选、后门选、背景门选和归一化门选161、162、170、180期间配准的光的量分别由Q_F、Q_B、Q_Bg和Q_N表示。假使Q_F ^*、Q_B ^*和Q_N ^*为由像素25配准并为背景光校正的光的量，由此：

Q_F ^*＝(Q_F-Q_Bg)        (2)

Q_B ^*＝(Q_F-Q_Bg)        (3)

Q_N ^*＝(Q_N-4Q_Bg)       (2)

然后可根据下列等式确定至场景60成像在像素25上的表面元——例如区域63或区域64——的距离：

D＝(c/2)[t_Fg-(1-Q_F ^*/Q_N ^*)τ]        如果Q_F ^*≠0且Q_B ^*＝0  (5)

D＝(c/2)[t_Fg+(1-Q_F ^*/Q_N ^*)τ]        如果Q_F ^*≠0且Q_B ^*≠0  (6)

D＝(c/2)[(t_Fg+τ)+(1-Q_B ^*/Q_N ^*)τ]   如果Q_F ^*≠0且Q_B ^*＝0  (7)

从前面内容可以看出，3D成像器20提供成像在感光表面24上的场景60特征的距离映射，并另外提供场景的IR光图像，即IR强度图像。距离映射包括对成像在感光表面24上的场景60的每个表面元确定的距离D。IR图像包括由每个像素配准的IR光的量Q_N或Q_N ^*。

要注意，尽管配准光量Q_F、Q_B、Q_Bg在图2中表示为从单个发射脉冲141确定，然而配准光量当然也可从一串光脉冲和脉冲串内每个光脉冲之后的关联前门选、后门选和背景门选确定。同样，Q_N可从一串光脉冲和关联的归一化门选确定。

根据本发明的一个实施例，由3D门选成像器20提供的信息被用来确定场景60的表面元的反射率。具体而言，至表面元的距离信息和表面元的图像信息，即成像在使表面元成像的像素上的IR光量Q_N ^*被用来提供场景表面元的IR反射率的值。

如可任选地根据等式(2)-(7)由3D门选成像器20针对场景60的表面元确定的成像方向和距离D提供该表面元的3D空间坐标。例如，表面元63、64的成像方向51、52(图1)以及至表面元的距离为每个表面元提供(x，y，z)坐标，可任选地提供相对于坐标系80的(x，y，z)坐标。多个表面元的坐标界定一个表面，表面元S(x，y，z)是该表面的一部分。该表面可响应于表面上表面元的坐标通过下面形式的等式定义：

z-F(x，y)＝0                        (8)

尽管函数F(x，y)是可定义的，例如响应于由配准在像素25上的光提供的表面元坐标通过多种曲线拟合方法中的任一种定义为连续函数，但该坐标自然也提供作为离散函数的F(x，y)。

将表面上的位置(x，y，z)处的表面S(x，y，z)的法线单位矢量通过

表示。则

具有

分量，即方向余弦，它们等于：

$\left.\begin{array}{c}\frac{(\∂F(x,y)/\∂x)\hat{x}}{\sqrt{{(\∂F(x,y)/\∂x)}^2+{(\∂F(x,y)/\∂y)}^2+1}}\\ \frac{(\∂F(x,y)/\∂y)\hat{y}}{\sqrt{{(\∂F(x,y)/\∂x)}^2+{(\∂F(x,y)/\∂y)}^2+1}}\\ \frac{\hat{z}}{\sqrt{{(\∂F(x,y)/\∂x)}^2+{(\∂F(x,y)/\∂y)}^2+1}},\end{array}\right\}---\left(9\right)$

其中

是沿坐标系80的x、y和z轴的单位矢量。图1中的表面元63、64的法线示意性地由标示为η(63)和η(64)的黑箭头表示。

等式(9)中的偏导数可使用本领域内已知的多种方法的任何一种确定。例如，假设F(x，y)并因此等式(8)是离散函数，则可使用诸如Sobel滤波器的多种水平和垂直图像滤波器中的任一种来估算这些偏导数，这些滤波器对相邻表面元的z坐标内的差作出响应。作为示例，在具有坐标(x_o，y_o)的位置的表面元以及在坐标(x_o-1，y_o)、(x_o+1，y_o)、(x_o，y_o+1)和(x_o，y_o-1)处的相邻表面元的偏导数被可任选地确定为：

$\∂F(x1,y1)/\∂x=(z(x_{o+1},y_o)-z(x_{o-1},y_o))/(x_{o+1}-x_{o-1})---\left(10\right)$

$\∂F(x1,y1)/\∂y=(z(x_o,y_{o+1})-z(x_o,y_{o-1}))/(y_{o+1}-y_{o-1})$

另一方面，如果F(x，y)响应于由像素25上配准的光提供的坐标被定义为(x_o，y_o)的区域中的连续函数，则可通过对连续函数求导来确定偏导数。

令

表示沿诸如图1中的成像方向51、52的成像方向的单位矢量，位于(x，y，z)并与3D门选成像器20相距D(x，y，z)的表面S(x，y，z)的表面元ΔS(x，y，z)沿该方向通过成像器成像。成像方向的方向余弦和是从位置(x，y，z)至感光表面24的其上成像表面元ΔS(x，y，z)的像素25的坐标的直线。从成像方向定义的

的分量可写成：

$\left.\begin{array}{c}[x/D(x,y,z)]\hat{x}\\ [y/D(x,y,z)]\hat{y}\\ [z/D(x,y,z)]\hat{z}.\end{array}\right\}---\left(11\right)$

成像方向

和表面元ΔS(x，y，z)的法线

之间的角θ(x，y，z)的余弦通过点积给出，

$\cos \mathrm{\θ}(x,y,z)=\widehat{\mathrm{\η}}(x,y,z)\·\hat{d}(x,y,z)$

在图1中，表面元63、64的角θ(x，y，z)分别被表示为角θ(63)和θ(64)。

令用来提供场景60的IR图像的发射以照亮场景60的光脉冲中由光源22提供的光的强度由I_o表示。则照亮离3D成像器20距离D(x，y，z)处的场景60的表面元ΔS(x，y，z)的IR光的强度为I_o/D²。

假设ΔS(x，y，z)是朗伯反射体24，感光表面24中使ΔS(x，y，z)成像的像素25上配准的光量Q_N ^*(x，y，z)(见等式4)可写成：

$\left.\begin{array}{c}{Q_N}^{*}(x,y,z)=\mathrm{\α}(I_o/D{(x,y,z)}^4)R(x,y,z)\cos \mathrm{\θ},\\ \mathrm{or},u\sin \mathrm{g\; equation}\left(12\right),\\ {Q_N}^{*}(x,y,z)=\mathrm{\α}[I_o/D{(x,y,z)}^4]R(x,y,z)\widehat{\mathrm{\η}}(x,y,z)\·\hat{d}(x,y,z).\end{array}\right\}---\left(13\right)$

在表达式(13)中，α是取决于3D门选成像器20和光源22的光学参数的已知比例常数，而R(x，y，z)是表面元的反射率。

要注意，对于相对大的D(x，y，z)值，ΔS(x，y，z)的成像方向可由3D门选成像器20的光轴29的方向近似得到，该光轴29假设与坐标系80的z轴重合。在这种情形下，等式(13)可近似写成：

${Q_N}^{*}(x,y,z)=\mathrm{\α}(I_o/D{(x,y,z)}^4)R(x,y,z)\cos \mathrm{\θ}=\mathrm{\α}(I_o/D{(x,y,z)}^4)R(x,y,z)\widehat{\mathrm{\η}}(x,y,z)\·\hat{z}.---\left(14\right)$

使用表达式(9)中所示的分量来扩展点积，等式(13)可写成：

${Q_N}^{*}(x,y,z)=\mathrm{\α}(I_o/D{(x,y,z)}^4)R(x,y,z)/\frac{1}{\sqrt{{(\∂F(x,y)/\∂x)}^2+{(\∂F(x,y)/\∂y)}^2+1}}.---\left(15\right)$

根据本发明的一个实施例，响应于等式(14)或等式(15)定义的约束条件来确定表面元ΔS(x，y，z)的反射率R(x，y，z)。例如，使用等式(15)，表面元ΔS(x，y，z)的反射率R(x，y，z)可写成：

$R(x,y,z)=[{Q_N}^{*}(x,y,z)/(\mathrm{\α}{I}_o/D{(x,y,z)}^4)]\sqrt{{(\∂F(x,y)/\∂x)}^2+{(\∂F(x,y)/\∂y)}^2+1}.---\left(16\right)$

根据本发明的一个实施例，为场景60的表面元提供的反射率值R(x，y，z)和或R(x，y，z)cosθ(x，y，z)被用来提供场景图像。可任选地，图像中的灰度级与R(x，y，z)和/或R(x，y，z)cosθ(x，y，z)成比例以使图像中与场景60的给定表面元ΔS(x，y，z)对应的像素具有与R(x，y，z)或R(x，y，z)cos θ(x，y，z)成比例的灰度级。

发明人已确定，响应于R和/或Rcos θ使用场景的“反射率灰度级”图像以在场景中各个特征之间作出区分是较为有利的。例如，假设给定特征包括具有特定反射率R^*的表面并且要求确定场景是否包括取向成使其具有比阈值角θ_T更大的朗伯角的特征。根据本发明的一个实施例，场景中的定向特征的实例候选预期在场景图像中具有Rcos θ的值，其满足约束条件：

R^*≥Rcosθ≥R^*cosθ_T                (17)

并且场景中特征的实例候选通过定位场景中满足等式(17)的区域来定位。

图3A和3B表示反射率灰度级图像能如何用来标识由同一材质形成的场景区域。这些附图分别示出包括女性体态的场景的常规强度图像201，以及根据本发明一个实施例的使用3D门选成像器采集的该场景的反射率灰度级图像202。在图3A所示的常规图像201中，女性的前臂相对靠近相机并强烈地反射照亮场景的光。前臂看上去由不同于体态的其它肌肤区域的材质构成。在图3B所示的反射率灰度级图像202中，与位置坐标x，y，z处的表面元对应的像素的灰度级基本上与R(x，y，z)cos θ(x，y，z)成比例。在反射率灰度级图像202中，女性露出的肌肤区表现出相似的反射率，并且前臂和脸相对容易被标识为看上去由同一材质构成。

尽管在前述示例中，图像区域的反射率被用来标识由相同材质构成的区域，但反射率在本发明的一些实施例中也可用来标识图像的特定区域。例如，根据本发明一实施例，可通过因人物图像中众所周知的红眼效应引起的对红光和IR光相对高的反射率来标识图像中的人眼。在本发明的一个实施例中，人物头部的取向是响应于通过反射率确定的人眼的位置来确定的。

图4示意性地示出根据本发明一实施例的3D门选成像器220，该成像器220包括用于照亮通过成像器成像的场景260的光源222。3D门选成像器220类似于图1所示的3D门选成像器20，其不同之处在于添加了光源240以及可任选地与光源相关联的组件和特征。3D门选成像器包括具有像素225的感光表面224以及以透镜226为代表的透镜系统。3D门选成像器220可任选地提供场景的图像以及场景的景深图。

光源240——在下文中称其为“发光像素发光体”——可任选地包括发光元件242即“发光像素”的平面阵列，这些发光像素242可由控制器228独立控制以提供所要求的光强度。可任选地，发光像素242提供可见光以照亮场景260，而感光表面224可控制以响应于来自发光像素发光体240由场景中的表面元反射的可见光提供场景的图像。

可任选地，发光像素发光体240使用适宜的分束器244和可能需要的光学元件(未示出)与感光表面224和透镜226视轴对准，因此最优地，感光表面24的虚拟图像与发光像素发光体基本重合。可任选地，每个发光像素242与感光表面224的相应像素25同源。结果，每个发光像素242可通过控制器228控制以基本上仅向场景260中通过其相应的同源像素225成像的表面元提供照明。组合视轴对准的发光像素发光体来提供场景景深图的相机的各种配置记载在前面引证的美国专利6,993,255中。

根据本发明的一个实施例，控制器228响应于3D门选成像器对表面元确定的反射率控制发光像素242来照亮场景260的表面元。例如可任选地，为了提供诸如场景260的场景的增强图像，控制器228控制发光像素发光体240来通过相对增大的光强度来照亮具有相对低反射率特征的场景表面元。

作为另一示例，假设用IR光脉冲照亮的场景的图像区域表现出大的红眼反射特性，并且发光像素发光体240中的发光像素242可控制以提供不同强度的RGB光来照亮场景。为了提供红眼效应减弱的场景RGB图像，控制器228可任选地控制发光像素发光体240以通过减弱的红光强度来照亮场景的“红眼区”。

在本申请的说明书及权利要求书中，每个动词“包含”、“包括”和“具有”以及其结合形式用来指示该动词的一个或多个对象不一定是该动词的一个或多个主题的部件、组件、元件或零件的穷尽性列举。

已参照其实施例对本发明进行了描述，这些实施例是作为示例提供的并且不旨在限定本发明的范围。所述实施例包括不同的特征，本发明的所有实施例并不是都需要全部这些特征。本发明的一些实施例仅利用一些特征或特征的可能组合。本领域技术人员将作出包括与前述实施例中提到的不同特征组合的所描述发明的实施例和本发明实施例的变化形式。本发明的范围不仅限于所附权利要求。

Claims (19)

1.一种成像系统，包括：

通过已知强度光照亮场景的光源；

相机，所述相机具有响应于来自照射已知强度光的被场景反射的光使场景成像的光轴和光心；

测距仪，所述测距仪可控制以确定至由相机成像的场景表面元的距离；

控制器，所述控制器被配置成：

处理所确定的距离以限定由相机成像的场景表面元的法线；

确定相机成像的表面元的成像方向，相机沿所述成像方向使来自表面元的光成像；以及

响应于表面元与相机的距离、照射光和来自相机成像的表面元的光的已知强度、所述表面元的法线和所述成像方向来确定由相机成像的场景的表面元的反射率。

2.如权利要求1所述的成像系统，其特征在于，所述成像方向平行于从表面元至相机光心的直线。

3.如权利要求1所述的成像系统，其特征在于，所述成像方向平行于相机的光轴。

4.如权利要求1所述的成像系统，其特征在于，所述控制器响应于法线与平行于成像方向的矢量的点积来确定表面元的反射率。

5.如权利要求1所述的成像系统，其特征在于，所述控制器被配置成响应于对相机成像的表面元确定的反射率与表面元成像方向和法线之间的夹角的余弦之积来标识场景中的特征。

6.如权利要求1所述的成像系统，其特征在于，所述控制器被配置成响应于由相机成像的表面元的确定反射率来标识场景中的特征。

7.如权利要求1所述的成像系统，其特征在于，所述成像系统还包括被配置成提供场景图像的感光表面，其中所述场景图像中的像素的灰度级基本上等于对成像在像素上的表面元确定的反射率与表面元成像方向和法线之间的夹角的余弦之积。

8.如权利要求1所述的成像系统，其特征在于，所述成像系统还包括被配置成提供场景图像的感光表面，所述场景图像包括灰度级基本与对成像在像素上的场景表面元确定的反射率成比例的图像像素。

9.如权利要求1所述的成像系统，其特征在于，所述测距仪包括门选飞行时间测距仪。

10.如权利要求1所述的成像系统，其特征在于，所述成像系统还包括可控制来通过响应于其各法线的光强度彼此独立地照亮场景的不同区域的光源。

11.如权利要求1所述的成像系统，其特征在于，所述成像系统还包括可控制来通过响应于其各折射率的光强度彼此独立地照亮场景的不同区域的光源。

12.一种确定场景表面元的反射率的方法，所述方法包括：

通过已知强度的光来照亮场景；

通过由表面元从已知强度光反射的光使表面元成像；

确定至场景的多个表面元的距离；

响应于所确定的距离来确定表面元的法线；

确定来自表面元的光成像基本上所沿的成像方向；以及

响应于所述法线、所述成像方向以及来自由表面元反射和成像的已知强度光的光的量来确定表面元的反射率。

13.如权利要求12所述的方法，其特征在于，所述方法包括通过具有光心的相机使场景成像，而确定所述成像方向包括将成像方向确定为平行于从表面元至相机光心的直线的方向。

14.如权利要求12所述的方法，其特征在于，所述方法包括通过具有光心的相机使场景成像，而确定所述成像方向包括将成像方向确定为平行于光轴的方向。

15.如权利要求12所述的方法，其特征在于，所述方法包括响应于法线和平行于成像方向的矢量的点积来确定表面元的反射率。

16.如权利要求12所述的方法，其特征在于，所述方法包括响应于反射率乘以成像方向和法线之间的夹角的余弦之积来标识场景中的特征。

17.如权利要求12所述的方法，其特征在于，所述方法包括响应于反射率来标识场景中的特征。

18.如权利要求12所述的方法，其特征在于，所述方法包括提供场景图像，其中使表面元成像的图像中像素的灰度级基本上等于所确定的反射率与成像方向和法线之间的夹角的余弦之积。

19.如权利要求12所述的方法，其特征在于，所述方法包括提供场景图像，其中所述场景图像中使表面元成像的像素的灰度级基本上与反射率成比例。

Images