CN105705962B - 具有主动照明的传感器系统 - Google Patents

Abstract

本发明涉及基于主动照明的视觉传感器。成像系统包括成像传感器并适于处理由至少两个不同的照明源照明的场景的图像，每个照明源具有处于近红外范围的波长。在变体中，成像系统适于使用具有低于用于执行飞行时间测量的调制频率的调制频率的照明源。在变体中，成像系统适于获得比在飞行时间测量中减少的每帧样本数量。

Description

具有主动照明的传感器系统

技术领域

本发明涉及基于主动照明的视觉传感器。本发明改善了主动成像系统的图像质量，改善了动态范围和它的背景光稳定性。这样的传感器通常被用于检测和测量它们的周围环境、对象或人。

背景技术

主动照明被实现于许多相机设计中来改善相机测量结果。相机被理解为包含具有像素阵列的图像传感器的光电器件。

在许多机器视觉应用中，主动照明被用于相机系统上来保证一定的光亮度水平。通过这么做，主动系统的性能变得不易受它的周围环境的光照变化的影响。稳定性和可靠性被提升。此外，通过向系统增加照明电源，可设置更短的曝光并实现更高的帧速率。

具有主动照明相机系统的其他传感器使用场景中的感兴趣对象的特定属性，例如应用可利用场景中的反射物，该反射物能够被容易地识别并且可能进行跟踪。

其他应用利用感兴趣对象的特定反射属性，例如眼睛的反射属性。由具有主动照明的系统捕获的眼睛的典型背向反射能够被用于检测和跟踪眼睛并且对眼睛眨动进行计数来例如检查驾驶者的睡意和建立疲劳测量传感器。

在干涉仪中，主动系统对感兴趣对象和参考目标进行照明。基于反射的干涉性，能够对深度进行测量和分析。

其他主动系统对照明进行调制来取得关于它的周围环境的更多信息。这样的照明通常在时间上被调制(时间调制)或者在空间上被调制，并且能够被应用来例如测量距离以绘制3D环境。时间调制被实现在所谓的飞行时间(TOF)相机中(间接或直接地)；空间调制被用于基于三角测量的深度测量系统，也被称作结构光技术。

飞行时间图像传感器像素是专用像素设计来保证光生电荷到它们的存储节点的极度快速转移。更高的调制频率产生更好的深度噪声性能。因此，TOF解调像素通常工作在数十MHz至高达数百MHz的范围内。另外，TOF像素一般包括像素级的背景光抑制，从而增加TOF成像系统的动态范围。在大多数实现中，TOF像素的每个像素包括两个存储节点来存储和集成两个采样信号。

发明内容

如果诸如太阳光之类的背景光信号可被去除，则对所有的主动式照明成像系统的稳健性有益。大多数时间里，背景光信号消除是通过两个连续图像的采集来实现的，一个图像具有开启的照明，一个图像具有关闭的照明。两个图像的减除产生了仅包括主动照明的亮度信息的图像。这样的方法的缺陷首先在于系统需要获得两个分离的图像。场景或场景中的对象可能从图像到图像改变并且在此情形中的背景减除是不理想的。另外，两个获得图像需要根据背景光和主动光处置全动态信号范围。即使不需要背景光信号，它也会吃掉系统的动态范围。

本发明的一个目的是提供具有改善的动态范围的成像系统。本发明的另一目的是提供用于三维测量的成像系统，其具有改善分辨率和更少的光功率消耗。本发明的另一目的是提供二维亮度和三维成像系统。

根据本发明，这些目的是具体通过独立权利要求的特征实现的。此外，根据从属权利要求和说明书得到其他有利的实施例。

根据本发明，一种成像系统包括成像传感器。该成像系统适于处理由至少两个不同的照明源照明的场景的图像，每个照明源具有处于近红外范围的波长。优选地，波长在800与1000nm之间。照明源被放置为紧接着成像传感器并且可与图形传感器同步。至少两个照明源可被放置以最小化遮挡。

在一些实施例中，该至少两个不同的照明源的波长是不同的，例如至少一个照明源在850nm左右处，并且至少一个照明源在940nm左右处。

在一些实施例中，所述至少两个不同的照明源包括至少一个结构化照明源。例如，在图像传感器是飞行时间图像传感器的情形中，这提供了由飞行时间测量和结构化照明源测量所提供的优点的益处。

在一些实施例中，所述至少两个不同的照明源包括至少一个均匀照明源。

在一些实施例中，该至少两个不同的照明源各自处于近红外范围中但包括至少一个均匀照明源和至少一个结构化照明源。基于结构化照明源的图像的采集可与基于均匀照明源的采集相交插。基于结构化照明源的实际原始图像不以传统的色彩或亮度(intensity)的表现形式表现它所获得的环境。为此，基于结构化照明源的当前技术的系统增加第二图像传感设备，通常是RGB传感器。通过实现如本发明所提出的两个不同照明源(例如，一个结构化照明源和一个均匀照明源)，成像系统可通过相同的图像传感器推导出深度信息并生成代表性的亮度(或黑白)图像。这还允许3D地图到2D亮度图像上的容易且一对一的映射。在图像传感器是TOF图像传感器的情形中，TOF图像传感器和两个不同的照明源还可被时间调制并被同步。

在一些实施例中，成像系统包括结构化照明源和均匀照明源，各自具有类似的中心波长，二者优选地在800nm和1000nm之间。在这样的实施例中，来自结构化照明源的图像和来自均匀照明源的图像各自可通过相同的光路被成像并且可在光路中应用较窄的带通滤波器。较窄的带通滤波器的应用允许光学上尽可能多地阻挡背景光信号。

在一些实施例中，图像传感器是飞行时间传感器。

在一些实施例中，所述至少两个不同的照明源包括在曝光期间被时间调制的至少一个照明源。适当的时间调制方案使得能够减少在采集期间由变化的场景或移动的对象引起的伪差(artifact)，并且还使得能够避免来自区域中的其他成像系统的干扰。

在一些实施例中，所述至少两个不同的照明源在相同的发光管芯上。这在至少两个照明源是结构化照明源并且二者都被时间调制的情形中具有特殊益处。在相同的发射管芯上设置有所述至少两个结构化照明源并且对它们与图像传感器同步地进行调制的系统允许结构化图像上的更高信息亮度等级。

另外，本发明涉及使用成像传感器的成像方法。由至少两个不同的照明源照明的场景的图像被处理，每个照明源具有处于近红外范围的波长。在变体中，所述至少两个不同的照明源的波长是不同的。在变体中，所述至少两个不同的照明源包括至少一个结构化照明源。在变体中，所述至少两个不同的照明源包括至少一个均匀照明源。在变体中，所使用的图像传感器是飞行时间传感器。在变体中，所述至少两个不同的照明源包括至少一个均匀照明源，该均匀照明源是用低于飞行时间测量中使用的调制频率的调制频率进行调制的。在变体中，所述至少两个不同的照明源包括在曝光期间被时间调制的至少一个结构化照明源。在变体中，所述至少两个不同的照明源在相同的发光管芯上。

根据本发明，包括飞行时间传感器的成像系统适于使用具有低于用于进行3D飞行时间测量所使用的调制频率的调制频率的照明源。

在优选的特定实施例中，本发明提出在成像系统中实现飞行时间传感器或者通常每个像素具有两个存储节点的架构，优选地甚至包含某一类型的像素中背景抑制能力。另外，在主动照明成像系统中，飞行时间图像传感器和照明源是用低调制频率来控制的，该调制频率如此低以使得信号的实际飞行时间对采样的信号的影响可忽略。另外，本发明提出在成像系统上实现采集时序，其导致一定数量的样本和采集，该数量不足以执行实际的飞行时间测量并仅基于那些采集进行图像评估。飞行时间像素在大多数实际实现中包括两个存储节点并且捕获至少两个但最常用四个连续但相位延迟的图像来推导深度信息。在此实施例中，像素的一个存储节点被优选地用于仅对背景光进行积分，其然后被从另一存储节点中减除，在该另一存储节点中，背景光信号与主动发射的和反射的光一起被积分。信号的采集和积分，以及它们到两个飞行时间像素存储节点的转移在采集期间被优选地重复和交插多次。得到的差分像素输出然后将仅是主动发射的信号的表示，这使得系统相对于周围环境中的变化光条件更加稳健。

在一些实施例中，调制频率在100Hz至1MHz之间。与当前技术的飞行时间测量系统中数十MHz的转换相比，更缓慢的调制减少了成像系统的功率消耗。另外，它降低了对于照明源和驱动器的速度要求并且增加了调制和解调效率。诸如高功率LED之类通常对于飞行时间测量太慢的高效高功率光源可被应用。

在一些实施例中，成像系统适于对飞行时间传感器的像素的电平执行直接减除。飞行时间像素的像素上背景光消除在其他系统中利用主动照明源帮助避免由于背景光导致的饱和。此外，模拟至数字转换的要求被放松，因为背景电平已经在像素电平上被减除并且不再需要被转换。另外，具有主动照明的系统内的光调制，在相同的帧采集期间交插信号光和背景光的积分，以及在数个周期上的积分减少了在场景中运动的挑战，并且在适当时间调制方案的情形下甚至使得能够进行具有降低的干扰的数个系统的并行操作。

在一些实施例中，成像系统适于使用结构化照明源。结构化照明源与飞行时间图像传感器同步并且被用于捕获基于结构化照明源的图像和推导深度信息。

在一些实施例中，成像系统包括飞行时间图像传感器和至少一个照明源。飞行时间图像传感器被用于采样经背向反射的光。信号的评估是基于每个帧的采集和获得的样本的数量，其不足以基于飞行时间原理推导出深度信息。

在一些实施例中，成像系统适于使用经伪随机调制的照明源，从而使得不同采集系统之间的不同干扰被最小化。

在一些实施例中，成像系统适于使用具有至少两个不同波长的至少两个照明源。通过差分读出或像素上减除，两个照明源的差分图像可被直接测量。这例如使得能够构建高度稳健的眼跟踪系统。

在一些实施例中，本发明提供使用飞行时间传感器的成像系统，其中照明源具有低于在三维飞行时间测量中使用的调制频率的调制频率。

在一些实施例中，成像系统适于每帧获得比执行飞行时间测量所需的样本数量减少的样本。

在一些实施例中，包括飞行时间传感器和至少一个照明源的成像系统的时序适于每帧获得比推导飞行时间测量所需的样本数量减少的样本。

另外，本发明涉及使用飞行时间传感器的成像方法。具有低于在飞行时间测量中使用的调制频率的调制频率的照明源被使用。在变体中，所使用的调制频率在100Hz和1MHz之间。在变体中，对飞行时间传感器的像素的电平执行直接减除。在变体中，结构化照明源被使用。在变体中，具有至少两个不同波长的两个照明源被使用。在变体中，经伪随机时间调制的照明源被使用。在变体中，获得比在飞行时间测量中减少的每帧样本数量。

根据本发明，成像系统适于获得比在飞行时间测量中减少的每帧样本数量。

在一些实施例中，成像系统适于使用具有低于在飞行时间测量中使用的调制频率的调制频率的照明源，具体地，调制频率在100Hz至1MHz之间。

在一些实施例中，成像系统适于对飞行时间传感器的像素的电平执行直接减除。

在一些实施例中，成像系统适于使用结构化照明源。

在一些实施例中，成像系统适于使用具有至少两个不同波长的至少两个照明源。

在一些实施例中，成像系统适于使用被伪随机时间调制的照明源。

另外，本发明涉及使用飞行时间传感器的成像方法。获得比在飞行时间测量中减少的每帧样本数量。在变体中，具有低于在飞行时间测量中使用的调制频率的调制频率的照明源被使用，具体地调制频率在100Hz至1MHz之间。在变体中，对飞行时间传感器的像素的电平上的直接减除被执行。在变体中，结构化照明源被使用。在变体中，具有至少两个不同波长的两个照明源被使用。在变体中，经伪随机时间调制的照明源被使用。

附图说明

这里所描述的发明将根据这里在下文给出的具体实施方式以及附图而被更全面地理解，其不应被视为限制了所附权利要求中所述的发明。图示示出了：

图1a示出了具有不同构造块的当前技术的TOF像素的图示，图1b至1d绘出了现有技术的时序图和采样来基于飞行时间原理推导深度测量；

图2示出了在飞行时间三维成像系统上推导深度测量所需的四个样本的最常用的现有技术采集时序；

图3a示出了根据本发明、具有飞行时间图像传感器110和主动照明源120的成像系统100，飞行时间图像传感器110和主动照明源120二者被控制器140控制和同步，图3b是根据本发明的粗略时序图的实施例并且图3c是根据本发明的更详细时序图的实施例；

图4示出了根据本发明、基于结构化照明源121的成像系统100；

图5示出了根据本发明的用于眼睛/瞳孔检测应用的成像系统100，该成像系统100基于具有处于近红外范围的不同波长的两个照明源122和123以及飞行时间图像传感器(110)；

图6示出了根据本发明，包括第一结构化照明源121和第二不同结构化照明源125的成像系统105；

图7a示出了根据本发明的成像系统的实施例，其使得能够通过相同的光学路径和图像传感器收集来自场景/对象的三维信息以及色彩或灰度信息，图7a示出了获得深度信息的采集的操作，利用结构化照明源捕获的样本灰度图像被示出在图7c中，图7b绘出了在灰度图像的采集期间的成像系统和它的操作并且结果的灰度图像被绘制在图7d中；以及

图8示出了根据本发明的实际设计。

具体实施方式

飞行时间成像系统能够确定发射的光从测量系统行进至对象并返回所花费的时间。发射的光信号被某一距离处的对象反射。该距离对应于由光从测量系统到对象并返回的行进时间引起的、从发射信号到接收信号的时间延迟。在间接飞行时间测量中，距离相关的时间延迟对应于发射的信号到接收的信号的相位延迟。另外，接收的信号不仅包括所发射的、经背向反射的信号，还可具有来自例如太阳或其他光源的背景光信号。当前技术的飞行时间像素被示出在图1a中。飞行时间像素包括光敏区域P，该区域利用第一开关SW1被连接至存储节点C1并且利用第二开关SW2被连接至存储节点C2。光生电子的采样是通过闭合开关SW1和断开SW2来完成的，或者反之。开关SW1和SW2由控制器被同步至照明源。为了使得能够进行合理的飞行时间测量，开关SW1和SW2与照明源需要在从10MHz左右到200MHz以上的范围中操作，并且光生电荷必须在若干纳秒内从光敏区域P被转移到存储节点C1或C2。飞行时间像素被特定设计为达到这样高速的采样。这样的高速飞行时间像素架构的可能实现方式被描述在专利US 5856667、EP1009984B1、EP1513202B1、或者US 7884310B2中。飞行时间像素的输出电路C通常包括读出放大器和重置节点。在许多飞行时间像素实现方式中，像素中输出电路C还包括对于存储节点C1和C2中的两个样本的共同电平去除或者背景减除电路。这样的像素中共同信号电平去除急剧地增加飞行时间像素的动态范围。在积分的同时执行对样本的共同电平去除的可能实现方式被呈现在PCT公开WO2009135952A2以及专利US7574190B2中。在数据的读出周期期间在曝光之后完成的对样本的另一共同信号减除的方法被描述在美国专利US7897928B2中。

商业可用的三维飞行时间测量系统基于正弦波或伪噪声调制。这两者都要求至少三个样本以推导出分别的相位或深度信息、偏移、和幅度信息。为了设计简化和信号稳健性原因，飞行时间系统一般对冲击的光信号进行四次采样。然而，最灵敏并因此最广泛使用的飞行时间像素架构仅包括两个存储节点，如图1a中所示。为了取得四个样本，系统则需要对至少两个连续图像的捕获。正弦波采样的时序图被示出在图1b中。此接收的光信号在来自图1a的像素上生成光电流，该光电流然后在第一次曝光E1期间被采样和积分，如图1b所展示的那样。第一次曝光E1跟随着读出RO1。第二次曝光E2与E1相比需要被延迟90°的样本。在曝光E2之后，新获得的样本为读出RO2。此时在时间D中，所有数据就绪以使得能够确定接收的信号的相位、偏移、和幅度信息。分别地，E1的采样过程的时间变化(time zoom)被示出在图1c中，曝光E2的时间变化被示出在图1d中。采样持续时间被假定为周期的一半并且在数千周期至高达数百万周期内被积分。在这样的第一次曝光E1期间，0°和180°处的样本分别由开关SW1和SW2被引导至存储节点C1和C2，如图1c中所示。第二次曝光E2中的时间变化被示出在图1d中。第二次曝光E2与第一次曝光E1相比具有延迟90°的样本。样本90°和270°再次在存储节点C1和C2中被积分。曝光E1和曝光E2的积分时间是相同的。在时间点D处，当所有四个样本已经被测量并且可用时，相位、幅度、和偏移信息能够被计算，而相位信息直接对应于所测量的对象的距离信息。

然而，由于失配，大多数实现方式实际获得四个而非仅两个图像，如专利US7462808B2所提出的那样并且在图2中被示出。第一次曝光E1和第二次曝光E2以及它们的读出RO1和RO2如图1b中所述被执行，但是那些曝光跟随着另外两次曝光E3和E4以及读出RO3和RO4。曝光E3获得来自曝光E1的样本但被延迟180°，并且曝光E4对应于曝光E2的180°相位延迟。在时间点D处，所有四个样本可用于计算接收的信号的相位(或者分别地深度)、偏移、和幅度信息。如专利US 7462808B2中所述，这种方法使得能够补偿例如像素电路和响应失配或者驱动非对称性。

根据本发明的基于成像系统100的第一一般实施例被示出在图3a中，它的粗略时序在图3b上并且更详细的时序在图3c中。成像系统包括由图1a中所示的飞行时间像素组成的飞行时间图像传感器110、照明源120、光学系统130和控制器140。发射的光120a被对象10反射。经背向反射的光120b被光学系统130成像在飞行时间图像传感器110上。飞行时间图像传感器110和照明源120由控制器140进行时间调制和同步，从而使得飞行时间图像传感器110上的飞行时间像素的一个存储节点在照明源120被打开的同时对所有光生电子进行积分，并且第二存储节点收集照明源120被关闭时的所有光生电子。此开/闭周期可被重复多次。本发明提出将这样低的调制频率应用到高速飞行时间图像传感器和像素，以使得所发射的光和经背向反射的光的飞行时间的实际影响是可忽略的并且所有发射的光优选地被捕获到飞行时间图像传感器上每个像素的单个存储节点中。另外，如图3b中所示，提出了仅捕获减少数量的样本和采集，这不能够推导出实际的飞行时间测量结果。第一曝光E跟随着读出RO。在曝光E期间，光生电荷与照明源120相同步地被转移至存储节点C1或存储节点C2。在给定实施例中，提出了一个单次捕获而非至少两次或四次捕获，该至少两次或四次捕获是收集所有必要(至少三个)样本来推导TOF信息所需要的。在时间点D处，样本的数量不允许推算出所捕获的信号的飞行时间信息。在作为本发明的变化的单个曝光样本方面，两个样本的差分成像被执行。如图3a中所示意的那样，调制能够以伪随机的方式完成。通过这么做，不同成像系统100之间的扰人干扰能够被最小化。接下来的伪随机编码，诸如跳相或跳频、啁啾、或者其他划分多址方法之类的其他已知技术能够被实现以最小化系统的干扰。

图3c更详细地示出了图3b中所示的单次曝光的时序图，包括在积分期间对两个存储节点C1和C2进行彼此减除的电路。F表示总帧，E是实际曝光，RO是读出时间并且RS是重置时间。实施例的当前时序上的调制频率比做出合理的飞行时间成像所需的频率低得多。光L1由照明源120发射并且与飞行时间图像传感器110同步，以使得在“光开启”时间期间所有光生电荷被转移到第一存储节点C1，同时所有在“光关闭”时间期间的光生电荷被转移到第二存储节点C2。时间t内的经背向反射的光信号和接收的光信号被绘出为L2并且具有一些背景光成分LBG。S1示出了在“光开启时间”期间在第一存储节点C1上的积分，S2示出了在“光关闭”时间期间在第二存储节点C2上的积分。Sdiff示出了当实际的像素中背景去除被实现时的信号差分。像素中电路C构建该差分，并且通过这么做而去除了背景光信号。在所示出的示例中，飞行时间图像传感器110上的飞行时间像素针对Sdiff在积分期间执行两个节点的直接减除。在其他实现方式中，飞行时间像素在积分时间的结束处执行减除。这两种实现方式都增加了主动成像系统的动态范围。“光开启”和“光关闭”时间在曝光E期间被重新多次。在数百Hz至低于1MHz范围内的调制频率使得能够降低光脉冲的到达时间的影响。到飞行时间像素的第一存储节点C1和第二存储节点C2的总积分时间在曝光期间优选地相等，从而将相同量的背景光集成到飞行时间图像传感器110的像素上的两个存储节点并且减除这些样本上的相同背景或共模电平。如果这两个曝光时间保持相同，到它的存储节点的光脉冲甚至可能短于样本持续时间。这进一步确保了对于脉冲的到达时间没有任何影响。无论如何，为了具有最佳的可能背景光去除，到两个存储节点的总曝光时间应当是相同的。在曝光E之后，像素值被读出RO并且被转移至控制器140。在开始下一次采集之前，像素通常被重置RS。为了降低两个存储节点上的光响应的失配，第二曝光与第一曝光E相比具有反向开关，并且取决于图像传感器像素的光响应，减除两个图像可以是有益的。然而，所采集的样本的数量仍然不足以推导出飞行时间信息。

图4示出了根据本发明的成像系统100。成像系统100包括由图1a中所示的飞行时间像素组成的飞行时间图像传感器110，光学系统130，架构化照明源121，和控制器140。控制器140还同步和时间调制飞行时间图像传感器110和结构化照明源121。结构化照明源121发射经时间调制的光121a，该光被对象10反射。通过场景10的经背向反射的光121b被光学系统130投射在飞行时间图像传感器110上，在该传感器上飞行时间像素将到来的信号解调至两个存储节点。成像系统100的时序可类似于图3中所述的系统。可采用由PCT公开WO2007/105205A2呈现的结构化照明源和三维映射技术。针对结构化照明源，可使用如WO2007/105205A2中所述的、基于由干扰产生的斑点的投射技术，然而其他图样投射技术可被应用于结构化照明源121，例如基于折射的光学或图样生成掩膜(mask)。优选地，随机点图样被投射。EP2519001A2教导了基于具有特定设计的传感器像素的传感器的结构光系统，该特定设计的传感器像素具有到第一和第二存储节点的转移门并且使用标准缓慢的光电二极管。与之相反，本发明提出不应用特定的像素设计，而是使用现有的高速飞行时间图像传感器110和像素，由控制器140应用这样低的调制频率到结构化照明源121和飞行时间图像传感器110上以使得实际的飞行行进时间(飞行时间)是可忽略的，并且在飞行时间图像传感器110上执行经背向反射的光121b的采样和存储。另外，飞行时间图像传感器110被提出在以下模式中操作：所述至少三个需要的样本未被捕获，而是评估来自飞行时间图像传感器110的降低数量的样本。飞行时间成像系统所需的典型90°相移被抛弃并且仅对源自飞行时间图像传感器110上所有像素上的两个存储节点的差分图像进行评估。所有的前述高速飞行时间图像传感器能够以实际飞行时间图像传感器不可用的低频率将反射光时间解调至至少两个存储节点。另外，所有的前述高速飞行时间图像传感器允许对与飞行时间图像感测所需的样本数量相比减少数量的样本的采集。因此，所有这些提及的像素设计只能够被集成为根据本发明的飞行时间图像传感器。利用适当的像素中电路，飞行时间图像传感器110可从样本中取出共同信号电平，或者简单地对两个存储节点样本进行彼此去除。一方面，这增加了成像系统的动态范围，另一方面简化了用于深度映射的相关算法，因为动态背景光信号在图像中被去除。另外，通过应用适当的时间调制方案(例如，码分多址或频分多址)，三维成像系统的不同结构光的烦人干扰可被避免。

理想地，飞行时间图像传感器110上的飞行时间像素将“光开启”时间期间的电荷转移至第一存储节点，并将“光关闭”时间期间的电荷转移至第二节点，并执行减除。飞行时间像素的时间调制和背景消除电路为结构化光系统增加了上文所述的所有优点。调制频率优选地在数百Hz高至1MHz的范围中，这对于实际的TOF测量非常低。图4中所述的这样的成像系统100(包括结构化照明源121和飞行时间传感器100，二者均操作于远低于飞行时间成像所需的调制频率的调制频率处)将急剧地增加如PCT公开WO2007/105205A2和/或WO2014/014341A1中所述的现有三维成像系统的动态范围。

图5示出了根据本发明被用作疲劳传感器的成像系统100。本实施例使得能够构建高度稳健的眼跟踪系统，其可被用于例如驾驶者的睡意测量或者疲劳估计。根据本发明的成像系统100包括两个不同的照明源，各自具有在近红外范围中的波长，而第一照明源122的第一波长在例如850nm左右处，而第二照明源123的第二波长在例如940nm处。它还包括具有根据图1a的飞行时间像素的飞行时间图像传感器110、光学系统130、和控制器140。两个照明源122和123均通过控制器140与飞行时间图像传感器110同步。在曝光期间，当第一波长的第一照明源122被开启时，第二波长的第二照明源123被关闭，反之亦然。第一波长的第一照明源122发射光122a，第二波长的第二照明源123发射光123a。第一波长的第一照明源122的经背向反射的光122b将通过光学系统130被成像在飞行时间图像传感器110的飞行时间像素上并被转移至飞行时间像素上的第一存储节点，同时来自第二波长的照明源123的经背向反射的光123b将被同一飞行时间图像传感器110捕获并被转移至飞行时间像素的第二存储节点。在曝光之后并且通过进行差分读出或者像素上信号减除，两个照明源的差分图像可被直接测量。由于人眼的视网膜仍然显示850nm左右的直接反射以及940nm左右处的极度减弱的反射，瞳孔将在差分图像中被清除地看到并且能够被容易和稳健地跟踪。瞳孔可在差分图像中被容易地识别并且眼睛的打开和闭合可被容易地检测到。基于眨动，例如公共汽车驾驶者的PERCLOS值(在一分钟内眼睛为80％闭合的时间的比例或百分比)或睡意因数可被测量并且相应动作被发起。确定驾驶者睡意的当前技术的方法主要基于标准成像和重度图像处理，如Hammoud等在专利US 7253739B2中所述。

图6中所示的成像系统105的实施例示出了根据本发明的三维成像系统。成像系统105包括第一结构化照明源121和具有不同类型结构的第二结构化照明源125。两个照明源都处于近红外波长。另外，成像系统包括图像传感器115、光学系统130、和控制器140。系统105是使用第一结构化照明源121和第二结构化照明源125来设置的，并且这两个照明源被放置为紧接着图像传感器115。控制器140同步结构化照明源121、125，以及图像传感器115。两个照明源121和125被优选地放置为最小化遮挡。来自第一结构化照明源121的发射光121a被反射并且经背向反射的光121b通过光学系统130被投射在图像传感器115上。来自第二结构化照明源125的发射光125a也被反射并且经背向反射的光125b通过同一光学系统130被投射在同一图像传感器115上。在采集期间，照明源121和125可被时间调制，并且在此情形中，在曝光期间被优选地反相从而使得来自第一结构化照明源121的所有光可被收集在图像传感器115上的像素的第一存储节点中，而来自第二结构化照明源125的经背向反射的光125b被收集在图像传感器115上的像素的第二存储节点中。诸如方波或伪噪声或者其他之类的时间调制可被构想。在图像传感器115上的像素包括背景减除电路的情形中，来自第一结构化照明源121的信号将是正向的；来自第二结构化照明源125的信号将是负向的。这种方法以及使得两个照明源物理分离但时间交织的缺点是：包括来自第一结构化照明源121和第二结构化照明源125的信号的像素可彼此抵消。因此，会想到使得第一结构化照明源121例如具有随机斑点图样，并且使得第二结构化照明源125具有条纹状图样。另外，可想到两个结构化照明源在相同发射管芯(例如，VCSEL阵列)上被集成为结构化图样。VCSEL阵列可构成为对应于第一结构化照明源121的第一组发射激光二极管和对应于第二结构化照明源125的第二组发射激光二极管，这两组发射激光二极管可被不同地控制，这两组在同一VCSEL阵列管芯上。公开US201303888A1中呈现了基于结构化照明源、用作成像系统的投射器的相同管芯上的VCSEL阵列，其中全阵列由单一驱动信号控制。可设想到使得第一组激光二极管发射光点(spot)随机地放置在管芯上，而来自相同管芯的第二组激光二极管发射光点具有相同的图样但全部被轻微地移位。通过投射此VCSEL阵列图样，投射自第一组激光二极管或第一结构化照明源121的光点和投射自第二组激光二极管或第二结构化照明源125的光点将不会在空间中彼此干扰，因为它们的光点在VCSEL阵列管芯上物理分离，并且它们发射的光是由相同的投射光学系统在空间中进行投射。另外，两组激光器二极管可以用以下方式进行控制：第一结构化照明源121的所有经背向反射的光121b被存储在图像传感器115上像素的第一存储节点上，而来自第二结构化照明源125的所有经背向反射的光125b被存储在图像传感器115上像素的第二存储节点上。另外，图像传感器115上的像素可包括背景消除电路来增强动态范围。另外，图像传感器115可以是飞行时间图像传感器110。

图7a至7d示出了根据本发明的成像系统105的实施例，包括结构化照明源121、均匀照明源126、光学系统130、图像传感器115、和控制器140。两个照明源具有近红外范围的波长。在第一曝光中，如图7a所示，结构化照明源121被开启，同时均匀照明源被关闭。如图7a中的图示所暗示的那样，结构化照明源121可被控制器140调制并且与图像传感器115同步。来自结构化照明源121的发射光121a到达对象10并且被反射。来自结构化照明源121的经背向反射的光121b通过光学系统130被成像在图像传感器115上。来自结构化照明源121的、由图形传感器115捕获的图像可以用传统方式来推导距场景的深度信息。然而，基于结构化照明源121由图像传感器115递送的所获得的灰度图像是不典型的，并且对象和细节在许多情形中仅可被模糊地辨认。这样基于具有随机点图样的结构化照明源121的灰度图像被示出在图7c中。细节的损失清楚可见。为了仍然能够获得常规图像，基于结构化照明源的当前技术的成像系统紧接着第一图像传感器115添加了第二图像传感设备，其具有它到图像传感器的自己的光学路径。第二图像传感器通常是RGB传感器并且递送完全独立的色彩图像。所发明的方法的实施例提出利用成像系统105(均匀照明源126被开启并且使用相同的光学系统130和图像传感器115)获得第二图像。来自均匀照明源126的发射光126a到达场景中的对象10并被反射。来自均匀照明源126的经背向反射的光126b通过光学系统130被成像在图像传感器115上。第二图像捕获的操作被示出在图7b中。如图7b中的图示所暗示的那样，均匀照明源126和图像传感器115可被控制器140同步和调制。基于均匀照明源126的第二图像的结果灰度图像被呈现在图7d中。细节现在可被更好地看到，根据结构化照明源121绘制三维图像并且根据均匀照明源126绘制灰度图像是简单的。

为了在光学系统130中实现适当的光学带通滤波器，结构化照明源121和均匀照明源126具有类似的波长是有利的。另外，结构化照明源121和均匀照明源126可与图像传感器115被控制器140同步和调制。图像传感器115还可具有像素中背景消除电路从而增加动态范围。

另外，图像传感器115可以是飞行时间图像传感器110。

图8示出了根据本发明的实际实施例。成像系统105包括光学系统130、结构化照明源121、和均匀照明源126，每个照明源具有近红外范围的波长。光学系统后面的图像传感器115和控制器140被隐藏在成像系统105的外壳后面，因此不能够在图示中被看到。在图8中的给定示例中，均匀照明源126构成为紧接着居中的结构化照明源121放置的两个相同照明源126。由图像传感器115基于均匀照明源126捕获的图像可被用作场景的典型灰度图示，同时由图像传感器115基于结构化照明源121捕获的图像可被用于基于三角测量原理推导出深度信息。结构化照明源121和均匀照明源126的波长优选地是类似的，来使得能够在光学系统130中实现窄的带通滤波器126从而尽可能多地截去背景光同时尽可能多地将光从结构化照明源121和均匀照明源126传送到图像传感器115上。另外，图像传感器115和结构化照明源121可被同步和调制，如图7中所解释的那样。另外，均匀照明源126和图像传感器115可被同步和调制，如图7中所解释的那样。另外，图像传感器115可能是飞行时间图像传感器110，并且优选地包括像素中背景消除电路。基于基于均匀照明源126的图像，适当的图像处理算法可改善通过对基于结构化照明源121的图像的评估而重构的深度图。

在具有经调制的照明源的所有前述实现方式中，光源脉冲优选地具有与一个存储节点的采样相比相同或更短的持续时间。另外，到存储节点的采样持续时间优选地对于两个节点是相等的，从而在两个存储节点中具有相同的背景光而被消除。

结构化照明源被理解为发射固定图样的、空间调制的光源。可能的图样是斑点图样(随机、伪随机、或规则的)、条纹图样、随机二进制图样等等。

Claims (20)

1.一种成像系统(105)，包括成像传感器(115)，所述成像系统(105)适于处理由至少两个不同的照明源照明的场景的图像，每个照明源具有处于近红外范围的波长,

其中，所述至少两个不同的照明源(122、123)的波长是不同的，使得在第一照明源的波长处的来自人眼的视网膜的反射相对于在第二照明源的波长处的来自人眼的视网膜的反射是减弱的，以及其中，所述成像系统(105)适于测量两个照明源的差分图像。

2.如权利要求1所述的成像系统(105)，其中，所述第一照明源具有大约940nm的波长，所述第二照明源具有大约850nm的波长。

3.如权利要求1所述的成像系统(105)，其中，所述至少两个不同的照明源包括至少一个结构化照明源(121)。

4.如权利要求1-3中任一项所述的成像系统(105)，其中，所述至少两个不同的照明源包括至少一个均匀照明源(126)。

5.如权利要求1-3中任一项所述的成像系统(105)，其中，所述至少两个不同的照明源包括被时间调制的至少一个照明源。

6.如权利要求1-3中任一项所述的成像系统(105)，其中，所述至少两个不同的照明源在相同的发光管芯上。

7.如权利要求1-3中任一项所述的成像系统(105)，其中，所述成像传感器(115)是飞行时间传感器。

8.如权利要求1所述的成像系统(105)，其中，所述成像系统(105)适于通过进行差分读出或像素上减除来测量两个照明源的差分图像。

9.一种眼跟踪系统，其包括如权利要求1所述的成像系统(105)。

10.一种疲劳传感器，其包括如权利要求1所述的成像系统(105)。

11.一种使用成像传感器(115)的成像方法，其中，由至少两个不同的照明源照明的场景的图像被处理，每个照明源具有处于近红外范围的波长，

其中，所述至少两个不同的照明源(122；123)的波长是不同的，使得在第一照明源的波长处的来自人眼的视网膜的反射相对于在第二照明源的波长处的来自人眼的视网膜的反射是减弱的，以及其中，所述成像方法包括测量两个照明源的差分图像。

12.如权利要求11所述的成像方法，其中，所述第一照明源具有大约940nm的波长，所述第二照明源具有大约850nm的波长。

13.如权利要求11所述的成像方法，其中，所述至少两个不同的照明源包括至少一个经空间调制的照明源(121)。

14.如权利要求11-13中任一项所述的成像方法，其中，所述至少两个不同的照明源包括至少一个均匀照明源(126)。

15.如权利要求11-13中任一项所述的成像方法，其中，所述至少两个不同的照明源包括在曝光期间被时间调制的至少一个照明源。

16.如权利要求11-13中任一项所述的成像方法，其中，所述至少两个不同的照明源在相同的发光管芯上。

17.如权利要求11-13中任一项所述的成像方法，其中，所使用的成像传感器(115)是飞行时间传感器。

18.如权利要求11所述的成像方法，其中，所述测量两个照明源的差分图像包括进行差分读出或像素上减除。

19.一种实现眼跟踪的方法，其包括执行如权利要求11所述的成像方法。

20.一种实现疲劳感测的方法，其包括执行如权利要求11所述的成像方法。