CN102655570A - 无闪光的运动不变图像获取系统 - Google Patents

Abstract

描述了一种无闪光的图像获取系统，该系统包括串列成像设备，其具有串列视场并包括耦合到目标成像设备的速度矢量估计成像设备；和外围成像设备，具有比串列视场更宽的外围视场并且被配置为获取与移动目标的位置有关的实时信息，其中该实时信息被提供给串列成像设备，而且其中速度矢量估计器被配置为提供内曝光速度矢量估计以控制目标成像设备。

Description

无闪光的运动不变图像获取系统

背景技术

用于获取移动对象的高质量虹膜或脸部图像的传统方法是为了通过使用极其短的曝光来定住对象的运动。对象必须由闪光明亮地照明以得到好的曝光图像。该方法通常对于更大的距离而出故障，因为为了获得可接受图像所要求的闪光功率通常让眼睛不安全。

产生移动对象的良好曝光图像而不用闪光照明通常要求延长图像曝光。利用该方法的一个缺点在于，延长图像曝光引入运动模糊，除非对象与照相机传感器之间的相对运动被消除。

对象相对于照相机传感器的运动可以是真实的、表观的或两者。真实运动是对象和/或传感器的物理运动的结果。真实运动用速度矢量v(t)来描述，该速度矢量被分解成两个分量。轴向速度矢量指向传感器并且与传感器的光轴对准。横向速度矢量是在与光轴垂直的X-Y平面中的速度矢量投影。轴向速度影响照相机光学器件的聚焦并对长的曝光可引入扩大的模糊。横向速度引起运动模糊。

现有系统试图估计速度矢量并接着移动照相机内的项目以便补偿对象相对于照相机的轴向和横向运动。可移动的透镜广泛地被用作为照相机中的图像稳定元件，以抵消曝光期间的照相机抖动。一个已知方法是使用一对惯性传感器来检测之间的照相机运动并接着移动稳定透镜以便补偿。替换的方法利用顶端倾斜的反射镜来补偿相对运动。

尽管以上描述的方案能抵消源自照相机的运动，但它们既不能稳定移动目标的投影（即使照相机纹丝不动），并且它们也不能掌握大气光学稳定性的效果。闪烁的一些分量将它们本身表明为表观运动，即使目标和照相机两者都良好的固定。

利用这些类型的方案的另一个缺点在于，它们通常不能跟踪非常快的运动。此外，这些方法一般使用专门的机械零件，这些机械零件令它们在军事和安全应用中的使用存在问题。

附图说明

图1是示出根据示例实施例的无闪光的运动不变图像获取系统（之后称为“图像获取系统”）的简化示意图。

图2A是用根据示例实施例的串列（tandem）成像设备获取的图像，该串列成像设备包括速度矢量估计器（VVE）成像设备和目标成像设备。

图2B是用根据示例实施例的外围成像设备获取的图像，该外围成像设备与图2A的串列成像设备通信。

图3说明了与现有时间线作比较的根据示例实施例的时间线，其用于通过使用图像获取系统来获取运动目标的运动不变图像。

图4A说明根据示例实施例的用于匀速运动的VVE成像设备的采样率。

图4B说明根据示例实施例的用于实际运动的VVE成像设备的采样率。

图5A和5B示出根据示例实施例的对以三（3）毫秒（ms）曝光而捕获的图像的脸部检测。

图6A-6D示出根据示例实施例的移动目标经过串列成像设备的视场（FOV）的示例运动模式。

图7示出根据示例实施例的示例搜索模板选择。

图8示出根据示例实施例的以一（1）ms曝光和200增益所捕获的眼部图像。

具体实施方式

在随后的描述中，对形成其一部分的附图进行参考，并且其中通过说明可以实施的特定实施例的方式而示出附图。这些实施例充分详细地被描述以使得本领域技术人员能够实施本发明，并且可以理解，其他实施例可被利用并且可作出结构、电学和光学上的变化而不偏离本发明的范围。示例实施例的随后描述因此不是要进行限制，本发明的范围是由所附的权利要求限定。

这里描述的功能或算法可以在一个实施例中以软件或软件与人类实施的过程的组合来实现。软件可以由存储在诸如存储器或其他类型的存储装置的计算机可读媒体上的计算机可执行指令组成。此外，这种功能对应于模块，模块是软件、硬件、固件或其组合。多个功能可以按期望在一个或多个模块中执行，并且所描述的实施例仅仅是例子。软件可以在数字信号处理器、ASIC、微处理器、或其他类型的处理器上执行，这些处理器在成像系统（比如照相机）上和计算机系统（比如个人计算机、服务器或其他计算机系统）上直接操作。

运动中的目标难以成像，尤其在无闪光系统中。在不用闪光而定住曝光期间的目标运动的情况下，用于在长曝光期间将移动目标投影稳定在照相机传感器上的图像投影稳定元件可以被插入到光路中并且其行为适当地被控制以抵消相对运动。大量高端照相机提供图像稳定特征。但是，它们的运动传感器只能检测照相机机身运动。当这种传感器达到目标或表观运动时它是“盲”的。为了察觉到它，主目标获取照相机可以与第二个照相机耦合，该第二个照相机向速度矢量估计器馈送，其输出对投影稳定元件进行驱动。例如参看美国专利申请No.12/699,368，其合并在这里以参考其全部。这类系统依赖于预曝光速度矢量估计并以两步操作。首先，移动目标相对于照相机的速度矢量被测量。一旦该测量被确定，则将其传递到稳定透镜控制系统，该系统启动抵消运动。一旦稳定透镜控制系统将透镜加速到期望的速度，该照相机快门打开并且图像开始其曝光同时稳定透镜以所期望的速度保持移动。但是，由于速度矢量不是在其传递到控制器以后被更新，因此预曝光速度矢量估计的使用不能解决如下情况：目标速度不保持恒定，而是在曝光期间变化。

相比之下，这里描述的实施例在启动目标图像曝光之前不计算前述的速度矢量。这样，各种实施例提供了内曝光速度矢量估计，其使用速度矢量估计器（VVE）来向稳定传感器（例如图1中的111）实时提供信息以驱动稳定传感器。以如此方式，在目标成像图像曝光的过程中连续测量目标的相对速度，该相对速度是因为目标真实的物理运动或大气的光学不稳定而导致的表观运动引起的。为了达到足够的投影运动补偿，稳定传感器（例如图1中的111）被配置为动态响应的图像稳定器，其能够被驱动以抵消快速变化运动，如从表观运动中发生的那些运动。稳定传感器被放置串列成像设备中，该设备与外围成像设备耦合（图1）。

目标图像经常被期望具有高的图像分辨率。例如，在生物测定应用中使用的眼睛虹膜的图像利用在目标平面中大概10到15个像素/mm的分辨率。以这样的分辨率，即使具有尺寸达到大概10兆像素的图像的传感器也只提供场景的近视视场，数量级只有大概10×10到大概30×30cm。当要成像的对象正在移动时，这种近视目标成像设备在它到达其视场之前提前做好准备以便对它捕获。在一个实施例中，由外围图像处理器提供协助，该外围图像处理器处理由外围成像设备获得的外围图像。在各种实施例中，该设备被配置为具有更大的视场。其尺寸选择主要取决于目标运动的最大速度。在虹膜成像的以上例子中，外围视场大概为200×200cm，并且外围成像设备因此被配置为具有比目标成像设备更低的分辨率以及比目标成像设备更快的帧速率。在一个实施例中，外围成像设备的帧速率足以使能粗略的目标速度矢量估计。在相同的例子中，外围成像设备在目标平面中具有大概0.5像素/mm的分辨率。

当感兴趣的目标进入外围设备的视场时，它首先被检测，接着从一个图像到下一个图像来跟踪其运动。一旦对象进入目标成像设备的小视场，则跟踪责任被移交到另一个速度矢量估计器（VVE），其自己的速度矢量估计器成像设备与目标成像设备共享主光源装置。光耦合的串列成像设备具有其自己的主光学装置，以便向两个设备都给予基本上相同的视场。在一个实施例中，VVE成像设备具有与目标成像设备基本上相同的分辨率。为了基于跟踪来完成精确的相关性，在一个实施例中，用于逐帧进行跟踪的窗口具有与用户想在目标图像中保存的最小细节相当的空间频率内容。什么被认为是“高”空间频率取决于在本领域中理解的特殊应用。该信息不能来自由外围成像设备获得的外围图像，因为（例如以大概10到大概15个像素/mm可辨别的）这种高频率不能在其中被看到，因为其的低分辨率（例如低到大概0.5个像素/mm）低。另一方面，因为其预感知的操作模式，VVE也不用于寻找图像中的“意思”，比如眼角。如此，在一个实施例中，在感兴趣区域（ROI）内的所希望眼睛中心位置的附近随机放置的期望尺寸的少量窗口上计算平均像素强度变化，接着选择提供最大强度变化的一个。该变化是窗口内图像对比度以及空间频率带宽的粗略测量。在虹膜应用中，能由这个“盲”过程选择的窗口，在一些实施例中，因为其尖锐和反差的分量而时常位于眼角的中间（例如，参看图8）。

在一个实施例中，外围成像设备检测朝着串列成像设备移动的目标，并且使用以快速接续而得到的短序列图像来确定感兴趣的目标是否、从哪、以及何时进入串列成像设备的视场（FOV）（例如参看图6A-6D）。该实时信息被传递或“移交（handed off）”给串列成像设备。如此，该实时信息作为外围成像设备解释成还未到来的特定帧中的目标中心（例如眼睛中心）的点的坐标被传送。这种“早期警告”给予VVE足够的信息，该信息与在何处放置包含其FOV中的目标中心的感兴趣区域（ROI）和在其图像流中要挑选哪个帧有关。VVE接着锁定到该点上，以及其附近，并且在其FOV上跟踪VVE图像内的该区域，同时利用VVE成像数据来连续地重新计算速度矢量估计。如此，VVE提供信息给稳定传感器（例如图1中的111）来驱动稳定传感器，即反馈控制环路的致动器，其能够启动对移动对象的跟踪。以这种方式，获得了内曝光速度矢量估计。

由于串列成像设备没有解释VVE图像，因此不能“得知”它正在观看什么，存在从外围成像设备向它进行的定时“移交”。作为“移交”的一部分，移动目标的基于像素的注册在外围成像设备中发生。该注册由于外围和VVE图像的分辨率之间的失配而不精确，但是VVE在何处能在外围成像设备提供的其自己的图像中找到移动目标的大致位置一般是足够的。

图1是示出示例无闪光的运动不变图像获取系统（之后称为“图像获取系统”）100的简化示意图的一个实施例，该系统用于获取运动不变图像。该系统100包括串列成像设备102，该串列成像设备102经由图像稳定控制系统106与外围成像设备104相通信。串列成像设备102包括目标成像设备107，该目标成像设备107耦合到速度矢量估计（VVE）成像设备108。在一个实施例中，目标成像设备107和VVE成像设备108机械地耦合在一起，并且通过光学硬件进行光学注册，光学硬件例如是单透镜分裂器（SLS）光学设计（未示出）。

在图1所示的实施例中，目标成像设备107包括稳定传感器111，比如由多个部件组装的设备，比如电荷耦合器件（CCD），（例如正交传输（OT）CCD传感器）、或芯片，比如互补金属氧化物半导体（CMOS）半导体（CMOS）芯片。在一个实施例中，VVE成像设备108包括电子倍增（EM）CCD传感器。在一个实施例中，稳定传感器111在其光路中使用可移动元件或一个或多个微机电系统（MEMS）反射镜。

如本领域中已知的，任何合适类型的电子设备可用于将图像稳定控制系统106与外围成像设备104以及与串列成像设备102对接。

在图1所示的实施例中，图像控制系统106包括速度矢量估计器（VVE）118和稳定传感器控制器112。VVE 118从其自己的专用VVE成像设备108接收VVE图像122。在一个实施例中，VVE成像设备每秒传递大概180个帧，每个帧使用大概1ms曝光。这些值与应用有关，并且可显著地根据给定的条件集合而变化。

在一个实施例中，稳定芯片111是动态响应图像稳定器，其能够被驱动以对起因于表观运动的 “快速”变化投影进行计数，该“快速”变化的投影以平均频率大约30Hz进行变化。在一个实施例中，使用具有像素阵列且能围绕其硅衬底移动的OT-CCD传感器。在该实施例中，只有像素的势阱被移动，而在硅上注入的像素的物理结构则没有。缺乏任何惯性，这些势阱在一个实施例中能极其快速地移动，比如每秒大概150000个位移。在一个实施例中，这些移动是基本的移动，比如进入到邻近位置。如此，这里描述的各种实施例具有对速度远大于1.5米/秒（m/s）的对象运动进行补偿的潜力。不具有移动部分，这里描述的系统的实施例就能提供极好的强度和可靠性以及低的制造成本。

在操作中，VVE 118在接收到来自VVE成像设备108的新图像时计算新的速度矢量估计。在图1所示的实施例中，外围成像设备104将外围图像124提供给外围观察处理器116，其转而提供移交控制信号117给VVE 118。在一个实施例中，VVE 118能被预编程以使用特定的“窗口”尺寸，但是在各种实施例中，依赖于来自外围观察处理器116的实时信息来确定要使用哪个窗口尺寸以及在移交瞬间将其放置在VVE图像112内的何处。

VVE 118提供VVE输出120给稳定传感器控制器122，其转而提供稳定命令124给目标成像设备107中的稳定传感器111.通过维持与图像稳定控制系统106的通信，目标成像设备107接收动态反馈，该反馈涉及在图像获取期间在哪个方向上移动其稳定传感器以及移动多少。利用与VVE输出120有关的信息，目标成像设备107产生目标图像132，即移动目标的运动不变图像。

如此，VVE 118连同VVE成像设备108组成系统100的“相对运动传感器”，而稳定传感器111作为系统100中反馈控制回路的致动器，其启动对移动目标的跟踪。在一个实施例中，目标成像设备107能以速率大概为一（1）kHz，即达到1000更新/秒来支持来自VVE输出120的更新。在一个实施例中，图像稳定控制系统106和目标成像设备107之间的通信包括使用低压差分信令（LVDS）设备，其能以高速在双绞线上运行。在一个实施例中，可以使用LVDS设备来维持信号完整性。在一个实施例中，目标成像设备107和图像稳定控制系统106之间的接口支持绝对和相对的像素位移规范两者。在一个实施例中，该接口能控制成像设备上至大概4.6米（m）的距离。

子系统107和108之间的信息可以经由直接接口来交换。在一个实施例中，端到端的延迟，即从由VVE成像设备108捕获的第一VVE帧到目标成像设备107内的稳定传感器111的时间小于大概一（1）毫秒（ms）。

在一个实施例中，VVE 118使用图形处理单元（GPU）来处理来自VVE成像设备108的VVE图像122。在一个实施例中，GPU与任何类型的服务器或计算机系统（未示出）进行有线或无线的通信。在一个实施例中，GPU利用适当类型的计算机扩展卡标准，比如外部组件互连（PCI）、PCI-eXtended（PCI-X）或加速图形端口（AGP）来与这种外部系统进行通信。在一个实施例中，GPU和外部系统使用PIE Express（PCIe）来与目标成像设备107通信，目标成像设备107利用串行外围接口（SPI）总线与GPU通信。

在一个实施例中，FOV和像素密度对于VVE和目标成像设备（例如分别为107和108）是相同的。在一个实施例中，EM CCD照相机可用作为VVE成像设备（例如108）。在一个实施例中，OT CCD可用作为目标成像设备107，且其OT传感器作为稳定元件111。在其他实施例中，其他图像投影稳定元件能被使用，只要它们足够动态响应于给定应用。

利用这里描述的成像系统，可以监控场景并脸部移入时检测脸部，允许脸部的一只眼睛被锁定在上面。此后，根据短序列的外围成像设备图像114，外围图像处理器116可确定眼睛的进入点和进入串列成像设备的FOV中的大概时间，因此预激活串列成像设备102以便一旦眼睛进入其FOV就行动。

图2A示出了使用与由VVE成像设备提供的眼睛202的位置有关的信息来获得的眼睛202的示例目标图像，该VVE成像设备监控和捕获包含眼睛202的移动脸部204的一系列VVE图像。利用成像系统获得图2A和2B所示的结果，该成像系统包括作为外围成像设备的Pixelink B-741照相机（“Pixelink”）和作为VVE成像设备的Hamamatsu C 9100照相机（“Hamamatsu”）。（因为Hamamatsu照相机的读出时间基本取决于行的数量而不是列的数量，其被编程为捕获横跨整个FOV宽度的感兴趣区域（ROI）。尽管其高度也由设计所固定，其垂直放置是由来自外围子系统的期望的眼睛中心位置信息所给定）。

利用该实例成像系统，外围成像设备（Pixelink）具有1280×1024像素阵列并在其大概2000mm的FOV宽度206上跟踪脸部204。其曝光时间大概为8ms。VVE成像设备（Hamamatsu）具有1000×1000像素阵列并且能够捕获其大概75mm的FOV宽度208内的眼睛202。目标成像设备具有一（1）兆像素的阵列，以大概12像素/mm的分辨率提供大概75×75mm的FOV。（如此，如果头部204以大概一（1）m/s移动，则仅会花费大概75ms来进入和离开串列成像系统的FOV）。外围成像处理器中的脸部和眼睛检测在大概六（6）ms内实现。VVE成像设备图像帧速率在大概一（1）ms曝光的情况下大概为6.5ms。

图3示出了现有技术的时间线302（用于比较）和使用以上在图2A和2B中描述的系统的示例时间线304。如时间线302所示，现有技术处理包括“预曝光”速度矢量估计步骤。在时间线302，每个任务被顺序地执行，并且所有任务依赖于来自相同成像设备的图像。因此，在现有技术的处理中，一个成像设备扮演双重角色，不时地既作为外围观察设备又作为VVE成像设备而服务。现有技术处理中的第一步包括找到第一图像中的眼睛并且在其内将小的感兴趣区域定在中心。接着使用相关方法在VVE成像设备的连续帧序列中跟踪眼睛的变化位置，该相关方法最小化小窗口（称之为“模板”）中的图像强度轮廓之间的最小均方差，当所述眼睛周围的感兴趣区域位于第一图像中且位于每个后续VVE图像中的相同尺寸的搜索窗口时在该眼睛周围的感兴趣区域内选择所述小窗口。在图3所示的现有技术的时间线中，在处理了少数帧之后，速度矢量估计器（VVE）具有足够的数据来计算速度矢量估计并且将其传递该稳定透镜控制器，该控制器开始移动透镜。一旦在短暂的瞬间之后其速度达到期望的值，控制器向目标照相机发出脉冲，命令其打开其快门并开始曝光图像。尽管透镜正在以期望的速度移动并且目标图像正在被曝光，但不存在对实际运动的反馈，即使速度矢量照相机继续提供快速的帧并且GPU正在实时处理它们。因为现有技术中的目标成像设备具有大的FOV，所以不存在在其内进行外围观察的需要，因此其不会出现在现有技术的时间线302中。

依然参考图1，作为对比，示例时间线304对应于系统100，其中各种设备的角色被分开。该系统包括“内曝光（in-exposure）”速度矢量估计器118，其利用串列成像设备102，该串列成像设备102提供场景的近视视图。如此，串列成像设备依赖于来自外围成像设备104的外部帮助以补充其空间受限的传感能力。相比于时间线302所示的现有技术方法，在时间线304中称之为位置确定（即，进入点确定或入口确定）的眼睛跟踪步骤在虹膜图像曝光期间不支持图像稳定器。相反，时间线304中的眼睛跟踪步骤被委托给外围观察处理器116并且用于确定诸如眼睛的目标是否要进入串列成像设备102的FOV并确定在何处以及何时进入。一旦其变得可用，该信息117被移交给图像稳定控制系统106。在一个实施例中，VVE使用上述的相关方法来在串列成像设备的FOV上跟踪目标的运动。然而，与现有技术相比，实时反馈跟踪控制被提供，即内曝光对比预曝光信息，预曝光信息取决于上面讨论的高的帧速率（例如高达大概1000帧/秒）。

在各种实施例中，无闪光的运动不变图像获取系统100的两个子系统（串列和外围成像设备）“看见”场景中不同的东西并且不能用相同级别的精度来定位它们。在一个实施例中，外围成像设备104具有相比于目标成像设备102更宽的FOV并且由于实时处理约束而捕获更小的图像尺寸。“区域因子”，即外围和串列（或“视网膜中央窝”）FOV尺寸的比例，基本上由对象速度以及工程限制而确定，工程限制诸如是检测对象进入外围FOV并且以足够的精度估计它在何时以及在何处进入串列FOV所需的时间。在一个实施例中，“区域因子”，即由外围成像设备104观察的场景大概为25倍宽。然而应当注意，除非目标已知以特定的方向接近，外围和串列成像设备的视场大致处于中心。

尽管外围图像的受限分辨率足够用于脸部检测和眼睛寻找工作，但对于估计速度矢量还是太低，该速度矢量的精度要足以获得期望的目标图像，比如虹膜图像。这是为什么当要求精确跟踪时在曝光期间对移动目标进行跟踪使用了来自专用VVE成像设备的原因，专用VVE成像设备具更高的分辨率并以更高的帧速率被获取。在一个实施例中，VVE图像122和目标图像132之间的图像尺寸比率大概是1:1，即例如SLS串列成像设备的目标成像设备102中的VVE成像设备108和目标成像设备107被配置为提供基本上相同的图像尺寸。作为通用规则，为了很好的利用目标成像设备分辨率，VVE图像应当具有至少相同的分辨率，但是传感器技术约束使得这种理想对于具有比大概1到2兆像素更大的阵列尺寸的传感器不可实现，因为这些传感器固有的低的帧速率。

图4A和4B示出了投影到图像x轴上的移动目标的距离增加了多长，该距离是以恒定速率的线性运动和目标随机加速和减速时的一般运动的函数。图4A画出了匀速运动的增加。与图4B所示的一般运动所需的采样率相比较，用于图4A所示的匀速运动的采样能以较低的频率执行，该较低频率的实际值由期望的跟踪精度来指定。对于一般运动，采样率不能被规定，除非我们知道所涉及的随机性类别。

图5A和5B示出了人体模型头部501的低曝光图像，该图像具有大概50×50像素的脸部尺寸，并且该脸部在窗口504内侧检测且眼睛位置在图5B中所示为506a和506b。在一个实施例中，脸部检测和眼睛定位算法花费大概6.5ms来执行，这低于8ms的外围照相机的帧速率，使得有可能与外围图像获取并发地实时运行代码。

如这里所注意的，为了获得外围成像设备和串列成像设备之间的适当移交，利用了对诸如眼睛的移动目标的跟踪。在一个实施例中，基于运动连续性来跟踪目标位置。在一个实施例中，一旦目标出现在外围成像系统的视场中，外围成像系统估计目标的方向，并且选择要获取的适当的感兴趣区域（ROI）。例如参看图6A-6D，图6A-6D示出了脸部602相对于外围成像设备的FOV（此后称为“外围FOV”）604和串列成像设备的FOV（此后称为“串列FOV”）606的运动。在图6A所示的实施例中，脸部602以从左到右的模式608移动，不仅移动到串列FOV606的外侧还移动到外围FOV604的外侧。这种移动不会允许对脸部的检测。在图6B所示的实施例中，脸部602以从左到右的模式（在纸上）610在外围FOV604内移动，但仍然在串列FOV606的外侧。尽管，这种移动允许对该移动的确定，但在该例子中，眼睛将绝不会跨过串列FOV并且因此不会被捕获。在图6C所示的实施例中，脸部602以从左到右模式612移动，不仅在外围FOV604内移动而且也在串列FOV606内移动。这种移动允许串列成像系统（比如图1所示）适当地成像眼睛，在该眼睛上它被警告并通过由外围系统提供的移交信息被引导。类似地，图6D示出了以对角向下模式（在纸上）614在外围FOV604和串列FOV606两者内移动，由此允许串列成像系统适当地成像眼睛。如所能看到的，行进的方向能包括上到下（在纸上从上到下）、右到左、以任何方向对角向上，这样的行进方向不影响期望的结果。相反，眼睛是否能被成像是由视场内的位置所确定。

图7示出了为降低计算成本而如何约束在VVE图像内对眼睛的示例搜索。在该实施例中，当VVE图像704来自VVE成像设备时，搜索区域702位于VVE图像704内。搜索窗口706是与眼睛模板尺寸相同的小窗口， 使用相关方法将其与眼睛模板相匹配。模板的尺寸取决于VVE图像中存在的噪声类型和噪声量。更大的模板更能抵抗噪声，但使用了更多的计算。在找到最佳匹配的过程中，搜索窗口逐渐在搜索区域702周围移动，该搜索区域702的尺寸可受到移动目标的期望最大速度和计算复杂度的约束。

在一个实施例中，眼睛模板是从移交后得到的第一VVE图像中的区域内选择的小窗口。该区域的位置和尺寸是移交信息的对象。依据最大强度变化从少量窗口和眼睛模块的尺寸来选择眼睛模板，以确保其包含高的空间频率分量，高的空间频率分量用于获得适当的定位。这些窗口随机地从在移交后的第一VVE图像中识别的区域内选择。

在一个实施例中，通常只有眼睛的一部分视觉区域构成使用移交信息识别的区域。图8示出了VVE图像中的感兴趣区域（ROI），其中示例眼睛模板802被示出。该眼睛模板在头部正在移动时以逐帧的方式被跟踪。窗口802包括眼睛图像804的转角，该眼睛图像804位于ROI内但已经移动得远离在进入串列FOV后被第一次看到的位置。由具有EM CCD传感器的VVE成像设备以一（1）ms曝光和200增益来捕获该图像并且实时提取ROI。在图8所示的图像，眼睛模板802基本上“完美地”相对于眼睛图像804放置。因为眼睛模板放置是基于随机采样，因此眼睛本身可以在模板802中仅部分地查看或甚至根本不存在于其中。这可以因为很多原因而发生，比如每个设备的分辨率之间大的差异和/或外围和串列成像设备时钟之间的时间同步的受限精度。这种偏离放置不需要必须排除对眼睛区域的正确跟踪并因此对性能有负面的影响。

在一个实施例中，串列成像设备具有其自己的光学装置，该光学装置确保了VVE和目标图像被正确地注册。两个成像设备共享主要目标，通常是跟随有分束器的区域，分束器将外出的光分成其可见的（VIS）和近红外的（NIR）光谱。前者被偏转到VVE成像设备中，后者进入到目标成像设备中。这些光学设计被称为单分束器（SLS）。在分束器和VVE成像设备之间插入的辅助光学装置确保了两个成像设备都具有基本相同的FOV，并且它们的像素处于良好限定且已知的关系（即它们的图像被正确地注册）。

相比于要求在已知估计之后进行目标（例如移动脸部上的眼睛中的虹膜）捕获的现有系统，这里描述的成像系统（例如图1中的100）不使用在预曝光速度矢量估计后进行的脸部和眼睛寻找。相反，这里描述的实施例利用VVE成像设备（例如108）来提供内曝光速度矢量估计给目标成像设备（例如107），该目标成像设备能接着成像移动目标，比如眼睛的虹膜。

如此，在这里描述的各种实施例中，成像系统可执行一系列功能，这些功能包括1）脸部检测和眼睛定位，2）从外围成像设备向目标成像设备的移交，3）子眼睛区域跟踪，4）速度矢量估计，5）光学上的传感器补偿，比如OT CCD传感器补偿，和6）目标捕获，比如虹膜捕获。在一个实施例中，在远距离系统中表观运动的不变允许在光学不稳定环境中获取目标图像，所述远距离系统即是这样的系统，在该系统中，移动的目标处于超过大概十米的距离而达大概15米或30米或更多。

提供的摘要符合37 C.R.F §1.72（b），以允许读者快速弄清本技术公开的本质和要点。该摘要被提交并理解为其不用于解释或限制权利要求的范围或意思。

Claims (16)

1. 一种无闪光的图像获取系统，包括：

串列成像设备，具有串列视场并包括耦合到目标成像设备的速度矢量估计成像设备；和

外围成像设备，具有比串列视场更宽的外围视场并且被配置为获取与移动目标的位置有关的实时信息，其中该实时信息被提供给串列成像设备，而且其中速度矢量估计器被配置为提供内曝光速度矢量估计以控制目标成像设备。

2. 权利要求1的系统，其中该系统还包括：

成像稳定控制系统，其包括：

速度矢量估计器，与串列成像设备和外围成像设备通信；和

稳定传感器控制器，被配置为接收来自速度矢量估计器的输出。

3. 权利要求2的系统，其中速度矢量估计器被配置为接收来自速度矢量成像设备的速度矢量成像和来自外围成像设备的实时信息。

4. 权利要求3的系统，其中目标成像设备被配置为在接收来自稳定传感器控制器的稳定命令之后获取移动目标的运动不变图像。

5. 权利要求4的系统，其中目标成像设备包括稳定传感器并且内曝光速度矢量估计信息由稳定传感器接收。

6. 权利要求5的系统，其中移动目标是位于脸部的眼睛并且外围成像设备提供能够进行脸部和眼睛检测的实时信息。

7. 权利要求1的系统，其中外围成像设备、VVE成像设备和目标成像设备是照相机。

8. 一种获取移动目标的运动不变图像的方法，包括：

利用外围成像设备，获取包含与移动目标有关的实时信息的外围图像；

将该实时信息传递到与外围成像设备通信的串列成像设备，其中串列成像设备包括速度矢量估计成像设备和目标成像设备；

利用速度矢量成像设备，获取速度矢量估计图像；

向速度矢量估计器提供速度矢量估计图像；和

将来自速度矢量估计器的输出提供给目标成像设备中的稳定传感器，同时目标成像设备获取移动目标的一个或多个图像。

9. 权利要求8的方法，其中来自速度矢量估计器的输出首先被提供给稳定传感器控制器，该稳定传感器控制器转而在目标图像曝光期间重复提供稳定命令给稳定传感器。

10. 权利要求8的方法，其中串列成像设备在开始记录目标图像之前从由外围成像设备获取的一系列图像接收实时信息。

11. 一种方法，包括：

利用外围成像设备，

检测移动脸部；

跟踪移动脸部上的眼睛区域的一部分；

将眼睛区域位置信息移交给串列成像设备；且

利用串列成像设备，

基于眼睛区域位置信息定位眼睛区域的所述部分；和

使用内曝光速度矢量估计信息来获取运动不变图像。

12. 权利要求11的方法，其中内曝光速度矢量估计信息向串列成像设备中的稳定传感器提供信息。

13. 权利要求12的方法，其中稳定传感器是正交传输的电荷耦合设备。

14. 权利要求12的方法，其中稳定传感器具有光路并且稳定传感器使用在该该光路中的可移动元件。

15. 权利要求12的方法，其中稳定传感器具有光路且稳定传感器使用在该光路中的一个或多个微机电系统（MEMS）反射镜。

16. 权利要求11的方法，其中定位步骤包括获取一系列速度矢量估计图像。

Images