CN101326814A - 具有可调节光学器件的成像系统 - Google Patents

Abstract

本发明提供用于确定非曝光时间的解决方案，在所述非曝光时间期间，可以在不影响正在捕获的图像的情况下调节成像光学器件。在该解决方案中，获取包括至少两个图像的图像序列，所述至少两个图像中的至少一个用作测量图像，并且所述至少两个图像中的至少另一个用作最终图像。针对测量图像和最终图像确定曝光时间。根据针对测量图像和最终图像的曝光时间，可以确定非曝光时间。因此，可以在非曝光时间期间调节成像光学器件。

Description

具有可调节光学器件的成像系统

技术领域

本发明一般涉及成像领域，并且特别涉及通过具有可调节光学器件的成像系统的成像。

背景技术

在过去几年中，例如数码相机的数字成像系统在成像技术中发挥了显著作用。数码相机的特征在于一个或多个内置处理器以及它们以数字的形式记录图像。由于其电子特性，数码相机(或数码相机模块)可以容易地与其他电子设备集成，移动通信设备(移动终端)是目前所述电子设备的常见例子。依赖于主设备(也即，与相机模块集成的设备)，相机模块可以与所述设备的若干其他组件和系统通信。例如，在相机电话中，相机模块通常可操作地与一个或多个处理器通信，并且在数码相机的情况下，设备可以包括一些其他类型的专用信号处理组件。

数字成像系统背景中的可调节光学器件涉及使用电控图像调焦来调节待捕获图像的属性的可能性，其中电控图像调焦例如自动调焦和光学缩放功能。这些操作正在成像设备中变得越来越重要。自动调焦和缩放可以通过具有移动镜头组件的传统透镜光学器件实现，或者现在还可以使用基于具有可调节形状或其他可调节手段以影响其屈光力的镜头的光学系统来实现。

成像系统包括镜头系统，其对光线进行聚焦以创建场景图像。光被聚焦到半导体器件上，其电子式地对光进行记录。该半导体器件通常可以是例如CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)传感器。传感器主要包括光敏像素的集合，其将光转换为电荷，该电荷进一步转换为数字图像数据。在所述传感器上，可以使用称为像素组合(binning)的技术。像素组合技术对相邻像素的电荷进行组合，以提高成像系统的有效灵敏度并减少图像中的像素数量。

成像系统还包括快门装置。主要的快门类型是全域(global)快门和卷帘(rolling)快门。目前，卷帘快门与CMOS传感器结合使用，全域快门与CCD传感器结合使用，但是也可以按照不同的方式来使用快门。快门装置用来限制图像传感器的曝光。快门操作至少包括例如重置、曝光和读取操作的操作，但是也可以进行例如打开和关闭的操作。全域和卷帘快门装置两者都可以电子地或机械地实现，但是在机械实现中，还可以使用可变孔径或中性密度(ND)滤光片。卷帘快门的公知特征是其基本上逐行地曝光图像，而全域快门旨在基本上同时地曝光图像中的所有像素。

成像系统还包括焦点检测器，其测量通常来自一个或多个图像区域的当前焦点值，并且结果在同样包括在成像系统中的控制功能中使用。焦点的测量通常基于相邻图像区域之间的对比度，因此，控制功能通过最大化图像中的对比度来设法找到该图像的最佳焦点。

成像系统还包括曝光检测器，其测量图像像素中的当前曝光水平，并且其结果也在控制功能中使用。控制功能使用当前曝光水平，并将其与目标曝光水平进行比较。根据该比较来控制曝光时间、模拟增益、数字增益、孔径和ND滤光片。控制功能还使用从用户接口接收到的信息。例如，如果用户想要放大图像，控制功能开始改变镜头位置。在镜头系统移动时使用光学器件驱动器，并且通常由I2C(内置集成电路)命令或使用脉冲宽度调制(PWM)信号对其进行控制。

成像系统还可以包括或连接输入设备(例如，用于缩放、场景选择和快门控制的控制按钮)。闪光也是成像系统中通常使用的。包括焦点检测器、曝光检测器、控制功能和实际图像处理在内的所有图像处理可以在相机模块中、相机处理器中、应用引擎中、基带引擎中或其任意组合中进行。还可以使用软件或硬件处理块来实现处理。至少图像处理的检测器和控制功能必须实时地进行操作。

在此描述中，成像可以指静态成像、视频成像或取景器成像。静态成像产生以不移动为特征的视觉信息。静态图像在拍摄之后立刻存储在存储器中。视频成像产生随时间改变的运动视觉表示。在视频成像中，获得一系列视觉表示，以便在连续显示时给出动画的效果。取景器成像提供用于取景器显示的图像。数字成像系统的取景器通常是集成彩色显示器，其提供用户正在捕获的场景的预览。在显示器上看到的取景器图像通常从图像传感器获得，并在传感器或处理器中从其原始分辨率按比例缩小之后显示在取景器显示器上。取景器图像通常无需存储。优选地，应当在取景器显示器上迅速地、延迟最小地更新取景器图像，以便提供良好的实时感觉和对用户的响应。

成像中的调焦可以自动完成(自动调焦)，或包括用户交互而手动完成。此外，可以通过使用单拍自动调焦或使用连续自动调焦来实现自动调焦(AF)功能。通常在捕获静态图像时应用单拍自动调焦，并且在视频成像中应用连续自动调焦。

通常通过这样的方式来实现单拍自动调焦：通过使用固定的增量在其范围内移动镜头，并且记录焦点检测器值。当扫描完成时，镜头移动到所找到的对比度最大的位置。例如可以通过半按图像捕获按钮来激活单拍自动调焦。因此，在完全按下捕获按钮时，成像光学器件已经经过了适当调节，从而可以立刻捕获图像，提供良好的用户体验。可以通过调焦系统找到最佳焦点所花费的时间以及已调焦图像的准确性来表征调焦系统的性能。

在连续自动调焦中，根据基本上连续捕获的图像来确定焦点检测器的值，并且只要焦点检测器的值指示需要调节成像光学器件就对成像光学器件进行调节，以此来改善调焦。通常，特别是在视频成像中，还会将所捕获的图像实时地显示在取景器显示器上。连续自动调焦的优点在于光学器件可以连续地保持焦点对准，并且取景器图像也因此始终保持焦点对准。在视频录制中这显然是需要的，但其在记录静态图像时也是非常有益的，并且继而可以在没有延迟或者短暂延迟之后捕获单个静态图像，其中所述短暂延迟是通过快速单拍调焦过程对基本的连续调焦进行精调而引起的。

综上所述，针对静态成像、视频成像和取景器显示的调焦显然具有略微不同的需求。依赖于使用卷帘还是全域快门类型的曝光控制，曝光期间用于自动调焦(或缩放)的镜头移动可能造成不同类型的伪影(artefact)。特别是在使用卷帘快门时，图像之间的消隐时间(当图像传感器没有收集光学图像信息时)通常非常短，因此在那段时间内没有在不对图像造成伪影的情况下可用于镜头移动的足够时间。而且，在使用现代高分辨率传感器时，由于相机模块和图像处理链的后续部分之间接口的带宽限制，通常需要对取景器图像进行子采样、像素组合或者按比例缩小，因此，由于取景器图像有限的分辨率，图像处理链稍后部分中自动焦点检测的质量受到限制。

在多数时间要求严格的应用中，当使用卷帘快门时，在来自检测区的图像信息对于焦点检测器可用时，可以通过专用的硬件或软件立刻计算自动焦点检测信息。换言之，自动调焦无需基于经过子采样、像素组合或按比例缩小的取景器图像，而是基于图像的选定部分使用该部分的完全分辨率来执行。通常，焦点检测区位于图像区域的中部。在这种情况下，可以在完全曝光和传送当前图像的所有行之前获得针对下一帧镜头移动的决定。在这种情况下，问题在于：如果在针对图像中央部分的自动调焦处理完成之后立刻移动镜头，则当前图像的最后行随着移动镜头而被曝光，并且很可能可以在所捕获或浏览的图像中看到由其造成的伪影。

如果在镜头移动结束之前开始下一图像帧的曝光，则可能导致相似类型的伪影。这种情况对于调焦镜头移动和光学缩放镜头移动都有可能。在这种情况下，如果使用卷帘快门，则图像前面的行受损，如果使用全域快门，则整个图像受损。缩放镜头仅在图像传感器没有曝光时(也即图像帧之间)可以移动。命令的定时至关重要：同样如果使用专用硬件，则也有可能在镜头实际移动之前存在延迟。

图像调焦，特别是单拍自动调焦，需要大量的时间，并且可能导致当相机系统最终准备好并且图像完成调焦时，意欲捕获的场景已经不可用的快速改变情况。这种情况在例如对体育或其他活动成像时是典型的，此时场景包含快速移动的对象和快速改变的情况。

在相关领域中可以找到使用具有可调节光学器件的卷帘快门的实现。例如，可以在做出镜头移动的决定之后立刻给出用于镜头移动的命令，而不考虑对正被捕获的图像的影响。在这种情况下，通常图像的最后行变为受损的。在另一例子中，仅在已经捕获了整个图像之后给出用于镜头移动的命令。在这种情况下，有效地延迟镜头移动的开始，直到已经捕获了整个图像，接下来，依赖于消隐时间和曝光时间的长度，镜头在消隐周期期间移动。但是，由于该周期很短暂，下一图像前面的行经常变为受损的，这是因为镜头移动持续过长。

传统上，通过逐帧测量自动焦点检测值来做出自动焦点检测。这种类型的检测需要在执行焦点检测时对整个图像帧或者整个经过子采样的图像帧进行AD变换。由于缺少用于适当焦点检测或用于适当图像浏览的时间，经常会有一些帧被跳过。这甚至更加增长了调焦时间。对于视频图像，帧通常不跳过，但是继而可以从所录制的视频序列中看到由曝光和镜头移动造成的伪影。

可以清楚地看到，需要进一步开发用于在为了调焦或缩放目的而需要移动镜头时适当地对图像曝光并且不损坏要捕获的图像的解决方案，以克服现有技术的缺陷。

根据申请人的理解，在针对调焦或缩放而对成像光学器件的调节进行定时的时候，还没有完全利用图像传感器状态的知识。本发明旨在提供一种解决方案，其最大化可用于光学器件调节的时间，同时最小化对捕获图像造成的伪影。同时，本发明旨在最小化响应时间，提供改善的用户体验。

发明内容

本发明的目的是提供一种用于正确地曝光图像以及光学器件调节操作的解决方案，同时最小化对捕获图像造成的伪影。

本发明的另一目的是提供在图像调焦过程中最小化响应时间的各种方法。

这些目的可以通过成像方法、成像设备、成像模块以及计算机程序产品实现，其用于获得包括至少两个图像的图像序列，其中至少一个图像用作测量图像，并且至少一个其他图像用作最终图像；确定测量图像曝光时间和最终图像曝光时间；确定测量图像曝光时间和最终图像曝光时间之间的非曝光时间；并在所述非曝光时间期间允许成像光学器件的调节。

这些目的还通过如权利要求32、33、34、36、37、38的特征部分所描述的用于确定非曝光时间的方法、模块和计算机程序产品实现。

本发明的第一示例也称为光学器件调节的定时解决方案。在此例子中，通过自动焦点检测值来确定适当的定时。定时描述了需要如何调节自动调焦和/或缩放光学器件。

由于本发明的第一示例定义了可以对调焦或缩放光学器件进行调节的精确时间点，因此可以避免图像伪影。如果对于给定情况的帧消隐时间较小，则本发明除了消隐时间之外提供用于光学器件控制的更多时间。

所述第一示例还最小化控制环路中的延迟并改进实时性能，这是因为其确保了在下一帧之前已经完成了针对前面帧的自动调焦统计计算并已经迅速地应用了光学器件调节。

用于自动调焦/缩放硬件的置位时间(settling time)，也即在开始移动光学器件后最终固定其位置所需的总时间，可以与消隐时间处于同一范围。因此，能够在对感兴趣的像素曝光之前提供足够长的置位时间是很重要的。长的置位时间允许自动调焦/缩放致动器控制器中的较小启动电流，这是一个优点，特别是对于只有容量有限的电池可用的便携式应用。在可以将整个非曝光时间用于光学器件调节时，致动器无需非常快，这意味着可以将较少的功率用于光学器件调节。

本发明的第二示例是根据一个帧中的多个光学器件位置来检测自动调焦。这可以通过在检测区域像素没有曝光时、但仍然位于整个图像帧曝光期间的光学器件调节来实现。检测区域是用于焦点检测的图像中的感兴趣区域。

该第二示例支持通过较短的时间找到焦点。此外，因为并不总是需要连续调焦，因此可以实现较低的功耗。该示例还改善了可用性。

本发明的第三示例是控制消隐周期或曝光时间和镜头移动时间。

该示例提供没有受损的视频和取景器图像，还可以在所述光线和控制条件下以最大重复频率提供所述图像。然而，如果不期望最大图像频率，则不论是否对光学器件进行调节(很多，很少，全部)，固定的图像频率都支持光学器件调节以及保证最大曝光时间。类似地，如果曝光时间较短，则在较慢地调节光学器件时，可以加速缩放或者减小时间峰值效应。第三示例还支持灵活的自动夜间/白天模式，由此图像频率可以根据曝光时间而减慢，但是不多于曝光时间。

附图说明

附图包含在说明书中并构成其一部分，其示出了涉及本发明的示例，这些示例与描述一起阐明了本发明的目的、优点和原理。在附图中：

图1示出了图像序列的示例；

图2示出了用于光学器件调节的定时解决方案的示例；

图3示出了包括自动调焦窗口的图像帧的示例；

图4示出了自动调焦系统的示例；

图5示出了在帧周期期间的一个光学器件位置以及调节的示例；

图6示出了在一个帧内测量N个光学器件位置的示例；

图7示出了作为光学器件位置的函数的焦点测量的示例；

图8示出了在一个帧期间的完全焦点扫描的示例；

图9示出了通过全域快门的焦点扫描的示例；

图10示出了静态消隐周期解决方案的示例；

图11示出了动态消隐周期解决方案的示例；以及

图12示出了根据本发明的设备的示例。

具体实施方式

本发明涉及具有可调节光学器件的成像系统。成像系统可以是数字静态图像相机、数字视频相机、能够静态成像或视频成像或两者均可的移动终端、或者能够成像的任何其他电子设备。成像系统包括可移动的可调节光学器件(例如，自动调焦镜头或光学缩放镜头)和传感器(例如，CCD传感器或CMOS传感器)。系统还包括与图像传感器相关的图像处理装置，其可以位于相机模块、单独的处理电路、移动设备的应用引擎或者上述的结合中。处理操作至少包括形成图像、用于图像的改进功能以及实时控制，例如光照(EC)、白平衡(WB)和锐度(F)。实时处理可以自动实现，从而无需来自用户的动作。成像系统还包括或连接到输入设备，通过其可以控制相机的操作。这些操作例如可以是缩放控制、对象选择、模式选择以及激活图像捕获或视频成像的启动器。在下面的描述中提到镜头时，表示包括例如传统镜头或液体镜头或类似物的光学器件。因此，当描述中使用“镜头移动”或“镜头的移动”时，技术人员将意识到，移动是传统镜头的实际操作，但是在使用例如液体镜头时，移动是一些其他调节操作，通过这些调节操作可以将光投影到图像传感器上，并且可以描绘图像的轮廓。

此外，如本发明背景所述，成像系统还包括快门装置，例如全域快门或者卷帘快门。在下面的描述中使用特定的术语，意在出于清晰的目的而使用该术语。这些术语并非意在不必要地限定或限制本发明的范围，而是意在形成对特征或本发明的更好的概念。

图1示出了包括至少两个帧F1、F2的“图像序列”的示例。帧之一是测量图像F1，另一个是最终图像F2。最终图像是被存储的图像，并且测量图像可以用于测量例如焦点或曝光时间。可将测量区域M1定义为测量图像F2并将其用于测量。最终图像可以是从传感器获得的原始图像。因此，可以在实际存储之前对这样的最终图像执行数字图像处理或其他算法。一个图像帧内可以有若干个测量图像。测量图像通常小于最终图像，并且其不被存储。然而，当图像序列是视频图像序列时，测量图像通常也是所谓的最终图像，并且将被存储。

“消隐时间”与传感器由于帧/行或像素重置或任何其他传感器架构所引起的原因或由于用户定义的控制而无法记录有意义的图像数据的时间段有关。“消隐时间”不一定对应于图像没有曝光的时间，而是对应于像素没有从传感器转发的时间。在图1中示出了两个帧F1、F2之间的消隐时间。在卷帘快门中，光被连续接收，但是在实际读取之前，在曝光时间量之前重置像素和行。传感器中的像素没有曝光的时间位于垂直消隐周期之内。而且，传感器可以在每个消隐周期期间曝光(例如，在行消隐期间至少其后的行被曝光)。消隐时间可以发生在图像帧之间、行之间和像素之间。

图1中所示的两个图像都具有其自己的曝光时间。最终图像F2的曝光时间部分地覆盖消隐时间。然而，测量图像F1的曝光行为可以与最终图像F2完全不同。测量图像F1的曝光在读出测量区域M1之前开始。在图1中需要注意的是，最终图像F2的曝光不会持续到最终图像F2之后的消隐时间。

帧F1、F2之间的“非曝光时间”定义了从消隐时间开始至少没有对接下来的像素、行或图像进行曝光并且镜头可以移动的时间有多长。在图1中，非曝光时间从测量图像F1的曝光结束时开始。非曝光时间可以根据镜头移动所需的时间而扩展。在视频情况下，非曝光时间不能像取景器或测量图像一样扩展得那么多。

非曝光时间的扩展可以通过增加通道率来实现，这导致了较快的图像读出。在这样的实现中，因为图像被较快地读取，因此就有更长的时间用于消隐，该时间可以用于镜头移动。应当注意，现有技术的教导反对通道速率增量。这是因为成本，以及因为该增量将导致EMC噪声。但是通过较小的过程和差分串行接口，这类增加变成了可能。

在取景器图像的情况下，调焦和测量以较小的图像为目标，因此对图像进行子采样、像素组合或按比例缩小，由此提供较小尺寸的图像。较小的图像还可以被较快地读取，由此将有更多的时间留给非曝光。在静态图像的情况下，测量图像小于实际最终图像，因此存在为非曝光自动保留的时间。

基本方法包括用于获取图像序列的步骤，所述图像序列由一系列图像帧或一系列图像段形成，例如行。至少部分图像序列用于控制镜头。在图像序列中的图像之间、行之间或像素之间定义消隐时间。此外，定义非曝光时间。镜头最终在非曝光时间期间移动，该非曝光时间可以部分地包括消隐时间。本解决方案的目的是不在曝光时进行镜头移动(自动调焦、缩放)。因此，定义其间没有进行曝光的镜头移动时间周期，也即非曝光时间。基本上可以将非曝光时间定义为连续图像及其曝光之间的时间间隔。

成像系统包括在非曝光时间期间支持操作的装置。这些操作包括例如定义曝光时间和定义从图像中获取信息的位置。此外，在该时间期间，系统需要获知像素单元的操作以及较早完成的操作。此外，所述装置还被布置为了解对每个操作的所有延迟，例如，不同的镜头移动量造成多少延迟。此外，所述装置能够了解焦点是否出错。

以下描述公开了本发明的不同示例。

1)镜头移动的定时解决方案

图2示出了用于获得镜头移动的适当定时的解决方案。像素数据从传感器100曝光和传送(1)。处理器110接收作为测量图像的图像数据，并且包括例如进行自动焦点检测的自动调焦逻辑112。检测块112计算自动调焦统计，或者统计数据已经在成像传感器中计算并被传送给控制CPU 113(例如，通过I2C或在图像帧内)。在计算之后，将自动调焦统计通知(3)控制CPU 113。控制CPU 113读取(4)自动调焦统计，并且做出所需非曝光时间是什么的必要结论，也即需要如何改变自动调焦和/或缩放镜头。在确定需要进行镜头移动时，控制CPU 113还可以使用从用户接口接收到的信息。在此示例中，可以使用从传感器100接收图像数据的接收器逻辑111中的行计数器。在计算自动调焦统计之后，控制CPU 113读取(5)接收器111中的行计数器寄存器，并且通过了解图像传感器中的像素数目、传送时钟频率以及缩放硬件中可能的延迟，可以确定是否能够移动镜头。在一个例子中，以每秒20帧(f/s)的速率从1600×1200传感器处接收图像帧。如果每帧有50个消隐行，则传送时间是每行40微秒。如果在接收到第1020行时已经做出了镜头调节的决定，则到图像结束还剩下180行(1200-1020)，并且需要7.2毫秒来完成该图像传送。这意味着如果缩放硬件中的延迟是1毫秒，由此延迟需要25行的时间(1000μs/40μs)，则在给出(6、7)对缩放硬件(114、115)的命令之前需要等待，直到接收到第1175行(1200-25)，使得缩放光学器件仅在当前图像完成之后开始移动。

用于镜头驱动器114的命令(6)没有给出，直到可以确保镜头的移动不会干扰当前图像曝光。控制CPU 113还控制曝光值和消隐周期，从而使镜头移动将不会损害接下来的图像帧。当不需要当前或接下来的图像帧时，控制CPU 113例如在尝试单拍调焦以尽可能快地进行时，会注意使接下来的镜头检测区域不受镜头移动的损害。如果使用全域快门，则需要知道全域快门的定时，以便尽可能快地开始镜头移动。

图3示出了测量图像帧内部的自动调焦位置。可以将自动调焦位置视为测量区域，并且通过传感器阵列100中的参考数字101-108来表示它们。下面的表1示出了使用三行曝光的涉及(CMOS)传感器中前5行的一个曝光示例(通过卷帘快门)。

行1：重置	列1：曝光	列1：曝光	列1：读出
				行2：-	行2：重置	行2：曝光	行2：曝光
行3：-	行3：-	行3：重置	行3：曝光
				行4：-	行4：-	行4：-	行4：重置
行5：-	行5：-	行5：-	行5：-
步骤1：第一行重置	步骤2：整合开始	步骤3：整合继续	步骤4：第一行输出
				行1：-	行1：-	行1：-	行1：-
行2：读出	行2：-	行2：-	行2：-

行3：曝光	行3：读出	行3：-	行3：-
				行4：曝光	行4：曝光	行4：读出	行4：-
行5：重置	行5：曝光	行5：曝光	行5：读出
步骤5：第二行输出	步骤6：第三行输出	步骤7：第四行输出	步骤8：图像完成

表1：定时解决方案的曝光示例

为了描述当前的例子，考虑表格的步骤4。在步骤4中，读取第一行(行1)，随后曝光两列(列2、列3)，并且重置第四行(行4)。在此之后，后续步骤继续，直到在步骤8中读取了第五行(行5)。之前的步骤1-3初始化曝光操作并且这通常发生在垂直消隐周期期间。如果跟踪步骤1-步骤4中行1的动作，可以看到，所考虑的行首先被重置，继而在两行期间曝光，最后被读取。另一方面，如果跟踪重置，可以看到，重置从步骤1中的行1开始向前移动一行，直到位于步骤5中的行5中。在此示例中，没有示出后续的行或消隐时间，并且假设消隐时间大于曝光时间，由此，无需为接下来的图像而重置行1，直到已经读取了当前图像的最后行。

在此示例中，在接收器逻辑111的上下文中描述了行计数器，用于评估成像传感器的状态。此外，行计数器还可以用于时间测量的目的。此示例在曝光时间非常短以及镜头移动非常快的情形中同样工作。短曝光时间意味着其比垂直消隐周期要短，由此在消隐时间内存在用于镜头移动的时间。通常，短曝光时间可以小于例如50/(20*(1200+50))s＝1/500s＝2ms，其中，50是消隐行的数量(在此示例中等于最大曝光时间)，20是每秒读取的帧的数量(2Mpix图像包括1200行)。因此，如果曝光时间比这短，则消隐周期内有足够的时间用于镜头移动，因为否则下一图像的第一行将在读取当前图像的最后一行之前曝光。还应当注意，如果消隐行的数量例如加倍，而消隐时间却不是完全加倍，这是因为(100/(20*(1200+100))s＝1/260s≈3.85ms。并且还应当注意，同时应当加速对传感器像素的读取，因为否则将不可能从传感器每秒获取20帧。通常，为了使卷帘快门所造成的图像扭曲可以容忍，需要至少15帧每秒。还可以尽可能地增加静态消隐时间，因为这样实际的图像读取将发生在较短时间内，并且图像扭曲将因此减小。此外，可以给予曝光和镜头移动更多的时间。还可以维持消隐时间较小以及捕获加倍的来自传感器的帧的数量，但是在实践中，镜头移动将影响成像，并且最大曝光时间也将减小。在其他情况下，应当使用稍后描述的示例(3.使用消隐时间的镜头移动和图像曝光)，其中静态地(3.1)或动态地(3.2)增加消隐时间。

表1给出了具有例如1200个可见图像行和例如50个消隐行的传感器的前五行的示例。在步骤4中开始第一行的读取，步骤1-步骤3将在消隐时间期间发生。曝光时间在三行期间，并且通过将曝光时间与传感器具有1200行和50消隐行、并且行读取在40μs内发生的示例相联系，将得到120μs的曝光时间。因此，将留给镜头移动47行(等于非曝光时间)，这意味着47*40＝1.88ms。在此示例中，用于该传感器的总的消隐时间是50*40μs＝2ms。

2)快速焦点检测解决方案

图4示出了自动调焦系统的示例。该自动调焦系统至少包括传感器300、焦点检测模块312、自动调焦控制模块314、光学器件驱动器315以及光学器件316。基本方法是移动镜头通过其范围并记录对比度值，继而将镜头移动到最佳对比度的位置。本发明的当前示例使得可以比使用相关领域的实现更快地找到焦点。本发明的思想是根据一个或多个帧中的一个或多个镜头位置来测量焦点，由此使焦点搜索更短。通过以下方法来描述该示例。在该方法中，镜头的位置无需具有固定的增量，而是由自动调焦控制负责选择新的镜头位置以用于测量。

2.1测量一个帧内的一个镜头位置

图5示出了在一个帧读取时间T_f内测量一个镜头位置的示例。从图像帧中的测量区域M检测对比度。通过收集来自测量区域M的子区域的高频(和/或带通)内容来获得镜头位置的测量值。还可以在评估阶段仅使用所测量子区域的集合。在测量区域M的最后行的读出与下一帧N+1(图5中未示出)中测量区域M的第一行的曝光之间的镜头移动时间T_Lens期间，镜头在位置P_n和P_n+1之间移动。如果镜头移动到这些时间窗口外部，则测量区域中的行将得到混合数据，并且测量区域不再对应于仅仅一个镜头位置。位置P_n+1在接下来的帧N+1中测量。

为镜头移动而分配的时间，也即非曝光时间是：

$T_{\mathrm{lens}}=T_{\mathrm{frame}}-\frac{\mathrm{M\; lines}}{\mathrm{total\; lines}}{T}_{\mathrm{frame}}-T_{\exp },$

其中T_exp代表曝光时间。

2.2测量一个帧内的N个镜头位置

在图6中，在一个已曝光的帧中测量两个镜头位置。从图像帧I的区域M1和M2中检测对比度。通过收集来自子区域的高频(和/或带通)内容来获得测量值。还可以在评估阶段仅使用所测量子区域的集合。区域M1中第一行的曝光开始于行的读取L_read。这意味着区域M1中的第一行在行读出L_read期间开始曝光。在图像帧N中的区域M1的最后行的读出与区域M2的第一行的曝光开始之间的时间T_LensM1-M2期间，镜头在位置P_n和P_n+1之间移动。在图像帧N中的区域M2的最后行读出与接下来的帧N+1中的区域M1的第一行的曝光开始之间的时间T_LensM2-M1(未在图像中示出)期间，镜头在位置P_n+1和P_n+2之间移动。如果镜头移动到这些时间窗口之外，则测量区域中的行将得到混合数据，并且测量区域不对应于仅仅一个镜头位置。位置P_n+2和P_n+3在接下来的帧中测量。曝光时间T_exp通常在一帧中是恒定的，但是本领域的技术人员将意识到，曝光时间也可以在一帧中变化。

$T_{\mathrm{lensM}1-M2}=\frac{({M2}_{\mathrm{start}}-{M1}_{\mathrm{end}})\mathrm{lines}}{\mathrm{total\; lines}}{T}_{\mathrm{frame}}-T_{\exp }$

$T_{\mathrm{lensM}2-M1}=T_{\mathrm{frame}}-\frac{({M2}_{\mathrm{end}}-{M1}_{\mathrm{start}})\mathrm{lines}}{\mathrm{total\; lines}}{T}_{\mathrm{frame}}-T_{\exp }$

图7示出了扫描镜头移动范围之后的结果。图7与图6相关，其示出了涉及两个独立测量区域的曲线，其中一个区域具有比另一个区域更多的信息。可以通过合成曲线来估算峰值焦点位置。

曝光时间T_exp用来限定在一帧中可以进行多少测量。在评估焦点的决定时，还可以使用镜头特征值，例如MTF/PSF(调制传送函数/点扩散函数)。

示例2.2描述了两个测量区域，但是本领域的技术人员将会意识到，数量不限于两个。类似地，在所述示例中镜头位置是连续的，但是位置可以不同。镜头位置之间的距离不必总是相同的。区域的大小和位置可以根据曝光时间和镜头移动所需的时间而变化。

2.3一帧(或两帧)内的连续时刻

该示例(参见图8)类似于示例2.1，但是在此示例中，镜头停止在特定的镜头位置。区域M的子区域包含来自总的镜头移动范围的子区间的数据。对焦点值的解释必须将其考虑在内。而且在这些计算中需要将曝光时间考虑在内。当图像是拍摄例如文档或名片的平面对象时，当前示例是有益的。

在此示例中，镜头可以按照固定的速度移动，但是其也可以按照变化的速度和轨道(例如帧期间内范围的若干个来回)移动。在其他实现中，镜头可以在第一帧之间从最小移动到最大，并且镜头可以在第二帧之间从最大移动回最小。以此，可以创建两条曲线，并且因此可以降低图像不同部分中不同对比度区域的影响。在评估焦点决定时还可以使用镜头特征值(例如，MTF/PSF)。

2.4利用全域快门的快速调焦

如所述的，全域快门通常与CCD传感器结合使用。然而，CMOS传感器也可以包含全域重置和全域快门。图9示出了将经过裁剪的图像810用于自动调焦测量并且可以将完整图像800用作取景器图像的示例。第一时序图801包含常规操作模式，其中帧率和调焦速度通常受到ADC(模数转换)速度的限制。当然，如果曝光时间非常长，曝光时间也可能是限制因素。第二时序图802示出了系统，其中调焦速度被最大化，但是根本没有捕获取景器图像。在这种情况下，调焦速度受到镜头移动、重置以及曝光时间的限制。第三时序图803示出了可以实现快速调焦但是仍然能够通过合理的帧率来显示预览图像的示例。在裁剪完成时，可以忽略裁剪窗口之外的所有电荷并且不对其进行AD转换。

快速焦点检测解决方案对于找到焦点所需的时间具有显著的优点。例如，如果“X”对应于所需测量的数量，则通过示例2.1可以将时间缩短到X帧(通过限制曝光时间)；通过示例2.2，可以将时间缩短到X/N；通过示例2.3，可以将时间缩短一帧；并且通过示例2.4，可以通过增加测量的帧率来缩短时间。示例2.3还降低了功耗，这是因为无需连续调焦。

3)使用消隐时间的镜头移动和图像曝光

此示例描述了一种方法，其中对消隐周期进行控制(动态地改变消隐周期)，或对曝光和镜头移动时间进行控制(静态消隐周期)。当使用动态改变消隐周期时，可以在已知的曝光和镜头移动时间内实现最大图像帧率，而不会损坏图像信息。其还支持在具有或甚至没有镜头移动的情况下，在最大图像帧率中使用动态夜间和白天光线场景改变。在使用动态改变消隐周期时，帧率不是恒定的。然而，静态消隐周期支持恒定的帧率。

两种消隐时间情境都可以与卷帘快门和全域快门结合使用。在使用全域快门时，应当注意，在快门关闭之后，尽管整个图像还没有从传感器传送，但可以立刻开始镜头移动。两种消隐解决方案都可以在不改变成像传感器中系统时钟的情况下实现，记住这点也很重要。这是一个很大的益处，因为在这种情况下，无需在建立锁相环路(PLL)时跳过图像帧或传输质量不好的图像帧。

3.1静态消隐周期

在本示例的一个实现中(图10)，通过基于总线所使用的速率的最大消隐时间的方式来实现期望的图像频率，此后以这样的方式将曝光时间限制为其最大值，其支持在根据镜头移动方式而定义的消隐时间限制下的镜头移动。可以通过这样的方式来限制曝光时间：通过模拟或数字增益来替换经过缩短的曝光时间。参考符号96a、96b代表完全可见的图像帧的非曝光时间，而符号97a、97b代表AF统计块的非曝光时间。在图10中示出了帧消隐92a、92b、92c，行消隐91a、91b，嵌入/辅助数据94a、94b、94c、94d。符号98指示行的读取，而符号95指示曝光时间，符号99指示可见数据。

在此系统中，通过将行的总数设置为常量来保证图像频率维持恒等。然而，在总线速率的限制下以及读取速率的限制下，在除了提高增益并由此减小动态区域之外，不通过任何其他方式损坏图像的情况下，仍然存在用于受限曝光的足够时间以及镜头移动所需的足够的有限时间。

在使用静态消隐周期时，对曝光和镜头移动时间加以限制，从而使得可以在图像中没有任何伪影的情况下捕获图像。这意味着消隐时间必须尽可能长，这是由所需帧率内的接口支持的。此外，如果需要长曝光或长镜头移动时间，则必须对另一个或两者进行限制。这意味着必须通过使用例如模拟增益来补偿曝光时间，并且缩放的速度降低了。

3.2动态消隐周期

在用于卷帘快门的本示例的另一实现中，将这样的帧消隐时间102a、102b、102c用于每个图像，这是镜头移动和对下一图像的前面行进行曝光所需的，帧消隐时间的量由曝光时间105a、105b限定。因此，帧消隐时间102a、102b、102c将根据图像而变化，并且其需要大于相应的曝光时间105a、105b，以便具有用于完整图像的足够非曝光时间。该示例在图11中示出。

可以在前一图像(帧N-1)的最后可见行曝光之后立刻开始镜头移动。因而可以在知道镜头应该向哪一个方向移动(缩放控制或自动调焦控制)并且从最后可见像素(行)的曝光起保留了启动镜头移动所需的延迟时，开始对镜头移动的控制。此外，在镜头刚刚达到其位置之后，可以通过重置考虑中的行的像素来开始第一像素(行)的曝光。只要知道所进行的是什么操作-缩放或自动调焦控制-以及镜头移动的量和方向是什么，则在当前图像(帧N)曝光之前，针对接下来的图像(帧N+1)而进行的镜头移动及其所需的时间(106a、107a、106b、107b)就已经是已知的。在取景器图像的情况中，只有调焦是重要的，因此镜头移动的时间(107a、107b)不同于针对静态或视频图像的镜头移动时间(106a、106b)。缩放控制由用户引起，因此在连续自动调焦中必须有足够的滞后，以便不要以大频率连续地来回移动镜头。此外，下一图像(帧N+1)的曝光(105b)已经已知，因此很容易计算当前图像(帧N)帧消隐区域(102b)中所需的消隐行的数量。

在此示例中，传感器的读取速率没有改变，因此无需影响传感器的系统时钟，而仅影响图像中待传送的可见行和消隐行的数量。行消隐区域(101a、101b)中的消隐像素是这样像素：其没有被包括在所显示的图像也即可见图像109a、109b中。还可以有其他不可见图像区域，例如垂直消隐、辅助/嵌入数据、伪像素、暗像素、黑像素和制造商特定的数据。可见行数量的改变对应于通常在在对图像进行数字缩放时进行的图像裁剪。

应当注意，图11示出了通过插入消隐行来改变帧消隐，但至少对于SMIA(标准移动成像架构)规范的传感器，还可以通过将像素插入行的结束(101a、101b)来改变行消隐。SMIA传感器的本意是在不改变系统时钟的情况下控制恒定图像频率。类似地，这些传感器被设计为实现长曝光时间而不需要超过图像限制的图像的读取速率或连续曝光。通过使用此示例的控制结构，可以尽可能地实现大图像速率。此外，图像中的任何阶段都没有显示镜头移动。因此，此系统提供尽可能大的图像频率，而没有损坏图像，并且按照可以在希望时移动镜头的方式来曝光图像，从而具有期望的曝光时间。还应当注意，可以动态地增加消隐区域，甚至稍微多于绝对所需的，以获得更适合的取景器帧更新。例如，添加消隐行，从而使从当前帧开始到下一帧开始是例如1、2、...、n/60秒。

3.3概括

图10和图11分别示出了静态消隐周期解决方案和动态消隐周期解决方案。在图10和图11中都描述了用于镜头移动的时间、曝光时间和调焦数据区域。图10和图11最大的区别在于，在图10中消隐周期是相等的，并且用于镜头移动的时间(96a、97a、96b、97b)根据所需的曝光时间(95a、95b)而变化(或反之亦然)。在图11中，用于镜头移动的时间(106a、107a、106b、107b)和用于曝光的时间(105a、105b)是已知的，并且消隐周期根据它们而变化。

上述过程(3.1、3.2)也可以通过以下方式与全域快门结合工作。全域快门关闭图像曝光，此后可以开始镜头移动。开始镜头移动，而不论从存储器读取考虑中的图像还要持续多久。类似地，在镜头移动到正确位置并且已经从传感器读出之前的可见图像并且全域快门在所述读出之后已经打开之后，将立刻开始对像素的全域重置(或者打开全域快门)并由此曝光新图像。应当注意，在这种情况下，非曝光时间是在关闭快门之后读取传感器的时间以及在重置(通常是全域重置)下一图像的第一个所使用行之前的消隐时间。在非曝光时间期间，传感器不会将光接收到在最终图像中可见的像素或是在测量中使用的像素(或者丢弃光)。

还应当注意，不论是否使用以最大图像频率为目标的过程(3.2)，能够用于镜头移动的时间越长，则曝光时间越短。由此，光学缩放/自动调焦镜头或者移动得更快，或者在相同路径上具有小于其通常所需的时间量。

在一些情况下，不希望阻止取景器图像的时间损坏，因为不会存储这样的图像作进一步使用。因此，通过还在不属于调焦控制的像素/像素行曝光期间的镜头移动，可以针对两个过程(3.1、3.2)实现尽可能的快速自动调焦以及长曝光时间。该移动在取景器图像中是可见的，但是在最终和所存储的静态图像中不可见。而且，对于视频图像而言，尽可能快地实现第一自动调焦控制是更好的，因此，图像可以是受损的，只要没有损坏用于统计的区域。

还应当注意，基本上不需要控制镜头，因此曝光时间可以是根据其受限值在其读取速率上可控的几乎每个时间。因此，在以最大图像频率为目标的实现中(3.2)，经常可以将消隐时间设置为零(或传感器限制)。此外，所述以最大图像频率为目标的实现也可以很好地用于夜间/白天模式的自动控制(具有或没有镜头移动)，由此消隐时间依赖于光照条件而增加，但是取景器图像没有比所需的减慢得太多。

通过上面的实现，得到了没有受损的图像，并且如果希望，可以得到在考虑中的光照和控制条件下具有最大图像频率的图像。此外，如果不以最大图像频率为目标，可以提供具有固定图像频率的镜头移动，并根据镜头移动的方式保证最大曝光项。类似地，如果曝光时间较短，则可以在镜头移动较慢时加速缩放或减小时间峰值效应。

实现

上述示例可以在作为电子设备一部分的成像系统的控制CPU上实现，所述电子设备例如移动设备、数码相机、web相机或类似设备。为了具有更快和更准确的定时，在成像传感器中或在接收器块中可能需要专用的硬件实现。图12示出了电子设备的可能配置。图12中的设备1200包括通信装置1220，其具有或连接至发射器1221和接收器1222。还可以具有其他通信装置1280，其同样具有发射器1281和接收器1282。第一通信装置1220可以适用于电信，并且其他通信装置1280可以是近程通信装置类型，例如蓝牙^TM系统、WLAN系统(无线局域网)或适合本地使用并用于与其他设备通信的其他系统。根据图12中示例的设备1200还包括显示器1240，用于显示可视信息和成像数据。此外，设备1200还可以包括交互装置，例如用于输入数据等的小键盘1250。除了小键盘1250之外或替代地，设备可以包括触笔，不论显示器是否是触摸屏显示器。设备1200包括音频装置1260，例如耳机1261和麦克风1262以及可选地用于编码(以及解码，如果需要的话)音频信息的编解码器。设备1200包括或连接至成像系统1210。设备1200可以包含控制单元1230，以用于控制设备1200中的功能和运行应用。控制单元1230可以包括一个或多个处理器(CPU、DSP)。此外，设备包括存储器1270以用于存储例如数据、应用和计算机程序代码。本领域的技术人员将意识到，成像系统还可以包含适当地增强系统效率的任意数目的能力和功能。

提供上述详细描述仅仅是为了理解的清晰，没有必要将从此阅读得到的限制加到所附权利要求中。

Claims (38)

1.一种成像方法，至少包括以下步骤：

获取包括至少两个图像的图像序列，所述图像中的至少一个用作测量图像，并且至少另一个用作最终图像；

确定测量图像曝光时间和最终图像曝光时间；

确定所述测量图像曝光时间和所述最终图像曝光时间之间的非曝光时间；以及

在所述非曝光时间期间允许调节成像光学器件。

2.根据权利要求1所述的成像方法，其中，将所述图像序列中较小的图像用作所述测量图像，将较大的图像用作所述最终图像。

3.根据权利要求1所述的成像方法，其中，在视频图像或取景器图像的情况下，将所述测量图像用作最终图像。

4.根据权利要求1所述的成像方法，其中，至少存储所述最终图像。

5.根据权利要求1所述的成像方法，其中，通过以下方式之一或其组合对所述非曝光时间进行扩展：控制所述测量图像尺寸的大小，对所述测量图像进行子采样，改变用于读取所述图像序列的通道速率，控制所述测量图像曝光时间或所述最终图像曝光时间或两者。

6.根据权利要求1所述的方法，其中，所述测量图像是以下之一：测量图像帧，图像帧中的测量区域。

7.根据权利要求1所述的方法，其中，根据所述测量图像计算自动调焦统计。

8.根据权利要求7所述的方法，其中，所述非曝光时间由所述自动调焦统计以及包括图像传感器中的像素数量、传送时钟频率、缩放硬件中可能的延迟的信息来确定。

9.根据权利要求1所述的方法，其中，至少一个测量区域至少定义在所述测量图像中，由此，在所述至少一个测量区域中根据至少一个镜头位置来测量自动调焦。

10.根据权利要求9所述的方法，其中，通过收集来自所述至少一个测量区域的子区域的高频内容或带通频率内容来获得焦点测量值。

11.根据权利要求10所述的方法，其中，在第一测量区域的最后行的读出与同一图像中第二测量区域的第一行的曝光开始之间调节所述光学器件；在第一图像中的第一测量区域的曝光与第二图像中的第二测量区域的曝光之间调节所述光学器件；或者在成像过程中不断地调节所述光学器件。

12.根据权利要求1所述的方法，其中，在确定所述非曝光时间时使用消隐时间。

13.根据权利要求12所述的方法，其中，将最大消隐时间用于定义用于成像光学器件调节的所述非曝光时间。

14.根据权利要求12所述的方法，其中，根据曝光时间来控制所述消隐时间，以定义所述非曝光时间。

15.根据权利要求1所述的方法，所述图像序列包括静态图像、视频图像或取景器图像，或其组合。

16.一种确定用于成像光学器件调节的非曝光时间的方法，至少包括以下步骤：

获取包括至少一个测量图像和至少一个最终图像的图像序列；

根据所述测量图像计算自动调焦统计；

根据所述自动调焦统计确定非曝光时间，所述非曝光时间将用于所述最终图像。

17.一种确定用于成像光学器件调节的非曝光时间的方法，至少包括以下步骤：

获取包括至少一个测量图像和至少一个最终图像的图像序列；

至少在所述测量图像中定义至少一个测量区域；

根据所述测量区域中的至少一个镜头位置来测量自动调焦；

将所述非曝光时间定义为在所述测量区域的最后行的读出与下一测量区域第一行的曝光开始之间的时间。

18.根据权利要求17所述的方法，其中，在一个图像中的所述测量区域的最后行的读出与后续图像中的所述测量图像的第一行的曝光开始之间调节所述光学器件；在一个图像中的一个测量区域的曝光与同一图像中接下来的测量区域的曝光之间的时间期间调节所述光学器件；或者在成像期间不断地调节所述光学器件。

19.一种确定用于成像光学器件调节的非曝光时间的方法，至少包括以下步骤：

获取包括至少一个测量图像和至少一个最终图像的图像序列；

定义发生在所述图像序列中的至少一个消隐时间；

通过控制在所述消隐时间内的所述成像光学器件调节或者通过控制所述消隐时间来定义所述非曝光时间。

20.一种成像设备，包括可调节成像光学器件；至少一个图像传感器，用于收集将作为图像序列提供给处理器的光线，所述图像序列包括至少两个图像，所述图像中的至少一个是测量图像，并且至少另一个是最终图像；用于控制图像曝光的控制装置，其中，所述成像设备能够：

确定测量图像曝光时间和最终图像曝光时间；

确定所述测量图像曝光时间和所述最终图像曝光时间之间的非曝光时间；以及

在所述非曝光时间期间允许调节所述成像光学器件。

21.根据权利要求20所述的设备，还能够将所述图像序列中较小的图像用作所述测量图像，并且将较大的图像用作所述最终图像。

22.根据权利要求20所述的设备，其中，在视频图像或取景器图像的情况下，所述测量图像是最终图像。

23.根据权利要求20所述的设备，还能够存储所述最终图像。

24.根据权利要求20所述的设备，还能够根据所述测量图像计算自动调焦统计。

25.根据权利要求24所述的设备，还能够通过所述自动调焦统计以及通过包括图像传感器中的像素数量、传输时钟频率、缩放硬件中可能的延迟的信息来确定所述非曝光时间。

26.根据权利要求20所述的设备，还能够至少在所述测量图像中定义至少一个测量区域，并且能够在所述至少一个测量区域中根据至少一个镜头位置来测量自动调焦。

27.根据权利要求20所述的设备，还能够将最大消隐时间用于定义所述非曝光时间。

28.根据权利要求20所述的设备，还能够根据曝光时间来控制消隐时间，以定义所述非曝光时间。

29.根据权利要求20所述的设备，其中，所述图像序列包括静态图像、视频图像或取景器图像，或者其组合。

30.根据权利要求20所述的设备，其中，所述快门装置是卷帘快门或者全域快门。

31.一种用于确定非曝光时间的成像模块，能够实现根据权利要求1-15中至少一项所述的方法。

32.一种用于确定非曝光时间的成像模块，能够：

获取包括至少一个测量图像和至少一个最终图像的图像序列；

根据所述测量图像来计算自动调焦统计；

根据所述自动调焦统计确定非曝光时间，所述非曝光时间将用于所述最终图像。

33.一种用于确定非曝光时间的成像模块，能够：

获取包括至少一个测量图像和至少一个最终图像的图像序列；

至少在所述测量图像中定义至少一个测量区域；

根据所述测量区域中的至少一个镜头位置来测量自动调焦；

将所述非曝光时间定义为在所述测量区域的最后行的读出与下一测量区域第一行的曝光开始之间的时间。

34.一种用于确定非曝光时间的成像模块，能够：

获取包括至少一个测量图像和至少一个最终图像的图像序列；

定义发生在所述图像序列中的至少一个消隐时间；

通过控制在所述消隐时间内的所述成像光学器件调节或者通过控制所述消隐时间来定义所述非曝光时间。

35.一种用于成像的计算机程序产品，包括存储在可读介质上的代码装置，当在计算机上运行时，其适于实现根据权利要求1-15中至少一项所述的方法。

36.一种用于成像的计算机程序产品，包括存储在可读介质上的代码装置，当在计算机上运行时，其适于实现根据权利要求16所述的方法。

37.一种用于成像的计算机程序产品，包括存储在可读介质上的代码装置，当在计算机上运行时，其适于实现根据权利要求17-18中至少一项所述的方法。

38.一种用于成像的计算机程序产品，包括存储在可读介质上的代码装置，当在计算机上运行时，其适于实现根据权利要求18所述的方法。

Images