CN101480042A - 自动聚焦静止和视频图像 - Google Patents

Abstract

一种用于操作用于在电子成像器上聚焦图像的自动聚焦系统的方法包括：提供可调透镜系统，其为场景光确定光路，并具有至少一个可移动透镜以将场景的图像聚焦到电子成像器上；以及使场景光的第一部分被遮掩，以便电子成像器捕获第一自动聚焦图像，并且使场景光的第二不同部分被遮掩，以便电子成像器捕获第二自动聚焦图像，其中第一和第二自动聚焦图像的部分是偏移的。该方法进一步包括将可移动透镜移至一位置，使得要捕获的将焦点对准。

Description

自动聚焦静止和视频图像

技术领域

本发明涉及自动聚焦系统，用于可用来捕获视频或突发捕获的图像序列以及静止图像的图像捕获装置。

背景技术

通常用来捕获静止图像和视频片段的静止图像序列的数码相机中的自动聚焦经常使用通过透镜的自动聚焦系统，该自动聚焦系统基于对例如5-20或更多个亚采样的自动聚焦图像的序列的对比度分析，上述亚采样的自动聚焦图像是用处于不同位置的可移动透镜拍摄的。随后，对自动聚焦图像进行对比度分析，并且将提供最高对比度图像的可移动透镜位置视为最佳聚焦条件。然后，在静止图像被捕获之前，可移动透镜返回提供最高对比度的位置或至少两个自动聚焦图像之间的内插位置。虽然该方法的确提供了精确的聚焦条件，由于必须捕获和分析大量自动聚焦图像，该方法比较慢。

在视频捕获的过程中，从组成视频片段的相同的静止图像或帧序列中提取自动聚焦图像。因此，每当场景改变时，自动聚焦的处理使得视频中产生5-20或更多个焦点未对准的帧。因此，在场景连续改变的情况下随着相机摇摄移动的视频捕获过程中，视频片段的大部分实际上是失焦的。理想地，在捕获视频以及静止图像时自动聚焦系统要更快，在视频捕获的情况下，每一帧都要被聚焦以减少失焦帧的数量。这对于使得来自视频片段中的图像能够被打印或以其它形式使用是特别重要的。

为了自动聚焦变快到足以实现30帧/秒的典型视频帧速率下的逐帧自动聚焦，整个自动聚焦系统中需要若干改进。第一，需要聚焦测量系统，其可提供可在1/30秒内或更快速地完成的聚焦质量的测量。为了同样在1/30秒内获得要求的聚焦质量，聚焦测量必须提供足够的信息以在距离和方向方面准确地引导可移动透镜的移动。第二，可移动透镜移动控制系统必须快速到足以在1/30秒内重定位可移动透镜。第三，由聚焦测量系统和可移动透镜移动控制系统组成的整个自动聚焦系统必须在捕获视频的时间长度上准确，所述时间长度通常是分钟级的，但也可能更长。

现有技术中有几种快速到足以满足1/30秒要求的聚焦测量系统：双透镜测距仪模块，分色滤色片系统，分孔径装置。为了提供逐帧自动聚焦，所有这些聚焦测量系统需要特别的改进以在视频环境中操作。

可从Fuji Electric(富士电机)买到双透镜测距仪模块的几种样式，例如FM6260W。在授予Haruki的US 4,606,630中描述了FujiElectric测距仪模块。双透镜测距仪模块包含两个分隔一定距离的透镜和两个匹配传感器区域，以使得匹配的低分辨率图像的对能够被捕获。然后对匹配的低分辨率图像的对进行两个图像之间的相关性分析，以确定由两个透镜之间的间隔所导致的两个图像之间的偏移。然后，通过三角测量将偏移信息与透镜间隔距离一起用于计算到场景的距离。计算的到场景的距离被用于引导可移动透镜的定位，以便于基于双透镜测距仪模块测量的到场景的距离和通过透镜自动聚焦系统产生的最佳聚焦图像序列之间建立的校准曲线来产生最佳的图像质量。Fuji FM6260W模块在高灵敏度模式下的响应时间被宣传为0.004秒，这完全在视频自动聚焦所要求的1/30秒之内。然而，双透镜测距仪模块的准确度通常受到例如温度或湿度变化的环境条件变化的影响。通常来说，这些双透镜测距仪模块不独立用于数码相机中的自动聚焦，而是用作基于通过透镜对比度的自动聚焦系统所附加的聚焦粗调。双透镜测距仪模块的问题在于，双透镜测距仪模块和可移动透镜位置之间的校正在数码相机的普通操作环境中不稳定。例如温度和湿度变化的环境条件可导致双透镜测距仪模块所产生的计算的到场景的距离的改变超过10％。另外，可移动透镜控制系统中可移动透镜的测量位置也易于随环境改变。

分色滤色片系统和分孔径装置都使用透镜系统中的分孔径，以便产生可为获得聚焦信息而解释的图像。分孔径至少产生两条光路，用于光通过透镜以在传感器处至少产生两个自动聚焦图像。通过在透镜系统的孔径处分开光路，上述至少两条光路中的每一条光路在图像传感器处从分孔径中产生没有阴影而光强减弱的完整图像。

在分色滤色片系统的情况下，分色滤色片在孔径位置处插入透镜的光路。分色滤色片被构造成使得滤色片区域被分为至少两个不同的区域，不同区域中的颜色不同。然后，同时捕获两个自动聚焦图像，其中第一自动聚焦图像重叠在第二自动聚焦图像上，但是由于第一和第二自动聚焦图像的颜色不同，在重叠后的图像中二者没有重叠的区域可对它们进行区分。在分孔径装置的情况下，在孔径的至少两个不同部分上按顺序部分地遮挡孔径，以产生至少两条光路。由于分孔径装置中的上述至少两条光路没有不同的颜色，分孔径装置要求对每个部分遮挡情况捕获自动聚焦图像，导致至少捕获两个自动聚焦图像。在这两种情况下，至少两条光路之间的差导致这些自动聚焦图像与图像中目标物体的散焦程度以及散焦方向成比例地横向移位。

在Keiichi JP 2001-174496中描述了用于自动聚焦的分色滤色片系统。在这种情况下，由孔径相对侧上的两种不同颜色构成的分色滤色片在传感器上产生两个不同颜色(通常为蓝色和红色)的重叠图像。存在于图像中的任何散焦在这两个图像之间产生偏移，该偏移随后在图像中目标物体的任一侧上显示为彩色边缘。聚焦透镜的移动根据离开聚焦的距离来减小或放大图像中的彩色边缘。当图像完全聚焦时，彩色边缘消失。焦点之内的散焦导致这些边缘在图像中目标物体的一侧上为一种颜色，而在另一侧上为另一种颜色。焦平面之外的散焦导致彩色边缘的颜色相反。因此，利用该方法，通过分色滤色片拍摄的一个图像提供自动聚焦图像，可对该其进行分析以确定散焦程度和散焦方向。Keiichi不将分色滤色片系统用于视频过程中的自动聚焦，而且Keiichi使用的分色滤色片固定在光路中，使得在视频图像捕获过程中由光路中的分色滤色片产生相当的光损耗。一般来说，光路中分色滤色片的加入向光学系统引入了光损耗，这易于降低自动聚焦系统的速度，并使得在低亮度条件下难以进行自动聚焦。

Kurahashi、Horikawa和Wolbarsht分别在JP 1997-184973、US4,631,394和US 4,201,456中描述了用于自动聚焦的分孔径装置。在这些公开中，交替地对孔径进行部分遮挡，从而产生多条光路。当对多条交替光路中的每一条捕获的自动聚焦图像互相比较时，这些图像与离开聚焦的距离成比例地横向偏移。在光学系统被聚焦的情况下，当交替地对孔径进行部分遮挡时，多个图像在互相比较时不横向偏移。对部分遮挡孔径的光路中的至少两条采集一组图像。该图像组的比较使得能够确定图像之间的横向偏移以及计算相关的离开聚焦的距离。因此，利用在孔径的至少两个不同的部分遮掩的情况下的一组图像，该至少两个图像之间的横向差异指出散焦程度和散焦方向。然而，Kurahashi、Horikawa和Wolbarsht没有将分孔径装置用于静止图像的快速自动聚焦或用于视频捕获过程中的自动聚焦。

因此，为了在视频捕获过程中使用自动聚焦系统以提供逐帧自动聚焦，需要对自动聚焦系统进行改进。

发明内容

本发明的目的之一是提供一种用于图像捕获的自动聚焦系统，其克服了上面指出的问题。通过操作用于在电子成像器上聚焦图像的自动聚焦系统的方法来实现该目的，所述方法包括：

a.提供可调透镜系统，其为场景光确定光路，并具有至少一个可移动透镜以将场景的图像聚焦到电子成像器上；

b.使场景光的第一部分被遮挡，以便电子成像器捕获第一自动聚焦图像，并且使场景光的第二不同部分被遮挡，以便电子成像器捕获第二自动聚焦图像，其中第一和第二自动聚焦图像的部分是偏移的；以及

c.将可移动透镜移动到一位置，使得要捕获的图像将焦点对准。

本发明提供一种用于图像捕获设备的自动聚焦的方法，其允许基于逐帧的自动聚焦。例如：如果视频捕获过程中视频帧的至少相当一部分是24帧/秒或更快(通常是30帧/秒)，本发明确保基本上所有的视频图像将焦点对准。该自动聚焦方案对于静止图像的捕获过程中的自动聚焦也是有用的。

随着数字捕获设备所捕获的视频图像的分辨率和图像质量的提高，对于消费者来说，单个的视频图像的打印质量将变得越来越重要。通过提高所有视频图像的聚焦质量，视频的整体质量将被提高，并且每个视频图像的打印质量也将被提高。因此，连续使用能够对视频图像或静止图像进行聚焦调节的自动聚焦系统，例如分孔径装置，将是重要的。

本发明的所有分孔径装置实施例共同具有以下优点。第一，由于取像透镜既用于自动聚焦图像捕获也用于视频图像捕获，不存在视差问题。第二，由于高质量取像透镜与全分辨率传感器一同用于捕获自动聚焦图像，有可能像在多点自动聚焦中那样在极高分辨率图像或图像的高分辨率部分上进行自动聚焦。第三，分孔径装置还可用于突发模式中多个图像的自动聚焦或单个静止图像的捕获过程中的自动聚焦。第四，所有分孔径装置实施例和用于图像捕获设备的快门一样操作。

附图说明

图1是示出主要元件的典型现有技术数字相机的示意图；

图2是用于现有技术静止图像捕获的自动聚焦系统的流程图；

图3是典型现有技术视频捕获的流程图；

图4是根据本发明的自动聚焦系统的示意性框图；用于在电子成像器上聚焦图像；

图5是图4的自动聚焦系统的一部分的透视图；

图6a、6b和6c示出下半孔径被遮挡时、上半孔径被遮挡时和孔径不被遮挡时图4的自动聚焦系统所捕获的图像；

图7a、7b和7c示出电光学分孔径装置的三种不同操作状态；

图8a和8b示出本发明的两个不同的实施例；

图9示出图4的自动聚焦系统的透镜散焦与图像偏移的关系曲线图；而

图10是供在视频图像捕获中用于补偿自动聚焦系统和场景中目标物体之间相对移动的自动聚焦系统的示意性框图。

具体实施方式

由于使用用于信号捕获和校正以及用于曝光控制的成像装置和相关电路的数码相机是熟知的，本说明书将特别涉及形成根据本发明的方法和设备的一部分的元件，或者与根据本发明的方法和设备更直接地配合的元件。文中没有特别示出或描述的元件是从领域中已知的元件中选择的。以软件提供将要描述的实施例的各特定方面。在以下材料中给出根据本发明示出和描述的系统的情况下，文中没有特别示出、描述或暗示的对于实施本发明有用的软件是常规的，并且在该领域的普通技术范围内。

具体相机配置的说明是本领域技术人员所熟悉的，并且明显存在多种改变和附加特性。所述自动聚焦系统包括可被拆卸和替换的透镜。应当理解的是，本发明适用于任何类型的数码相机，其中由可替代的元件提供相似的功能。还可使用例如移动电话和机动车的非相机设备来实施本发明。

示出主要系统元件的典型现有技术数码相机的示意图在图1中示出。

数码相机包括：可调透镜系统12，其具有至少一个将图像聚焦到电子成像器16上的可移动透镜14；按钮18，当操作员按下该按钮18时，启动对静止图像、突发情况下的短图像序列、或像在视频中那样的较长图像序列的捕获；以及孔径或光圈20，其用于控制通向电子成像器16的光量。数字信号处理器22能够分析数据以确定提供最佳聚焦质量的聚焦条件。数字信号处理器22还控制用于移动可移动透镜14的常规结构，以将图像聚焦到电子成像器16上。此外，数字存储元件24用于存储与静止图像或构成视频的图像序列对应的数字信息。

图2中示出图1的现有技术数码相机的用于捕获静止图像的典型现有技术事例程序的流程图。步骤30中，压下按钮18以启动捕获程序。更特别地，按钮18具有将在本公开中的下文描述的三个不同的位置S0、S1和S2。步骤32中，用在一系列不同的位置的可移动透镜14以常规方式捕获5-20或更多个自动聚焦图像。步骤34中，数字信号处理器22分析数字化自动聚焦图像以确定将产生最佳聚焦的可移动透镜位置。步骤36中，可移动透镜14被移至产生最佳聚焦的位置。步骤38中，图1的数码相机自动捕获聚焦的图像。

图3中示出用于视频图像捕获的现有技术自动聚焦系统的流程图。步骤40中，压下按钮18以启动视频捕获。用于视频的自动聚焦使用与用于静止图像捕获的程序类似的程序，其不同之处在于，自动聚焦图像和视频图像是相同的图像。自动聚焦图像是每个视频图像的一小部分。在通过透镜自动聚焦的方法中，为了确定最佳聚焦的条件，必须利用不同位置的可移动透镜产生5-20或更多个自动聚焦图像，结果导致很多视频图像没有良好聚焦。见步骤42。步骤44中，用数字信号处理器22测量每个图像的对比度。步骤46中，数字信号处理器22将具有最高对比度的图像确定为具有最佳聚焦条件的图像。步骤48中，可移动透镜被移至与具有最高对比度的图像对应的位置。步骤50中继续视频图像的捕获。步骤52中，数字图像处理器22重复类似的功能以估计重新聚焦的需求。每当在视频捕获过程中检测到场景中聚焦条件的变化时，重复自动聚焦程序，并且产生更多的没有良好聚焦的视频图像。

当现有技术自动聚焦系统用于静止图像或视频的捕获时，必须用不同位置的可移动透镜捕获5-20或更多个自动聚焦图像的序列。然后，对每个自动聚焦图像的一部分进行分析以确定产生最佳聚焦质量的可移动透镜的位置。然后，可移动透镜被移回至产生最佳聚焦质量的位置，并且捕获静止图像。尽管该方法产生高度准确聚焦的图像，由于在捕获图像的时刻之前必须捕获和为对比度测量大量自动聚焦图像，在操作员按下捕获按钮的时刻和图像被捕获的时刻之间产生很大的延迟时间。因此，该方法不适合于在例如运动事件的需要快速自动聚焦的情况下的静止图像捕获，或聚焦质量很重要的视频捕获情况。

以下信息应当有助于在更详细地讨论本发明之前对其进行理解。应当理解的是，本发明的一个重要特征提供了一种自动聚焦系统，其能够单独地聚焦视频的每一帧，使得基本上所有的视频图像都被良好聚焦。

对于30帧/秒的典型视频捕获速率下的视频捕获过程中的逐帧自动聚焦，本发明能够以1/30秒的周期连续操作。根据本说明书，逐帧自动聚焦的阐述里包括：其中在视频帧的捕获之前进行聚焦测量和可移动透镜的移动的情况；其中在自动聚焦图像或视频图像的捕获过程中进行聚焦测量或可移动透镜的移动的情况；以及其中在一个视频帧中收集自动聚焦信息并且可移动透镜的移动被应用于下一个视频帧的情况。在所有的情况中，自动聚焦控制将被应用于每个视频图像帧。一般来说，聚焦条件变化以及修正从一帧到下一帧聚焦条件变化所需的可移动透镜的相关移动是很小的。在一些情况下，如果计算的离开聚焦的距离在透镜的模糊圈(blur circle)之内，不重定位可移动透镜是优选的。在另一些情况下，限制帧之间可移动透镜位置的变化量以提供帧之间聚焦的更平滑的转变，是优选的。本发明描述了用于产生快速和准确的聚焦测量的方案，可用在自动聚焦系统中，以便于当以大约24帧/秒或更快的视频捕获速率捕获视频图像序列时，基于逐帧针对聚焦条件变化进行调节。

根据本发明的自动聚焦系统提供了一种聚焦测量，其可用于在24帧/秒或更快的帧速率下测量图像的聚焦质量，使得可在为图像捕获提高聚焦准确度以及增加可利用光的使用的同时在视频片段的每一帧上进行聚焦调节。通过使得每一帧都能够被聚焦，视频的整体图像质量被提高，从而在视频捕获和静止图像捕获的过程中，基于视频版本的，相机上显示的预览图像的图像质量被提高。

本发明依靠半孔径遮挡器的使用来交替地遮挡孔径一侧的一部分，以及之后遮挡孔径另一侧的一部分。在一些情况下，移开半孔径遮挡器或使其对视频帧捕获或静止图像捕获的一部分基本透明，是有利的。半孔径遮挡器可有若干种形式，既可以是电光学形式：如液晶元件或电致变色器件；或者也可以是机械装置：如移去部分的转盘或枢转部件或滑动部件。在本发明的精神下，任何能够提供以下三(3)种操作状态的装置将为本发明提供适当的功能：首先，在孔径的一侧上限制光；然后，在孔径的另一侧上限制光；然后，基本不限制光。还应当注意的是，半孔径遮挡器的取向不重要：如果半孔径遮挡器交替地遮挡孔径顶部和底部或孔径相对侧，装置的操作将同样良好。

图4中示出具有如本发明所描述的分孔径装置的自动聚焦系统的示意性框图，而图5中示出具有如本发明所描述的分孔径装置60的透镜组件的透视图。在这种情况下，在孔径的两侧被交替地遮挡例如各1/120秒的情况下，捕获两个自动聚焦图像；与自动聚焦图像分开地在不遮挡孔径的情况下捕获视频帧，或者与两个自动聚焦图像同时捕获视频帧。当在电子成像器16上进行捕获时，自动聚焦图像和视频帧可采用相同或不同的像素。

聚焦的分孔径测量类似于分色滤色片的聚焦测量：通过交替遮挡一半孔径来建立两条光路。然而，在使用分孔径装置的本发明的情况下，在不同时刻建立两条光路并从而产生两个自动聚焦图像。如图6a、6b和6c所示，通过测量两个图像之间的横向偏移来检测离开聚焦的距离。在图6a中，通过遮挡孔径的下半部分来捕获自动聚焦静止图像。在图6b中，通过遮挡孔径的上半部分来捕获相同的图像。应当注意的是，图6b中的自动聚焦图像与图6a中的自动聚焦图像相比有垂直方向的偏移。通过互相相关两个自动聚焦图像并确定它们之间的像素偏移来完成两个自动聚焦图像之间的横向偏移。如果图像的期望部分良好聚焦，对应于该部分的两个自动聚焦图像将精确地相互叠加，并且将检测不到偏移。如果图像的期望部分失焦，该部分中两个图像相互之间将有偏移。两个自动聚焦图像之间的偏移距离和偏移方向与可移动透镜必须移动以聚焦图像该部分的距离和方向有关。

参照图4和图5以及图7a、7b和7c对使用液晶元件的分孔径装置60进行描述。液晶元件在本领域中是熟知的。在这种情况下，液晶元件具有两个遮挡器，它们可在两种不同条件下独立操作。在第一种条件下，第一遮挡器透明并透射光。在第二种条件下，第二遮挡器不透明，并使沿光轴X-X的光被遮掩或被遮挡，第一像素上没有施加电压差，并且第一像素是不透明的。第二像素上施加了电压差，并且第二像素是透明的。相似地，在图7b中，第二像素上没有施加电压差并且第二像素是不透明的，而第一像素上施加了电压差并且第一像素是透明的。在图7c中，两个像素上都施加了电压差并且两个像素都是透明的。现在应当清楚的是，分孔径装置60包括第一和第二部分或像素，其中在第一和第二条件下，每个像素有效地分别透射沿光路X-X的光，或限制该光达到电子成像器16。

图5通过定义光路X-X并包括固定透镜64和可移动透镜14来示出可调透镜系统。可调透镜系统使得图像被聚焦在电子成像器16上。

特别地，回到图4，示出了固定透镜64、可移动透镜14、分孔径装置60以及电子成像器16。如图7a、7b和7c所示，图像顺序控制器70决定分孔径装置60的操作顺序。半快门控制器72接收来自顺序控制器70的输入并在分孔径装置60中的液晶元件的不同部分或像素上施加电压差。自动聚焦系统通过图7a-7c所示的顺序进行操作。在图7a中，电子成像器16捕获自动聚焦图像，其中液晶元件的第一像素不透明。该图像被导入模数转换器74。图像顺序控制器70将自动聚焦图像导入自动聚焦临时储存存储器76。然后，顺序控制器使得第二自动聚焦图像被捕获(见图7b)并将其导入临时储存存储器78。可作为微处理器一部分的步骤80对两个已存储自动聚焦图像进行相关，以测量两个已存储自动聚焦图像之间的偏移。当图像有偏移时产生误差信号，该信号被提供给操作透镜移动装置84的可移动透镜位置控制器82。透镜移动装置84对可移动透镜14进行平移，以使得在要捕获聚焦的图像时，场景的图像焦点对准。在聚焦后，聚焦的图像被捕获并移入图像存储器79。如本领域中所熟知的，该图像可被打印或传送给其他装置。

图8a示出机械式分孔径装置60的实施例，该机械式分孔径装置60使用第一半孔径遮挡器61和第二半孔径遮挡器62。在第一操作状态中，半快门控制器72向第一半孔径遮挡器控制器66发信号，使得第一半孔径遮挡器61滑动并限制沿光路X-X的光达到成像器16。在第二操作状态中，半快门控制器72向第二半孔径遮挡器控制器67发信号，使得第二半孔径遮挡器62滑动并限制沿光路X-X的光达到电子成像器16。当分孔径装置在第一操作状态中时，电子成像器16捕获第一自动聚焦图像(见图7a)。该图像被导入模数转换器74。图像顺序控制器70将该自动聚焦图像导入自动聚焦临时储存存储器76。然后，顺序控制器使得当分孔径装置处于第二操作状态时，第二自动聚焦图像被电子成像器16捕获(见图7b)。该第二自动聚焦图像被导入临时储存存储器78。然后，步骤80计算两个图像之间的偏移。所得到的误差信号被提供给对平移可移动透镜14的透镜移动装置84进行操作的可移动透镜位置控制器82，使得当聚焦的图像被捕获时场景的图像焦点对准。在聚焦之后，半快门控制器72向半孔径遮挡器控制器66、67两者发信号，以便允许沿光路X-X的所有光都照射成像器(见图7c)。在该第三操作状态中，聚焦的图像被捕获并被移入图像存储器79。

图8b示出使用电动机63以旋转盘65的机械式分孔径装置60的实施例。盘65不透明，并具有两个分隔的开口。在第一操作状态中，盘65被旋转并停止，使得允许沿光路X-X的光照射成像器16的第一部分。在第二操作状态中，盘65被旋转并停止，使得允许沿光路X-X的光照射成像器16的第二部分。当分孔径装置处于第一操作状态时，电子成像器16捕获第一自动聚焦图像(见图7a)。该图像被导入模数转换器74。图像顺序控制器70将该自动聚焦图像导入自动聚焦临时储存存储器76。然后，顺序控制器使得当分孔径装置处于第二操作状态时，第二自动聚焦图像被电子成像器16捕获(见图7b)。该第二自动聚焦图像被导入自动聚焦临时储存存储器78。然后，步骤80计算两个图像之间的偏移。所得到的误差信号被提供给对平移可移动透镜14的透镜移动装置84进行操作的可移动透镜位置控制器82，使得当捕获聚焦的图像时场景的图像焦点对准。在聚焦之后，盘65被旋转并停止，使得允许沿光路X-X的所有光都照射成像器(见图7c)。在第三操作状态中，聚焦的图像被捕获并被移入图像存储器79。应当注意的是，本领域的技术人员能够认识到该实施例可被进一步改进，以便于允许使用连续旋转的盘。

在步骤80中，产生图9所示曲线图示出的误差信号。根据相机的设计，每个特定相机具有其特有的曲线图。在该示例性实例中，当图像偏差或偏移时，如曲线图的X轴所示，误差信号是可移动透镜14所需的位置变化的量。本领域技术人员可以理解的是，可将该曲线图包含在查询表中，对于任何特定的相机设计，可通过实验确定该曲线图。

在捕获视频时，也可使用如图4所示的系统。如图7a、7b和7c所示的遮挡方案为每一帧重复一次。例如，如果视频有1800帧，自动聚焦系统将为基本上所有的帧调节可移动透镜14。在本发明的精神下，在本发明的不同实施例下，两个自动聚焦图像和视频帧的捕获顺序可不同。

图10是供在视频帧捕获中使用的包括补偿自动聚焦系统和场景中目标物体之间相对移动的自动聚焦系统的示意性框图。利用本领域技术人员所熟知的微处理器(见图1)可实施图10中的步骤。如果步骤与图4中的步骤对应，将采用相同的附图标记。为了校正场景中的目标物体与自动聚焦系统之间的相对移动，两个基本聚焦的图像必须被捕获并存储在图像存储器77中。以如图4所述的相同方式捕获这些图像。然后，在步骤90中对最后两个捕获的视频图像进行相关以确定两个视频图像之间的移动。该相关是熟知的，并且必须利用两个图像之间的对比度差异来进行。参见例如，共同转让的美国专利第4,673,276号，通过引用将其公开结合在本文中。步骤76和78中执行的自动聚焦处理与图4中相同。在步骤92中，倒数第二个自动聚焦图像被修正以补偿步骤90中计算得到移动。因此，事实上产生了一个新的自动聚焦图像并且步骤80提供如图4所述的功能。

更特别地，在本发明的一个优选实施例中，如表1(如下所示)所示交替地捕获自动聚焦图像和视频图像。例如，当以30帧/秒捕获视频图像时，可用于每个自动聚焦图像和每个视频帧的交替采集的时间各为1/60秒。聚焦条件的计算是基于最后两个捕获的自动聚焦图像。

表1-利用分孔径自动聚焦的视频捕获

 

时间秒	按钮操作	孔径操作	自动聚焦图像捕获操作	视频图像捕获操作	图像分析操作
						0	按下按钮S0到S2	不遮挡孔径		启动第一视频捕获
1/60		遮挡第一半孔径	启动第一自动聚焦捕获	卸载视频捕获并复位全部像素
						1/30		不遮挡孔径	卸载第一自动聚焦图像并复位全部像素	启动第二视频捕获
3/60		遮挡第二半孔径	启动第二自动聚焦捕获	卸载视频捕获并复位全部像素	对第一和第二视频图像进行相关以确定场景内移动(和相机移动)
						2/30		不遮挡孔径	卸载第二自动聚焦图像并复位全部像素	启动第三视频捕获	为场景内移动校正第二自动聚焦图像并计算聚焦图像需要的透镜位移
5/60		遮挡第一半孔径	启动第三自动聚焦捕获	卸载视频捕获并复位全部像素	对第二和第三视频图像进行相关以确定场景内移动(和相机移动)
						3/30		不遮挡孔径	卸载第三自动聚焦图像并复位全部像素	启动第四视频捕获	为场景内移动校正第三自动聚焦图像并计算聚焦图像需要的透镜位移
到结束	重复	重复	重复	重复	重复

在该实施例中，由于自动聚焦图像的捕获在时间上是分开的，相机或自动聚焦系统的移动和场景中的移动有可能降低聚焦条件计算的准确度。为了进一步提高聚焦测量的准确度，增加了对相机移动或场景中移动的校正。移动校正包括在步骤90中互相比较最后两个视频图像以确定相机和场景中目标物体之间的相对移动。然后，可基于确定的场景中的移动或相机的移动来修正一个或两个自动聚焦图像，以校正相机的移动或场景中的移动。通过修正一个或两个自动聚焦图像以校正场景中的移动或相机中的移动，提高了聚焦计算的准确度。

该实施例的另一优点是，通过分开自动聚焦图像捕获与视频图像捕获，在视频帧中避免了由遮挡一半孔径产生的散射光带来的任何图像恶化。应当注意的是，本发明的任何实施例的自动聚焦图像可以是亚采样图像以减少像素的数量，以便实现从成像器中快速卸载自动聚焦图像。

已描述的自动聚焦方案很适合用于静止图像以及视频帧的自动聚焦，在静止图像的捕获过程中，分孔径装置要求对自动聚焦的操作进行一些修正。

表2和3(如下所示)示出利用分孔径装置进行静止图像捕获的自动聚焦的操作时间线。

表2-利用分孔径装置的静止图像捕获

 

时间秒	按钮操作	孔径操作	自动聚焦图像捕获操作	静止图像捕获操作	图像分析操作
						0	按下按钮S0到S2	遮挡第一半孔径	启动亚采样自动聚焦捕获
1/60		切换至遮挡第二半孔径	卸载第一亚采样自动聚焦图像，复位自动聚焦像素并启动第二亚采样自动聚焦捕获
						1/30			卸载第二亚采样自动聚焦图像，复位传感器
3/60		将孔径遮挡器从孔径处移开			分析自动聚焦捕获，计算聚焦图像需要的透镜位移，计算曝光
						2/30					移动透镜来聚焦，为了曝光调节孔径和快门
				启动全分辨率静止图像捕获
										卸载全分辨率静止图像并复位传感器

表3-利用分孔径装置的静止图像捕获

 

时间秒	按钮操作	孔径操作	自动聚焦图像捕获操作	静止图像捕获操作	图像分析操作
						0	按下按钮S0到S1并保持	遮挡第一半孔径	启动亚采样自动聚焦捕获
1/60		切换至遮挡第二半孔径	卸载第一亚采样自动聚焦图像，复位自动聚焦像素并启动第二亚采样自动聚焦捕获
						1/30			卸载第二亚采样自动聚焦图像，复位传感器
3/60		将孔径遮挡器从孔径处移开			分析自动聚焦捕获，计算聚焦图像需要的透镜位移，计算曝光
						2/30					移动透镜来聚焦，为了曝光调节孔径和快门
其后	按下按钮S1到S2			启动全分辨率静止图像捕获
										卸载全分辨率静止图像并复位传感器

表2示出特别针对静止图像捕获的方案的操作时间线，在这种情况下，将捕获按钮从S0一直按下到S2。其中，捕获按钮具有三种位置：S0是在操作员还没有按下捕获按钮的情况下的起始位置；S1是其中相机计算自动聚焦和自动曝光而不启动图像捕获的中间位置；S2是其中一旦自动聚焦和自动曝光完成，相机启动图像捕获的位置。在将捕获按钮从S0直接按下到S2的情况下，在捕获静止图像之前分孔径装置必须：捕获两个自动聚焦图像，分析自动聚焦图像以得到偏移，计算误差，计算曝光，将可移动透镜移至正确位置以及为了曝光调整孔径和快门。在这种情况下，由于图像可能失焦，必须在可捕获静止图像之前测量并校正图像聚焦。不同于视频图像捕获的情况，在静止图像捕获的过程中，在捕获了自动聚焦图像之后，可使两个半孔径遮挡器在静止图像捕获的过程中基本透明，以便为静止图像捕获提供更多的光，从而为静止图像捕获增加送至图像传感器的光。例如，自动聚焦所需的时间大约就是捕获一个视频帧的时间或1/30秒。该方法比基于通过透镜的对比度的典型自动聚焦系统快很多，所述典型自动聚焦系统需要捕获并分析5到20个自动聚焦图像，使得自动聚焦时间为0.4到2.0秒。

表3示出另一方案的操作时间线，其中首先将按钮从S0按下一半到S1，以便于在将按钮从S1接着按下到S2以捕获静止图像之前允许相机自动聚焦和自动曝光。在这种情况下，利用各自通过遮挡一半孔径捕获的两个自动聚焦图像来实现自动聚焦。和表2所述的情况一样，在捕获了自动聚焦图像之后，可使半孔径遮挡器基板透明，从而允许更多的光达到图像传感器以捕获静止图像。在这种情况下，由于在将按钮从S1按下到S2之前实现了自动聚焦和自动曝光，当将按钮从S1按下到S2时，捕获所需的最终时间基本为零。

表4(如下所示)示出用于视频捕获的分孔径装置的另一操作时间线。在该实施例中，当按下按钮18时，使第一半孔径遮挡器基本不透明而使第二半孔径遮挡器基本透明，并且同时启动第一自动聚焦图像捕获和视频捕获。对于该特定实例，在大约1/60秒后，从传感器卸载第一自动聚焦图像，传感器的该部分被复位，使第一半孔径遮挡器基本透明并且使第二半孔径遮挡器基本不透明。然后，当视频图像的捕获继续时，启动第二自动聚焦图像的捕获。在1/30秒后，从传感器卸载第二自动聚焦图像并且从传感器卸载视频图像，使第二半孔径遮挡器基本透明并复位传感器。然后，重复该处理，同时分析自动聚焦图像以确定偏移和误差，改进聚焦所需的可移动透镜位移，以及计算曝光。然后，将可移动透镜移至新的聚焦位置，并对快门进行调整以校正曝光。

表4-利用分孔径自动聚焦装置的视频捕获

 

时间秒	按钮操作	孔径操作	自动聚焦图像捕获操作	视频图像捕获操作	图像分析操作
						0	按下按钮S0到S2	遮挡第一半孔径	启动自动聚焦捕获	启动视频捕获
1/60		切换至遮挡第二半孔径	卸载第一自动聚焦图像，复位自动聚焦像素并启动第二自动聚焦捕获
						1/30		切换至遮挡第一半孔径	卸载第二自动聚焦图像，复位自动聚焦像素并启动下一自动聚焦捕获	卸载视频捕获，复位并启动下一视频捕获
3/60		重复	重复	重复	分析自动聚焦捕获，计算聚焦图像需要的透镜位移，计算曝光
						2/30					移动透镜来聚焦，为了曝光调节快门

本发明的该方案的优点在于：其为自动聚焦图像捕获和视频图像提供了相对长的曝光；由于自动聚焦图像较慢的帧速率，半孔径遮挡器的移动相对简单；以及自动聚焦图像和视频图像的卸载速度相对慢。该方案很适合于其中与视频帧相比，电子成像器上的不同像素被用于自动聚焦图像的情况。

本发明的另一方案使用用于自动聚焦视频图像的分孔径装置，其中第一和第二半孔径遮挡器用于自动聚焦图像的快速捕获，可单独地使第一和第二半孔径遮挡器基本透明或基本不透明，以交替地遮挡孔径的一侧并随后遮挡孔径的另一侧。例如，首先在将孔径的两侧交替地各遮挡1/120秒时捕获两个自动聚焦图像。在自动聚焦图像的捕获之后，使两个半孔径遮挡器都基本透明以捕获视频帧。表5(如下所示)中示出用于该方案的时间线。

表5-利用分孔径自动聚焦的视频捕获

 

时间秒	按钮操作	孔径操作	自动聚焦图像捕获操作	视频图像捕获操作	图像分析操作
						0	按下按钮S0到S2	遮挡第一半孔径	启动自动聚焦捕获
1/120		切换至遮挡第二半孔径	卸载第一自动聚焦图像，复位自动聚焦像素并启动第二自动聚焦捕获
						1/60			卸载第二自动聚焦图像，复位自动聚焦像素并启动下一自动聚焦捕获	启动视频捕获	分析自动聚焦捕获，计算聚焦图像需要的透镜位移，计算曝光
1/30				卸载视频捕获并复位	移动透镜来聚焦，为了曝光调节快门
						5/120		重复	重复	重复	重复

本发明的另一方案也使用具有半孔径遮挡器的用于自动聚焦的分孔径装置，可使半孔径遮挡器基本透明或基本不透明，以便于交替地遮挡孔径的一侧并随后遮挡孔径的另一侧。例如，在将孔径的两侧交替地各遮挡1/120秒时捕获两个自动聚焦图像。在自动聚焦图像的捕获之后，使两个半孔径遮挡器都基本透明1/60秒。在该方案中，视频图像捕获实际上在遮挡一半孔径时捕获两个自动聚焦图像的时间上以及在不遮挡孔径的时间内累计1/30秒的时间，是积分的。该方案可为视频图像捕获提供很长的曝光。

实例1

作为一实例描述一个优选实施例。在该例子中使用快速液晶元件，如可从LC-Tec Display(LC-TEC DISPLAY AB，

 281，SE-78173 

，瑞典)购买的，例如FOS-PSCT型号。通过施加大约100伏特的电压，该元件从白色变成透明。以两个可独立控制的部分来布置该元件，以一次遮挡一半孔径(一半白色，一半透明)，该元件还能够在基本无限制模式(两部分基本都透明)下或完全白色模式(两部分都为白色)下操作。另外，存在至少一部分像素未滤色或是全色的成像器，其中未滤色或全色像素用于从基本覆盖整个可见光范围的波长中捕获单色自动聚焦图像。

该液晶元件的优点在于，其能够在小于0.001秒的时间内从打开转换为关闭，并且透射从透明操作状态中的80％以上转到白色操作状态中的小于5％。该液晶元件的缺点在于，白色操作状态中快门对光进行散射，使得在自动聚焦图像捕获的过程中产生一定水平的漫射光。

使用至少一部分像素未滤色或是全色的成像器的优点在于，消除了由传感器上的滤色片阵列带来的光损耗，从而允许很快速的自动聚焦图像捕获而不需要像素装仓或像素累加，像素装仓或像素累加会减小自动聚焦图像的分辨率并从而降低聚焦测量的准确度。通过使用具有用于单色自动聚焦图像的至少一部分未滤色或全色像素的成像器，由于可在为自动聚焦图像捕获分配的时间内更有效地收集光线，还提高了弱光情形下的自动聚焦速度和准确度。

图4示出分孔径装置的优选实施例，该分孔径装置具有布置为在自动聚焦图像捕获过程中交替地一次遮挡一半孔径的快速液晶元件。特定的成像器具有彩色像素，并且一些未滤色或全色的像素没有在图4中示出，但它是实现如本发明中所述的自动聚焦图像的快速捕获的重要特征。

表5示出分孔径装置的优选实施例的时间线，其中与视频图像捕获分开地捕获自动聚焦图像。在这种情况下，当随着用如图4所示的高速液晶元件交替地遮挡一半孔径来以30帧/秒捕获视频时，两个自动聚焦图像各在大约1/120秒内被捕获。在两个自动聚焦图像的捕获之后，在大约1/60秒的视频捕获时间内不遮挡孔径。在视频捕获时间内，根据需要对两个自动聚焦图像进行分析并对可移动透镜进行重定位。然后，重复该处理以聚焦视频片段的每一帧。

该快速液晶元件和具有至少一部分未滤色或全色像素的成像器的优点之一在于，可与视频图像分开地捕获自动聚焦图像。当以30帧/秒捕获视频时，快速液晶元件可以足够快的速度交替地遮挡一半孔径来进行自动聚焦图像捕获，以支持用于自动聚焦图像捕获的1/120秒的曝光时间。通过分开地捕获自动聚焦图像，遮挡过程中高速液晶元件所产生的散射的漫射光不影响视频图像的图像质量。并且，通过使用具有至少一部分未滤色或全色像素的成像器，传感器的光收集效率高到足以实现在1/120秒内捕获自动聚焦图像。

实例2

在作为特别适合于静止图像捕获的实例的另一优选实施例中使用分孔径装置。在该实施例中，在捕获自动聚焦图像之前，可移动透镜被定位在极限位置—近景深点(nearfocus)或者远景深点(farfocus)位置，图像将显著失焦，确保两个自动聚焦图像之间有很大的差异。该实施例的优点在于，为分析提供了大信号以确定最佳聚焦质量所需的可移动透镜位置。此后，捕获自动聚焦图像和静止图像的时间安排将类似于表2和3所示的时间安排。

实例3

在作为实例的另一优选实施例中，在场景内容快速变化的情况下，帧到帧的聚焦变化可能比所期望的要快。在这种情况下，可对帧间的聚焦变化速率加以限制。每一帧还是将被单独聚焦，但是不允许帧间的聚焦变化超过该限制。通过限制帧间的聚焦变化，视频片段中的聚焦变化将显得更平滑。

实例4

在另一优选实施例中，使用了类似于实例1中所述的系统，其具有可一次遮挡一半孔径或基本不遮挡孔径的高速液晶元件。如表5所示，自动聚焦图像和视频图像被交替地捕获。在该实施例中，当以30帧/秒捕获视频图像时，可用于捕获自动聚焦图像的时间增加到1/60秒，以提高低亮度条件下的自动聚焦性能。那么，聚焦条件的计算基于最后两个捕获的自动聚焦图像。在这种情况下，由于自动聚焦图像捕获在时间上是分开的，场景内移动有可能降低聚焦条件计算的准确度。为了实现对场景内移动或相机移动的校正，对两个视频图像进行互相相关，以确定任何场景内移动或相机移动。然后，修正至少一个自动聚焦图像以在计算聚焦条件之前校正场景内移动和相机移动。然后对下一视频图像捕获应用聚焦调节。

附图标记

12 可调透镜系统

14 可移动透镜

16 电子成像器

18 启动捕获的按钮

20 光圈

22 数字信号处理器

24 数字存储元件

30 启动捕获程序步骤

32 捕获自动聚焦图像步骤

34 分析自动聚焦图像步骤

36 移动可移动透镜步骤

38 捕获图像步骤

40 启动连续视频图像捕获步骤

42 用可移动透镜捕获图像步骤

44 测量对比度步骤

46 确定具有最高对比度的图像步骤

48 移动可移动透镜步骤

50 捕获连续视频图像步骤

52 评估图像步骤

60 分孔径装置

61 第一半孔径遮挡器

62 第二半孔径遮挡器

63 电动机

64 透镜组件

65 盘

66 第一半孔径遮挡器控制器

67 第二半孔径遮挡器控制器

70 图像顺序控制器

72 半快门控制器

74 模数转换器

76 最后自动聚焦图像临时存储器

77 视频图像存储器

78 倒数第二自动聚焦图像临时存储器

79 视频或静止图像存储器

80 自动聚焦图像相关步骤

82 可移动透镜定位器控制器

84 聚焦透镜移动器电动机

90 视频图像相关步骤

92 偏移倒数第二自动聚焦图像步骤

Claims (21)

1.一种用于操作用于在电子成像器上聚焦图像的自动聚焦系统的方法，包括：

a.提供可调透镜系统，其为场景光确定光路，并具有至少一个可移动透镜以将场景的图像聚焦到电子成像器上；

b.使场景光的第一部分被遮掩，以便电子成像器捕获第一自动聚焦图像，并且使场景光的第二不同部分被遮掩，以便电子成像器捕获第二自动聚焦图像，其中第一和第二自动聚焦图像的部分是偏移的；以及

c.响应于该偏移将可移动透镜移动到一位置，使得要捕获的图像将焦点对准。

2.如权利要求1所述的用于操作自动聚焦系统的方法，还包括分孔径装置，其在分别遮挡光和透射光的第一和第二条件中起作用。

3.如权利要求2所述的用于操作自动聚焦系统的方法，其中分孔径装置由至少一个具有两个独立操作的像素的液晶元件形成。

4.如权利要求2所述的用于操作自动聚焦系统的方法，其中分孔径装置是具有第一、第二和第三操作状态的机械式快门；其中第一和第二操作状态分别限制在光路的第一和第二部分中的光，并且第三操作状态允许光基本不受限制地通过以照射电子成像器。

5.如权利要求4所述的用于操作自动聚焦系统的方法，其中机械式快门是旋转盘，其中该盘的一些部分被去掉以提供第一、第二和第三操作状态。

6.如权利要求4所述的用于操作自动聚焦系统的方法，其中机械式快门由提供第一、第二和第三操作状态的一个或多个滑动部件组成。

7.如权利要求1所述的用于操作自动聚焦系统的方法，其中在视频捕获过程中重复使用该自动聚焦系统以聚焦视频帧。

8.如权利要求7所述的用于操作自动聚焦系统的方法，其中与视频帧交替地捕获第一和第二自动聚焦图像。

9.如权利要求7所述的用于操作自动聚焦系统的方法，其中为在第一和第二自动聚焦图像之间发生的自动聚焦系统和场景中的目标物体的相对移动，对自动聚焦图像进行校正。

10.如权利要求7所述的用于操作自动聚焦系统的方法，其中视频图像之间的聚焦变化被限制为保持在选定的值以下，以随场景改变产生更平滑的聚焦转变。

11.如权利要求1所述的用于操作自动聚焦系统的方法，其中电子成像器包括彩色像素和未滤色或全色的像素。

12.如权利要求11所述的用于操作自动聚焦系统的方法，其中未滤色或全色的像素被用于第一和第二自动聚焦图像。

13.一种用于在电子成像器上聚焦图像的自动聚焦系统，包括：

a.确定光路的可调透镜系统，其具有至少一个可移动透镜以将图像聚焦到电子成像器上；

b.包括第一和第二光透射部分的分孔径装置，该第一和第二光透射部分各自在分别限制沿光路的光达到电子成像器和将光透射到电子成像器上的第一和第二条件中起作用；

c.用于操作分孔径装置的装置，使第一部分在第一条件中而第二部分在第二条件中，以便电子成像器捕获第一自动聚焦图像，然后使第一部分在第二条件中而第二部分在第一条件中，以便电子成像器捕获第二自动聚焦图像，其中第一和第二自动聚焦图像的部分是偏移的；

d.响应于该偏移使可调透镜系统将图像聚焦到电子成像器上的装置；以及

e.用于使分孔径装置的第一部分和第二部分在电子成像器捕获聚焦的图像时在第二条件中的装置。

14.如权利要求13所述的自动聚焦系统，其中分孔径装置是电光学形式，并且第一和第二部分在分别遮挡光和透射光的第一和第二条件中起作用。

15.如权利要求14所述的自动聚焦系统，其中分孔径装置由至少一个具有两个独立操作的像素的液晶元件形成。

16.如权利要求13所述的自动聚焦系统，其中分孔径装置是具有第一、第二和第三操作状态的机械式快门；其中第一和第二操作状态分别限制在光路的第一和第二部分中的光，并且第三操作状态允许光基本不受限制地通过以照射电子成像器。

17.如权利要求13所述的自动聚焦系统，其中在视频捕获过程中重复使用该自动聚焦系统以聚焦视频帧。

18.如权利要求17所述的自动聚焦系统，其中与视频帧交替地捕获第一和第二自动聚焦图像。

19.如权利要求17所述的自动聚焦系统，其中为在第一和第二自动聚焦图像之间发生的自动聚焦系统和场景中的目标物体的相对移动，对自动聚焦图像进行校正。

20.如权利要求13所述的自动聚焦系统，其中电子成像器包括彩色像素和未滤色或全色的像素。

21.如权利要求20所述的自动聚焦系统，其中未滤色或全色的像素用于捕获自动聚焦图像。

Images