CN1867851A - 自动聚焦控制方法、自动聚焦控制器和图像处理器 - Google Patents

Abstract

一种自动聚焦控制方法、自动聚焦控制器和图像处理器，它们能够消除由光学系统产生的影响而实现稳定的自动聚焦控制功能。在计算多个聚焦位置处获得的每个样品图像的聚焦估计值时，对所获得的样品图像进行平滑处理，以减少由于光学系统而引起的亮度的暗和亮的模式，并根据平滑处理过的样品图像来计算聚焦估计值。此外，通过平均平滑处理的样品图像的显示亮度来标准化聚焦估计值以获得最佳的估计值。

Description

自动聚焦控制方法、自动聚焦控制器和图像处理器

技术领域

本发明涉及例如一种自动聚焦控制方法、自动聚焦控制设备和图像处理设备，它们都适合用在通过视频摄像机来对对象样品进行图像拍摄、观察和检查的设备中，尤其能够通过消除光学系统的影响而实现稳定的自动聚焦操作。

背景技术

迄今，已用聚焦估计值来进行图像的自动聚焦控制，该聚焦估计值是通过根据对象样品(工件)的图像数据来估计和量化聚焦程度而得到的。也就是说，在镜头与对象之间的不同距离处收集样品的图像数据并计算关于各个图像数据的聚焦估计值，以便找出适合的聚焦位置。

图21示出了镜头到工件的距离(水平轴)和聚焦估计值(垂直轴)之间的关系。这个关系是在以恒定的间隔改变镜头到工件的距离时通过加载图像并计算和标绘各个图像的聚焦估计值而得到的。在曲线图上的最大聚焦估计值为聚焦的位置，即，最佳的聚焦位置(焦点位置)。下面将聚焦估计值相对镜头到工件的距离的关系图称之为“聚焦曲线”。

在常规技术中，已经设计了在预定的查找范围内改变镜头到工件的距离并将图中的聚焦估计值的最大值定为最佳的聚焦位置，或者根据在最大值前后的聚焦估计值来计算最佳聚焦位置。聚焦估计值使用了亮度的最大值、亮度的导数、亮度的离差、亮度导数的离差，等等。将爬坡法或类似方法认作是根据最大聚焦估计值来找到最佳聚焦位置的算法，此外，为了减少查找时间，将查找操作分为许多步骤的方法也已投入实用(已公开的日本专利申请书Nos.Hei 6-217180和2002-333571，以及日本专利出版物No.2971892)。

随着目标工件的小型化，对于运用这种聚焦技术的检查设备而言，也要求更大地改进其分辨率。采用短波长/单波长的照明光源能够改进分辨率。尽管单波长的结构能够避免色差或类似因素的影响，然而，短波长的结构能够提高光学分辨率。

然而，存在这样的一个问题，这就是要用在光路上的诸如镜头的光学材料的种类会受到照明光源的短波长结构的限制，并且，斑点之类的影响会由于单波长结构而出现。斑点就是这样的状态，即，屏幕的亮度以斑点的形式分布，并根据光源的波长或光学系统的结构呈现一种独特的灰度级分布模式。

在这些影响之下出现了一种情况，如图22所示，这就是形成了聚焦曲线，受光学系统影响的部分具有比在最佳聚焦位置的聚焦估计值更大的值。聚焦曲线的形状和数值范围并非单独由诸如反射率之类的物体表面状态决定。因此，在上述的情况下，根据聚焦估计值的最大值寻找聚焦位置的常规技术不能够稳定地找到最佳的聚焦位置。

鉴于上述的问题，提出了本发明，本发明的目的在于，提供一种自动聚焦方法、自动聚焦控制设备和图像处理设备，它们都能通过消除光学系统的影响而实现稳定的自动聚焦操作。

发明内容

为了解决上述的问题，根据本发明的自动聚焦控制方法包括：图像获得步骤，用于在镜头到对象的距离中的彼此不同的多个聚焦位置处获得对象的各个图像数据；估计值计算步骤，用于根据获得的各个图像数据来对多个聚焦位置计算聚焦估计值；焦点位置计算步骤，用于计算作为焦点位置的聚焦位置，在此位置上聚焦估计值之一达到最大值；移动步骤，相对于对象将镜头相对地移动到计算出的焦点位置。该自动聚焦控制方法对获得的图像数据进行平滑处理，并根据平滑处理过的图像数据来计算聚焦估计值。

也就是说，亮度的灰度级分布是由于单波长、由光斑(speckle)而引起的。由于这个缘故，在本发明中，为了减少灰度级分布模式，增加了图像平滑处理。通过图像平滑处理，能掌握目标样品(对象)的特征，并在减少光斑的灰度级分布模式的同时，最佳地计算聚焦估计值。

在图像的平滑处理期间，可以根据对其施加处理的光学系统的种类和对象样品的表面特性等来适当地设置处理条件，譬如，要处理的像素的数量(单元处理的范围)、滤光(filtering)系数、处理的次数以及是否有加权，等等。

此外，在计算聚焦估计值期间，检查在获得的图像数据中的相邻像素之间的亮度的差是否合适，并且能使用例如边缘增强技术，该技术提取在特征和轮廓部分的像素之间的亮度数据的变化。

在计算聚焦估计值期间，在同一目标区中的聚焦位置之间，如果存在亮度的不均匀性，那么，在相邻像素之间，亮度数据差的绝对值就会起变化，以致于不能最佳地计算聚焦估计值。由于这个缘故，为了避免这个问题，将计算出的估计值除以整个屏幕的平均亮度并用屏幕的平均亮度来对聚焦估计值标准化是合适的。

此外，在上述的自动聚焦控制操作期间，能增加这样的功能，即，根据在多个聚焦位置上获得的各个样品图像的聚焦估计值来合成对象的全焦距(omnifocal)图像或三维图像。这个处理将在各个聚焦位置上获得的每个图像在屏幕上分为多个区域，并根据对于每个分划区上得到的聚焦估计值和聚焦位置信息来执行。在此情况下，由于消除了光学系统的影响，就能够用超级分辨率来检查和观测具有三维结构的对象的表面。

根据本发明的自动聚焦控制设备包括估计值计算装置，其根据在镜头到对象间的距离中的彼此不同的多个聚焦位置上获得的各个图像数据来对多个聚焦位置计算各个聚焦估计值；还包括焦点位置计算装置，其根据计算出的聚焦估计值的最大值来计算焦点位置；还有图像平滑装置，其对获得的图像数据进行平滑处理。该自动聚焦控制装置根据由图像平滑装置平滑处理过的图像数据来计算各个图像数据的聚焦估计值。

通过与图像获得装置和驱动装置结合，可将根据本发明的自动聚焦设备建造为单个的图像处理装置，所述图像获得装置在多个聚焦位置上获得对象的各个图像数据，所述驱动装置调节镜头到对象的距离，或者，也可以将该自动聚焦设备构造为独立于图像获得装置和驱动装置的分离结构。

根据本发明，由于可能通过消除光学系统的影响来稳定地进行高精度的自动聚焦，因此，能使用短波长/单波长光学系统来实现样品观测，从而能实现大规模集成电路上微造的半导体晶片等的高分辨率观测。

附图说明

图1是根据本发明的第一实施例的图像处理设备1的结构示意图。

图2是说明控制器7的结构方块图。

图3是图像处理设备1的操作流程图。

图4是说明图像处理设备1的另一个操作例子的流程图。

图5是说明本发明的一个操作的聚焦曲线的例子，FC1示出了在执行使用聚焦估计值来进行图像平滑处理和亮度标准化时得到的例子，FC2示出了在只进行图像平滑处理时得到的例子，FC3示出了常规的例子。

图6是说明了在聚焦估计值的最大值附近用曲线近似法来计算焦点位置的方法的图。

图7是示出了施加到镜头驱动部分4的电压和镜头的实际移动电压之间的关系的示意图。

图8是说明了加载样品图像和计算聚焦估计值的并行处理方法的图。

图9示出了本发明的第二实施例，并说明了将屏幕分成为多个区域并在各个划分区中检查焦点位置的方法。

图10是本发明的第三实施例的程序流程图。

图11是用在本发明的第三实施例的存储器的结构图。

图12是说明全焦距图像获得步骤的流程图。

图13示出了本发明的第四实施例，并说明通过在聚焦轴方向上组合样品图像的焦点位置来获得三维图像的方法。

图14是说明合成三维图像的方法的流程图。

图15是功能方块图，该图示出了根据本发明的第五实施例的自动聚焦控制设备的第一结构例。

图16是功能方块图，该图示出了根据本发明的第五实施例自动聚焦控制设备的第二结构例。

图17是功能方块图，该图示出了根据本发明的第五实施例自动聚焦控制设备的第三结构例。

图18是功能方块图，该图示出了根据本发明的第五实施例自动聚焦控制设备的第四结构例。

图19是示意图，该图示出了根据本发明的第五实施例的自动聚焦控制设备的第五结构例。

图20A和20B是方块图，它们分别示出了对图像处理设备1的驱动系统的结构的修改。

图21示出了聚焦曲线的例子，该聚焦曲线示出了在镜头到工件的距离(聚焦位置)和聚焦估计值之间的关系。

图22是用于说明常规技术中的问题的视图。

具体实施方式

以下，参照附图来详细说明本发明的实施例。

(第一实施例)

图1是图像处理设备的结构示意图，在此设备上采用了根据本发明的实施例的自动聚焦控制方法和自动聚焦控制设备。用图像处理设备1来进行对象样品(工件)的表面观测，该图像处理设备是作为用以进行如像半导体晶片之类的器件结构的缺陷检验的显微镜而专门建造的，其是通过在其表面上进行微机械加工而制成的。

在图像处理设备1上装有测量平台2、物镜3、镜头驱动部分4、镜头筒5、CCD(电荷耦合器件)摄像机6、控制器7、驱动器8、监视器9和照明光源10。

测量台2是建造来支托对象样品(例如，半导体晶片)W并在X-Y方向上(在图1中，在左右方向上并在垂直于图页面的方向上)移动。

在预定的聚焦位置查找范围内、在聚焦轴的方向上(图1中的垂直方向上)，镜头驱动器4相对于对象样品W在测量平台2上通过相对地移动物镜3而对镜头到工件的距离进行可变的调节。在本发明中，镜头驱动部分4对应于“驱动装置”。

在本实施例中，用压电器件来建造镜头驱动部分4，但是也能采用其它器件，例如，脉冲电动机之类的精密馈送装置。可以在聚焦轴的方向上合适地移动物镜3以便调节镜头到工件的距离，另外，也可以在聚焦轴的方向上合适地移动测量平台2。

CCD摄像机6起着视频摄像机的作用，它通过在聚焦位置查找范围内移动的物镜3来捕获在测量平台2上的对象样品W表面的特定区域的图像，并将获得的图像数据输出到控制器7中。CCD摄像机6和物镜3、镜头驱动部分4以及镜头筒5一起构成了本发明中的“图像获得装置”。除了CCD，也可能应用固态图像时取装置，例如CMOS成像器。

控制器7是由计算机构成的，它控制图像处理设备1的全部操作，并装备有自动聚焦(AF)控制部分11，用以检查对象样品W表面的特定区域上的最佳聚焦位置(焦点位置)。在本发明中，自动聚焦(AF)控制部分11对应于“自动聚焦控制设备”。

驱动器8接收来自自动聚焦(AF)控制部分11的控制信号并产生驱动信号，用以驱动镜头的驱动部分4。在本实施例中，用具有磁滞补偿功能的压电驱动器来构成驱动器8。也能将驱动器8组合到自动聚焦控制部分11中。

自动聚焦控制部分11通过驱动器8来驱动镜头驱动部分4，并通过CCD摄像机6在多个聚焦位置上获得对象样品W的图像数据，所述聚焦位置是通过以恒定的间隔来改变在物镜3和对象样品W之间的距离(镜头到工件的距离)而得到的，该自动聚焦控制部分11还进行以下将要说明的各种处理，以便检测在对象样品W的图像捕获区中的最佳聚焦位置，即，焦点位置。

监视器9显示由控制器7处理的内容，并显示由CCD摄像机6捕获的对象样品W的图像等。

在本实施例中，用连续的激光器或波长为196nm的脉冲激光光源作为照明光源10。照明光源的波长范围不限于上述的紫外范围，当然，根据用途也能使用其它不同的紫外光波长范围的光源或在可见光波长范围的光源。

图2是图像处理设备1的结构的方块图。用A/D转换器13将从CCD摄像机6输出的模拟图像信号转化为数字图像信号。将A/D转换器13的输出信号提供给存储器14并保存于其中。控制器7的自动聚焦控制部分11读取来自存储器14的、经过转换的数字图像信号，并进行下面将要说明的自动聚焦控制。然后，驱动器8根据由控制器7通过D/A转换器17提供的控制信号来产生镜头驱动部分4的驱动信号。

自动聚焦控制部分11装有平滑电路11A、平均亮度计算电路11B、估计值计算电路11C和焦点位置计算电器11D。

平滑电路11A是这样的电路，它对在多个聚焦位置上分别获得的对象样品W的每个图像信号(样品图像)的自动聚焦目标区域(整个屏幕或屏幕中的部分区域)进行平滑处理，在本发明中对应于“图像平滑处理装置”。自动聚焦控制部分11减少了由平滑电路11A所获得的每个样品图像的亮度的点状分布(光斑)。在公式1中示出了平滑处理的例子。

[公式1]

$\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)/16$

此外，在一定的范围内可以任意设置图像平滑化处理的条件，所述范围是指不会让由CCD摄像机6捕获的对象W表面的特征或轮廓部分的原始细节受到损失的范围，所述处理条件包括要处理的像素的数量(在上面的例子中为3×3)、滤光系数、处理次数、是否存在加权、如何选择加权系数，等等。这些处理条件可以通过诸如键盘、鼠标或触摸板之类的输入设备来设置。

平均亮度计算电路11B是这样的电路，它计算每个样品图像的自动聚焦目标区的屏幕平均亮度，在本发明中对应于“平均亮度计算装置”。由平均亮度计算电路11B在每个聚焦位置上得到的屏幕平均亮度用于计算在下面要说明的估计值计算电路11C中的每个聚焦位置上的聚焦估计值Pv。

估计值计算电路11C是这样的电路，它计算每个样品图像的聚焦估计值Pv，在本发明中对应于“估计值计算装置”。在本实施例中，在估计值计算电路11C的结构中包含边缘增强电路。

在本实施例中，“聚焦估计值”一词是指代表清楚可见图像的特征部分和轮廓(contour)部分的状态的数值估计指数。如像特征部分的像素和轮廓部分的像素之间的亮度数据的变化看出的那样，清晰的图像呈现明显的变化，而模糊的图像则呈现缓和的变化。由于这个缘故，在本实施例中，通过使用边缘增强来故居在相邻像素间的亮度数据的差别而计算聚焦估计值Pv，或者，也可以根据亮度的导数、亮度的离差等来计算聚焦估计值。

在实际处理的例子中，对所获得的图像的所有像素进行公式2所示的运算，从而发现在每个像素和周围像素之间的亮度数据的差。在此公式中，前项检测在垂直方向上的亮度的变化，而后项检测在水平方向上的亮度的变化。因此，能够只提取在估计点与其周围各点之间的亮度变化，而不管要处理的像素的亮度。

[公式2]

$\{\left|\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right|+\left|\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right|\}\×1/2$

在此例子中，要处理的像素区是3×3，但是也可以设为5×5，7×7等。此外，尽管该系数被加权，但是，系数设置方式是随意的，并且，不用加权也能进行处理。

在计算聚焦估计值Pv时，在计算了上述的边缘增强公式之后，用屏幕平均亮度来进行除法处理，该平均亮度是由平均亮度计算电路11B在相应的聚焦位置上计算的。具体地说，每个样品图像的聚焦估计值Pv是边缘增强电路获得的聚焦估计值Pvo除以在相应的聚焦位置上得到的屏幕平均亮度Pave而求出的值，如[公式3]所示。

[公式3]

Pv(i)＝Pvo(i)/Pave(i)

在[公式3]中，Pv(i)是根据在第i个聚焦位置上的标准化亮度的聚焦估计值，Pvo(i)是在第i个聚焦位置上的聚焦估计值，Pave(i)是在第i个聚焦位置上的屏幕平均亮度。

此外，如[公式4]所示，也可以通过将在[公式3]中得到的计算值乘以屏幕的平均亮度的最大值Pavemax来计算聚焦估计值Pv。照此方式，补偿了由于根据平均亮度的相除而减少(在数量上减少)的聚焦估计值，因而，能够参照后面的聚焦曲线容易地看到聚焦估计值的定量变化。此外，用于相乘的屏幕平均亮度并不限于最大值，以及也可以是最小值等。

[公式4]

Pv(i)＝[Pvo(i)/Pave(i)]×Pavemax

相应地，通过将在边缘增强期间计算出的估计值除以屏幕平均亮度而求出的值用作为聚焦估计值(Pv)的原因在于，聚焦估计值与估计点(像素)和它周围像素之间的亮度的差的大小相关，因此，如果在所得到的图像之间亮度存在不均匀性，屏幕平均亮度(将构成屏幕的各个像素的亮度的总和除以屏幕像素的总数而得到的亮度值)就会出现变化，所以，必须避免最后得到的计算出的指数的绝对值的变化。

假设，来自周围像素的亮度的差例如为20％。对于50的平均亮度，20％的亮度差变为10，对于100的平均亮度，则变为20。相应地，即使在相同变化比率的情况下，该绝对值根据原始的屏幕平均亮度发生极大的变化。在诸如普通的可视显微镜之类的光学系统中，这个问题并不会变得十分严重，但是，在诸如紫外光显微镜的光学系统中，这个问题就变得很明显了。

由于这个原因，在本实施例中，为了对付这样的屏幕亮度的变化，用屏幕平均亮度(Pave)来对在边缘增强期间计算的每个聚焦估计值进行标准化，以便能够防止屏幕亮度的变化对聚焦估计值的影响。也就是说，通过将聚焦估计值除以相应的屏幕平均亮度而得到的每个值用作为聚焦估计值，以使得在屏幕平均亮度为50和亮度差为20％的情况下，聚焦估计值变为0.2(10/50)，并且，在屏幕平均亮度为100和亮度差为20％的情况下，聚焦估计值也变为0.2(20/100)，即，两个聚焦估计值彼此相符。因此，可以消除在聚焦位置之间亮度的变化对聚焦估计值的影响。

焦点位置电路11D是这样的电路，其根据在估计值计算电路11C中计算出的聚焦估计值的最大值来计算聚焦位置，并且在本发明中对应于“焦点位置计算装置”。

通常，图像自动聚焦控制装置通过在镜头到工件的距离中的彼此不同的多个聚焦位置上获得样品图像，并通过检查在得到最大聚焦估计值的样品图像的聚焦位置来确定聚焦位置。相应地，样品图像的数量越大(样品间的焦点位移量越小)，自动聚焦控制就能越精确。另一方面，样品数量的增加会导致处理所需的时间的增加，以致难于保证自动聚焦控制的高速性能。

由于这个缘故，在本实施例中，如图6所示，根据计算出的聚焦估计值的最大值Pv(m)和多个相邻的聚焦估计值[Pv(m-1)、Pv(m+1)、Pv(m-2)、Pv(m+2)、Pv(m-3)和Pv(m+3)]来检测最佳聚焦位置(焦点位置)。

如图6所示，焦点位置的邻近区域近似于一个向上凸起的二次方程曲线。因而，可以按照最小平方法并利用焦点附近的点来计算近似的二次方程曲线，从而找到作为焦点位置的顶点。在图6中，实线是根据三个点(Pv(m)、Pv(m-1)、Pv(m+1))近似计算出的曲线，虚线是根据五个点(Pv(m)、Pv(m-1)、Pv(m+1)、Pv(m-2)和Pv(m+2))近似计算出的曲线，锁线是根据七个点(Pv(m)、Pv(m-1)、Pv(m+1)、Pv(m-2)、Pv(m+2)、Pv(m-3)和Pv(m+3))近似计算出的曲线。鉴于这个事实：曲线以不同的程度展开，但是，各个顶点的位置是大致相同的，由此可知，图6所示的方法尽管是简单的处理，但是，它是有效的近似法。

上述的曲线近似法并非是限制性的，也可用另一种方法(共线近似法)来检测焦点位置，此法是通过计算两条直线的交叉点的方法来找到焦点位置的，这两条直线是通过Pv(m)和Pv(m+1)两个点的一条直线和通过另外Pv(m-1)和Pv(m-2)两个点连成的一条直线，还可用其它的近似方法，例如，正态分布曲线近似法。

再回到图2，对于控制器7的CPU的各种操作使用了存储器15。具体地说，将存储器15的存储空间分配给第一存储部分15A和第二存储部分15B，以供自动聚焦控制部分11中的各种操作之用。

在本实施例中，为了保证自动聚焦控制的高速性能，在连续改变镜头到工件间距离的同时，在多个聚焦位置上分别获得样品图像。因此，与在每个聚焦位置上停止镜头是获得图像的情况相比，有可能增加自动聚焦控制的速度。

图7示出了由驱动器8引导到镜头驱动部分4的电压和镜头驱动部分4的实际位移电压之间的关系。在由压电器件构成的镜头驱动部分4上装配有用于位置控制的移动量检测传感器。在图7中示出的实际移动电压是该传感器的监测信号。在镜头移动到自动聚焦控制起始位置之后，以CCD摄像器6的一个视频信号帧的周期、根据预定量来改变引导电压(directed voltage)，引导电压和实际移动电压的比较显示，尽管观察到了响应延迟，但是，镜头的移动是平滑的，并且，在逐渐增加的范围内，随着引导电压梯级(step)的平坦，两个曲线的倾斜度是大致相同的。从这个事实可以看出，，相对于与相同速度对应的引导电压，镜头以相同的速度操作。因此，如果按照与图像同步信号同步的方式来获得样品图像，就能在聚焦轴坐标上按照恒定的间隔来计算并获得聚焦估计值。

此外，在本实施例中，为了增加自动聚焦操作的速度，并行地进行样品图像获得处理和聚焦估计值计算处理。

在将图像数据加载到第一存储部分15A中时，能够通过双缓冲以前加载在第二存储部分15B中的处理图像数据并计算聚焦估计值Pv来实现这些处理。在本例子的情况下，在第一存储部分15A中处理在每个偶数帧期间加载的图像数据，同时在第二存储部分15B中处理在每个奇数帧期间加载的图像数据。

下面将参照图3并来说明按上述方式构成的本实施例的图像处理设备1的操作。图3是自动聚焦控制部分11的处理流程图。

首先，输入初始设置，例如，对象样品W的自动聚焦处理区、对象样品W的聚焦位置查找范围、要获得的图像样品之间的聚焦移动量(聚焦轴步进长度)、图像平滑处理条件，和边缘增强条件(步骤S1)，然后，执行自动聚焦控制。

在镜头驱动部分4的驱动下，物镜3从自动聚焦控制起始位置开始沿着聚焦轴的方向(在本实施例中是朝向对象样品W的方向)移动，并与图像同步信号同步地获得对象样品W的样品图像(步骤S2和S3)。然后，获取所获得的样品图像的聚焦轴坐标(镜头到工件的距离坐标)(步骤S4)。

之后，进行聚焦估计处理(步骤S5到S8)，该处理是由获得的样品图像的屏幕平均亮度计算、图像平滑处理、边缘增强和亮度标准化构成的。

由平均亮度计算电路11B来进行屏幕平均亮度计算步骤(步骤S5)。在下面的步骤中，用计算出的屏幕平均亮度来计算聚焦估计值。也可以在平滑处理步骤(步骤S6)之后进行屏幕平均亮度计算步骤。

在平滑处理电路11A中处理图像平滑步骤(步骤S6)。例如，在图像平滑处理步骤中，可用[公式1]所示的运算公式来进行图像平滑。在此步骤中，从所获得的样品图像中消除由于光源的单波长模式而引起的光斑的影响。

用估计值计算电路11C来执行边缘增强步骤(步骤S7)。在此步骤中，根据在前面的平滑步骤(步骤S6)中平滑处理过的样品图像，并用上述的[公式2]所示的边缘增强公式来计算在特征部分和轮廓部分的像素之间的亮度数据的差，并获得计算出的差值作为聚焦估计值的基本数据。

然后进行亮度标准化步骤(步骤S8)，以便根据屏幕平均亮度来对在步骤S7中计算出的聚焦估计值实行标准化。用估计值计算电路11C来执行这个步骤。在图3所示的例子中，通过在前的边缘增强步骤(步骤S7)得到的聚焦估计值(Pvo(i))除以在屏幕平均亮度计算步骤(步骤S5)中得到的屏幕平均亮度(Pave(i))来计算[公式3]中的、根据标准化的亮度的聚焦估计值Pv(i)。

上述的步骤S2到S8构成了自动聚焦循环(AF循环)。在AF循环中，对在每个聚焦位置上获得的样品图像执行与上述的处理类似的处理。

在本实施例中，如上所述，CCD摄像机6按照预定的取样周期、用由镜头驱动部分4连续驱动的物镜3来捕获对象样品W的图像，并且，并行地处理图像获得步骤(步骤S3)和聚焦估计值计算步骤(步骤S8)(图6和图7)。因此，在计算在前获得的样品图像的聚焦估计值的同时，能够获得下一个样品图像，从而，可以用视频信号的一个帧作为周期来计算聚焦估计值，并且能够提高自动聚焦操作的速度。

在物镜3的总移动长度达到满查找范围时，就结束AF循环，并执行每个获得的样品图像的聚焦估计值乘以屏幕平均亮度的最大值(Pavemax)的处理(步骤S9和S10)。结果，每个样品图像的聚焦估计值Pv就变成为相当于由上述的[公式4]所示的运算公式求出的情况。

注意的是，如图4的流程图所示，在边缘增强步骤中计算了聚焦估计值之后，可以完成AF循环，并且，如图4中的步骤S10A所示，在完成AF循环之后，通过使用[公式4]所示的运算处理，可以用屏幕平均亮度来对所有的样品图像进行聚焦估计值的标准化。结果，在此情况下，也能实现与图3所示的例子相似的处理。

在图5中，实线表示通过平滑处理(图3中的步骤S6)和亮度标准化(图3中的步骤S8)而得到的聚焦曲线(FC1)，锁线表示只进行平滑处理而不进行使用屏幕平均亮度的标准化而得到的聚焦曲线(FC2)。为了比较起见，用虚线表示图22所示的常规聚焦曲线(FC3)。

由图5可见，根据本实施例，能极大地改善受光学系统影响的区域并产生将作为最佳的聚焦位置(焦点位置)检测的明显的聚焦估计值的峰值。因此，即使在短波长和单波长的光学系统中，也能实现稳定又准确的自动聚焦操作。

此外，由于只通过平滑处理样品图像就能够改善受光学系统影响的区域，因此，若有必要，可以省略亮度标准化的步骤(在图3中的步骤S3)。然而，通过进行亮度标准化步骤，可以进一步地改善受光学系统影响的区域，从而能够实现非常准确的聚焦位置的检测。

然后，进行焦点位置计算步骤(步骤S11)。用焦点位置计算电路11D来进行焦点位置计算处理。在聚焦位置计算中，如参照图6所述，找到了一些近似曲线，这些曲线通过了包含聚焦估计值的最大值和多个邻近的聚焦估计值在内的一些点，以便检测顶点，并将该顶点定为聚焦位置。

因此，与至今广泛应用的爬坡法相比，能够有效地、高度准确地检测焦点位置，从而能极大地提高自动聚焦操作的速度。

另一方面，在沿着图6的水平轴的镜头到工件的距离被设置为全部的查找范围时，如果操作期间能够确定物镜3已通过聚焦位置，那么，在Pv(m+3)之后的任何一个点上获得图像就成为不必要的了，因此，可以大大地缩短操作时间。作为确定物镜是否通过了焦点位置的技术，存在让物镜通过超过某个聚焦估计值的坡而获取近似计算法所必须的样品数量的方法，(所述聚焦估计值是作为参数给出的或者是从过去的聚焦操作的结果中学习的)。

最后，进行将物镜3移到聚焦位置的步骤(步骤S12)，并完成本实施例的自动聚焦控制。

如上所述，根据本实施例，通过消除短波长和单波长光学系统的影响，有可能稳定地进行高度准确的自动聚焦控制，因此，能够以高分辨率来观察和检查在半导体晶片的表面上形成的微结构。

(第二实施例)

下面将要说明本发明的第二实施例。

当进行最小模式宽度的微小型化(处理规则)时，新近的半导体晶片开始在其高度方向上采用更多的三维结构。具有较短波长的光源需要较浅的聚焦深度，并且不利于减少具有大的高度差的物体的可聚焦部分的数量。如果在屏幕中存在高度差，并且不同的表面可在不同的高度上聚焦，就必须进行有效的聚焦操作，以确定“要聚焦在什么地方”，例如，要用样品的哪一个表面来作为基准表面。然而，根据聚焦估计值来求得最佳聚焦位置的常规的自动聚焦控制方法有一个缺点，这就是不能对所想要的部分聚焦。

为了解决这个问题，下面将说明一个方法，该方法采用本发明的自动聚焦控制方法，并能允许屏幕中存在高度差的样品的任意表面上进行聚焦。在上述的第一实施例的说明中，用了一个例子作为参照，其中，在获得的样品图像的全部区域(或部分区域)上计算聚焦估计值。在本实施例中，如图9所示的例子，将获得的样品图像分成为多个区域并计算聚焦估计值，以便计算出各个划分区Wij(i，j＝1到3)的焦点位置。

在计算各个划分区Wij的聚焦估计值时，执行用与上述的第一实施例相似的屏幕平均亮度来执行图像平滑和标准化。因而，能够高度准确地检测聚焦位置而不受光学系统的影响。

通过上述处理，得到了与各个划分区Wij对应的聚焦曲线。此时，在一个划分区的焦点位置与另一个划分区的焦点位置不同的情况下，将会变得明显的是，在两个区域之间存在焦点平面的高度差，从而能通过指定参数来进行有效聚焦操作，在确定聚焦位置时对这个参数赋予优先级。

参数的例子如下。

1.在最短的镜头到样品的距离的目标(样品的最高位置)。

2.在最长的镜头到样品的距离的目标(样品的最低位置)。

3.屏幕上的特定位置。

4.根据屏幕划分结果、按照多数决定的最佳聚焦位置(比较有特征的部分)。

此外，尽管已参照图9说明了屏幕划分的数量为3×3(即，9)的例子，但是，该屏幕划分的数量并非是限制性的。当屏幕划分的数量增加是，能够得到更为详细的信息。此外，所划分的屏幕可以彼此重叠，也可以根据使用条件动态地改变屏幕划分的数量。

如上所述，根据本实施例，在确定目标样品的聚焦位置时，通过指定什么要赋予优先级，能满意地处理有效的聚焦操作，该操作能够确定“要聚焦在什么地方”。

(第三实施例)

下面将要说明本发明的第三实施例。在说明此实施例时，引用了一个方法，这就是根据获得的图像数据并用根据本发明的自动聚焦控制方法，来合成对象样品的全焦距图像。

在正常的光学系统的情况下，如果通过其观察超过光学系统的聚焦深度的三维物体，则不能看到整体的聚焦图像，因此，不能达来检查或观测的目的。试图用以下两个方法来解决这个问题，方法之一是使用诸如共焦光学系统之类的特殊光学系统来得到整体聚焦的全焦距图像，方法之二是根据三角学从不同角度的图像得到整体聚焦的图像，但是，由于需要使用特殊的光学系统，因而都不能便宜地实现以上两个方法。

另一方面，提出了在分级地获得图像之后合成物体的图像的方法(已公开的日本专利申请No.2003-281501)。然而，仍然存在一些问题，例如，要用于合成的图像信息的容量、合成处理的时间，以及在获得多个图像之后才能够得到结果，等等。

为了解决这些问题，在本实施例中，在执行上面的第一实施例所描述的自动聚焦控制方法的处理中，获取对象样品W的全焦距图像。在图10中示出了控制流程。在用相应的屏幕平均亮度对获得的图像的聚焦估计值(取样点)进行标准化的步骤(步骤8)之后，增加图像合成步骤(步骤S8M)。

其它的步骤与在上述的第一实施例的描述中提到的处理流程(图3)的对应步骤相似，并用相同的附图标记标出相应的步骤，在此不再对其加以说明。

在图像合成时，如在上述的第二实施例中所提及的，将获得的样品图像划分成多个区域(图9)，并合成与各个划分区Wij相应的图像。注意的是，屏幕划分的数量并不是特意限定的，并且，当屏幕划分数量增加时，能够进行更加细致的处理。将每个划分区的大小能够定标到一个像素单位。此外，每个划分区的形状并不只限于方形，也可改为环形等。

如图11所示，作为存储器15(图2)，除了用于处理在偶数帧期间加载的图像数据的第一存部分15A以及处理在奇数帧期间加载的图像数据的第二存部分15B外，还准备了用于全焦距处理的第三存部分15C，。第三存部分15C上设置有合成图像数据的存储区15C1、15C2和15C3，存储区15C2用于存储构成合成图像的每个划分区Wij上的高度(镜头到工件的距离)信息，存储区15C3则用于存储在每个划分区Wij上的聚焦估计值信息。

在合成对象样品的全焦距图像时，在镜头到工件的距离中的彼此不同的多个聚焦位置上获得样品图像，并且在每个样品图像上计算各个划分区Wij的聚焦估计值，以及在从划分区Wij中提取相对独立并具有最高聚焦估计值的图像之后，就进行合成整个图像的处理。

按照上述的方式构建本发明的“全焦聚图像合成设备”。参照图10所示的处理流程图，通过与使用在上述的第一实施例中类似的技术，在每个划分区Wij的单元中，对所获得的样品图像执行步骤S1到S8的处理，然后处理进行步骤S8M的图像合成步骤。

图12示出了步骤S8M的细节。在开始自动聚焦操作之后，用第一获得的图像来初始化第三存部分15C(步骤a和b)。也就是说，在步骤b中，将第一图像复制到合成图像数据存储区15C1中，并在高度信息存储区15C2中填上第一数据，以及将聚焦估计值复制到存储区15C3，以便存储划分区Wij的聚焦估计值信息，从而初始化第三存部分15C。

在第二个和其后的每个处理中，对每个划分区Wij，相互比较获得的图像的聚焦估计值和合成图像的聚焦估计值(步骤c)。如果获得的图像的聚焦估计值较大的情况下，复制该图像，并更新与复制图像相应的高度信息和聚焦估计值信息(步骤d)。反之，在获得的图像的聚焦估计值较小的情况下，不进行更新。根据屏幕划分的数量来重复这个操作(步骤e)。照此方式，完成了一个帧(33.3msec)的处理。

在自动聚焦控制序列的操作流程中，例如，在将偶数帧的图像数据加载到第一存部分15A中时，对已经加载到第二存部分15B中的在前的奇数帧的图像数据的每个划分区Wij进行上述的处理，并在第三存部分15C的相应的存储区中复制或更新必要的数据和信息。

在本实施例中，上述的处理可以和第一实施例中说明的对象样品W的自动聚焦控制一起进行，但是，也能独立地进行这个处理。

根据自动聚焦所必须的图像数量进行上述的程序，因此，在完成自动聚焦操作时，能够为每个划分区Wij获取最佳的聚焦部分、在这部分上的高度信息和其聚焦估计值。相应地，对于每个划分区Wij而言，不仅能够在线和实时地得到对象样品W的聚焦位置坐标，而且还能够得到对象样品W的全焦距图像和形状。

具体地说，如果在监视器9上显示复制到合成图像数据存储区15C1的合成图像(图1)，那么，在全部的检索范围内，在物镜3的移动过程中，就能够观察到每个划分区中的聚焦方式，因此，在自动聚焦操作中就能够容易地掌握所显示的对象样品W的高度分布的状态。

进而，由于对象样品的全焦距图像是用本发明的自动聚焦控制方法来合成的，因此，能通过消除短波长和单波长的光学系统的影响，来保证高度准确的自动聚焦控制，从而，能够以高分辨率获得诸如半导体晶片的分级展开的(hierarchically developed)结构的表面的全焦距图像。

(第四实施例)

作为本发明的第四实施例，以下将说明根据在自动聚焦操作期间获得的图像数据来合成对象样品的三维图像的方法。

如上所述，图像自动聚焦操作在多个聚焦位置上获得样品图像并进行聚估计。相应地，在本实施例中，能通过从获得的样品图像中提取多个聚焦部分并将这些聚焦部分和与高度方向相关的信息相组合来合成三维图像。

如图13中的例子所示，对在自动聚焦操作中所获得的每个样品图像Ra、Rb、Rc和Rd进行聚焦位置检测之后，提取聚焦的部分并将它们在高度方向(聚焦轴方向)上彼此组合，从而能够合成结构R的三维图像。

根据本实施例的合成三维图像的方法的一个例子在图14的流程图中示出。在图14中，用相同的附图标记标明与上述的第一实施例(图3)相应的步骤，因此不再对其加以说明。

在本实施例中，在初始化步骤(步骤S1)之后，提供三维图像缓冲器清空步骤(步骤S1A)。在步骤S1A中，在存储过去获得的三维图像的存储区上进行初始化。然后，如同在上述的第一实施例中的情况那样，在多个聚焦位置上获得对象样品的样品图像，以及对每个图像执行平滑处理，并通过边缘增强计算聚焦估计值，根据相应的屏幕平均亮度来进行计算的聚焦估计值的标准化(步骤S2到S8)。

在计算聚焦估计值之后，在屏幕中的每个点上，比较以往的数据和获得的数据，以确定以往的数据和获得的数据中哪一个在聚焦位置中，如果获得的数据在聚焦位置处理，就执行更新数据的处理(步骤S8A)。对每个样品图像执行这个处理。

按照上述的方式来构成本发明中的“三维图像的合成装置”。注意的是，在本实施例中，如像在上述的第二实施例中那样，将屏幕分为多个区域Wij，以便对每个划分区执行上述的处理，但是，屏幕划分的数量并不是特地限定的，也可以以像素单元执行该处理。

因此，根据本实施例，不仅能容易地获得有关对象样品W的最佳聚焦位置信息，而且在完成自动聚焦控制之后，通过将多个聚焦样品的图像在高度方向上彼此组合，也可能得到对象样品的表面的三维图像。

此外，由于是用根据本发明的自动聚焦方法来合成对象样品的三维图像，因此，能通过消除短波长和单波长的光学系统的影响来确保高度准确的自动聚焦控制，从而能以高分辨率获得诸如半导体晶片的分级展开结构的表面的三维图像。

(第五实施例)

下面将说明本发明的第五实施例。

在上述的每个实施例的说明中，都引用了由用计算机作为核心的图像处理设备1来实现根据本发明的自动聚焦控制方法的例子。这个结构多少有些复杂，可能不满足简易聚焦的需要。这就是说，对于不需要后聚焦处理的各种情况下，如果能够实现能用简单的硬件来执行根据本发明的自动聚焦控制方法的算法，这样，就可以在很宽的应用范围内使用本发明，并且可将本发明认为是对工业自动化的极大贡献。

相应地，在本实施例的说明中，引用了这样的自动聚焦控制设备的结构，其能够实现上述的根据本发明的自动聚焦方法而不必使用计算机。如下面将要提到的那样，可用视频信号解码器、由FPGA(Field programmable Gate Array)代表的运算元件、设置存储存储器(setting storing memory)等来构成自动聚焦控制设备，并且，如有必要，还使用诸如CPU(中央处理器)、PMC(脉冲电动机控制器)和外部存储器之类的集成电路。这些部件安装在普通线路板上，并用作单个电路板单元或含有电路板单元的封装组件。

(第一结构例)

图15是根据本发明的自动聚焦控制设备的第一结构示例的功能方块图。所示出的自动聚焦控制设备31是由视频信号解码器41、FPGA 42、场存储器43、CPU 44、ROM/RAM 45、PMC 46、I/F电路47构成的。

用于自动聚焦操作的视频信号是以NTSC格式编码的模拟图像信号，并且该模拟图像信号由视频信号解码器41转化为数字图像信号，其包括水平/垂直同步信号、EVEN(偶数的)/ODD(奇数的)场信息和亮度信息。

FPGA 42是由若干运算元件构成的，用于在根据本发明的自动聚焦控制流程(图3)中执行预定的计算处理，这些处理在上面的第一实施例中已经提到过，在本发明中其与“图像平滑设备”、“边缘增强设备”、“估计值计算设备”相对应。

FPGA 42从同步信号中提取屏幕中有效部分的信息以及由视频信号解码器41数字化了的场信息，并将在有效部分上的亮度信息存储到场存储器43中。与此同时，从场存储器43中依次读取数据，并对这些数据进行计算处理，诸如滤光(图像平滑)处理、平均亮度计算、和聚焦估计值计算等。此外，还可以根据FPGA 42的集成度将场存储器43、CPU 44和PMC 46的功能合并到FPGA 42中。

场存储器43用于暂时存储场信息，以便处理以隔行形式输出的视频信号，该场存储器43包含若干个帧，每个帧都是由偶数帧和奇数帧构成的。

CPU 44管理整个系统的操作，例如，通过使PMC 46和I/F电路47移动用于支持对象样品的平台来改变镜头到工件的距离，并根据样品图像的聚焦估计值来计算最佳聚焦位置(焦点位置)，在此，样品图像的聚焦估计值是在多个聚焦位置上分别获得并由FPGA 42计算出来的。在该例子中，CPU44对应于本发明中的“焦点位置计算装置”。

ROM/RAM 45用于存储供CPU 44用的操作软件(程序)和计算焦点位置所必须的参数。ROM/RAM 45也可以包含于CPU中。

PMC 46是控制装置，用于驱动移动平台(stage)的脉冲电动机(未示出)，并通过接口(I/F)电路47来控制平台。此外，通过I/F电路47将检测平台位置的传感器的输出提供到PCM 46。

在按上述方式构成的自动聚焦控制设备31中，由CCD摄像机(未示出)提供样品图像的视频信号。通过视频信号解码器41将该视频信号输入到FPGA 42，并对输入的图像进行平滑处理、平均亮度计算、聚焦估计值计算。在表示场结束(the end of a field)的同步信号的定时上，FPGA 42将聚焦估计数据发送到CPU 44。

在场结束定时上，CPU 44获取聚焦平台的坐标，并用该坐标作为镜头到工件间的距离。在按照本发明的自动聚焦操作所必须的次数来重复上述的处理之后，CPU 44进行聚焦位置的计算。然后，CPU 44使平台移动到最佳聚焦位置，并完成自动聚焦操作。此外，如有必要，执行屏幕划分功能、对象样品的全焦距图像合成和/或三维图像合成等。

如果将按照上述的方式构成的本发明的自动聚焦控制设备有机地连接到现有的聚焦轴移动设备(例如CCD摄像机、监视器和脉冲电动机)上，就可能实现与上述的图像处理设备1相同的功能，因而，可能用简易的结构来实行根据本发明的自动聚焦控制方法。相应地，在成本和安装空间方面，本发明的自动聚焦控制设备也是极有优越性的。

(第二结构例)

图16是根据本发明的自动聚焦控制设备的第二结构例的功能图。用相同的标号来标明与第一结构例子(图15)中相同的那些部分，不再对其进行详细的说明。在本结构示例中，自动聚焦控制设备32是由视频信号解码器41、FPGA 42、CPU 44、ROM/RAM 45、PMC 46和I/F电路47构成的。

上述的第一结构例的自动聚焦控制设备31适合于使用场存储器43并用帧信息来进行控制，以便处理与电视机上的图像相似的隔行扫描图像。然而，如果只考虑自动聚焦操作，就不需要使用帧信息，并且，还有一种只要求在场单元中进行所需要的处理的情况。此外，这个事实提供了一些优点。

由于这个缘故，根据本发明的自动聚焦控制设备32具有这样的结构，其中，取消了在第一结构例中的场存储器43。根据此结构，将信息传送到场存储器的定时处理就成为不必要的了，因此，与上述的第一结构例相比，就能在物理上和逻辑上实现简单的结构。此外，由于在场单元中能够进行聚焦测定处理，因而也能提供各种其它的优点，例如，与在帧单元中进行处理的第一结构示例相比，能够减少聚焦估计值的取样间隔。

(第三结构例)

图17是根据本实施例的自动聚焦控制设备的第三结构例的功能方块图。用相同的附图标记标明与第一结构例子(图15)中相同的那些部分，在此不再对其详加说明。在此结构例子中，自动聚焦控制设备是由视频信号解码器41、FPGA 42、CPU 44、ROM/RAM 45、PMC 46、I/F电路47构成的。

在本结构例中的自动聚焦控制设备33配备有这样的结构，在此结构中，PMC 46的逻辑块含于FPGA42之中，并且，与上述的结构示例相比，PMC 46的独立的逻辑电路是不必要的。根据该结构，PMC 46的独立的IC芯片也是不必要的，因此能够减少电路板的尺寸和安装费用。

(第四结构例)

图18是根据本实施例的自动聚焦控制设备的第四结构例的功能方块图。用相同的附图标记表示与第一结构例(图15)中相同的那些部分，在此不再对其详加说明。在本结构示例中，自动聚焦控制设备34是由视频信号解码器41、FPGA 42、CPU 44、ROM/RAM 45、AD(模拟到数字)/DA(数字到模拟)电路48和I/F电路47构成的。

该结构例中的自动聚焦控制设备34是这样的一个例子，其中，聚焦平台的驱动源是由模拟信号控制的压电平台构成的，而不是用脉冲电动机构成的，并用AD/DA电路48来代替上述的第二结构例中的PMC 46。此外，可将AD/DA电路48合并到CPU44中，在此情况下，就不需要提供作为外部电路的AD/DA电路48。

在AD/DA电路48中，DA电路部分是将来自CPU44的引导电压(directedvoltage)转换为模拟信号，而AD电路部分将来自用于检测压电平台移动位置的传感器(未示出)的信号转变为数字信号，并将此数字信号反馈到CPU44中。如果不需要进行这样的反馈控制，就可以省略AD电路部分。

(第五结构例)

图19示出了自动聚焦控制设备33的一个具体结构例，并以此作为本发明的第五结构例，在此，该自动聚焦控制设备33构成了上述的第三结构例(图17)。用相同的附图标记表示与图17所示的那些部分相应的部分，在此不再对其详加说明。

在此结构示例中，自动聚焦控制设备34是由视频信号解码器41、FPGA42、CPU 44、闪存45A、SRAM(静态随机存取存储器)45B、RS驱动器47A、电源监视器电路51、FPGA初始化ROM 52以及多个连接器53A、53B、53C和53D构成的，所有这些部件都安装在普通线路板50上。

闪存45A和SRAM 45B对应于上述的ROM/RAM 45，闪存45A存储CPU44的运算问题以及自动聚焦操作初始化信息(例如聚焦移动速度和平滑处理条件)，而SRAM 45B用于暂时存储在CPU 44中计算聚焦位置所必须的各种参数。

RS驱动器47A是接口电路，它是与由连接器53A到53D连接的外部设备通信所必须的。在该例子中，CCD摄像机与连接器53A相连，较高级别的控制器或CPU与连接器53B相连。电源电路与连接器53C相连，聚焦平台与连接器53D相连。在聚焦平台上装配有作为驱动源的脉冲电动机，在FPGA42中合并了作为脉冲电动机的控制器的PMC。

如上所述，根据本结构例的自动聚焦控制设备35能够建造成为一种安装在线路板上的结构，例如，在尺寸为100毫米的正方形板上，在该结构中，将各种设备安装在单独的线路板50上，这些设备能够执行算法，以实现根据本发明的自动聚焦方法。这个结构可能减少设备的成本并简化设备的结构。此外，由于能够提高设备安装的自由度，因此，在没有用过自动聚焦控制设备的工业现场，该设备能易于满足自动聚焦操作的现场需要。

虽然，上面已经说明了本发明的一些具体实施例，但是，本发明并不限于任何具体实施例，并且能够根据本发明的技术概念以各种方式进行修改。

例如，在上述的第一实施例中，引用了在聚焦轴方向上移动物镜3以改变镜头到样品的距离的结构。或者，支托样品的平台2是适合于移动的。

在上述的第一实施例中，由镜头驱动部分4来构建用于改变镜头到样品的距离的驱动系统，而镜头驱动部分4是由压电器件及其驱动器8构成的。该驱动系统并非是限制性的，也可以使用能够高度准确而又平稳地改变镜头-样品间距离的其它各种驱动系统。

作为例子，图20A示出了用脉冲电动机20作为驱动源的例子。在此情况下，驱动器21根据由脉冲电动机控制器22提供的控制信号来给脉冲电动机20产生驱动信号。

此外，尽管镜头驱动部分4和脉冲电动机20都适合于由所谓的前馈控制来驱动，但是，也可能使用另一个结构，在该结构中，提供了检测镜头位置或平台位置的传感器，用于驱动源的反馈控制。

图20B示出了一个用反馈控制来控制驱动源的驱动系统的结构例。驱动器24根据输出引导电路25提供的控制信号来产生驱动系统23的驱动信号。在此情况下，可将圆筒单元(cylinder unit)、电动机或类似装置加到驱动系统23上。可以用应变仪、电位计等来构成位置传感器26，并将其输出提供给加载电路27。加载电路27根据位置传感器26的输出将位置补偿信号提供给输出引导电路25，以便进行驱动系统23的位置校正。

在上述的每个实施例的说明中，都引用了一些例子，在这些例子中，由CCD摄像机提供的视频信号是NTSC格式的，但是，也能用PAL(逐行倒相彩色电视制)格式来处理视频信号。也能更换视频信号解码器部分来处理其它的格式，例如，IEEE 1394和Camera Link(摄像机链接)。在此情况下，也能将视频信号解码器电路的功能合并到FPGA 42中。

进而，也能将样品图像的聚焦估计值和聚焦位置连同样品图像一起显示在监视器9(图1)上，在此，所述样品图像是通过执行根据本发明的自动聚焦控制而得到的。在此情况下，可以分离地安装编码器电路，以便将这样的信息转换为NTSC或类似制式并显示NTSC图像。该编码器电路也可以作为自动聚焦控制设备的电路板安装组件之一来构成，在此，所述自动聚焦控制设备具有上述的第五实施例中说明的结构。

Claims (34)

1.一种自动聚焦控制方法，包括：

图像获得步骤，用于在镜头和对象间的距离中的彼此不同的多个聚焦位置上获得对象的各个图像数据；

估计值计算步骤，用于根据所述获得的各个图像数据为多个聚焦位置中的每一个计算每个聚焦估计值；

焦点位置计算步骤，用于计算作为焦点位置的聚焦位置，在该位置处所述聚焦估计值达到最大值；

移动步骤，用于相对于所述对象将所述镜头相对地移动到所述计算的焦点位置；

所述自动聚焦控制方法的特点在于：

在所述图像获得步骤和所述估计值计算步骤之间提供图像平滑步骤，用于平滑所述获得的图像数据；

根据所述平滑过的图像数据来计算所述聚焦估计值。

2.根据权利要求1的自动聚焦控制方法，其特点在于：

在所述图像平滑处理步骤之前或之后，提供平均亮度计算步骤，用以计算所述获得的图像数据的屏幕平均亮度；

将所述聚焦估计值除以所述计算出的屏幕平均亮度而得到的值用作为所述聚焦估计值。

3.根据权利要求1的自动聚焦控制方法，其特点在于：在所述估计值计算步骤中，根据在所述获得的图像数据中的相邻像素间的亮度数据差来计算所述聚焦估计值。

4.根据权利要求1的自动聚焦控制方法，其特点在于：在所述焦点位置计算步骤中，根据所述计算出的聚焦估计值的最大值和多个邻近的聚焦估计值来计算所述焦点位置。

5.根据权利要求1的自动聚焦控制方法，其特点在于：在所述图像获得步骤中，在连续改变所述镜头和对象间的距离时，在所述多个聚焦位置上获得所述各个图像数据。

6.根据权利要求1的自动聚焦控制方法，其特点在于：并行地进行所述图像获得步骤和所述估计值计算步骤。

7.根据权利要求1的自动聚焦控制方法，其特点在于：用紫外光作为光源来照明所述对象。

8.根据权利要求1的自动聚焦控制方法，其特点在于：将所述获得的图像数据划分成多个区域，并对每个所述划分区计算所述焦点位置。

9.根据权利要求8的自动聚焦控制方法，其特点在于：在所述划分区中，在所述各个划分区的焦点位置处，通过合成图像来获得所述对象的全焦距图像。

10.根据权利要求8的自动聚焦控制方法，其特点在于：在所述多个聚焦位置中，在所述各个划分区的所述焦点位置上，通过合成图像来获得所述对象的三维图像。

11.一种自动聚焦控制方法，包括：

图像获得步骤，在镜头和对象间的距离中的彼此不同的多个聚焦位置处获得对象的各个图像数据；

估计值计算步骤，根据所述获得的各个图像数据来为所述多个聚焦位置中的每一个计算聚焦估计值；

焦点位置计算步骤，计算作为焦点位置的聚焦位置，在此位置处所述聚焦估计值达到最大值；

移动步骤，相对于所述对象，将所述镜头相对地移动到所述计算出的焦点位置；

自动聚焦控制方法，其特点在于包括：

图像平滑步骤，平滑所述获得的图像数据；

平均亮度计算步骤，计算所述获得的图像数据的屏幕平均亮度，其中：

根据所述平滑过的图像数据来计算所述聚焦估计值；

将所述聚焦估计值除以所述计算的屏幕平均亮度而得到的值用作为所述聚焦估计值。

12.根据权利要求11的自动聚焦控制方法，其特点在于：在所述估计值计算步骤中，根据在所述获得的图像数据中的相邻像素之间的亮度数据差来计算所述聚焦估计值。

13.根据权利要求11的自动聚焦控制方法，其特点在于：在所述焦点位置计算步骤中，根据所述计算出的聚焦估计值的最大值和多个邻近的聚焦估计值来计算所述焦点位置。

14.根据权利要求11的自动聚焦控制方法，其特点在于：在所述图像获得步骤中，在连续改变所述镜头和对象间的距离时，在所述多个聚焦位置处获得所述各个图像数据。

15.根据权利要求11的自动聚焦控制方法，其特点在于：并行地进行所述图像获得步骤和所述估计值计算步骤。

16.根据权利要求11的自动聚焦控制方法，其特点在于：用紫外光作为光源来照明所述对象。

17.根据权利要求11的自动聚焦控制方法，其特点在于：将所述获得的图像数据划分成多个区域，并对所述每个划分区计算所述焦点位置。

18.根据权利要求17的自动聚焦控制方法，其特点在于：在所述多个划分区中，在所述各个划分区的焦点位置处，通过合成图像来获取所述对象的全焦距图像。

19.根据权利要求17的自动聚焦控制方法，其特点在于：在所述多个聚焦位置中，在所述各个划分区的焦点位置处，通过合成图像来获取所述对象的三维图像。

20.一种自动聚焦控制设备，包括：

估计值计算装置，用于根据在镜头到对象之间的距离中的彼此不同的多个聚焦位置处获得的各个图像数据，计算多个聚焦位置的聚焦估计值；

焦点位置计算装置，用于根据所述计算出的聚焦估计值的最大值来计算焦点位置；

所述自动聚焦控制装置，其特点在于：包括图像平滑装置，用以平滑所述获得的图像数据，和

其特点还在于：根据所述平滑过的图像数据来计算所述各个聚焦估计值。

21.根据权利要求20的自动聚焦控制装置，其特点在于：包括平均亮度计算装置，其计算所述获得的图像数据的屏幕平均亮度，

其特点还在于：将所述聚焦估计值除以所述计算出的屏幕平均亮度而得到的值用作为所述聚焦估计值。

22.根据权利要求20的自动聚焦控制装置，其特点在于：所述估计值计算装置是边缘增强装置，用于计算在所述获得的图像数据中相邻像素之间的亮度数据差。

23.根据权利要求20的自动聚焦控制装置，其特点在于：所述焦点位置计算装置根据所述计算出的聚焦估计值的最大值和多个相邻的聚焦估计值来计算所述焦点位置；

24.根据权利要求20的自动聚焦控制装置，其特点在于：包括全焦距图像合成装置，用于使用所述获得的图像数据来合成所述对象的全焦距图像。

25.根据权利要求20的自动聚焦控制装置，其特点在于：包括三维图像合成装置，用于使用所述获得的图像数据来合成所述对象的三维图像。

26.根据权利要求20的自动聚焦控制装置，其特点在于：用电路板安装结构来建造，其中，所述估计值计算装置、所述焦点位置计算装置、所述图像平滑装置，以及计算所述图像数据的屏幕平均亮度的平均亮度计算装置作为单个或多个装置安装在一个电路板上。

27.根据权利要求26的自动聚焦控制装置，其特点在于：用于控制驱动装置的驱动控制器件安装在所述电路板上，其调节所述镜头和对象间的距离。

28.根据权利要求26的自动聚焦控制装置，其特点在于：用单个FPAG(现场可编程门阵列)来构建所述估计值计算装置、所述图像平滑装置和所述平均亮度计算装置。

29.一种图像处理设备，包括：图像获得装置，在镜头和对象间的距离中的彼此不同的多个聚焦位置处获得对象的各个图像数据；估计值计算装置，根据所述各个获得的图像数据来对所述多个聚焦位置计算聚焦估计值；焦点位置计算装置，根据所述计算出的聚焦估计值的最大值来计算焦点位置；和移动装置，相对于所述对象将所述镜头相对地移动到所述计算出的焦点位置；

所述图像处理设备的特点在于，包含图像平滑装置，用于平滑所述获得的图像数据；和

其特征还在于，根据所述平滑过的图像数据来计算所述聚焦估计值。

30.根据权利要求29的图像处理装置，其特点在于：包含平均亮度计算装置，用于计算所述获得的图像数据的屏幕平均亮度，

其特征还在于，将所述聚焦估计值除以所述计算出的屏幕平均亮度而得到的值用作为所述聚焦估计值。

31.根据权利要求29的图像处理装置，其特点在于：所述估计值计算装置是边缘增强装置，用于计算在所述获得的图像数据中相邻像素之间的亮度数据差。

32.根据权利要求29的图像处理装置，其特点在于：所述焦点位置计算装置根据所述计算的聚焦估计值的最大值和多个相邻的聚焦估计值来计算所述焦点位置；

33.根据权利要求29的图像处理装置，其特点在于：包括全焦距图像合成装置，用于使用所述获得的图像数据来合成所述对象的全焦距图像。

34.根据权利要求29图像处理装置，其特点在于：包括三维图像合成装置，用于使用所述获得的图像数据来合成所述对象的三维图像。

Images