CN102273190A

CN102273190A - 适合于选择聚焦设置的方法和数字成像设备

Info

Publication number: CN102273190A
Application number: CN200880132585.5A
Authority: CN
Inventors: S.波拉
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2008-10-31
Filing date: 2008-10-31
Publication date: 2011-12-07
Also published as: GB2479835B; GB201108586D0; US8421906B2; DE112008004060T8; WO2010049004A1; US20110211108A1; DE112008004060T5; GB2479835A

Abstract

一种用于选择数字图像获取设备的聚焦设置的方法，所述方法包括：利用第一聚焦设置（100）获取第一图像（350），利用第二聚焦设置（102）获取第二图像，所述第二图像与所述第一图像被顺序地获取，把所述第一图像（350）分割为第一宏块（352）网格（104），把所述第二图像（106）分割为第二宏块网格，使用第一预定选择准则确定所述第一宏块网格中的第一区（354）和所述第二宏块网格（108）中的第二区，以子宏块精度计算第一区相对于第二区的宏块移位（110），计算用于第一图像的品质因数的第一值和第二图像（112）的品质因数的第二值，使用从属于第一宏块网格的宏块获得的聚焦度量数据来计算第一值，使用从属于第二宏块网格的宏块获得的聚焦度量数据来计算第二值，其中已经针对宏块移位校正了计算的第一和第二值，基于品质因数的第一和第二值使用第二预定选择准则来选择聚焦设置（114）。

Description

适合于选择聚焦设置的方法和数字成像设备

背景技术

大部分数字成像设备使用电荷耦合器件（CCD）阵列或互补金属-氧化物-半导体（CMOS）传感器来捕获数字图像。为了适当地构成图像，必须把来自正成像的对象的光适当地聚焦到阵列或传感器上。在自动聚焦数字成像设备中，这通过以不同的聚焦设置获取多个图像来实现。对这些图像中的每一个计算聚焦品质因数。然后借助算法使用所述品质因数来选择用于在阵列或传感器上聚焦图像的聚焦设置。

用于聚焦照相机的一个流行方法是通过多个焦点位置驱动透镜并且在每个焦点位置捕获聚焦图像（一般在5和20个之间捕获此类帧）。然后基于各个图像滤波器在聚焦图像的一个或多个选择区域（一般称作聚焦区）上累积聚焦度量（focus metric），所述图像滤波器对频谱的适当部分（带通或高通）作出响应并且抑制噪声。然后选择一个或多个区的对应于峰值、测量或内插的透镜位置以便表示真实聚焦。然而因为此过程花费时间并且对于手持式设备或移动场景来说运动可以破坏聚焦度量。在帧运动内，可以通过把聚焦曝光限制在预定阈值（一般为1/60秒）来减轻假象。然而在帧之间对应于每个区的场景区域可以改变，导致不仅涉及聚焦的度量变化。

困难在于在自动聚焦期间，照相机可以略微地移动或者正成像的对象可以在不同帧的获取之间移动。为了照相机适当地聚焦，对于何时为每个图像计算图品质因数而言需要考虑（account for）此运动。运动估计已经用于跟踪各个区并且计算在跟踪的区位置上的聚焦度量。此方法常常是成功的但是高度复杂的由此不与典型的聚焦支持硬件兼容，从而仅在它可以用固件或者作为定制硬件解决方案的一部分实现的情况下是可行的。此类解决方案是昂贵的并且趋向于消耗大量功率，这对诸如移动电话照相机模块之类的消费电子设备来说并不是所希望的。

在美国专利7,428,375 B2中已知调整品质因数来补偿场景移动。

发明内容

本发明提供了一种用于选择聚焦设置的方法、用于选择聚焦设置的计算机程序产品以及数字成像设备。在从属权利要求中给出了本发明的实施例。

实施例通过使用运动补偿的窗函数（windowing function）补偿在聚焦轨迹捕获期间的适度运动来解决上述问题。其可以构建在容易获得的自动聚焦支持硬件上，产生更稳健的聚焦能力，而不会受在捕获期间的小程度的手抖（handshake）或其它运动的影响。

本发明的实施例可以具有以下至少一个优点：

· 此方法的主要优点是它克服了在聚焦期间运动的影响。

· 它可以利用标准硬件。

· 它在计算简单性和通用性之间提供了良好的折衷。

· 它可以用于在聚焦范围搜索（如在本公开描述的方法中）以及连续聚焦中，其中以规则间隔测试一对透镜位置以查看最佳聚焦在哪个方向上以及在该方向上进行小步进。

术语聚焦设置这里被定义为透镜相对于适合于捕获图像的光敏元件的位置量度。聚焦设置可以是之间的实际距离或者它可以用与距离相关的任何变量表示。例子可能是透镜就步进马达的步进而言的位置或者是到致动器的电信号的强度，所述致动器把透镜移动到预定位置中。

聚焦度量这里被定义为怎样聚焦图像的量度并且对于各个宏块进行计算。例如，未聚焦的图像将被模糊，因此像素的方差是聚焦度量的一个例子。聚焦品质因数或只是品质因数这里被定义为怎样聚焦图像的量度并且根据构成所述图像的宏块的聚焦度量来进行计算。在不同的图像之间比较品质因数，因此调整值来补偿照相机的运动或成像的对象的运动。短语“累积品质因数”这里被定义为使用窗函数根据一个或多个宏块的聚焦度量来计算品质因数。

颜色像素可以通过具有红色值、蓝色值和绿色值来表示。绿色和这里被定义为在指定像素区域中像素的绿色值的全部（或其显著比例）的和。聚焦轨迹这里被定义为根据聚焦设置示出聚焦品质因数的曲线。

宏块这里被定义为像素组，优选为矩形像素组。术语‘宏块’是由运动图像专家组（MPEG）定义的术语，并且是16 x 16像素的正方形块。应当理解，如这里定义的宏块不必是16 x 16像素。MPEG所标准化的视频编码技术包括用于使用软件算法或专门硬件在后续的帧中跟踪宏块运动来压缩视频的能力。

相似性度量这里被定义为宏块区与图像区域的相似性的量度。宏块区是一组宏块。

当在数字成像设备聚焦时数字成像设备移动或者图像内的对象移动时，用于确定聚焦设置的后续图像是不同的。然而，两个图像的主要部分是相同的。本发明的实施例通过跟踪宏块移动并且使用宏块运动的知识针对宏块运动影响校正品质因数计算来补偿在聚焦期间的移动。

如这里定义的术语宏块的定义不拘泥于如MPEG所定义的特定宏块像素大小。然而，本发明的实施例的一个方面在于为MPEG视频编码已经开发的技术直接适用于跟踪在聚焦数字成像设备过程期间的宏块运动。

本发明的实施例提供了一种用于选择数字图像获取设备的聚焦设置的方法。所述方法包括利用第一聚焦设置获取第一图像，然后利用第二聚焦设置获取第二图像，所述第二图像与第一图像被顺序地获取。然后把第一图像分割为宏块网格。接下来，把第二图像分割为第二宏块网格。然后，使用预定选择准则来确定在第一宏块网格中的第一区和第二宏块网格中的第二区。选择第一区使得可以计算准确的聚焦度量。第二区可以具有在第二宏块网格内的不同位置以便考虑照相机的运动和/或被照相对象的运动。可以通过估计第一区的移动、通过估计第一区宏块的运动来确定第二区的位置。

接下来，计算用于第一图像的品质因数的第一值和第二图像的品质因数的第二值。使用从属于第一宏块网格的宏块获得的聚焦度量数据来计算第一值并且使用从属于第二宏块网格的宏块获得的聚焦度量数据来计算第二值。计算的品质因数值已经针对宏块移位进行了补偿。然后，使用第二预定选择准则选择聚焦设置并且此值是基于品质因数的第一和第二值的。

此方法优点在于它非常紧凑并且不会使用大量机器资源来计算聚焦设置。此方法是有益的，这是因为用于MPEG视频编码的技术适合于跟踪宏块的运动。所述方法可以使用软件实现，或者它可以在被设计成处理运动宏块并且计算品质因数的特定集成电路上实现。

在另一实施例中，使用窗函数以考虑子宏块移位对计算品质因数的第一和第二值的影响。这是用于计算品质因数值的有益方式，这是因为图像可以移位非整数的宏块。窗函数对用于在宏块的区域或阵列上计算品质因数的值进行平均。可以修改窗函数以便把图像移位结合到用于累积品质因数的窗函数系数的计算中。

在另一实施例中，窗函数被实现为二维高斯函数并且窗函数被预先计算为移位的跟踪分辨率。依照这种方式实现这点是有益的，这是因为高斯窗函数是可分离的。其可以被分解为两个一维水平和垂直窗函数。因为高斯函数可以依照这种方式分解，所以所述函数可以被预先计算为区跟踪所必须的分辨率。例如，如果窗函数将在可能的子宏块偏移的8×8网格上预先计算，那么高斯函数可能会需要用于每个窗口元素的16个不同值的信息，但是无法被分解为两个一维函数的窗函数可能会需要存储64个此类值。

在另一实施例中，通过找到拟合（fit to）在第一区和第一重叠区域之间的第一相似性度量的二次曲面的最小值来计算第一区相对于第二区的子宏块移位。第一重叠区域包括第二区和在第二区周围的边界区域。第一相似性度量是在第一区和第二重叠区域之间绿色区的平方差和或绝对差和。此方法是有益的，这是因为绿色和是由用于蜂窝电话及其它数字照相机的一些芯片组所计算的值。这允许可以用来计算宏块移位和由此聚焦数字成像设备的信息。使二次曲面拟合相似性度量是有益的，这是因为这允许计算子宏块移位。

在另一实施例中，通过从根据第一二次曲面的最小值计算的子宏块移位中减去第二子宏块移位来补偿在计算子宏块移位中的系统偏差，所述第二子宏块移位通过找到拟合第二相似性度量的第二二次曲面的第二最小值来计算。通过找到拟合在第一区和第二重叠区域之间的第二相似性度量的二次曲面的最小值来计算第二子宏块移位。第二重叠区域包括第一区和在第一区周围的边界区域。使用与用于计算第一相似性度量的相同和来在第一区和第一重叠区域之间计算第二相似性度量。此过程是有益的，这是因为通过相似性表面拟合的二次曲面包括受二次曲面本身形状支配的系统偏差。通过依照这种方式考虑系统偏差，确定更准确的子宏块移位值。

在另一实施例中，宏块由连续像素组组成。邻近宏块由部分重叠的像素组组成。这是有益的，因为它生成空间平均形式，所述空间平均减少采样对方法的混叠效应。

在另一实施例中，顺序地获取三个或更多图像以便确定聚焦设置。对三个或更多图像中的每个执行至少一个品质因数计算。针对在三个或更多图像的顺序邻近图像之间的子宏块移位校正品质因数计算并且使用第三预定选择准则根据品质因数计算来确定聚焦设置。这是有益的，这是因为很多次照相机都获得多于两个图像来确定聚焦设置。所述方法可以被应用于一系列图像。然后可以使用具有最佳品质因数设置的图像来选择适当的聚焦。很多次三次或二次函数将适于品质因数数据。这允许更准确地确定适当的聚焦设置。

依照另一方面，使用一种包括用于执行所述方法的机器可执行指令的计算机程序产品。这是有益的，这是因为可以比人类更迅速地执行用于执行所述方法的专门计算机或硬件。这允许方法被集成到适合于自动聚焦的数字成像设备中。

依照另一方面，本发明提供了一种数字图像设备，包括图像获取元件，用于利用第一聚焦设置获取第一图像并且用于利用第二聚焦设置获取第二图像。图像获取元件适合于顺序地获取第一和第二图像。它还包括图像分割元件，用于把第一图像分割为第一宏块网格并且把第二图像分割为第二宏块网格。宏块用于确定在哪确定聚焦度量数据。可以使用不同类型的图像来指定要使用的不同宏块网格。例如如果正成像肖像，那么宏块网格应当处于人面部可能位于的图像中心。然而，对于风景图片来说，成像远距离对象并且在这种情况下宏块可能覆盖所有或大部分图像。

数字图像设备进一步包括区确定元件，用于使用第一预定选择准则确定第一宏块网格中的第一区和第二宏块网格中的第二区。为了选择第一区，可能观看在区中几乎饱和宏块的数目以便确定良好的区域来寻找聚焦度量。可以使用在MPEG编码技术中常常使用的硬件来确定第二区以便估计包括该区的宏块相对于其在第一图像中的位置的运动。

数字图像设备进一步包括宏块移位计算元件，用于计算第一区相对于第二区移位到子宏块位置。将此计算到子宏块位置是有益的，这是因为宏块由一组像素组成，并且如果照相机移动或者如果对象在图像场内移动，那么它不会精确地移动整数个这些像素。数字成像设备还包括品质因数计算元件，用于计算第一图像的品质因数的第一值和用于第二图像的品质因数的第二值。使用为属于第一宏块网格的宏块计算的聚焦度量数据来计算第一值。使用为属于第二宏块网格的宏块计算的聚焦度量数据来计算第二值并且针对宏块移位校正计算的第一和第二值。

数字图像设备进一步包括聚焦设置选择元件，用于基于品质因数的第一和第二值使用第二预定选择准则来选择聚焦设置。此数字成像设备是有益的，这是因为能够使用宏块而不是使用像素移位计算来确定聚焦。这要求很少的机器资源或计算时间，这允许此其它聚焦被集成到大量成像设备中，例如其可以被集成到蜂窝电话的照相机中。

在另一实施例中，品质因数计算元件包括修正的窗函数元件，其适合于利用窗函数执行品质因数计算以便补偿子宏块移位。已经讨论了其优点。

在另一实施例中，窗函数元件包括用于存储数字数据的存储元件，所述存储元件包含预先计算的高斯函数值以便重构移位的二维高斯函数并且窗函数元件适合于使用二维高斯函数执行品质因数计算。如先前所提及，这是有益的，这是因为高斯函数可以被分解为两个一维函数，已经讨论了其优点。

第一和第二图像由像素组成。图像分割元件适合于根据连续像素组计算宏块值并且邻近宏块的连续像素组彼此部分重叠。这是有益的，这是因为这引入空间平均形式，这减小了由于在确定聚焦设置时的采样所导致的混叠效应。已经讨论了其优点。

在另一实施例中，图像获取元件适合于获取至少三个图像，其中所述品质因数元件进一步适合于计算所述图像的品质因数计算，并且针对在顺序邻近图像之间的子宏块移位校正所述品质因数计算，并且所述聚焦设置选择器进一步适合于使用第三预定选择准则根据所述品质因数计算来确定所述聚焦设置。这是有益的，这是因为使用大量图像来确定聚焦设置。可以从可能聚焦设置的更大范围中选择聚焦设置。

在另一实施例中，使用MPEG视频编码算法的适配（adaptation）来实现宏块移位计算元件。此实施例优点在于MPEG视频编码算法可以高效地跟踪帧间的宏块运动。可以怎样实现宏块移位计算元件的例子是：作为专门的集成电路或作为由用于由微控制器或计算机执行的机器可执行代码组成的计算机程序产品。

在另一实施例中，数字成像设备进一步由集成电路组成。集成电路包括品质因数计算元件和子宏块移位计算元件。这是有益的，这是因为这允许由计算机或微处理器利用最小的数值计算来确定聚焦。如先前所提及，用于在MPEG视频编码芯片中确定宏块移动的技术可以被应用于此问题。

附图说明

在下面将仅以举例形式并且参考附图描述本发明的优选实施例，其中：

图1示出了依照本发明用于选择聚焦设置的方法的实施例，

图2示出了依照本发明的数字成像设备的实施例，

图3示出了具有被分割为宏块网格的部分的数字图像，

图4示出了一组宏块，

图5示出了拟合在第一区和第二区之间的图像相似性度量的最小二乘方，

图6示出了拟合在第一区及其自身之间的图像相似性度量的最小二乘方，

图7示出了把使用本发明实施例计算的子宏块运动相对于实际的像素运动进行比较的图表，

图8示出了用于比较不同运动补偿方法的品质因数误差的图表，

图9示出了窗函数和修正的窗函数的图表。

具体实施方式

图1示出了用于选择聚焦设置的方法的实施例。所述方法步骤包括利用第一聚焦设置100获取第一图像，利用第二聚焦设置102获取第二图像，把第一图像分割为第一宏块网格104，把第二图像分割为第二宏块网格106，确定在第一宏块网格中的第一区并且确定在第二宏块网格108中的第二区，计算宏块移位110，计算所述第一图像的品质因数的第一值并且计算所述第二图像112的品质因数的第二值，并且选择聚焦设置114。

典型的自动聚焦支持硬件提供了聚焦信息的低分辨率网格。每个网格位置对应于传感器的固定区域并且存储与该位置有关的累积的聚焦数据。聚焦数据可以是在网格元件附近的一个或多个聚焦滤波器的累积幅度加上相同网格位置的累积的绿色和或平均值所产生的一个或多个聚焦度量。每个网格位置覆盖的图像区域在整个聚焦过程中是固定的并且是一侧上的许多像素。例如，可以使用16x12或更多像素的网格。因此不可以修改聚焦区的位置，其现在对应于连续的网格点的子矩形，与硬件的网格尺寸相比更精确。在聚焦区的布局中的此粒度级没有准确到足够依照上述方法实现。

将每个网格位置的绿色和数据以及累积的品质因数称作宏块，因为它对应于像素的矩形子阵列；对于在聚焦序列的宏块数据的后续帧之间的宏块网格中定义的聚焦区来说找到运动110的子宏块估计。该区被选择以免把边缘宏块包括在网格中并且因此可以是多达（N-2）x（M-2）宏块的任何大小，其中N是宏块网格的水平尺寸并且M是垂直尺寸。可以对于宏块网格的每个元素用硬件直接估计运动信号。然后这可以在构成聚焦区的宏块上累积以便取得区本身的运动的最佳估计。然而如果这种信号是不可用的，那么可以根据宏块网格的绿色和数据来估计子宏块运动。

和乘方距离计算后面是二次曲面拟合生成子宏块运动的合理估计。如果宏块累积的过程涉及一定程度的防混叠（即在每个宏块中累积的值起因于比宏块网格元件本身大得多的区域使得宏块支持区域显著重叠），那么进一步改进运动估计的质量和稳健性。这是硬件解决方案的重要设计准则。

使用子宏块运动估计，可以产生在后续帧的任何对之间的聚焦区的变化品质因数的运动补偿估计。这通过使用修正的高斯窗函数以便根据构成区的宏块和在所述区周围的一个宏块边界来累积品质因数数据来实现。这是为什么我们不使用网格的边界宏块来定义在第一地点中的区。窗函数常常用于减少在累积数据时精确位置的影响。并非是具有清晰定义的边界，窗函数从完全累积平滑地变换为零累积。2D高斯（对称或不对称的）是窗函数的流行形状，不过存在其它可能性。其优点在于其是可分离的并且可以由一对1D高斯函数构成。可以修正窗函数以便允许在帧之间的宏块运动的测量估计。下面将描述此过程。

作为选择，可以使用专门硬件来实现在图1中所示出的方法的实施例。获取第一图像100然后获取第二图像102。可以按照图像类型来确定把第一图像分割为宏块网格104以及把第二图像分割为宏块网格。例如对于风景照片，大部分或全部图像可以被分割为宏块。对于肖像来说，可以只通过把图像的中央部分分割为宏块来确定聚焦。可以使用用于MPEG图像编码的算法来实现确定第一宏块区和第二宏块区108并且计算宏块移位110。如在绿色和用来计算宏块移位的情况下，可以执行第一和第二图像112的品质因数的计算以及聚焦设置114的选择。

图2示出了数字成像获取设备的实施例。存在封闭CCD阵列226的外壳220。在外壳上，还安装了用于驱动透镜222的致动器224。所述透镜适合于相对于CCD阵列226移到不同的焦距。本发明的主要目标是确定适当的聚焦设置或者实质上是在透镜222和CCD阵列226之间的适当距离。致动器224把透镜222移动到不同的位置中，并且利用CCD阵列226获取图像。

在CCD阵列228和电子设备部件230之间存在连接。电子设备部件230可以包括集成电路并且它还可以包括适合于执行计算的微控制器或微处理器。电子设备部件包括CCD阵列控制器232、图像分割元件234、宏块移位计算元件236、聚焦度量计算元件238、品质因数计算元件242、聚焦设置选择元件246和区确定元件248。这些各个元件可以用硬件实现或者它们可以被实现为由微控制器或微处理器执行的计算机可执行指令。在专门的集成电路之间和在被实现为机器可执行指令的元件之间也可以存在混合。在此图中，品质因数计算元件242和聚焦度量计算元件238被示为集成到一个专门集成电路244中。包括宏块移位并且包括电子设备部件的其它元件也可以被集成到此或其它专门芯片中。聚焦度量计算元件包括窗函数元件240。窗函数元件用来在宏块的空间组上进行平均。这允许准确地补偿所测量的运动估计。

图3示出了数字图像350。数字图像350由单独像素组成。数字图像350的区域已经被分割为宏块网格352。区354位于宏块网格352内。区354是为其计算品质因数的区域。在宏块网格内可以移动该区以便找到最优地方来确定品质因数。所述任务是选择宏块的区354，可以准确地跟踪所述区354以便给出运动相关且稳健的整个品质因数估计。当选择区354时，应当避免图像的饱和和阴暗区域。考虑每个可能的区354位置，允许跟踪一个宏块边界。第一区354的主要选择准则是在区354中以及在区354周围的一个宏块边界内的饱和宏块的数目。用于第一区354的辅助选择准则包括：绿色和梯度（水平和垂直）的绝对值、除以绿色和的品质因数，并且选择具有最大平方差和（SSD）和/或在其八个邻居上的绝对差和（SAD）的区。

图4示出了一组宏块452。这些宏块通过C0到C8来标记。这些位置中的每一个指示其中计算相似性度量的位置。可以使用最小乘方拟合来把二次曲面拟合到相似性度量。C0在中央并且对应于未移位的位置并且周围宏块C1到C8中的每个对应于一个宏块移位。在每个点中计算这些中的每个的相似性度量。

使用这些值，最小二乘方二次曲面

Z = aX²+ bY²+ cXY + dX + eY + f

可以利用以下系数来构造：

a = ((C1+C2+C8+C4+C5+C6)-2*(C0+C3+C7))/6；

b = ((C2+C3+C4+C6+C7+C8)-2*(C0+C1+C5))/6；

c = ((C4+C8)-(C2+C6))/4；

d = ((C4+C5+C6)-(C1+C2+C8))/6；

e = ((C2+C3+C4)-(C6+C7+C8))/6；

其中C0到C8对应于在该位置的相似性度量的值。使用平方差和（SSD）或使用在其最近邻居上的绝对差和（SAD）来计算宏块相似性度量。在包括所选聚焦区的宏块组上累积度量。这使用单独宏块的绿色和值来计算。

图5示出了利用在下面图像中的第一区和第二区之间的相似性度量的最小乘方拟合构成的二次曲面660的例子。此表面的最小值是子宏块移位。二次方程式的最小值相对于被标记为C0的宏块中心的偏移处于由以下公式给出的位置dX和dY（以宏块大小单位）：

dX = (2bd - ce)/(c2 – 4ab)

dY = (2ae - cd)/(c2 – 4ab)

然而，由于通过数据适合的二次方程式的自然形状而存在系统偏差。可以通过从使用第一和第二区得到的估计中减去通过把二次方程式通过第一区的相似性度量与其自身拟合所确定的偏移来补偿此系统偏差。

图6示出了拟合第一区与在第一区周围的宏块的相似性度量的二次曲面660的绘图。在560中从最小值的位置中减去此表面660的最小值的小系统偏移。

图7示出了用于表明如使用实际图像数据的离线模拟计算的、在宏块运动和像素运动之间的相关性的图表。相对于在5.9个像素的平均帧间运动的情况下在98个帧运动序列上收集的图像区的像素运动来比较子宏块运动。平均欧几里得误差是1.6像素（RMS 1.99像素）。宏块是16x12像素。线770示出了轴宏块相对于像素运动移位。使用本发明实施例的方法，如在图7中所见，所计算宏块移位的x分量772和y分量774是高度相关的。图7表明所述方法允许合理估计相对于像素运动的宏块移位。

图8示出了当改进运动补偿质量时怎样减小品质因数的相对误差的条形图。比较四种不同的方法：第一是无补偿882，第二是高斯窗884，第三是高斯补偿886并且第四是像素跟踪888。对三种不同的情况已经执行了这些中的每个，一个用于对应于平均每帧5.9像素的快速移动，一个用于对应于2.6像素的慢运动894并且一个用于完全无运动896。无补偿882、高斯窗884和高斯补偿886是基于宏块品质因数计算和宏块跟踪的，而像素跟踪888使用像素跟踪和品质因数累积。高斯窗方法884使用固定窗并且不利用宏块运动估计，而高斯补偿方法886这样做。当改进运动补偿质量时，减少品质因数相对误差。比较四种不同的方法示出相对误差890。

图9示出了可以怎样修改窗函数来补偿子宏块运动的一维图示。

在此图的顶部908中，使用标准高斯窗函数900来计算在其下面的宏块902的品质因数。高斯窗函数可以被计算为：G（x）= Exp（-x²/σ²），其中x是位置坐标，并且σ是高斯函数的标准偏差并且必须被选择为允许所述函数在正计算价值函数的区的范围上接近零。

一维网格的每个宏块乘以在其位置的窗函数的值或者在宏块宽度上的窗口的平均值。品质因数可以被计算为：

FOM = Sum(B[i]*gaussWindow[i])，

其中FOM是价值函数的值，B是宏块的聚焦度量的值，i是用于引用所有宏块的索引，并且gaussWindow是在宏块处的高斯窗函数的值。可以选择窗函数的代表值，或者可以在宏块上平均高斯函数。最终量化的窗函数gaussWindow[i]可以被归一化，使得它遍及所有可能的值i总计为1.0以便使所述方法在数值上更加便利。

依照这种方式使用窗函数优点在于极大地减小了对价值函数的边缘影响由此直接引入用于运动的一定程度的容差。然而，可以进一步增加对运动的容差。

图9的下部910图示了窗函数的位置本身可以被修正以便考虑在被累积到宏块本身中的数据的子宏块移位。示出了原始的高斯窗函数900和按照δ906移位的经修正的高斯函数904。

为了实现这点，必须计算窗函数以考虑子宏块移位。依照以下函数计算移位的一维高斯窗函数：

H(x) = Exp(-(1-δ)²/σ²),

其中x是位置坐标，σ是高斯函数的标准偏差并且必须被选择以便允许所述函数在正于其上计算价值函数的区的范围上接近零，并且δ是子宏块移位。品质因数被计算为

FOM = Sum(B[i]*gaussWindowShifted[i]),

除使用H（x）代替G（x）作为窗函数之外，其与gaussWindow相同。同样，可以归一化gaussWindowShifted[i]使得它在所有可能的值i上总计为1.0。

每当量化移位的窗函数gaussWindowShifted[i]被用于δ的计算值时，可以通过计算窗函数来实现量化移位的窗函数gaussWindowShifted[i]。然而，这可能是计算密集的，并且这可以通过预计算用于δ的预选值的窗函数来避免。可以选择δ的值使得通过预选的运动估计准确性来确定在值之间的差异。

例如，如果假定直到1/8宏块的子宏块步长是可测量的，那么我们只需要存储需要提前计算（并且适当归一化）的高斯函数的8个版本。这8个函数中的每个对应于运动移位的不同估计。

高斯是对称的因此可以根据二维情况的相同系数来计算在其它方向上的运动。由于2D高斯窗函数是可分离的，所以我们只需要存储2组一维剖面（profile）。如果区是正方形，那么它可能只需要存储单个组。

附图标记列表：

100	利用第一聚焦设置获取图像
		102	利用第二聚焦设置获取第二图像
104	把第一图像分割为第一宏块网格
		106	把第二图像分割为第二宏块网格
108	确定第一宏块网格中的第一区并且确定第二宏块网格中的第二区
		110	计算宏块移位
112	计算第一图像的品质因数的第一值并且计算第二图像的品质因数的第二值
		114	选择聚焦设置
220	外壳
		222	透镜
224	致动器
		226	CCD阵列
228	在CCD阵列和电子设备部件之间的连接
		230	电子设备部件
232	CCD阵列控制器
		234	图像分割元件
236	宏块移位计算元件
		238	聚焦度量计算元件
240	窗函数元件
		242	品质因数计算元件
244	集成电路
		246	聚焦设置选择器元件
248	区确定元件
		350	数字图像
352	宏块网格
		354	区
452	宏块
		560	二次曲面
660	二次曲面
		770	像素移位
772	所计算宏块移位的X分量
		774	所计算宏块移位的Y分量
882	无补偿
		884	高斯窗
886	高斯补偿
		888	像素跟踪
890	平均相对误差（A - B）/（A+B）
		892	快速运动
894	慢速运动
		896	无运动
900	高斯窗函数
		902	宏块
904	移位的高斯窗函数
		906	子宏块移位
908	图的顶部
		910	图的底部

权利要求书(按照条约第19条的修改)

1.一种用于选择数字图像获取设备的聚焦设置的方法，所述方法包括：

利用第一聚焦设置（100）获取第一图像（350），

利用第二聚焦设置（102）获取第二图像，所述第二图像与所述第一图像被顺序地获取，

把所述第一图像（350）分割为第一宏块（352）网格（104），

把所述第二图像（106）分割为第二宏块网格，

使用第一预定选择准则确定所述第一宏块网格中的第一区（354）和所述第二宏块网格（108）中的第二区，其中所述第一预定选择准则包括在相应区中以及在相应区周围的宏块边界中饱和宏块的数目，

以子宏块精度计算第一区相对于第二区的宏块移位（110），

计算所述第一图像的品质因数的第一值和所述第二图像（112）的品质因数的第二值，使用从属于第一宏块网格的宏块获得的聚焦度量数据来计算所述第一值，使用从属于第二宏块网格的宏块获得的聚焦度量数据来计算所述第二值，其中已经针对宏块移位校正了计算的第一和第二值，

基于品质因数的第一和第二值使用第二预定选择准则来选择聚焦设置（114），其中所述第二预定选择准则包括最大平方差和（SSD）和/或绝对差和（SAD）。

2.如权利要求1所述的方法，其中窗函数用来考虑子宏块移位对计算品质因数的第一和第二值的影响。

3.如权利要求2所述的方法，其中所述窗函数是二维高斯函数，其中所述窗函数被预先计算为宏块移位的跟踪分辨率。

4.如权利要求1、2或3所述的方法，其中通过找到拟合在第一区（354）和第一重叠区域之间的第一相似性度量的二次曲面（560）的最小值来计算第一区（354）相对于第二区的子宏块移位，第一重叠区域包括所述第二区和在所述第二区周围的边界区域，所述第一相似性度量是绝对差和或者在所述第一区和第二重叠区域之间的绿色和的平方差和。

5.如权利要求4所述的方法，其中通过从子宏块移位中减去通过找到拟合第二相似性度量的第二二次曲面的第二最小值所计算的第二子宏块移位来补偿在计算子宏块移位中的系统偏差，第二相似性度量在第一区和第二重叠区域之间，第二重叠区域包括所述第一区和在所述第一区周围的边界区域，并且使用与所述第一相似性度量相同的和在所述第一区和第二重叠区域之间计算所述第二相似性度量。

6.如先前权利要求中任何一个所述的方法，其中宏块根据连续像素组计算，其中邻近宏块根据部分重叠的像素组计算。

7.如先前权利要求中任何一个所述的方法，其中顺序地获取三个或更多图像以便确定聚焦设置，其中对所述三个或更多图像中的每个执行至少一个品质因数计算，针对在所述三个或更多图像的顺序邻近图像之间的子宏块移位校正所述品质因数计算，并且其中使用第三预定选择准则根据所述品质因数计算来确定所述聚焦设置。

8.一种包括用于执行如先前权利要求中任何一个所述方法的机器可执行指令的计算机程序产品。

9.一种数字成像设备，包括：

图像获取元件（220，222，224，226，228，232），用于利用第一聚焦设置来获取第一图像（350）并且利用第二聚焦设置来获取第二图像，所述图像获取元件适合于顺序地获取第一和第二图像，

图像分割元件（234），用于把所述第一图像分割为第一宏块网格（352）并且用于把所述第二图像分割为第二宏块网格，

区确定元件（248），用于使用第一预定选择准则确定所述第一宏块网格中的第一区（354）和所述第二宏块网格中的第二区，其中所述第一预定选择准则包括在相应区中以及在相应区周围的宏块边界中饱和宏块的数目，

宏块移位计算（236）元件，用于以子宏块精度计算第一区相对于第二区的移位，

聚焦度量数据计算元件（238），用于计算宏块的聚焦度量值，

品质因数计算元件（242），用于计算所述第一图像的品质因数的第一值和所述第二图像的品质因数的第二值，使用根据属于第一宏块网格的宏块计算的聚焦度量数据来计算所述第一值，使用根据属于第二宏块网格的宏块计算的聚焦度量数据来计算所述第二值，其中已经针对子宏块移位校正了计算的第一和第二值，

聚焦设置选择器元件（246），用于基于品质因数的第一和第二值使用第二预定选择准则来选择聚焦设置，其中所述第二预定选择准则包括最大平方差和（SSD）和/或绝对差和（SAD）。

10.如权利要求9所述的数字成像设备，其中所述品质因数计算元件包括窗函数元件（240），适合于利用窗函数加权品质因数计算以便补偿子宏块移位。

11.如权利要求10所述的数字成像设备，其中所述窗函数元件包括用于存储数字数据的存储元件，所述存储元件包含用于重构二维高斯函数的高斯函数的预先计算的值，所述窗函数元件适合于利用二维高斯函数加权品质因数计算。

12.如权利要求9到11中任何一个所述的数字成像设备，其中所述第一和第二图像由像素组成，其中所述图像分割元件适合于根据连续像素组计算宏块的值，其中邻近宏块的连续像素组彼此部分重叠。

13.如权利要求9到12中任何一个所述的数字成像设备，其中所述图像获取元件适合于获取至少三个图像，其中所述品质因数计算进一步适合于计算所述图像的品质因数计算，针对在顺序邻近图像之间的子宏块移位校正所述品质因数计算，并且其中所述聚焦设置选择器进一步适合于使用第三预定选择准则根据所述品质因数计算来确定所述聚焦设置。

14.如权利要求9到13中任何一个所述的数字成像设备，其中使用MPEG视频编码算法的适配来实现宏块移位计算元件。

15.如权利要求9到14中任何一个所述的数字成像设备，进一步包括集成电路（244），所述集成电路（244）包括品质因数计算元件和子宏块移位计算元件。

Claims

1. 一种用于选择数字图像获取设备的聚焦设置的方法，所述方法包括：

利用第一聚焦设置（100）获取第一图像（350），

把所述第一图像（350）分割为第一宏块（352）网格（104），

把所述第二图像（106）分割为第二宏块网格，

使用第一预定选择准则确定所述第一宏块网格中的第一区（354）和所述第二宏块网格（108）中的第二区，

以子宏块精度计算第一区相对于第二区的宏块移位（110），

基于品质因数的第一和第二值使用第二预定选择准则来选择聚焦设置（114）。

2. 如权利要求1所述的方法，其中窗函数用来考虑子宏块移位对计算品质因数的第一和第二值的影响。

3. 如权利要求2所述的方法，其中所述窗函数是二维高斯函数，其中所述窗函数被预先计算为宏块移位的跟踪分辨率。

4. 如权利要求1、2或3所述的方法，其中通过找到拟合在第一区（354）和第一重叠区域之间的第一相似性度量的二次曲面（560）的最小值来计算第一区（354）相对于第二区的子宏块移位，第一重叠区域包括所述第二区和在所述第二区周围的边界区域，所述第一相似性度量是绝对差和或者在所述第一区和第二重叠区域之间的绿色和的平方差和。

5. 如权利要求4所述的方法，其中通过从子宏块移位中减去通过找到拟合第二相似性度量的第二二次曲面的第二最小值所计算的第二子宏块移位来补偿在计算子宏块移位中的系统偏差，第二相似性度量在第一区和第二重叠区域之间，第二重叠区域包括所述第一区和在所述第一区周围的边界区域，并且使用与所述第一相似性度量相同的和在所述第一区和第二重叠区域之间计算所述第二相似性度量。

6. 如先前权利要求中任何一个所述的方法，其中宏块根据连续像素组计算，其中邻近宏块根据部分重叠的像素组计算。

7. 如先前权利要求中任何一个所述的方法，其中顺序地获取三个或更多图像以便确定聚焦设置，其中对所述三个或更多图像中的每个执行至少一个品质因数计算，针对在所述三个或更多图像的顺序邻近图像之间的子宏块移位校正所述品质因数计算，并且其中使用第三预定选择准则根据所述品质因数计算来确定所述聚焦设置。

8. 一种包括用于执行如先前权利要求中任何一个所述方法的机器可执行指令的计算机程序产品。

9. 一种数字成像设备，包括：

区确定元件（248），用于使用第一预定选择准则确定所述第一宏块网格中的第一区（354）和所述第二宏块网格中的第二区，

聚焦设置选择器元件（246），用于基于品质因数的第一和第二值使用第二预定选择准则来选择聚焦设置。

10. 如权利要求9所述的数字成像设备，其中所述品质因数计算元件包括窗函数元件（240），适合于利用窗函数加权品质因数计算以便补偿子宏块移位。

11. 如权利要求10所述的数字成像设备，其中所述窗函数元件包括用于存储数字数据的存储元件，所述存储元件包含用于重构二维高斯函数的高斯函数的预先计算的值，所述窗函数元件适合于利用二维高斯函数加权品质因数计算。

12. 如权利要求9到11中任何一个所述的数字成像设备，其中所述第一和第二图像由像素组成，其中所述图像分割元件适合于根据连续像素组计算宏块的值，其中邻近宏块的连续像素组彼此部分重叠。

13. 如权利要求9到12中任何一个所述的数字成像设备，其中所述图像获取元件适合于获取至少三个图像，其中所述品质因数计算进一步适合于计算所述图像的品质因数计算，针对在顺序邻近图像之间的子宏块移位校正所述品质因数计算，并且其中所述聚焦设置选择器进一步适合于使用第三预定选择准则根据所述品质因数计算来确定所述聚焦设置。

14. 如权利要求9到13中任何一个所述的数字成像设备，其中使用MPEG视频编码算法的适配来实现宏块移位计算元件。

15. 如权利要求9到14中任何一个所述的数字成像设备，进一步包括集成电路（244），所述集成电路（244）包括品质因数计算元件和子宏块移位计算元件。