CN108259753A - 一种基于离焦估计改进爬山法的相机自动调焦方法及装置 - Google Patents

Abstract

本发明涉及相机调焦技术领域，特别是一种基于离焦估计改进爬山法的相机自动调焦方法及装置。相机的离焦状态可以视为图像的高斯模糊状态，当相机处于准焦状态时，当前帧图像的原图像与高斯模糊图像的清晰度评价值偏差较大；当相机处于离焦状态时，当前帧图像的原图像与高斯模糊图像的清晰度评价值偏差较小，且离焦深度越大其清晰度评价值偏差越小，因而可以通过计算当前帧图像的原图像与当前帧图像的高斯模糊图像之间清晰度评价值的偏差，以该偏差大小来表示当前帧图像离焦深度，根据离焦深度的大小来自适应的调整相机的调焦步长，可以在保证调焦精度的前提下快速的达到准焦位置，解决了相机对焦过程中速度与精度难以兼顾的问题。

Description

一种基于离焦估计改进爬山法的相机自动调焦方法及装置

技术领域

本发明涉及相机调焦技术领域，特别是一种基于离焦估计改进爬山法的相机自动调焦方法及装置。

背景技术

相机的自动对焦技术旨在获得清晰度更高的图像。常用的图像自动对焦技术可以分为对焦深度法与离焦深度法，其中离焦深度法是从离焦图像中取得对焦深度信息从而完成自动对焦，因而离焦深度法需要建立起数学模型来描述相机成像系统，从而调整镜头焦距到达准焦位置，对焦速度快但是由于成像系统数学模型建立困难，因而应用较少。而对焦深度法是一种建立在搜寻过程上的对焦方式，通过对图像进行分析计算，结合历史数据判断当前系统的对焦情况，驱动电机逐步向准焦位置靠近，最终得到准焦图像。相对于离焦深度法而言，对焦深度法需要不断尝试更多的对焦位置、处理更多图像，因此速度较慢，但是精度更高，实现更为简易。

对焦深度法主要包含对焦窗口的选择、图像清晰度评价以及对焦搜索算法。图像清晰度评价用于评价当前的对焦效果，理想的清晰度评价函数应该具备单峰性、无偏性、灵敏性特点，准焦图像对应的应为图像清晰度评价的最大值。依据图像评价曲线可知，对焦深度法的关键就是找到使得图像清晰度评价函数评价值最大的镜头位置，因而快速准确的对焦搜索算法决定了相机系统的对焦速度。

目前的对焦搜索算法一般为爬山法，爬山法是模拟盲人爬山的过程，通过上坡或者下坡来判断山峰的位置，无法确认山峰的位置；对焦过程中，爬山法通过对比当前帧图像评价值与前一帧图像评价值的大小确定爬山方向，利用评价曲线单峰性的特性不断向准焦位置靠近，因而爬山法是一个估计推测的过程。在实际的应用中，爬山法的速度与精度一直是一个矛盾的存在，在相机成像系统中，通过控制镜头快速得到准焦位置是自动对焦系统的关键，因此，需要保证对焦精度的前提下尽可能提高对焦速度。

发明内容

本发明的目的是提供一种基于离焦估计改进爬山法的相机自动调焦方法及装置，用以解决相机对焦过程中对焦速度与精度难以兼顾的问题。

为实现上述目的，本发明提供一种基于离焦估计改进爬山法的相机自动调焦方法，包括以下方法技术方案：

方法方案一：一种基于离焦估计改进爬山法的相机自动调焦方法，包括步骤如下：

1)获取当前帧图像，计算当前帧图像的原图像和高斯模糊图像的清晰度评价值；

2)根据原图像的清晰度评价值和高斯模糊图像的清晰度评价值，计算当前帧图像的调焦步长；

3)判断当前帧调焦步长是否为最小调焦步长；

4)若当前帧调焦步长不等于最小调焦步长，则进行步骤1)；否则判断当前帧图像的清晰度评价值是否大于前一帧图像的清晰度评价值；

5)若当前帧图像的清晰度评价值较大，则进行步骤1)；若前一帧图像的清晰度评价值较大，则输出前一帧图像为准焦状态。

有益效果是，本方法方案一相机的离焦状态可以视为图像的高斯模糊状态，当相机处于准焦状态时，当前帧图像的原图像与高斯模糊图像的清晰度评价值偏差较大；当相机处于离焦状态时，当前帧图像的原图像与高斯模糊图像的清晰度评价值偏差较小，且离焦深度越大其清晰度评价值偏差越小，因而可以通过计算当前帧图像的原图像与当前帧图像的高斯模糊图像之间清晰度评价值的偏差，以该偏差大小来表示当前帧图像离焦深度，根据离焦深度的大小来自适应的调整相机的调焦步长，可以在保证调焦精度的前提下快读的达到准焦位置，解决了相机对焦过程中速度与精度难以兼顾的问题。

方法方案二：在方法方案一的基础上，截取自动对焦窗口的中央偏下的位置为调焦窗口。

方法方案三、方法方案四：分别在方法方案一或方法方案二的基础上，求得步骤1)中原图像和高斯模糊图像的清晰度评价值的方法如下：将当前帧图像分别与Sobel算子h_x与h_y卷积后得到I_x与I_y，若当前帧图像为彩色图像，则将当前帧图像转换为灰度图像后再进行；统计对焦窗口内所有像素I_x与I_y的绝对值均值记为SobelE：

则图像清晰度评价值可以用SobelValue表示：

其中，N为对焦窗口内参与绝对值和计算的像素总个数。

方法方案五、方法方案六：分别在方法方案三或方法方案四的基础上，根据原图像的清晰度评价值与模糊图像的清晰度评价值计算调焦步长，计算公式如下：

其中为向下取整函数，k为步长调整参数，SobelValue_原，SobelValue_糊分别为原图像的清晰度评价值与模糊图像的清晰度评价值，L₀为所述最小调焦步长。

本发明提供一种基于离焦估计改进爬山法的相机自动调焦装置，包括以下装置技术方案：

装置方案一：一种基于离焦估计改进爬山法的相机自动调焦装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的程序，所述处理器执行所述程序时实现以下步骤：

1)获取当前帧图像，计算当前帧图像的原图像和高斯模糊图像的清晰度评价值；

2)根据原图像的清晰度评价值和高斯模糊图像的清晰度评价值，计算当前帧图像的调焦步长；

3)判断当前帧调焦步长是否为最小调焦步长；

4)若当前帧调焦步长不等于最小调焦步长，则进行步骤1)；否则判断当前帧图像的清晰度评价值是否大于前一帧图像的清晰度评价值；

5)若当前帧图像的清晰度评价值较大，则进行步骤1)；若前一帧图像的清晰度评价值较大，则输出前一帧图像为准焦状态。

装置方案二：在装置方案一的基础上，截取自动对焦窗口的中央偏下的位置为调焦窗口。

装置方案三、装置方案四：分别在装置方案一或装置方案二的基础上，求得步骤1)中原图像和高斯模糊图像的清晰度评价值的方法如下：将当前帧图像分别与Sobel算子h_x与h_y卷积后得到I_x与I_y，若当前帧图像为彩色图像，则将当前帧图像转换为灰度图像后再进行；统计对焦窗口内所有像素I_x与I_y的绝对值均值记为SobelE：

则图像清晰度评价值可以用SobelValue表示：

其中，N为对焦窗口内参与绝对值和计算的像素总个数。

装置方案五、装置方案六：分别在装置方案三或装置方案四的基础上，根据原图像的清晰度评价值与模糊图像的清晰度评价值计算调焦步长，计算公式如下：

其中为向下取整函数，k为步长调整参数，SobelValue_原，SobelValue_糊分别为原图像的清晰度评价值与模糊图像的清晰度评价值，L₀为所述最小调焦步长。

附图说明

图1是实施例1的一种基于离焦估计改进爬山法的相机自动调焦方法的流程图；

图2是实施例1的一种基于离焦估计改进爬山法的相机自动调焦方法的调焦步长计算方法流程图；

图3是实施例1的一种基于离焦估计改进爬山法的相机自动调焦方法的调焦方向调节流程图；

图4是实施例2的一种基于离焦估计改进爬山法的相机自动调焦方法的流程图；

图5是实施例3的一种基于离焦估计改进爬山法的相机自动调焦方法的对焦窗口选择示意图。

具体实施方式

下面结合附图对本发明做进一步详细的说明。

实施例1

本实施例1提供一种基于离焦估计改进爬山法的相机自动调焦装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的程序，处理器执行程序时实现一种基于离焦估计改进爬山法的相机自动调焦方法，如图1所示，具体流程如下：

1、获取当前帧图像，并计算当前帧图像的调焦步长。

镜头的离焦状态可以视为是图像的高斯模糊的状态，经试验证明，采用Sobel算子进行图像质量评价，准焦的清晰图像与高斯模糊后的清晰图像评价值相差较大，离焦的模糊图像与高斯模糊后的模糊图像评价值相差较小，且离焦的深度越大清晰度评价值偏差越小，因而可以根据该特性自适应的调整调焦的步长，在保证精度的前提下快速的到达准焦位置。

1)图像清晰度评价值的计算。

考虑到算法的FPGA实现，采用对焦窗口内Sobel算子滤波后的绝对值之和的均值评价图像的清晰度评价。如图2所述，首先获得当前帧图像，然后分别计算当前帧图像的图像清晰度评价值与经过高斯模糊后的当前帧图像清晰度评价值，根据这两个评价值的偏差来确定图像处于离焦状态或近准焦状态，计算得到调焦步长，即电机的自适应调整步长。

其中，模糊图像由原图经3*3高斯模板卷积获得，卷积模板如下：

Sobel梯度算子常用于提取图像边缘，应用简单有效，可采用对对焦窗口内的像素经Sobel滤波后的绝对值之和的均值作为图像的清晰度评价指标。原始彩色图像转换为灰度图像，灰度图像分别经过Sobel算子h_x与h_y卷积后得到I_x与I_y，统计对焦窗口内所有像素I_x与I_y的绝对值均值记为SobelE：

则图像清晰度评价值可以用SobelValue表示：

N为对焦窗口内参与绝对值和计算的像素总个数。为了避免噪声以及对焦时场景变化对评价函数值影响，计算绝对值之和仅选取对焦窗口内绝对值前50％的像素。

2)调焦步长的确定。根据其自身图像及其高斯模糊图像质量函数的偏差值来确定当前帧图像的离焦深度，判定当前帧图像为离焦状态还是近准焦状态，自适应的调整电机的移动步长。

根据上述公式求得当前帧图像的清晰度评价值以及其模糊图像的清晰度评价值，可通过计算两个清晰度评价值之间的偏差判断图像此时的对焦状态，并求得图像的调焦步长L：

其中为向下取整函数，k为步长调整参数，SobelValue_原，SobelValue_糊分别为原图像与原图像的高斯模糊图像的图像清晰度评价值，L₀为最小调焦步长。

2、判断当前帧图像的清晰度评价值SobelValue1是否大于前一帧图像的清晰度评价值PreSobelValue1。

当SobelValue1<PreSobelValue1时，调焦结束，取PreSobelValue1所对应的图像即当前图像的前一帧图像为准焦图像，若SobelValue1>PreSobelValue1时，再次进行步骤1，继续循环，直至得到图像清晰度评价值最大的图像帧。

上述的调焦步长包括调焦步长值和调焦方向。如图3所示，在自动对焦的过程中，以增大焦距的方向为正方向，以减小焦距的方向为负方向。第一次调节时默认向正方向调节。以当前焦距对应的图像作为当前帧图像，计算当前帧图像的清晰度评价值为SobelValue1和调焦步长值为L，向正方向调节L个步长的焦距，获得调整后的图像，计算该图像的清晰度评价值为SobelValue2。判断SobelValue1与SobelValue2的大小。当SobelValue1<SobelValue2时，说明调整后图像清晰度得到提高，调焦方向正确，将调整后的新的图像作为当前帧图像，保持调焦方向不变，计算下一次调节的调教步长值；当SobelValue1≥SobelValue2时，说明调整后的图像清晰度变差，调整调焦方向，向负方向调节焦距，获得新的调整后的图像，计算新的调整后的图像清晰度评价值SobelValue2，继续判断SobelValue1与SobelValue2的大小。

实施例2

本实施例2提供一种基于离焦估计改进爬山法的相机自动调焦方法，如图4所示，在实施例1的基础上，在计算得到当前帧图像的调焦步长后，还判断当前帧图像的调焦步长L是否为最小调焦步长L₀。

当L>L₀，则控制电机以当前帧图像的调焦步长L使沿着设定调焦方向进行调节，并再次进行实施例1的步骤1，循环，直到得到L＝L₀。

当L＝L₀，则图像已到达近准焦位置，控制电机以最小调焦步长L₀使沿设定调焦方向进行调节，并进行实施例1的步骤2，只有当图像质量评价最佳即清晰度评价值最大且调焦步长最小时，才达到准焦状态，避免了局部峰值和目标场景突变对调焦的影响。

综上所述，自动调焦的实现过程如下：

1)对于当前调焦位置，生成高斯模糊图像，对原图以及模糊图像的调焦窗口内的像素计算其x向与y向Sobel值，求得两个方向Sobel值得均值SobelE。对SobelE进行直方图统计，得到前50％的值，计算前580％的累加和，除以像素数，得到清晰度评价值SobelValue，计算得到调焦步长L。

2)重复上述的图像处理，按照既定方向以调焦步长L进行调焦，直到计算得到图像的L为最小调焦步长L0，此时调焦到近焦状态，判断此时原图像的SobelValue值，当SobelValue由增大变为减小时进行一步回调，回调后的状态即为准焦状态。

实施例3

本实施例3在实施例1、实施例2的基础上，提供一种基于离焦估计改进爬山法的相机自动调焦方法，通过截取适当调焦窗口获取的当前帧图像，以减小图像信息较少的背景像素对图像清晰度评价值的影响，提高清晰度评价值的对清晰度评价的准确度。

由拍照时使用习惯可推测，观测目标的最上方背景居多，下方多为背景与目标混合，自动对焦窗口选定为中央偏下的位置，例如，如图5所述，选取中央偏下的位置作为调焦窗口，能避免背景过多对图像清晰度评价值的计算造成影响。

以上给出了本发明涉及的具体实施方式，但本发明不局限于所描述的实施方式。在本发明给出的思路下，采用对本领域技术人员而言容易想到的方式对上述实施例中的技术手段进行变换、替换、修改，并且起到的作用与本发明中的相应技术手段基本相同、实现的发明目的也基本相同，这样形成的技术方案是对上述实施例进行微调形成的，这种技术方案仍落入本发明的保护范围内。

Claims (8)

1.一种基于离焦估计改进爬山法的相机自动调焦方法，其特征在于，包括步骤如下：

1)获取当前帧图像，计算当前帧图像的原图像和高斯模糊图像的清晰度评价值；

2)根据原图像的清晰度评价值和高斯模糊图像的清晰度评价值，计算当前帧图像的调焦步长；

3)判断当前帧调焦步长是否为最小调焦步长；

4)若当前帧调焦步长不等于最小调焦步长，则进行步骤1)；否则判断当前帧图像的清晰度评价值是否大于前一帧图像的清晰度评价值；

5)若当前帧图像的清晰度评价值较大，则进行步骤1)；若前一帧图像的清晰度评价值较大，则输出前一帧图像为准焦状态。

2.根据权利要求1所述的基于离焦估计改进爬山法的相机自动调焦方法，其特征在于，截取自动对焦窗口的中央偏下的位置为调焦窗口。

3.根据权利要求1或2所述的基于离焦估计改进爬山法的相机自动调焦方法，其特征在于，求得步骤1)中原图像和高斯模糊图像的清晰度评价值的方法如下：将当前帧图像分别与Sobel算子h_x与h_y卷积后得到I_x与I_y，若当前帧图像为彩色图像，则将当前帧图像转换为灰度图像后再进行；统计对焦窗口内所有像素I_x与I_y的绝对值均值记为SobelE：

则图像清晰度评价值可以用SobelValue表示：

其中，N为对焦窗口内参与绝对值和计算的像素总个数。

4.根据权利要求3所述的基于离焦估计改进爬山法的相机自动调焦方法，其特征在于，根据原图像的清晰度评价值与模糊图像的清晰度评价值计算调焦步长，计算公式如下：

其中为向下取整函数，k为步长调整参数，SobelValue_原，SobelValue_糊分别为原图像的清晰度评价值与模糊图像的清晰度评价值，L₀为所述最小调焦步长。

5.一种基于离焦估计改进爬山法的相机自动调焦装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

1)获取当前帧图像，计算当前帧图像的原图像和高斯模糊图像的清晰度评价值；

2)根据原图像的清晰度评价值和高斯模糊图像的清晰度评价值，计算当前帧图像的调焦步长；

3)判断当前帧调焦步长是否为最小调焦步长；

4)若当前帧调焦步长不等于最小调焦步长，则进行步骤1)；否则判断当前帧图像的清晰度评价值是否大于前一帧图像的清晰度评价值；

5)若当前帧图像的清晰度评价值较大，则进行步骤1)；若前一帧图像的清晰度评价值较大，则输出前一帧图像为准焦状态。

6.根据权利要求5所述的基于离焦估计改进爬山法的相机自动调焦装置，其特征在于，截取自动对焦窗口的中央偏下的位置为调焦窗口。

7.根据权利要求5或6所述的基于离焦估计改进爬山法的相机自动调焦装置，其特征在于，求得步骤1)中原图像和高斯模糊图像的清晰度评价值的方法如下：将当前帧图像分别与Sobel算子h_x与h_y卷积后得到I_x与I_y，若当前帧图像为彩色图像，则将当前帧图像转换为灰度图像后再进行；统计对焦窗口内所有像素I_x与I_y的绝对值均值记为SobelE：

则图像清晰度评价值可以用SobelValue表示：

其中，N为对焦窗口内参与绝对值和计算的像素总个数。

8.根据权利要求7所述的基于离焦估计改进爬山法的相机自动调焦装置，其特征在于，根据原图像的清晰度评价值与模糊图像的清晰度评价值计算调焦步长，计算公式如下：

其中为向下取整函数，k为步长调整参数，SobelValue_原，SobelValue_糊分别为原图像的清晰度评价值与模糊图像的清晰度评价值，L₀为所述最小调焦步长。