CN113869363B - 一种基于图像评价网络和图像评价函数的爬山调焦搜索方法 - Google Patents

Abstract

本发明公开了一种基于图像评价网络和图像评价函数的爬山调焦搜索方法。该方法首先需要训练图像评价网络模型，然后将采集的图像信息输入至图像评价网络中，该网络可以准确辨别采集图像的模糊程度，不同的模糊程度对应着不同的搜索步长，图像评价函数的作用是控制搜索方向，并且在图像较为清晰时采用曲线拟合的调焦搜索方法。该方法充分利用各个算法的优点，在保证调焦精度的同时，大大地提高了调焦搜索效率，并且可以有效避免局部极值点。能更好地用于实际调焦工程，提高光学系统的最终成像质量。

Description

一种基于图像评价网络和图像评价函数的爬山调焦搜索方法

技术领域

本发明属于基于图像处理的自动调焦领域，具体涉及一种基于图像评价网络和图像评价函数的爬山调焦搜索方法，所述图像评价网络为基于卷积神经网络的图像评价网络，所述图像评价函数为图像清晰度评价函数，将图像信息输入图像评价网络中，可以识别图像的模糊程度，然后根据图像的模糊程度精确控制下一步调焦搜索步长，图像评价值的作用是控制调焦搜索方向，二者结合提高搜索效率。

背景技术

在靶场实验中，光学测量系统在测量以及目标观测等领域有着重要的应用，通过高精度调焦和对光学系统精确标定，可以提高系统的探测能力，并对成像细节进行高清晰显示，同时还可以实现对目标的高精度航迹、姿态或者辐射测量。但受到大气、温度或者目标快速运动，导致系统离焦，不能清晰成像。因此，如何快速调焦一直是调焦领域亟待解决的问题。

基于爬山搜索的对焦深度法因为其原理简单，工程上易于实现，所以广泛应用各个领域。但是该方法是一个逐步搜索的过程，而且单帧图像的评价值无法辨别图像是否清晰，以至于在系统清晰时，由于搜索步长未达到调焦结束条件时，调焦步骤持续进行，势必会增加调焦次数，影响调焦速度。近些年，在无参考图像评价领域中卷积神经网络成果突出，图像评价网络的功能和图像评价函数大致相当，但是图像评价网络的评价效果更为具体，所以本方法是将此两者算法结合，提高调焦搜索效率。

发明内容

本发明的目的在于提供一种基于图像评价网络和图像评价函数的爬山调焦搜索方法，该方法能够避免在搜索过程中调焦机构陷入局部极值，造成误调焦，还能够提高调焦搜索效率。

本发明的原理是：

1.利用图像神经网络实现模糊图像分类任务，将模糊程度一样的图像归为一类；图像分类的主要过程包括图像预处理、特征提取和分类器设计。图像预处理包括图像滤波，如中值滤波、均值滤波、高斯滤波以及图像归一化等操作，其主要作用是过滤图像中的一些无关信息，在简化数据的前提下最大限度地保留有用信息，增强特征提取的可靠性。特征提取是图像分类任务中最为关键的一部分，其将输入图像按照一定的规则变换生成另一种具有某些特性的特征表示，新的特征往往具有低维度、低冗余、低噪声、结构化等优点，从而降低了对分类器复杂度的要求，提高了模型性能。最后通过训练分类器对提取的特征进行分类，从而实现图像的分类。

2.图像评价函数：空间域的图像清晰度评价函数主要基于清晰图像比模糊图像的边缘更为清晰、对比度更高、灰度变化程度较为剧烈等特征来评判准焦和离焦图像。如SMD函数的公式式子的物理意义为：将目标像素的灰度值分别与其水平方向和垂直方向的两个相邻的像素的灰度值做灰度差绝对值计算，然后遍历整张图像，把累加的结果作为图像评价值，其中图像评价值越高，表示图像越清晰，相反，如果图像评价值越低，表示图像越模糊。理想的图像评价函数曲线是一个开口向下的二次函数曲线，峰值只有一个。

3.调焦搜索过程：首先用图像评价网络识别图像的模糊程度，然后根据图像的模糊程度设置下一步的搜索步长，而图像的图像评价值用来控制搜索方向，二者结合提高搜索效率。

为解决上述技术问题，基于上述原理，本发明提出以下技术方案：

一种基于图像评价网络和图像评价函数的爬山调焦搜索方法，该方法包括以下步骤：

步骤一，构建图像数据集：

所述图像数据集按模糊程度分为多类图像数据集，所述多类图像数据集的分类包括：清晰图像、浅度模糊图像、中度模糊图像、重度模糊图像；其中手机的高清屏保图像作为清晰图像一类；

步骤二，训练多个图像评价网络模型：

采用构建的所述图像数据集输入图像分类网络进行模型训练，所述图像分类网络包括AlexNet、VGG、Inception-V3；所述图像评价网络用于识别图像的模糊程度；

步骤三，选取多个图像评价函数：

所述图像评价函数模型类似于一个开口向下的二次函数曲线，根据以下五个基本特征选取多个图像评价函数：(1)无偏性；(2)单峰性；(3)灵敏度高；(4)鲁棒性强；(5)计算量小。

步骤四，确定评价网络模型和图像评价函数：

通过仿真实验对比，挑选SMD曲线作为图像清晰度评价函数，以及挑选图像评价网络识别精度最高的模型；

步骤五，识别图像模糊程度和图像评价值：

将采集的图像输入训练好的步骤四所确定的图像评价网络中，先识别出图像的模糊程度，然后基于步骤四确定的图像评价函数得到图像评价值，并将结果做好记录。

步骤六，调焦搜索：

在第一次调焦时，移动固定距离L采集图像，然后，回到步骤五，记录移动后采集的图像评价值，通过比对两次图像评价值确定搜索方向；然后根据步骤五识别的图像的模糊程度设置搜索步长，并基于该搜索步长采集图像，反复执行步骤五和步骤六，直至采集图像清晰。

在非第一次调焦时，根据步骤五识别的图像的模糊程度设置搜索步长，然后移动所述搜索步长采集图像，反复执行步骤五和步骤六，直至采集图像清晰。

其中，步骤六中，识别的图像为重度模糊图像时对应的搜索步长为bL，识别为中度模糊图像时对应的搜索步长为aL，识别为浅度模糊图像时使用曲线拟合搜索算法确定聚焦点，为清晰图像时对应于结束调焦，aL和bL分别为步长L的a倍和b倍，其中a，b为大于1的整数且b>a，这样使得不同成像状态下的搜索步长不同，成像系统越模糊对应的搜索步长越大，以此提升搜索效率。

其中，步骤一中，按照7：2：1，将所述图像数据集分为训练集、验证集和测试集。

其中，步骤一中，用高斯模糊公式，以清晰图像为模板，按方差不同对图像模糊程度进行归类。

本发明所述的技术方案中，图像评价网络可以识别图像的模糊程度，具有和评价函数一样的功能，但是图像评价网络的评价结果更为具体。

步骤五中识别的不同的模糊程度对应于不同的搜索步长，这个特点和人为操作调焦一样，当人眼感觉系统离焦程度大时，知道通过大幅度修正系统参数，当人眼感觉系统离焦程度小时，调焦的搜索步长较小。使用图像评价网络可以做到对搜索步长的精细化控制，减少没必要的搜索过程。

所述的图像评价网络的作用是可以识别图像的模糊程度，实际应用中的的评价函数存在局部极值，传统的爬山搜索方法容易陷入局部极值，导致调焦失败。使用图像评价网络可以对该点的模糊程度做出识别，如果该点图像清晰，则终止调焦；如果还是模糊，则继续搜索寻找最佳调焦点。有效避免调焦过程陷入局部极值。

所述的图像评价网络的作用是控制调焦搜索步长，图像评价函数的作用是控制调焦搜索方向，如果识别的图像模糊程度较低，则选择使用曲线拟合搜索方式，这样可以充分利用各个算法的优点，从而提升调焦搜索效率，保证调焦精度。

本发明与现有技术相比的优点在于：

(1)本发明中图像评价网络可以对图像给出更为直观的评价结果；

(2)本发明中该算法调焦效率比传统爬山搜索方法高；

(3)本发明中该方法调焦具备普适性价值。

附图说明

图1为本发明的工作流程图；

图2为模拟生成的模糊图像和实际采集的模糊图像；

图3为部分清晰图像数据集；

图4为改进SMD评价函数曲线图；

图5为改进爬山搜索方法的搜索流程图；

图6为自动调焦实验图像序列记录-1；

图7为自动调焦实验图像序列记录-2。

具体实施方式

以下结合附图，具体说明本发明的实施方式。

本发明方法流程如图1所示，下面展开详细描述：

一种基于图像评价网络和图像评价函数的爬山调焦搜索方法的具体实施方式，包括以下步骤：

步骤一构建高清图像数据集：

手机的高清屏保图像作为清晰图像一类，数量为2000张。然后用高斯模糊公式，以清晰图像为模板，将方差不同模糊图像归为一类，以4类图像数据集为例分为：清晰图像、浅度模糊图像、中度模糊图像和重度模糊图像，如图2所示，其中(a,b,c,d)是模拟生成的模糊图像，(e,f,g,h)是实际采集的模糊图像。然后按照7：2：1，分为训练集、验证集和测试集，部分清晰图像数据集如图3所示。

步骤二训练图像评价网络模型

典型的图像分类网络模型包括AlexNet、VGG、Inception-V3，采用微调的方式进行迁移学习；

训练参数和计算机配置如下：Ubuntu 18.04操作系统进行,处理器Intel Corei74770K CPU@3.50GHz×8；显卡GeForce GTX980Ti和GTX1080Ti混合使用，运行内存18G。训练环境：编程语言Python；采用Tensorflow深度学习框架；用批次训练的方法将训练集和测试集分为多个批次，每个批次大小为32，初始学习率0.0001、学习率衰减0.99、优化算法为Adam算法、采用MSE作为图像评价网络的损失函数。

步骤三图像评价函数选取

理想的图像评价函数模型类似于一个开口向下的二次函数曲线，有五个基本特征：(1)无偏性：表示函数最大值的横坐标就是最佳调焦点。(2)单峰性：指的是调焦过程中，评价曲线只有一个最大值，当函数偏离对焦位置时，函数评价值依次单调递减；(3)灵敏度高：表示函数可以处理两张细微离焦的图像；(4)鲁棒性强：表示图像评价算法抗干扰性强；(5)计算量小：图像处理速度快；其中以空域评价函数为例，在工程应用具体采用SMD函数曲线，如附图4所示：

步骤四图像评价函数和图像评价网络选择

通过仿真实验对比，SMD图像清晰度评价函数的灵敏度和抗噪性达到预期；Inception-V3的对图像的识别精度较高，图像处理速度快，如表1所示，表1为不同分类网络的实验结果对比。

表1

步骤五识别图像模糊程度和图像评价值

以4类不同模糊程度数据集训练的模型为例，4类图像模糊程度分别是：清晰图像、浅度模糊图像、中度模糊图像、重度模糊图像。将采集的图像输入训练好的图像评价网络中，先识别出图像的模糊程度，然后得到图像评价值，将结果做好记录。

步骤六调焦搜索过程

在第一次调焦中，由于不知道调焦方向是否正确，所以需要移动固定距离L，然后，回到步骤五，记录移动后的图像评价值，通过比对两次图像的评价值确定搜索方向。然后根据图像的模糊程度设置搜索步长，例如重度模糊图像对应的搜索步长为bL，中度模糊图像对应的搜索步长为aL，浅度模糊图像使用曲线拟合搜索算法，清晰图像结束调焦步骤，反复执行步骤五和步骤六，直至图像清晰，图5表示该方法的搜索示意图，图6和图7是按照不同模糊程度对应不同搜索步长的调焦实验过程，表2与表3是实验记录。表2所示的调焦实验记录表中，L＝1刻度，a＝3L，b＝5L，表3所示的调焦实验记录表中，L＝1刻度，a＝5L，b＝10L。

表2

表3

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种基于图像评价网络和图像评价函数的爬山调焦搜索方法，其特征在于，该方法包括以下步骤：

步骤一，构建图像数据集：

所述图像数据集按模糊程度分为多类图像数据集，所述多类图像数据集的分类包括：清晰图像、浅度模糊图像、中度模糊图像、重度模糊图像；其中手机的高清屏保图像作为清晰图像一类；

步骤二，训练多个图像评价网络模型：

采用构建的所述图像数据集输入图像分类网络进行模型训练，所述图像分类网络包括AlexNet、VGG、Inception-V3；所述图像评价网络用于识别图像的模糊程度；

步骤三，选取多个图像评价函数：

所述图像评价函数模型类似于一个开口向下的二次函数曲线，根据以下五个基本特征选取多个图像评价函数：(1)无偏性；(2)单峰性；(3)灵敏度高；(4)鲁棒性强；(5)计算量小；

步骤四，确定评价网络模型和图像评价函数：

通过仿真实验对比，挑选SMD曲线作为图像清晰度评价函数，以及挑选图像评价网络识别精度最高的模型；

步骤五，识别图像模糊程度和图像评价值：

将采集的图像输入训练好的步骤四所确定的图像评价网络中，先识别出图像的模糊程度，然后基于步骤四确定的图像评价函数得到图像评价值，并将结果做好记录；

步骤六，调焦搜索：

在第一次调焦时，移动固定距离L采集图像，然后，回到步骤五，记录移动后采集的图像评价值，通过比对两次图像评价值确定搜索方向；然后根据步骤五识别的图像的模糊程度设置搜索步长，并基于该搜索步长采集图像，反复执行步骤五和步骤六，直至采集图像清晰；

在非第一次调焦时，根据步骤五识别的图像的模糊程度设置搜索步长，然后移动所述搜索步长采集图像，反复执行步骤五和步骤六，直至采集图像清晰；

其中，步骤六中，识别的图像为重度模糊图像时对应的搜索步长为bL，为中度模糊图像时对应的搜索步长为aL，为浅度模糊图像时使用曲线拟合搜索算法确定聚焦点，为清晰图像时对应于结束调焦，aL和bL分别为步长L的a倍和b倍，其中a，b为大于1的整数，且b>a。

2.如权利要求1所述的一种基于图像评价网络和图像评价函数的爬山调焦搜索方法，其特征在于：

步骤一中，按照7：2：1，将所述图像数据集分为训练集、验证集和测试集。

3.如权利要求1所述的一种基于图像评价网络和图像评价函数的爬山调焦搜索方法，其特征在于：

步骤一中，用高斯模糊公式，以清晰图像为模板，按方差不同对图像模糊程度进行归类。