CN114785953A

CN114785953A - 基于sfr的相机自动对焦方法及装置

Info

Publication number: CN114785953A
Application number: CN202210456924.7A
Authority: CN
Inventors: 甘胜斯; 肖盼; 林健发; 陈新度; 吴磊
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2022-04-27
Filing date: 2022-04-27
Publication date: 2022-07-22
Anticipated expiration: 2042-04-27
Also published as: CN114785953B

Abstract

本发明涉及基于SFR的相机自动对焦方法，首先，运动平台上装夹十字板，通过丝杆步进电机驱动运动平台，带动十字划板在Z轴方向运动，给定运动平台调焦步长，运动平台每走一步，装夹着待测镜头的CMOS相机拍一张十字板的照片；接着，所拍照片通过机器视觉处理系统计算分析图像的SFR曲线，并记录当前运动平台在Z轴的深度位置。最后，成像图片会由模糊到清晰、再到模糊，机器视觉处理系统通过计算每一帧图像的SFR曲线评价图像清晰度，并记录清晰度最佳所在的深度信息，即为待测镜头的焦距。本发明在不需要大量训练样本的情况下，大大提高镜头的对焦速度，通过减小运动平台的调焦步长可以提高镜头的精度，能够同时保证对焦速度和对焦精度。

Description

基于SFR的相机自动对焦方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及基于SFR的相机自动对焦方法及装置。

背景技术

随着各种成像设备自动化、智能化的迅速发展，自动对焦技术的应用越来越广泛。在图像采集系统中，自动对焦是指通过调节镜头组和探测器之间的位置从而在图像探测器(如可见光 CCD或红外探测器 )上获得清晰图像的过程。典型的自动对焦系统一般由分析处理模块和控制驱动模块构成，分析处理模块判断输入图像是否对焦清晰，如果对焦不清晰则该模块同时测算出这幅图像的离焦程度；控制驱动模块则根据分析处理模块提供的相关信息来调整镜头驱动装置，使目标图像处于对焦状态。

自动对焦是现代成像系统中必不可少的关键技术，数字成像系统中的自动对焦问题更是受到人们的普遍关注。实现自动对焦的方法有很多，基于图像处理的智能化方法有着速度快、精度高、体积小等优点，是重中之重。数字成像系统用CCD或CMOS代替了传统的底片，将景物图像信息以数字化形式记录下来。如果采用传统的对焦方法则会使系统变得较为复杂，所以利用 CCD所获得的数字图像信息来实现智能化对焦是十分必要的。

在数字成像系统中，一般应用数字图像处理的方法来实现自动对焦，主要的对焦方法大致可分为两类：离焦深度法和对焦深度法。离焦深度法是从离焦图像中取得对焦深度信息从而完成自动对焦，因而离焦深度法需要建立起数学模型来描述相机成像系统，从而调整镜头焦距到达准焦位置。因此离焦深度法所需处理图像数量小，对焦速度较快，但是精度比较低。对焦深度法是一种建立在搜寻过程上的对焦方式，它通过选取一种适当的评价函数来评价不同对焦位置所获得图像的清晰度，清晰度值最大时对应最佳的对焦位置。与离焦深度法相比，对焦深度法的适应面广、稳定性更好、精度更高，但是需要处理更多图像，因此速度较慢。

专利库中的的CN201810168353.0 一种基于离焦估计改进爬山法的相机自动调焦方法及装置。相机的离焦状态可以视为图像的高斯模糊状态，当相机处于准焦状态时，当前帧图像的原图像与高斯模糊图像的清晰度评价值偏差较大；当相机处于离焦状态时，当前帧图像的原图像与高斯模糊图像的清晰度评价值偏差较小。该方法通过计算当前帧图像的原图像与当前帧图像的高斯模糊图像之间清晰度评价值的偏差，以该偏差大小来表示当前帧图像离焦深度，根据离焦深度的大小来自适应的调整相机的调焦步长。其对焦速度较快，但是对焦精度较低。

而CN202011013572.5 一种目标对象的自动对焦方法以及装置，该方法包括：获取目标对象在连续多个焦平面的图像，得到多张图像根据同样的分割标准进行分割、分段，得到各组子图片，根据深度学习网络获取所述各组子图片对应的相应段目标对象的清晰度特征，并根据清晰度特征获取相应目标对象的多张连续焦平面图像。需要大量的训练样本，对焦速度较慢。

当今市场需要一种在精度、适应性及对焦速度均较佳的相机自动对焦方法。

发明内容

本发明的目的是为了至少解决现有技术的不足之一，提供基于SFR的相机自动对焦方法及装置。

为了实现上述目的，本发明采用以下的技术方案：

具体的，提出基于SFR的相机自动对焦方法，包括以下：

步骤100、预设运动平台的调焦步长，并设置待测相机的拍照频率与运动平台的调焦步长一致，控制运动平台从所能运动范围的最下端往最上端开始运动；

步骤200、获取待测相机所拍摄的每帧图像，计算每帧图像的SFR曲线并记录当前运动平台所在位置；

步骤300、通过每帧图像对应的SFR曲线判断当前帧图像是否比上帧图像清晰，

若否，则确定待测相机的镜头焦平面位于当前帧图像对应的位置与上帧图像对应的位置之间；

若是，则重复步骤100至步骤300，直到出现上帧图像比当前帧图像清晰的情况；

步骤400、以上帧图像对应的所述位置作为所能运动的最下端，以当前帧图像对应的所述位置作为所能运动的最上端，重设一个较上一次更小的运动平台的调焦步长，重复步骤100至步骤300，再次确定待测相机的镜头焦平面所处于的位置区间；

步骤500、重复步骤100至步骤400直到当丝杆步进电机步长达到最小值时，出现当前帧图像比上帧图像清晰的情况，将上帧图像对应的位置判定为镜头焦平面所处的位置。

进一步，具体的，计算每帧图像的SFR曲线的方法，包括以下，

对每帧图像进行图像预处理得到第一图像数据；

对所述第一图像数据进行线性化处理，得到第二图像数据；

计算所述第二图像数据的每一行的centroid，即图像重心，得到每一行数据的边缘位置；

对获取到的centroid进行线性回归，得到对应的边缘数据，所述边缘数据包括斜率、截距；

根据所述边缘数据重新定位第一图像数据的ROI，根据第一图像数据到边缘的距离，获得其边缘扩展函数ESF；

对ESF进行4倍超采样，获得4倍ESF；

对4倍ESF进行差分运算，获得线扩展函数LSF；

对LSF通过汉明窗处理减少图像边缘及噪声影响；

对汉明窗处理后的LSF进行离散傅里叶变换，获得光学传递函数OTF；

从OTF的实部获得SFR。

进一步，具体的，所述预处理操作包括以下，

对每帧图像通过Canny边缘检测算法进行边缘提取；

对边缘提取处理后的每帧图像进行霍夫变换直线检测处理；

对霍夫变换直线检测处理后的每帧图像进行ROI区域提取；

对ROI区域提取后的每帧图像通过BackgroundSubtractorMOG2图像分割算法进行去除暗电流处理得到第一图像数据。

进一步，具体的，所述运动平台的具体结构包括以下，

固定底座；

一对丝杆步进电机，于左右两侧固定设置于所述固定底座上；

待测相机，可拆卸设置于所述固定底座上，其固定于所述固定底座时，其待测镜头竖直向上；

一对螺杆，分别固定于对应的丝杆步进电机处，并由对应的丝杆步进电机带动转动，其顶部设置有限位板；

升降台，左右两端穿设于一对所述螺杆中固定，所述升降台固定时保持水平；

一对光源，于左右两侧固定设置于所述升降台的下端；

十字板，固定设置于所述升降台的下端，且设置于一对所述光源之间；

当所述丝杆步进电机工作时，带动所述螺杆转动以控制所述升降台的升降；

具体的，待测相机所拍摄的每帧图像即为十字板的图像。

本发明还提出基于SFR的相机自动对焦装置，应用了如上述任一项所述的基于SFR的相机自动对焦方法，包括以下：

运动控制模块，用于预设运动平台的调焦步长，并设置待测相机的拍照频率与运动平台的调焦步长一致，控制运动平台从所能运动范围的最下端往最上端开始运动；

SFR曲线计算模块，用于获取待测相机所拍摄的每帧图像，计算每帧图像的SFR曲线并记录当前运动平台所在位置；

清晰度比对模块，用于通过每帧图像对应的SFR曲线判断当前帧图像是否比上帧图像清晰，

迭代模块，用于以上帧图像对应的所述位置作为所能运动的最下端，以当前帧图像对应的所述位置作为所能运动的最上端，重设一个较上一次更小的运动平台的调焦步长，重复运行运动控制模块至清晰度比对模块，再次确定待测相机的镜头焦平面所处于的位置区间；

焦距计算模块，用于重复运行运动控制模块至迭代模块，直到当丝杆步进电机步长达到最小值时，出现当前帧图像比上帧图像清晰的情况，将上帧图像对应的位置判定为镜头焦平面所处的位置。

本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述方法的步骤。

本发明的有益效果为：

本发明提出基于SFR的相机自动对焦方法，通过基于SFR算法计算图像MTF实现镜头自动对焦的方法。该方法使用机器视觉在线检测系统，在不需要大量训练样本的情况下，大大提高镜头的对焦速度，通过减小运动平台的调焦步长可以提高镜头的精度，能够同时保证对焦速度和对焦精度。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为本发明基于SFR的相机自动对焦方法的流程图；

图2所示为本发明基于SFR的相机自动对焦方法所应用于的运动平台的结构示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。

参照图1，实施例1，本发明提出基于SFR的相机自动对焦方法，步骤100、预设运动平台的调焦步长，并设置待测相机的拍照频率与运动平台的调焦步长一致，控制运动平台从所能运动范围的最下端往最上端开始运动；

具体的，在运行时，

首先，运动平台上装夹十字板，通过丝杆步进电机驱动运动平台，带动十字划板在Z轴方向运动，给定运动平台调焦步长，运动平台每走一步，装夹着待测镜头的CMOS相机拍一张十字板的照片；

接着，所拍照片通过机器视觉处理系统计算分析图像的SFR曲线，并记录当前运动平台在Z轴的深度位置。

最后，成像图片会由模糊到清晰、再到模糊，机器视觉处理系统通过计算每一帧图像的SFR曲线评价图像清晰度，并记录清晰度最佳所在的深度信息，即为待测镜头的焦距。

作为本本发明的优选实施方式，具体的，计算每帧图像的SFR曲线的方法，包括以下，

对每帧图像进行图像预处理得到第一图像数据；

对所述第一图像数据进行线性化处理，得到第二图像数据；

对ESF进行4倍超采样，获得4倍ESF；

对4倍ESF进行差分运算，获得线扩展函数LSF；

对LSF通过汉明窗处理减少图像边缘及噪声影响；

从OTF的实部获得SFR。

作为本本发明的优选实施方式，具体的，所述预处理操作包括以下，

对每帧图像通过Canny边缘检测算法进行边缘提取；Canny边缘检测法与Sobel边缘检测法相比，Canny算法不容易受噪声干扰，能够检测到真正的弱边缘。Canny算法使用两种不同的阈值分别检测强边缘和弱边缘，只有弱边缘和强边缘相连时，才将弱边缘包含在输出图像中，因此使用Canny算法可以保证图像细微的差距也能检测出来，提高对焦精度；

对边缘提取处理后的每帧图像进行霍夫变换直线检测处理；将Canny算法提取到的边缘特征使用Hough变换直线检测，Hough变换直线检测算法就是把在图像空间中的直线检测问题转换到参数空间中对点的检测问题，通过在参数空间里寻找峰值来完成直线检测任务。具体来说，如果一幅图像中的像素构成一条直线，那么这些像素坐标值（x, y）在参数空间对应的曲线一定相交于一个点，所以只需要将图像中的所有像素点（坐标值）变换成参数空间的曲线，并在参数空间检测曲线交点就可以确定直线。将Hough变换拟合得到的直线，即十字板的直线，用于SFR算法的斜边；

对霍夫变换直线检测处理后的每帧图像进行ROI区域提取；选择ROI(Region OfInterest)区域：对于定义ROI，主要有以下几个要求：对于垂直的斜边，ROI的宽度要小于高度；在ROI中，只允许出现一个斜边，并且大致居中；在底部或者顶部，比例小的那一部分不能低于5个像素；在中心位置，边界到中间斜边的距离需要在20至60个像素之间；高度需要在80到300之间；ROI中避免污点，保证图像边界基本连续。由于十字板的图像数据较少，可提前设定黑白斜边ROI区域不变，提高对焦速度；

对ROI区域提取后的每帧图像通过BackgroundSubtractorMOG2图像分割算法进行去除暗电流处理得到第一图像数据。选取的ROI区域只需要一个黑白的斜边，所以需要对ROI区域进行背景扣除操作。由于摄像机在采集图像的过程中，会不可避免地引入噪声，这些灰度值以某一个均值为基准线，在附近做一定范围内的随机振荡，这种场景就是所谓的“背景”。 BackgroundSubtractorMOG2是基于高斯混合的背景/前景分割算法，该算法的一个重要特征是它为每个像素选择适当数量的高斯分布，因此可以应用改算法去除背景暗电流。

参照图2，作为本本发明的优选实施方式，具体的，所述运动平台的具体结构包括以下，

固定底座1；

一对丝杆步进电机2，于左右两侧固定设置于所述固定底座1上；

待测相机3，可拆卸设置于所述固定底座1上，其固定于所述固定底座1时，其待测镜头4竖直向上；

一对螺杆5，分别固定于对应的丝杆步进电机2处，并由对应的丝杆步进电机2带动转动，其顶部设置有限位板9；

升降台7，左右两端穿设于一对所述螺杆5中固定，所述升降台7固定时保持水平；

一对光源6，于左右两侧固定设置于所述升降台7的下端；

十字板8，固定设置于所述升降台7的下端，且设置于一对所述光源6之间；

当所述丝杆步进电机2工作时，带动所述螺杆5转动以控制所述升降台7的升降；

具体的，待测相机3所拍摄的每帧图像即为十字板8的图像。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例中的方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包括的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims

1.基于SFR的相机自动对焦方法，其特征在于，包括以下：

2.根据权利要求1所述的基于SFR的相机自动对焦方法，其特征在于，具体的，计算每帧图像的SFR曲线的方法，包括以下，

对每帧图像进行图像预处理得到第一图像数据；

对所述第一图像数据进行线性化处理，得到第二图像数据；

对ESF进行4倍超采样，获得4倍ESF；

对4倍ESF进行差分运算，获得线扩展函数LSF；

对LSF通过汉明窗处理减少图像边缘及噪声影响；

从OTF的实部获得SFR。

3.根据权利要求2所述的基于SFR的相机自动对焦方法，其特征在于，具体的，所述预处理操作包括以下，

对每帧图像通过Canny边缘检测算法进行边缘提取；

对边缘提取处理后的每帧图像进行霍夫变换直线检测处理；

对霍夫变换直线检测处理后的每帧图像进行ROI区域提取；

4.根据权利要求1所述的基于SFR的相机自动对焦方法，其特征在于，具体的，所述运动平台的具体结构包括以下，

固定底座；

一对光源，于左右两侧固定设置于所述升降台的下端；

具体的，待测相机所拍摄的每帧图像即为十字板的图像。

5.基于SFR的相机自动对焦装置，其特征在于，应用了如上述任一项权利要求1-4中所述的基于SFR的相机自动对焦方法，包括以下：

6.一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述方法的步骤。