CN116347056A

CN116347056A - 图像对焦方法、装置、计算机设备和存储介质

Info

Publication number: CN116347056A
Application number: CN202310355018.2A
Authority: CN
Inventors: 刘嘉缘
Original assignee: Shanghai Wingtech Electronic Technology Co Ltd
Current assignee: Shanghai Wingtech Electronic Technology Co Ltd
Priority date: 2023-04-03
Filing date: 2023-04-03
Publication date: 2023-06-27

Abstract

本申请涉及一种图像对焦方法、装置、计算机设备和存储介质。所述方法包括：获取通过所述双目摄像组件拍摄的目标物体的图像序列；通过背景差分算法对所述图像序列进行处理，得到所述目标物体的三维坐标；基于所述双目摄像组件各自对应的焦距和所述三维坐标，确定所述目标物体在对应摄像组件的像距；根据每个所述摄像组件的像距调整所述摄像组件的镜头，以使所述摄像组件的成像面与所述镜头的焦平面重合。采用本方法能够提高图像对焦的精确度。

Description

图像对焦方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像技术领域，特别是涉及一种图像对焦方法、装置、计算机设备和存储介质。

背景技术

随着智能设备和图像技术的发展，越来越多的智能设备上都具有拍摄功能，同时人们对摄像功能的要求也越来越高，对照片的清晰度也越来越高。为了拍摄更高清晰的图像，通常在拍摄前，也就是在预览画面上先对目标物体进行对焦，对焦完成后再进行拍摄，从而得到更为清晰的图像。

所谓对焦，就是驱动光学镜头或其中一组镜片进行移动，以使在对焦屏或成像元件上获得最清晰像的过程。目前的对焦方式主要有自动对焦和手动对焦，自动对焦其实可以视作是手动对焦的自动化。自动对焦诞生之前，手动方式对焦有两种方法，一种是测距对焦(Scale Focus)，一种是取景器联动对焦；前者的精准度有限，后者的形态各异，诸如黄斑和裂像等，但对于使用者眼神和操作都有一定要求。

自动对焦(Auto Focus)是一种于20世纪60年代发展起来的技术，主要在相机和其他光学设备上应用。其中需要许多技术，如半导体、光电子、微型马达等支持。目前常用的自动对焦技术主要分为两大类：一类是主动式，另一类是被动式。主动式的自动对焦就是拿一个测距仪，比划着差不多画面中心位置，测出来距离数据，传递给机身，机身根据标尺推着对焦镜片到那个位置，拍下对焦成功的照片。被动式的自动对焦，又分作两种实现，即相位对焦与对比度对焦，相位对焦(Phase Detection Auto Focus，PDAF)，又叫做“相位差对焦”，是将传感器布下“长蛇阵”，然后在这条线上捕捉通过镜头不同边缘部分射入的光线进行检测的方式；反差式对焦(Contrast Auto Focus，CDAF)，也叫做“对比度对焦”，是根据画面中的物体的反差来判断合焦情况的方法。被动式的自动对焦是在以传感器为取景或成像条件下完成的，这种判别对焦的方法需要根据观察图片变化制定下一步的决定，然而要模拟这样的过程，对于图像识别、驱动算法，以及作为支持的芯片等都有较高的要求。随着时代推进，自动对焦技术也在快速发展，人民群众对画质的要求越日渐加强，致力于追求极致画质和平衡的功能，因此对于自动对焦技术的研究还在不断继续。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高图像对焦的精确度的图像对焦方法、装置、计算机设备和存储介质。

一种图像对焦方法，应用于终端，所述终端设置有双目摄像组件；所述方法包括：

获取通过所述双目摄像组件拍摄的目标物体的图像序列；

通过背景差分算法对所述图像序列进行处理，得到所述目标物体的三维坐标；

基于所述双目摄像组件各自对应的焦距和所述三维坐标，确定所述目标物体在对应摄像组件的像距；

根据每个所述摄像组件的像距调整所述摄像组件的镜头，以使所述摄像组件的成像面与所述镜头的焦平面重合。

在其中一个实施例中，所述通过背景差分算法对所述图像序列进行处理，得到所述目标物体的三维坐标包括：

通过背景差分算法对所述图像序列进行处理，得到所述图像序列对应的目标区域图像；

根据所述目标区域图像计算所述目标物体的三维坐标。

在其中一个实施例中，所述图像序列包括多帧按序排列的帧图像；所述帧图像包括包含所述目标物体的图像和不包含所述目标物体的图像；所述通过背景差分算法对所述图像序列进行处理，得到所述图像序列对应的目标区域图像包括：

将所述图像序列中首次出现所述目标物体的帧图像作为当前帧图像；

将所述图像序列中不包括所述目标物体的图像作为背景帧图像序列；

通过背景模型统计方法对所述背景帧图像序列的帧像素值变化量进行统计，得到当前背景参考图像；

通过背景差分算法基于所述当前帧图像、所述当前背景参考图像以及预设阈值，确定所述当前帧图像中的目标区域图像和背景区域图像；

将下一顺序位的帧图像作为当前帧图像；将所述背景区域图像更新至所述背景帧图像序列中；返回通过背景模型统计方法对所述背景帧图像序列的帧像素值变化量进行统计，得到当前背景参考图像的步骤，直至所述当前帧图像是所述图像序列中最后顺序位的帧图像，输出所述图像序列对应的目标区域图像。

在其中一个实施例中，所述图像序列包括左图像序列和右图像序列；所述根据所述目标区域图像计算所述目标物体的三维坐标包括：

若所述左图像序列和所述右图像序列中处于相同顺序位的帧图像都有对应的所述目标区域图像，则将处于相同顺序位的所述帧图像作为目标对帧图像；

对每个所述目标对帧图像的目标区域图像的质心进行提取，得到对应的质心对坐标；所述质心对坐标包括左质心坐标和右质心坐标；

获取所述双目摄像组件对应的相机外参数和相机内参数；

基于所述目标对帧图像对应的质心对坐标、所述相机外参数和所述相机内参数，计算所述目标物体在每个所述目标对帧图像应的三维坐标。

在其中一个实施例中，所述相机外参数包括旋转参数和平移参数；所述相机内参数包括焦距参数和像面参数；

所述基于所述目标对帧图像对应的质心对坐标、所述相机外参数和所述相机内参数，计算所述目标物体在每个所述目标对帧图像对应的三维坐标包括：

获取所述目标对帧图像中所述质心的质心对坐标；

基于所述相机外参数和所述相机内参数，确定所述质心对应的像素坐标系到世界坐标系的转换系数；

根据所述质心对坐标和所述转换系数得到所述目标物体在每个所述目标对帧图像的三维坐标。

在其中一个实施例中，所述基于所述双目摄像组件各自对应的焦距和所述三维坐标，确定所述目标物体在对应摄像组件的像距包括：

根据所述三维坐标的纵坐标确定所述目标物体的物距；

采用成像公式基于所述双目摄像组件各自对应的焦距和所述物距，确定所述目标物体在对应摄像组件的像距；其中，所述成像公式如下所示：1/焦距＝1/物距+1/像距。

在其中一个实施例中，所述根据每个所述摄像组件的像距调整所述摄像组件的镜头包括：

根据每个所述摄像组件的像距确定对应的目标电流值；

通过处理器将所述摄像组件对应的控制设备的电流值设为所述目标电流值，以使所述控制设备驱动伸缩组件进行伸缩以此带动所述摄像组件的镜头实现上下运动。

一种图像对焦装置，所述装置包括：

图像序列获取模块，用于获取通过所述双目摄像组件拍摄的目标物体的图像序列；

三维坐标确定模块，用于通过背景差分算法对所述图像序列进行处理，得到所述目标物体的三维坐标；

像距计算模块，用于基于所述双目摄像组件各自对应的焦距和所述三维坐标，确定所述目标物体在对应摄像组件的像距；

镜头调整模块，用于根据每个所述摄像组件的像距调整所述摄像组件的镜头，以使所述摄像组件的成像面与所述镜头的焦平面重合。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述实施例中图像对焦方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中图像对焦方法的步骤。

上述图像对焦方法、装置、计算机设备和存储介质，在终端上设置双目摄像组件，通过双目摄像组件拍摄目标物体的图像序列，进而通过背景差分算法对图像序列进行处理得到目标物体的三维坐标，将图像序列中的二维像素坐标转换为目标物体的三维坐标，从而根据三维坐标以及双目摄像组件各自对应的焦距确定目标物体在对应摄像组件的像距，进一步终端根据像距调整摄像组件的镜头，以使得摄像组件的成像面和对应镜头的焦平面重合，从而实现对焦得到目标物体的清晰图像；通过背景差分算法对运动的目标物体进行自动对焦，可以有效解决被动式对焦中对于细线条、运动物体等目标物体对焦时存在的对焦困难的问题，提高了目标物体对焦的精确度。

附图说明

图1为一个实施例中图像对焦方法的应用场景图；

图2为一个实施例中图像对焦方法的流程示意图；

图3为一个实施例中图像对焦装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

主动式对焦由于发出的光被反射到其它方向、或达不到远距离的目标物体，导致主动式在对焦斜面、光滑面、亮度大、远距离的目标物体时存在一定局限性，甚至当目标物体能吸收光或波时，还会因玻璃反射或透过玻璃产生无法对焦的难题。

反差式对焦需要逐步调整镜头位置，当对比度达到最大时，才认为合焦。从近焦到远焦或者从远焦到近焦，镜头每一次移动都会统计对比度(FV)值，根据镜头移动距离和对应FV值画出相应的曲线，曲线一般是呈现先上升后下降的趋势，因此可拟合曲线找到准焦点，但是这个过程往往需要几十帧的画面，才能完成对焦。因此反差式对焦普遍存在速度慢的缺点，因为对焦过程中较大程度依赖感光元件，感光元件传回图像的速度对对焦速度的影响很大。此外，在弱光环境中，感光元件会因为提高感光度而产生明显噪点，这对反差式对焦也造成影响。有时候即使光线充足，但对比度不足，自动对焦可能仍然会失效，或者导致对焦的不准，焦平面的偏移等问题。

相位对焦是在光学传感器上找到固定位置的像素分为左右眼，所有左眼会输出一个图像，右眼也会输出一个图像，根据左右眼图像的相位差异(PD)就可以判断当前的位置是否合焦。当PD越大，左右眼图像成像距离越远，成像越虚；当PD为0，左右眼图像重合，当前位置处于准焦点，图像最清晰。相位对焦必不可少的工具，即相位差异像素(PD pixel)，包括：双核对焦Dual PD、超级对焦Super PD、遮挡对焦Shield PD。其中，Dual PD是光学传感器上所有像素都是PD pixel且不遮挡，即可感光成像也可作为PD统计，但是一个像素点同时分为左、右眼；Super PD是两个像素点上盖一个微透镜，作为一个相位差异点，第一个像素点作为左眼，第二个像素点作为右眼；Shield PD是在光学传感器上选出固定位置的两个像素点，屏蔽掉一半感光区域，一个遮住右半部分，一个遮住左半部分，分别作为左、右眼。但是利用像素点进行图像处理，总是会带来别的副作用，例如Shield PD，其遮住的像素点相当于坏点，需要进行补偿，性能并不佳。因此，相位对焦本身受成本的影响，难以给用户提供最好的体验，用户常常会在对焦点的数量、对焦点的精度等方面存在纠结。

综上所述，被动式对焦在低反差和弱光情况下对焦困难，此外，对于细线条、运动物体、含偏光、黑色、以及镜面的被摄体对焦时，存在自动对焦困难导致效果差的缺点。

本申请通过背景差分法对运动物体进行自动对焦，解决了被动式对焦对于细线条、运动物体等被摄物体对焦时对焦困难的问题，实现实时的清晰取景。本方案可用于检测细线条、微小物体、运动物体、含偏光、黑色、以及镜面的目标物体，特别是运动物体，背景差分法不受运动速度的限制，合理的背景建模可以减少动态场景变化对运动分割的影响提高检测效果。本方案不仅对于微小、黑色、偏光物体可快速清晰成像，对于运动物体的清晰成像也可得到运用，在终端上可快速取景输出画面。可以将背景差分算法集成到摄像模组中，解决了反差式对焦中需要通过几十帧的对比度造成的检测速度慢的问题，也解决了相位对焦需要利用像素成像带来的副作用的影响。本方案提供的自动对焦方法可靠性更高，更加经济实惠，同时提高了对焦的速度；并且不需要借助像素点，因此使用寿命更长，错误率更低。

本申请提供的图像对焦方法，可以应用于如图1所示的应用环境中。该图像对焦方法应用于图像对焦系统中，该系统包括终端102，终端102上设置有双目摄像组件104，其中双目摄像组件104包括左摄像机和右摄像机。系统还可以包括服务器106，服务器中用于存储已经训练好的背景差分算法。在一些应用场景中，终端加载拍照应用程序，在预览界面上显示出目标物体的画面，终端通过双目摄像组件对目标物体进行拍摄以此得到目标物体的图像序列，并将图像序列展示在预览界面上；或者终端获取预览界面中目标物体的图像序列，其中图像序列是通过双目摄像组件拍摄的，图像序列包括左图像序列和右图像序列。然后终端从本地或服务器中加载背景差分算法对图像序列进行处理，得到目标物体的三维坐标，进一步基于双目摄像组件各自对应的焦距和三维坐标确定目标物体在对应摄像组件的像距，从而根据像距调整镜头，以使所述摄像组件的成像面与所述镜头的焦平面重合，实现目标物体的对焦。在对焦完成后，自动或手动拍摄目标物体，比如在对焦完成后，在预览界面显示对焦框，提示用户按下拍照按钮，待用户按下拍照按钮后生成目标物体的照片，并显示在预览界面中。在另一种实施方式中，在对焦完成后，终端自动获取目标物体的照片，并将对焦完成后拍摄的照片显示在预览界面中。其中，终端102与服务器104通过网络进行通信。双目摄像组件104是依据光学原理对目标物体进行感光成像的组件。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器110可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种图像对焦方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：

步骤S202，获取通过所述双目摄像组件拍摄的目标物体的图像序列。

其中，双目摄像组件包括至少两个摄像组件，比如左摄像机和右摄像机。图像序列包括左摄像机对目标物体进行拍摄得到的多帧按序排列的帧图像，称为左图像序列；以及右摄像机对目标物体进行拍摄得到的多帧按序排列的帧图像，称为右图像序列。

具体地，在预设时间内，通过双目摄像组件中左摄像机和右摄像机同时对目标物体进行拍摄，得到对应的左图像序列和右图像序列。即在当前时刻，通过左摄像机和右摄像机同时对目标物体进行拍摄得到相应的帧图像。

步骤S204，通过背景差分算法对所述图像序列进行处理，得到所述目标物体的三维坐标。

其中，背景差分算法的核心是将输入图像与背景进行差分，根据像素特征的变化率判断像素点属于目标还是背景。

具体地，终端采用背景差分算法对图像序列中的没帧帧图像进行处理，针对像素特征的变化量判断每个像素点是否属于目标物体，其中像素特征可以是灰度值；进一步，根据属于目标的像素点采用双目立体视觉成像系统计算目标物体的三维坐标，以此得到目标物体的深度值，也就是目标物体的物距；然后结合成像公式计算坐摄像组件和右摄像机各自对应的像距，基于像距确定给与马达移动该像距对应距离的电流，使得摄像组件的成像面与镜头的焦平面重合，达到清晰成像的目的。

在一个实施例中，所述通过背景差分算法对所述图像序列进行处理，得到所述目标物体的三维坐标包括：通过背景差分算法对所述图像序列进行处理，得到所述图像序列对应的目标区域图像；根据所述目标区域图像计算所述目标物体的三维坐标。

其中，目标区域图像是指每帧图像中的属于目标物体的区域图像，去除了背景的区域图像。

在一个实施例中，所述图像序列包括多帧按序排列的帧图像；所述帧图像包括包含所述目标物体的图像和不包含所述目标物体的图像；所述通过背景差分算法对所述图像序列进行处理，得到所述图像序列对应的目标区域图像包括：将所述图像序列中首次出现所述目标物体的帧图像作为当前帧图像；将所述图像序列中不包括所述目标物体的图像作为背景帧图像序列；通过背景模型统计方法对所述背景帧图像序列的帧像素值变化量进行统计，得到当前背景参考图像；通过背景差分算法基于所述当前帧图像、所述当前背景参考图像以及预设阈值，确定所述当前帧图像中的目标区域图像和背景区域图像；将下一顺序位的帧图像作为当前帧图像；将所述背景区域图像更新至所述背景帧图像序列中；返回通过背景模型统计方法对所述背景帧图像序列的帧像素值变化量进行统计，得到当前背景参考图像的步骤，直至所述当前帧图像是所述图像序列中最后顺序位的帧图像，输出所述图像序列对应的目标区域图像。

其中，背景模型统计方法是对背景帧图像序列中的每帧帧图像的像素值的变化量进行统计，以此形成目标物体的背景参考图像。其中，在采用背景差分算法进行背景差分的过程中，背景帧图像序列是实时更新的，在每一次背景差分后，都需要将当前次判定出来的背景区域图像更新至背景帧图像序列中。

从统计学的角度看，背景中像素点的灰度值可以看作是一个统计的结果，即图像序列中各个像素点在统计上最可能出现的值，即作为是背景像素值。基于像素的亮度值进行数学计算处理，因此称为背景模型统计。

具体地，终端获取到图像序列后，对图像序列进行图像预处理，图像预处理的目的是对环境中的噪声进行过滤，以此提高图像质量，减少误差。在采用背景差分处理图像序列之前，首先需对图像序列进行背景模型统计，其中初始模型统计所需的图像数目根据实际效果来设定，但必须小于目标物体出现前的图像序列数目。因为需要在目标物体出现前确认背景，即用目标物体出现前的帧图像来统计初始背景模型，之后采用初始背景模型和带目标物体的帧图像进行差分确认目标物体的位置。

在采用背景差分算法对当前帧图像进行差分处理前，先要确定当前帧图像对应的当前背景参考图像。对于当前背景参考图像的确定可以通过背景模型统计方法进行。将图像序列中不包括目标物体的图像作为背景帧图像序列，其中背景帧图像序列是按照时间顺序排列的帧图像；进而通过背景模型统计方法对该背景帧图像序列中每帧帧图像的像素值的变化量进行统计，以此得到当前背景参考图像。将图像序列中首次出现目标物体的帧图像作为当前帧图像，采用背景差分算法基于当前帧图像、当前背景参考图像以及预设阈值确定当前图像中的目标区域图像和背景区域图像。

通常背景差分算法包括背景模型建立、背景模型更新、背景差分和后处理。背景模型建立即初始化的差分背景。背景模型更新则是指根据当前背景变化对模型进行更新，常用方法是背景库中增加当前背景区域图像。背景差分是将当前帧图像和背景模型中对应的背景参考图像相比较，比较的结果是判断相应位置是背景还是目标物体的依据。

背景差分法不受目标运动速度的限制，合理的背景建模可以减少动态场景变化对运动分割的影响提高检测效果。常见的背景建模法有背景平均法，其适应于背景变化较小的场合，背景平均可以有效减少噪声对目标检测的影响。背景变化时，可以利用当前图像对背景进行更新，根据变化快慢给予不同的权重。

步骤S206，基于所述双目摄像组件各自对应的焦距和所述三维坐标，确定所述目标物体在对应摄像组件的像距。

在一个实施例中，所述图像序列包括左图像序列和右图像序列；所述根据所述目标区域图像计算所述目标物体的三维坐标包括：若所述左图像序列和所述右图像序列中处于相同顺序位的帧图像都有对应的所述目标区域图像，则将处于相同顺序位的所述帧图像作为目标对帧图像；对每个所述目标对帧图像的目标区域图像的质心进行提取，得到对应的质心对坐标；所述质心对坐标包括左质心坐标和右质心坐标；获取所述双目摄像组件对应的相机外参数和相机内参数；基于所述目标对帧图像对应的质心对坐标、所述相机外参数和所述相机内参数，计算所述目标物体在每个所述目标对帧图像应的三维坐标。

在一个实施例中，所述相机外参数包括旋转参数和平移参数；所述相机内参数包括焦距参数和像面参数；所述基于所述目标对帧图像对应的质心对坐标、所述相机外参数和所述相机内参数，计算所述目标物体在每个所述目标对帧图像对应的三维坐标包括：获取所述目标对帧图像中所述质心的质心对坐标；基于所述相机外参数和所述相机内参数，确定所述质心对应的像素坐标系到世界坐标系的转换系数；根据所述质心对坐标和所述转换系数得到所述目标物体在每个所述目标对帧图像的三维坐标。

在一个实施例中，所述基于所述双目摄像组件各自对应的焦距和所述三维坐标，确定所述目标物体在对应摄像组件的像距包括：根据所述三维坐标的纵坐标确定所述目标物体的物距；采用成像公式基于所述双目摄像组件各自对应的焦距和所述物距，确定所述目标物体在对应摄像组件的像距；其中，所述成像公式如下所示：1/焦距＝1/物距+1/像距。

步骤S208，根据每个所述摄像组件的像距调整所述摄像组件的镜头，以使所述摄像组件的成像面与所述镜头的焦平面重合。

在一个实施例中，所述根据每个所述摄像组件的像距调整所述摄像组件的镜头包括：根据每个所述摄像组件的像距确定对应的目标电流值；通过处理器将所述摄像组件对应的控制设备的电流值设为所述目标电流值，以使所述控制设备驱动伸缩组件进行伸缩以此带动所述摄像组件的镜头实现上下运动。

在一个实施例中，假设t时刻背景参考图像为f_b(t)，当前帧图像为f_c(t)。则背景差分图像为：

f_d(x,y,t)＝f_b(x,y,t)-f_c(x,y,t) (1)

对于运动目标检测的判据为：若f_d(x,y,t)≥T，则(x,y)属于目标物体，反之属于背景。其中，T为预设阈值。

如果运动物体的一部分或完全被遮挡，则背景相减后会丢失目标物体。如果目标物体是静止的，即使被遮挡也可以通过其他帧图像获取目标物体的位置。因此，为了解决运动物体部分遮挡情况下容易丢失目标物的问题，可以设置摄像组件帧频可调，对于运动物体停止、运动过慢产生的拖尾以及空洞的现象也能较好解决。下面描述下各种情况下如何通过调整设置组件帧频：

①运动目标停止：画面有静止目标物体，静止目标物体是指原本场景中没有而之后进入场景并且停留超过一定时间的物体。对于这种情况，可以减少帧频，前后帧范围覆盖住更长的时间，可以检测出目标物体进入前的画面，从而有效进行背景前景的分离，还能减少因帧频序列多而导致的计算量大，耗时长等问题。

②运动过慢产生的拖尾(模糊/拖影)：拍摄运动物体时，只有当曝光时间足够快，物体相对于相机就是相对静止的，运动物体整个运行过程都是在光学传感器上成像的；否则曝光时间过长拍出的照片就会模糊，有拖影。对于这种情况，可以通过提高帧频，可以减少曝光时间来缓解。

③空洞：是指在一个整体的画面中，并无主体背景之分，缺少一个引起拍摄者注意的点，即画面上没有目标。对于这种歌情况，可灵活调节帧频，达到想要的曝光时间获得最佳效果。

进一步，在确定出图像序列中的每帧帧图像的目标区域图像和背景区域图像后，根据目标区域图像计算目标物体的三维坐标。

具体地，针对左图像序列和右图像序列中处于相同顺序位的帧图像，都对应有目标区域图像时，相应的将这种左图像序列的帧图像和右图像序列的帧图像作为目标对帧图像，其中目标对帧图像包括左目标帧图像和右目标帧图像。进而，对目标对帧图像中每帧帧图像进行质心提取，得到对应的质心坐标，即得到左目标帧图像的质心坐标和右目标帧图像的质心坐标。

在一个实施例中，计算质心坐标的方法，可以先将目标对帧图像中，通过边缘检测算法将每帧图像中属于目标区域的边缘连接起来，以此得到目标区域图像；进而计算目标区域图像的质心。

常见的边缘检测算法有Roberts算子、Log算子、Prewitt算子、Sobel算子、和Canny算子等。考虑到对噪声的敏感性和阈值选择不同，所提取的边缘信息也有所不同，下面以Canny算子作为边缘检测算法为例进行说明，具体实现步骤如下：

①使用高斯滤波器平滑图像，滤除图像中的噪声。

②利用高斯算子的一阶微分，计算图像梯度的大小和梯度的方向。

③对梯度的大小进行“非极大值抑制”，因为在进行边缘检测时需要保留局部梯度的最大值，全局梯度并不能确定边缘。

④双阈值边缘判断。就是选择一个高阈值和一个低阈值同时对图像进行阈值化。在进行非极大值抑制后，对于灰度值比高阈值大的点，被认为是边缘点，反之低于低阈值的点就不是边缘点。对于灰度值小于高阈值同时大于低阈值的点，若其邻域内存在确定的边缘点，则判定其为边缘点，反之不是边缘点。

⑤边缘连接。在图像中连接灰度值大于高阈值的点，当到达端点时，通过灰度值在高低阈值之间的点检测边缘，直到连接所有灰度值大于高阈值的点

在对目标对帧图像进行图像边缘检测之后，需要获取有用的图像特征信息进行后期的定位计算。很明显对目标物体进行质心提取是比较有效的方法，常见的提取目标物体的质心的算法有重心法，圆拟合和椭圆拟合算法。下面以椭圆拟合法对目标对帧图像进行质心提取为例进行说明：

假设椭圆的一般表达式为：

Ax²+Bxy+Cy²+Dx+Ey+1＝0 (2)

若使用原点式可以表示为：

根据公式(2)(3)，利用待定系数法可以得到椭圆圆心坐标：

因为x和y都在椭圆上，故满足(2)，使用矩阵可以表示为：

利用最小二乘法可得出A、B、C、D、E，然后结合式(4)最终求得椭圆圆心坐标。

在确定目标对帧图像中左目标帧图像和右目标帧图像各自的质心坐标后，进一步，通过双目立体视觉成像获得目标物体的三维坐标。

根据针孔成像模型，O₁-X_c1Y_c1Z_c1、O₂-X_c2Y_c2Z_c2分别为双目立体视觉标定系统中双目摄像组件所对应的摄像机坐标系，三维场景中任意一LED光源所对应的空间坐标为L_w(X_w,Y_w,Z_w)，在左、右摄像机坐标系下的坐标分别为L_c1(X_c1,Y_c1,Z_c1)和L_c2(X_c2,Y_c2,Z_c2)，对于空间中目标点在不同坐标系中的转换关系，可知对于左摄像机和右摄像机有：

式中：R₁、T₁和R₂、T₂分别为左、右摄像机的旋转矩阵和平移向量。通过摄像机的外部参数，可得两摄像机的摄像机坐标系之间的关系：

其中

分别为左、右摄像机的旋转矩阵和平移向量。

对于两个摄像机选定一个世界坐标系，则空间一点P在世界坐标系中的坐标是固定的。P点在两个摄像机中分别成像。由于直接可以获取的是P点像素坐标系坐标，可分别建立两个摄像机由像素坐标系到世界坐标系的关系式。

由(7)式建立两摄像机之间的变换关系，由(8)式、(9)式建立两个摄像机由像素坐标系到世界坐标系的关系。Zc为目标点在摄像机坐标系下Z轴的坐标；(u₁,v₁)、(u₂,v₂)为目标在左右摄像机上的像素坐标；f为镜头的焦距；1/dx、1/dy表示图像传感器像元与实际空间的比值。(u_0i,v_0i)(i＝1,2)为两相机像面主点。

将成像光线对点的约束关系联立则可得双目交汇测试模型如下：

式中α_i,β_i(i＝1,2)±为两相机镜头在x,y方向的焦距(像素)，(u_0i,v_0i)(i＝1,2)为两相机像面主点，上述参数属于相机内参数。R_i,T_i(i＝1,2)为世界坐标系O_w-X_wY_wZ_w到相机坐标系O_i-X_ciY_ciZ_ci转换的旋转矩阵、平移矩阵，属于相机外参数。m为相机内参与外参乘积结果的矩阵系数。

联立式(10)和(11)可得到

利用最小二乘法求解方程组(12)可得到

式中,C为公式(12)中拆解的行列式矩阵。

因此，通过伪逆矩阵可以求得飞行目标的坐标值，就可以确定目标的三维世界坐标(X_w,Y_w,Z_w)。

对于单一目标的图像，已知目标图像像素的坐标点，以及摄像机内外参数，就可利用基于成像矩阵的最小二乘法方法得到其空间坐标(X_W,Y_W,Z_W)，对于多个飞行目标的空间坐标测量可采用极线约束的匹配方法。

此外，可以根据前后帧图像中目标的检测，计算连续帧的目标物体的三维坐标，进而可以计算目标物体的运动速度拟合目标物体的运动轨迹，甚至可以预知目标物体的运动轨迹，为未知帧的目标物体做预先估计。

进一步，根据目标物体的三维坐标确定对应的物距。根据双目立体视觉得到目标物体的三维坐标后，其中三维坐标中纵坐标Z的值即双目摄像组件与目标物体之间的距离，在成像系统中即物距。

进一步，根据左摄像机的焦距与三维坐标，确定目标物体在左摄像机的像距；以及根据右摄像机的焦距与三维坐标，确定目标物体在右摄像机的像距。由于，镜头的焦距通常为已知，根据双目立体视觉得到物体表面的深度即物距后，根据成像公式计算像距：1/f＝1/u+1/v，其中，f为焦距，u为物距，v为像距。

进一步，终端根据每个所述摄像组件的像距调整所述摄像组件的镜头，，以使所述摄像组件的成像面与所述镜头的焦平面重合。通过改变马达内线圈的直流电流大小，来控制弹簧片的拉伸位置，从而带动镜头上下运动。终端内的处理器根据像距，处理器给予马达对应的电流值，将镜头焦平面移动至光学传感器的成像面上，实现清晰成像。

上述图像对焦方法中，在终端上设置双目摄像组件，通过双目摄像组件拍摄目标物体的图像序列，进而通过背景差分算法对图像序列进行处理得到目标物体的三维坐标，将图像序列中的二维像素坐标转换为目标物体的三维坐标，从而根据三维坐标以及双目摄像组件各自对应的焦距确定目标物体在对应摄像组件的像距，进一步终端根据像距调整摄像组件的镜头，以使得摄像组件的成像面和对应镜头的焦平面重合，从而实现对焦得到目标物体的清晰图像；通过背景差分算法对运动的目标物体进行自动对焦，可以有效解决被动式对焦中对于细线条、运动物体等目标物体对焦时存在的对焦困难的问题，提高了目标物体对焦的精确度。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，提供了一种图像对焦装置300，包括：图像序列获取模块302、三维坐标确定模块304、像距计算模块306和镜头调整模块308，其中：

图像序列获取模块302，用于获取通过所述双目摄像组件拍摄的目标物体的图像序列；

三维坐标确定模块304，用于通过背景差分算法对所述图像序列进行处理，得到所述目标物体的三维坐标；

像距计算模块306，用于基于所述双目摄像组件各自对应的焦距和所述三维坐标，确定所述目标物体在对应摄像组件的像距；

镜头调整模块308，用于根据每个所述摄像组件的像距调整所述摄像组件的镜头，以使所述摄像组件的成像面与所述镜头的焦平面重合。

在一个实施例中，三维坐标确定模块还用于通过背景差分算法对所述图像序列进行处理，得到所述图像序列对应的目标区域图像；根据所述目标区域图像计算所述目标物体的三维坐标。

在一个实施例中，三维坐标确定模块还用于将所述图像序列中首次出现所述目标物体的帧图像作为当前帧图像；将所述图像序列中不包括所述目标物体的图像作为背景帧图像序列；通过背景模型统计方法对所述背景帧图像序列的帧像素值变化量进行统计，得到当前背景参考图像；通过背景差分算法基于所述当前帧图像、所述当前背景参考图像以及预设阈值，确定所述当前帧图像中的目标区域图像和背景区域图像；将下一顺序位的帧图像作为当前帧图像；将所述背景区域图像更新至所述背景帧图像序列中；返回通过背景模型统计方法对所述背景帧图像序列的帧像素值变化量进行统计，得到当前背景参考图像的步骤，直至所述当前帧图像是所述图像序列中最后顺序位的帧图像，输出所述图像序列对应的目标区域图像。

在一个实施例中，三维坐标确定模块还用于若所述左图像序列和所述右图像序列中处于相同顺序位的帧图像都有对应的所述目标区域图像，则将处于相同顺序位的所述帧图像作为目标对帧图像；对每个所述目标对帧图像的目标区域图像的质心进行提取，得到对应的质心对坐标；所述质心对坐标包括左质心坐标和右质心坐标；获取所述双目摄像组件对应的相机外参数和相机内参数；基于所述目标对帧图像对应的质心对坐标、所述相机外参数和所述相机内参数，计算所述目标物体在每个所述目标对帧图像应的三维坐标。

在一个实施例中，三维坐标确定模块还用于获取所述目标对帧图像中所述质心的质心对坐标；基于所述相机外参数和所述相机内参数，确定所述质心对应的像素坐标系到世界坐标系的转换系数；根据所述质心对坐标和所述转换系数得到所述目标物体在每个所述目标对帧图像的三维坐标。

在一个实施例中，像距计算模块还用于根据所述三维坐标的纵坐标确定所述目标物体的物距；采用成像公式基于所述双目摄像组件各自对应的焦距和所述物距，确定所述目标物体在对应摄像组件的像距；其中，所述成像公式如下所示：1/焦距＝1/物距+1/像距。

在一个实施例中，镜头调整模块还用于根据每个所述摄像组件的像距确定对应的目标电流值；通过处理器将所述摄像组件对应的控制设备的电流值设为所述目标电流值，以使所述控制设备驱动伸缩组件进行伸缩以此带动所述摄像组件的镜头实现上下运动。

关于图像对焦装置的具体限定可以参见上文中对于图像对焦方法的限定，在此不再赘述。上述图像对焦装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像对焦方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述图像对焦方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述图像对焦方法的步骤。

上述图像对焦装置、计算机设备和存储介质，在终端上设置双目摄像组件，通过双目摄像组件拍摄目标物体的图像序列，进而通过背景差分算法对图像序列进行处理得到目标物体的三维坐标，将图像序列中的二维像素坐标转换为目标物体的三维坐标，从而根据三维坐标以及双目摄像组件各自对应的焦距确定目标物体在对应摄像组件的像距，进一步终端根据像距调整摄像组件的镜头，以使得摄像组件的成像面和对应镜头的焦平面重合，从而实现对焦得到目标物体的清晰图像；通过背景差分算法对运动的目标物体进行自动对焦，可以有效解决被动式对焦中对于细线条、运动物体等目标物体对焦时存在的对焦困难的问题，提高了目标物体对焦的精确度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种图像对焦方法，应用于终端，所述终端设置有双目摄像组件；其特征在于，所述方法包括：

获取通过所述双目摄像组件拍摄的目标物体的图像序列；

2.根据权利要求1所述的方法，其特征在于，所述通过背景差分算法对所述图像序列进行处理，得到所述目标物体的三维坐标包括：

根据所述目标区域图像计算所述目标物体的三维坐标。

3.根据权利要求2所述的方法，其特征在于，所述图像序列包括多帧按序排列的帧图像；所述帧图像包括包含所述目标物体的图像和不包含所述目标物体的图像；所述通过背景差分算法对所述图像序列进行处理，得到所述图像序列对应的目标区域图像包括：

4.根据权利要求2所述的方法，其特征在于，所述图像序列包括左图像序列和右图像序列；所述根据所述目标区域图像计算所述目标物体的三维坐标包括：

获取所述双目摄像组件对应的相机外参数和相机内参数；

5.根据权利要求4所述的方法，其特征在于，所述相机外参数包括旋转参数和平移参数；所述相机内参数包括焦距参数和像面参数；

获取所述目标对帧图像中所述质心的质心对坐标；

6.根据权利要求1所述的方法，其特征在于，所述基于所述双目摄像组件各自对应的焦距和所述三维坐标，确定所述目标物体在对应摄像组件的像距包括：

根据所述三维坐标的纵坐标确定所述目标物体的物距；

7.根据权利要求1所述的方法，其特征在于，所述根据每个所述摄像组件的像距调整所述摄像组件的镜头包括：

根据每个所述摄像组件的像距确定对应的目标电流值；

8.一种图像对焦装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。