CN110248097B - 追焦方法、装置、终端设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种追焦方法、装置、终端设备、计算机可读存储介质。方法包括：获取第一拍摄图像中主体检测得到的第一主体区域；获取当前拍摄终端的位置移动数据，根据位置移动数据将第一主体区域的位置进行匹配的移动，以确定当前浏览图像中的主体预测区域；根据主体预测区域对当前浏览图像进行主体检测得到第二主体区域；当根据位置移动数据确定当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在光轴方向的移动方向驱动镜头在相同的方向移动到达第一位置；以第一位置为起点对所述第二主体区域进行对焦，在目标合焦位置拍摄图像。

Description

追焦方法、装置、终端设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种追焦方法、装置、终端设备、计算机可读存储介质。

背景技术

随着影像技术的发展，人们越来越习惯通过电子设备上的摄像头等图像采集设备拍摄图像或视频，记录各种信息。在拍摄移动物体时，拍摄的物体容易预测错误或识别失效，会导致追焦失效形成模糊的失焦图像。

发明内容

本申请实施例提供一种追焦方法、装置、终端设备、计算机可读存储介质，根据拍摄终端的位置移动数据精确的识别图像中的主体区域，在对焦时，通过主体区域提升对焦准确度，从而在追焦时，可精准快速找到主体提供对焦位置，并根据位置移动数据快速完成对焦动作，提高了追焦的准确率。

一种追焦方法，方法包括：

获取第一拍摄图像中主体检测得到的第一主体区域；

获取当前拍摄终端的位置移动数据，根据所述位置移动数据将所述第一主体区域的位置进行匹配的移动以确定当前浏览图像中的主体预测区域；

根据主体预测区域对所述当前浏览图像进行主体检测得到第二主体区域；

当根据所述位置移动数据确定所述当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在所述光轴方向的移动方向驱动镜头在相同的方向移动到达第一位置；

以所述第一位置为起点对所述第二主体区域进行对焦；

在目标合焦位置拍摄图像。

一种追焦装置，装置包括：

历史图像主体区域获取模块，用于获取第一拍摄图像中主体检测得到的第一主体区域；

主体预测区域模块，用于获取当前拍摄终端的位置移动数据，根据所述位置移动数据将所述第一主体区域的位置进行匹配的移动以确定当前浏览图像中的主体预测区域；

第二主体区域确定模块，用于根据主体预测区域对所述当前浏览图像进行主体检测得到第二主体区域；

第一距离驱动模块，用于当根据所述位置移动数据确定所述当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在所述光轴方向的移动方向驱动镜头在相同的方向移动到达第一位置；

对焦模块，用于以所述第一位置为起点对所述第二主体区域进行对焦，在目标合焦位置拍摄图像。

一种终端设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取第一拍摄图像中主体检测得到的第一主体区域；

获取当前拍摄终端的位置移动数据，根据所述位置移动数据将所述第一主体区域的位置进行匹配的移动以确定当前浏览图像中的主体预测区域；

根据主体预测区域对所述当前浏览图像进行主体检测得到第二主体区域；

当根据所述位置移动数据确定所述当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在所述光轴方向的移动方向驱动镜头在相同的方向移动到达第一位置；

以所述第一位置为起点对所述第二主体区域进行对焦；

在目标合焦位置拍摄图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取第一拍摄图像中主体检测得到的第一主体区域；

获取当前拍摄终端的位置移动数据，根据所述位置移动数据将所述第一主体区域的位置进行匹配的移动以确定当前浏览图像中的主体预测区域；

根据主体预测区域对所述当前浏览图像进行主体检测得到第二主体区域；

当根据所述位置移动数据确定所述当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在所述光轴方向的移动方向驱动镜头在相同的方向移动到达第一位置；

以所述第一位置为起点对所述第二主体区域进行对焦；

在目标合焦位置拍摄图像。

上述追焦方法、装置、终端设备、计算机可读存储介质，通过获取第一拍摄图像中主体检测得到的第一主体区域，获取当前拍摄终端的位置移动数据，根据位置移动数据将第一主体区域的位置进行匹配的移动以确定当前浏览图像中的主体预测区域，根据主体预测区域对所述当前浏览图像进行主体检测得到第二主体区域，当根据位置移动数据确定当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在光轴方向的移动方向驱动镜头在相同的方向移动到达第一位置，以第一位置为起点对第二主体区域进行对焦，在目标合焦位置拍摄图像，根据拍摄终端的位置移动数据精确的识别图像中的主体区域，在对焦时，通过主体区域提升对焦准确度，从而在追焦时，可精准快速找到主体提供对焦位置，并根据位置移动数据快速完成对焦动作，提高了追焦的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中移动设备的内部结构框图；

图2为另一个实施例中追焦方法的流程图；

图3为一个实施例中设备界面示意图；

图4为一个实施例中追焦装置的结构框图；

图5为一个实施例中终端设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

本申请实施例中的对焦方法可应用于终端设备。该终端设备可为带有摄像头的计算机设备、个人数字助理、平板电脑、智能手机、穿戴式设备等。终端设备中的摄像头在拍摄图像时，会进行自动对焦，以保证拍摄的图像清晰。

在一个实施例中，上述终端设备中可包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112、图像传感器114、执行器116的照相机。执行器116可驱动透镜112移动。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。传感器120(如陀螺仪)可基于传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。传感器120接口可以利用SMIA(Standard Mobile ImagingArchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器114也可将原始图像数据发送给传感器120，传感器120可基于传感器120接口类型把原始图像数据提供给ISP处理器140，或者传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或终端设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器170可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。此外，ISP处理器140的输出可发送给编码器/解码器160，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器170设备上之前解压缩。编码器/解码器160可由CPU或GPU或协处理器实现。

ISP处理器140确定的统计数据可发送给控制逻辑器150单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。控制逻辑器150可将透镜112的控制参数输出给执行器116，由执行器116根据控制参数驱动透镜112移动。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

图2为一个实施例中追焦方法的流程图。如图2所示，一种追焦方法，以应用于上述移动设备为例进行说明，具体包括：

步骤202，获取第一拍摄图像中主体检测得到的第一主体区域。

其中，主体是目标拍摄物，第一拍摄图像是历史拍摄图像，可通过主体检测算法识别主体的位置得到第一主体区域。

具体地，主体检测算法可自定义，如背景减法算法、深度学习算法、人脸检测算法等获取第一拍摄图像中的第一主体区域，其中第一主体区域可以为规则或不规则的区域，其中包括目标主体，例如对人脸识别而言，去掉背景后的剩余的人脸即为目标主体。可以通过深度学习的神经网络算法对第一拍摄图像进行主体识别。通过将标识有主体区域的训练图像输入至神经网络中，通过神经网络根据检测的预测区域对神经网络的参数进行调整，以训练得到可以准确识别主体区域的主体检测网络。在一个实施例中，训练图像还包括目标类别，训练得到可以准确识别主体区域和类别的主体检测网络。其中，主体检测网络可通过深度学习算法如CNN(Convolutional Neural Network，卷积神经网络)、DNN(DeepNeural Network，深度神经网络)、或RNN(Recurrent Neural Network，循环神经网络)等来实现。

步骤204，获取当前拍摄终端的位置移动数据，根据位置移动数据将第一主体区域的位置进行匹配的移动以确定当前浏览图像中的主体预测区域。

其中，位置移动数据是当前拍摄终端的位置、方向等变化产生的位置移动数据，可通过陀螺仪等检测装置实时采集得到当前拍摄终端的位置移动数据。在图像或视频的拍摄过程中，往往会使主体成像于图像的中心，当主体移动时，会将拍摄终端一直对着拍摄主体，所以拍摄终端的移动方向与速度与主体移动的方向与速度存在匹配关系，从而可将第一主体区域的位置进行与位置移动数据匹配方向与速度的移动，从而确定当前浏览图像中的主体预测区域，主体预测区域用于预测主体移动后所在的大致位置范围。

步骤206，根据主体预测区域对当前浏览图像进行主体检测得到第二主体区域。

具体地，主体预测区域预测出了主体在当前浏览图像的大致范围，从而可以在主体预测区域内或在主体预测区域预设距离范围内对当前浏览图像进行主体检测得到第二主体区域。由于无需对整个当前浏览图像的区域进行检测，只需根据主体预测区域在小范围内进行检测，大大提高了主体区域识别的效率。主体检测的方法可自义，可采用与步骤202中相同或不同的主体检测方法。如图3所示，为一个实施例中检测得到第二主体区域的示意图，在进行对焦时只针对主体区域进行对焦。

步骤208，当根据位置移动数据确定当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在光轴方向的移动方向驱动镜头在相同的方向移动到达第一位置。

具体地，光轴方向是指与拍摄平面垂直的方向，如将拍摄平面作为x-y平面，则光轴方向为z轴，如果物体平面移动，即在x-y平面移动，焦平面还是相同，只需要根据第二主体区域进行对焦值统计即可。如果当前拍摄终端存在光轴方向移动，则在通过摄像头进行拍摄的时候，需要先进行对焦，找到镜头的合焦位置。镜头是指摄像头中用于改变光路的光学元件，一般分为凸透镜和凹透镜。合焦是指拍摄照片时拍摄物体清晰成像的状态，合焦位置即为合焦时镜头所在的位置。如果当前拍摄终端与物体之间距离靠近，则驱动镜头向前推。如果当前拍摄终端与物体之间距离远离，则驱动镜头向往后移动，因为镜头提前移动，可以减少对焦时间，因为移动到准焦点的距离缩短。其中进行移动的距离可自定义，一般小于预设阈值。获取到移动方向后，通过马达将镜头驱动至第一位置。例如，当前镜头位置为200，目标合焦位置为300，则需要通过马达将镜头的位置从200移动到210，由于移动到210离目标合焦位置更近，从而减少对焦时间。

步骤210，以第一位置为起点对第二主体区域进行对焦，在目标合焦位置拍摄图像。

具体地，找到第一位置，往往需要再进一步精确地搜索使成像更清晰的镜头位置，此时只需要以第一位置为起点对第二主体区域进行对焦，对主体完成对焦，可以由相位对焦(Phase Detection Auto Focus，PDAF)完成粗找，快速移动镜头到第一合焦位置，再由CDAF完成最后细找，移动镜头到目标合焦位置，完成整个对焦行为。只需要对主体区域进行对焦，提高了对焦速度。

本实施例中的追焦方法，通过获取第一拍摄图像中主体检测得到的第一主体区域，获取当前拍摄终端的位置移动数据，根据位置移动数据将第一主体区域的位置进行匹配的移动以确定当前浏览图像中的主体预测区域，根据主体预测区域对所述当前浏览图像进行主体检测得到第二主体区域，当根据位置移动数据确定当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在光轴方向的移动方向驱动镜头在相同的方向移动到达第一位置，以第一位置为起点对第二主体区域进行对焦，在目标合焦位置拍摄图像，根据拍摄终端的位置移动数据精确的识别图像中的主体区域，在对焦时，通过主体区域提升对焦准确度，从而在追焦时，可精准快速找到主体提供对焦位置，并根据位置移动数据快速完成对焦动作，提高了追焦的准确率。

在一个实施例中，步骤204包括：获取当前拍摄终端的陀螺仪数据，根据陀螺仪数据确定当前拍摄终端的移动方向，获取当前拍摄终端的加速度计数据，根据加速度计数据确定当前拍摄终端的移动速度，根据移动速度计算拍摄主体的目标移动距离，将第一主体区域在移动方向上移动目标移动距离，并根据移动后的第一主体区域确定当前浏览图像中的主体预测区域。

具体地，陀螺仪是用于检测角速度的角运动检测装置。当前拍摄终端在拍摄图像的过程中获取陀螺仪输出的角速度数据。电子设备可以根据角速度数据可以分析当前拍摄终端的移动方向，相对于初始状态x,y,z的角度为当前拍摄终端的变换角度，如手机不动时初始角度0,0,0，手机移动之后：+x,40表示往x方向转动40度。加速度计用于测量加速度，可根据初始速度和加速度确定当前拍摄终端的移动速度，根据移动速度与移动时间计算得到拍摄主体的目标移动距离，将第一主体区域在移动方向上移动目标移动距离，可将移动后的第一主体区域作为当前浏览图像中的主体预测区域，或对移动后的第一主体区域进行图形处理，如放大等作为当前浏览图像中的主体预测区域。

本实施例中，通过陀螺仪数据和加速度计数据配合，快速计算得到拍摄主体的目标移动距离，从而快速准确得预测主体所在的区域。

在一个实施例中，步骤204包括：获取当前拍摄终端在不同时刻的多个位置移动数据，根据多个位置移动数据确定当前拍摄终端的终端移动轨迹，根据终端移动轨迹确定对应的主体移动轨迹，根据主体移动轨迹确定第一主体区域在当前浏览图像中的主体预测区域。

具体地，可通过定位装置获取当前拍摄终端在不同时刻的多个位置移动数据，如采集得到当前拍摄终端在不同时刻的位置数据，根据建立的坐标系形成各个位置数据对应的位置坐标，根据位置坐标和函数模拟算法确定与位置数据对应的走向，形成当前拍摄终端的终端移动轨迹。可以将终端移动轨迹作为主体移动轨迹，或获取终端移动与主体移动间的匹配关系，根据终端移动轨迹确定对应的主体移动轨迹，其中匹配关系可以通过标定的方式测量得到。根据当前拍摄时间、第一主体区域对应的拍摄时间得到时间间隔，根据时间间隔在主体移动轨迹上将第一主体区域移动对应的时间，从而确定第一主体区域在当前浏览图像中的主体预测区域。

在一个实施例中，将当前拍摄终端在不同时刻的位置数据输入已训练的神经网络模型，已训练的神经网络模型可以通过前后帧主体位置关系，确定当前拍摄终端的终端移动轨迹，从而确定主体移动轨迹，预测下一帧主体的位置，从而得到主体预测区域。

本实施例中，通过移动轨迹确定主体预测区域，在历史位置移动数据量足够的情况下可准确得到主体移动轨迹，从而快速确定主体预测区域，方便高效。

在一个实施例中，步骤206包括：获取当前浏览图像的可见光图；生成与可见光图对应的中心权重图，其中，中心权重图的权重值从中心到边缘逐渐减小；将可见光图和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据主体区域置信度图和主体预测区域确定可见光图中的第二主体区域。

具体地，可见光图是指彩色图。可通过彩色摄像头对某一场景预览拍摄得到当前浏览图像对应的可见光图，ISP处理器或中央处理器可获取可见光图。中心权重图是指用于记录可见光图中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征可见光图的图像中心像素点到图像边缘像素点的权重值逐渐减小。ISP处理器或中央处理器可以根据可见光图的大小生成对应的中心权重图。该中心权重图的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。

其中，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括可见光图、中心权重图及已标注的主体掩膜图。其中，可见光图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。

具体地，ISP处理器或中央处理器可将该可见光图和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。

ISP处理器或中央处理器可根据主体区域置信度图和主体预测区域的位置关系确定可见光图中的主体区域。可以将主体预测区域内或周围的主体区域置信度图的置信度进行加权提高，然后选取置信度最高的作为可见光图中的主体，若只有一个主体，则将该主体作为目标主体，若有多个主体，可根据需要选择其中一个或多个主体作为目标主体，从而得到一个或多个第二主体区域。

在一个实施例中，步骤208包括：以光轴方向为Z轴建立当前拍摄终端的移动坐标系，当位置移动数据包括所述Z轴的移动时，根据位置移动数据确定当前拍摄终端的在Z轴的当前移动方向，驱动镜头向当前移动方向移动第一对焦距离到达第一位置，第一对焦距离小于预设阈值。

具体地，当前移动方向为Z轴的正方向或负方式，驱动镜头向当前移动方向相同的方向移动第一对焦距离到达第一位置。其中预设阈值可自定义，如定义为5，保证向目标合焦位置提高进行了移动，提高了对焦效率。

在一个实施例中，方法还包括：当位置移动数据包括Z轴的移动时，根据位置移动数据确定当前拍摄终端的在Z轴的当前移动距离，驱动镜头向当前移动方向移动与当前移动距离匹配的第二对焦距离到达第一位置。

具体地，可提前标定Z轴位置移动数据与对焦移动距离之间的匹配关系，如当前终端在Z轴移动x距离，镜头向相同的方向移动y距离时，成像是清晰的，则记录Z轴位置移动数据与对焦移动距离之间的第一匹配关系对x-y，可同时记录多个匹配关系对，根据多个匹配关系对生成Z轴位置移动数据与对焦移动距离之间的匹配关系。此匹配关系用于已知Z轴的当前移动距离时，计算得到镜头对应的对焦移动距离，从而可驱动镜头向当前移动方向移动与当前移动距离匹配的第二对焦距离到达第一位置。

本实施例中，通过提前标定Z轴位置移动数据与对焦移动距离之间的匹配关系，可快速精准的确定镜头对应需移动的对焦距离。

在一个实施例中，步骤210包括：根据第二主体区域获取对应的相位差值，根据相位差值确定镜头的第一合焦位置，驱动所述镜头从第一位置移动至第一合焦位置；根据预设对焦距离驱动镜头进行扫描以确定目标合焦位置，将镜头驱动至目标合焦位置。

具体地，可以通过相位对焦获取镜头的第一合焦位置，相位对焦是通过检测拍摄图像的相位偏移量来实现自动对焦的，具体包括：根据第二主体区域获取对应的相位差值；根据相位差值确定镜头的第一合焦位置。在相位对焦中，图像传感器中会安装两个专门用于相位对焦的两个像素，形成一个像素对。通过这两个像素形成两个图像，并通过这两个图像的相位关系来判断物体的位置，从而快速地找到镜头的合焦位置。由于通过相位对焦找到的第一合焦位置，为成像清晰的某个位置范围内，因此往往需要再进一步精确地搜索使成像更清晰的镜头位置。可以通过精确扫描(fine scan)确定更精确地合焦位置。预设对焦距离是指驱动镜头移动的距离，预设对焦距离通常取比较小的值，这样能保证镜头移动的距离对不会超过目标合焦位置。例如，第一合焦位置为260，目标合焦位置为400。那么，预设对焦距离可以为5，驱动镜头移动预设对焦距离之后，镜头所在的位置为265。可以进行多次移动以确定目标合焦位置。精确扫描的过程可以包括：驱动镜头移动预设对焦距离，并在镜头每次移动预设对焦距离之后获取成像图像的聚焦(Focus Value，FV)值；根据获取的聚焦值确定第二合焦位置。具体地，在精确扫描的过程中，镜头每移动一段距离就会采集一帧图像，然后根据采集的图像计算聚焦值，然后根据采集的每帧图像的聚焦值，获取描述聚焦值变化的拟合曲线，再将拟合曲线顶点位置对应的镜头位置，作为最终的标合焦位置。其中，聚焦值是指表示图像清晰度的值，一般聚焦值越大，图像越清晰；聚焦值越小，图像越模糊。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图4为一个实施例的追焦装置的结构框图。如图4所示，一种追焦装置，包括历史图像主体区域获取模块302、主体预测区域模块304、第二主体区域确定模块306、第一距离驱动模块308，对焦模块310。其中：

历史图像主体区域获取模块302，用于获取第一拍摄图像中主体检测得到的第一主体区域；

主体预测区域模块304，用于获取当前拍摄终端的位置移动数据，根据位置移动数据将所述第一主体区域的位置进行匹配的移动以确定当前浏览图像中的主体预测区域。

第二主体区域确定模块306，用于根据主体预测区域对当前浏览图像进行主体检测得到第二主体区域。

第一距离驱动模块308，用于当根据位置移动数据确定所述当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在所述光轴方向的移动方向驱动镜头在相同的方向移动到达第一位置。

对焦模块310，用于以所述第一位置为起点对第二主体区域进行对焦，在目标合焦位置拍摄图像。

在一个实施例中，主体预测区域模块304还用于获取当前拍摄终端的陀螺仪数据，根据陀螺仪数据确定当前拍摄终端的移动方向，获取当前拍摄终端的加速度计数据；根据加速度计数据确定当前拍摄终端的移动速度；根据移动速度计算拍摄主体的目标移动距离；将第一主体区域在移动方向上移动目标移动距离，并根据移动后的第一主体区域确定当前浏览图像中的主体预测区域。

在一个实施例中，主体预测区域模块304还用于获取当前拍摄终端在不同时刻的多个位置移动数据，根据多个位置移动数据确定所述当前拍摄终端的终端移动轨迹；根据终端移动轨迹确定对应的主体移动轨迹；根据主体移动轨迹确定第一主体区域在当前浏览图像中的主体预测区域。

在一个实施例中，第二主体区域确定模块306还用于获取当前浏览图像的可见光图；生成与可见光图对应的中心权重图，其中，中心权重图的权重值从中心到边缘逐渐减小；将可见光图和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据主体区域置信度图确定可见光图中的第二主体区域。

在一个实施例中，第一距离驱动模块308还用于以光轴方向为Z轴建立当前拍摄终端的移动坐标系；当位置移动数据包括所述Z轴的移动时，根据位置移动数据确定当前拍摄终端的在所述Z轴的当前移动方向；驱动镜头向当前移动方向移动第一对焦距离到达所述第一位置，第一对焦距离小于预设阈值。

在一个实施例中，第一距离驱动模块308还用于当位置移动数据包括Z轴的移动时，根据位置移动数据确定当前拍摄终端的在Z轴的当前移动距离；驱动镜头向所述当前移动方向移动与当前移动距离匹配的第二对焦距离到达第一位置。

在一个实施例中，对焦模块310还用于根据第二主体区域获取对应的相位差值；根据相位差值确定镜头的第一合焦位置，驱动镜头从第一位置移动至第一合焦位置；根据预设对焦距离驱动镜头进行扫描以确定目标合焦位置，将镜头驱动至目标合焦位置。

关于追焦装置的具体限定可以参见上文中对于追焦方法的限定，在此不再赘述。上述追焦装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图5为一个实施例中终端设备的内部结构示意图。如图5所示，该终端设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个终端设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种追焦方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该终端设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的追焦装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

在本申请实施例中，该终端设备所包括的处理器执行存储在存储器上的计算机程序时实现上述各个实施例中追焦方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述各个实施例中追焦方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个实施例中追焦方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种追焦方法，其特征在于，所述方法包括：

获取第一拍摄图像中主体检测得到的第一主体区域；

通过检测装置实时获取当前拍摄终端的位置和方向变化产生的位置移动数据，根据所述位置移动数据将所述第一主体区域的位置进行匹配的移动，将第一主体区域的位置进行与位置移动数据匹配方向与速度的移动，以确定当前浏览图像中的主体预测区域；

根据主体预测区域对所述当前浏览图像进行主体检测得到第二主体区域，在所述主体预测区域内或在所述主体预测区域预设距离范围内对当前浏览图像进行主体检测得到所述第二主体区域；

当根据所述位置移动数据确定所述当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在所述光轴方向的移动方向，驱动镜头在相同的方向移动到达第一位置；

以所述第一位置为起点对所述第二主体区域进行对焦；

在目标合焦位置拍摄图像。

2.根据权利要求1所述的方法，其特征在于，所述获取当前拍摄终端的位置移动数据，根据所述位置移动数据将所述第一主体区域的位置进行匹配的移动以确定当前浏览图像中的主体预测区域包括：

获取当前拍摄终端的陀螺仪数据；

根据所述陀螺仪数据确定所述当前拍摄终端的移动方向；

获取当前拍摄终端的加速度计数据；

根据所述加速度计数据确定所述当前拍摄终端的移动速度；

根据所述移动速度计算拍摄主体的目标移动距离；

将所述第一主体区域在所述移动方向上移动所述目标移动距离，并根据移动后的第一主体区域确定当前浏览图像中的所述主体预测区域。

3.根据权利要求1所述的方法，其特征在于，所述获取当前拍摄终端的位置移动数据，根据所述位置移动数据将所述第一主体区域的位置进行匹配的移动以确定当前浏览图像中的主体预测区域包括：

获取当前拍摄终端在不同时刻的多个位置移动数据；

根据所述多个位置移动数据确定所述当前拍摄终端的终端移动轨迹；

根据所述终端移动轨迹确定对应的主体移动轨迹；

根据所述主体移动轨迹确定所述第一主体区域在当前浏览图像中的主体预测区域。

4.根据权利要求1所述的方法，其特征在于，所述根据主体预测区域对所述当前浏览图像进行主体检测得到第二主体区域包括：

获取所述当前浏览图像的可见光图；

生成与所述可见光图对应的中心权重图，其中，所述中心权重图的权重值从中心到边缘逐渐减小；

将所述可见光图和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

根据所述主体区域置信度图和主体预测区域确定所述可见光图中的第二主体区域。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述当根据所述位置移动数据确定所述当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在所述光轴方向的移动方向驱动镜头在相同的方向移动到达第一位置包括：

以所述光轴方向为Z轴建立所述当前拍摄终端的移动坐标系；

当所述位置移动数据包括所述Z轴的移动时，根据所述位置移动数据确定所述当前拍摄终端的在所述Z轴的当前移动方向；

驱动镜头向所述当前移动方向移动第一对焦距离到达所述第一位置，所述第一对焦距离小于预设阈值。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当所述位置移动数据包括所述Z轴的移动时，根据所述位置移动数据确定所述当前拍摄终端的在所述Z轴的当前移动距离；

驱动镜头向所述当前移动方向移动与所述当前移动距离匹配的第二对焦距离到达所述第一位置。

7.根据权利要求1所述的方法，其特征在于，所述以所述第一位置为起点对所述第二主体区域进行对焦包括：

根据所述第二主体区域获取对应的相位差值；

根据所述相位差值确定所述镜头的第一合焦位置，驱动所述镜头从所述第一位置移动至所述第一合焦位置；

根据预设对焦距离驱动所述镜头进行扫描以确定目标合焦位置。

8.一种追焦装置，其特征在于，所述装置包括：

历史图像主体区域获取模块，用于获取第一拍摄图像中主体检测得到的第一主体区域；

主体预测区域模块，用于通过检测装置实时获取当前拍摄终端的位置和方向变化产生的位置移动数据，根据所述位置移动数据将所述第一主体区域的位置进行匹配的移动，将第一主体区域的位置进行与位置移动数据匹配方向与速度的移动，以确定当前浏览图像中的主体预测区域；

第二主体区域确定模块，用于根据主体预测区域对所述当前浏览图像进行主体检测得到第二主体区域，在所述主体预测区域内或在所述主体预测区域预设距离范围内对当前浏览图像进行主体检测得到所述第二主体区域；

第一距离驱动模块，用于当根据所述位置移动数据确定所述当前拍摄终端存在光轴方向移动时，根据当前拍摄终端在所述光轴方向的移动方向驱动镜头在相同的方向移动到达第一位置；

对焦模块，用于以所述第一位置为起点对所述第二主体区域进行对焦，在目标合焦位置拍摄图像。

9.一种终端设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

Images