CN110650291A - 目标追焦方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种目标追焦方法、装置、电子设备、计算机可读存储介质，该方法包括：接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；获取当前预览图像，对所述当前预览图像进行目标主体分割，得到目标主体掩膜图；根据所述目标主体掩膜图的区域参数确定所述目标主体掩膜图的外接区域；根据所述目标主体掩膜图和所述外接区域生成所述当前预览图像的追焦预测框，利用所述追焦预测框对下一帧图像进行追焦处理。采用本方法能够根据每一帧图像的追焦预测框对目标主体进行追焦处理，从而能够准确地对目标主体进行持续追焦，有效提高了追焦的准确度。

Description

目标追焦方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种目标追焦方法和装置、电子设备、计算机可读存储介质。

背景技术

随着摄影技术的发展，摄影技术被广泛应用于各种电子设备。用户可以通过电子设备进行拍摄，在拍摄时可对拍摄物体进行对焦。目前出现了一些基于光流跟踪、信号预测跟踪等基于视觉目标跟踪的追焦方式。在主体目标运动、被遮挡、光照变化较大的场景下，容易出现对焦失败的情形，需要用户频繁进行手动对焦，主体目标的追焦效率较低，容易导致追焦失效。

发明内容

本申请实施例提供一种目标追焦方法、装置、电子设备、计算机可读存储介质，可以有效提高目标主体的追焦准确度。

一种目标追焦方法，包括：

接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

获取当前预览图像，对所述当前预览图像进行目标主体分割，得到目标主体掩膜图；

根据所述目标主体掩膜图的区域参数确定所述目标主体掩膜图的外接区域；

根据所述目标主体掩膜图和所述外接区域生成所述当前预览图像的追焦预测框，利用所述追焦预测框对下一帧图像进行追焦处理。

一种目标追焦装置，包括：

指令接收模块，用于接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

目标分割模块，用于获取当前预览图像，对所述当前预览图像进行目标主体分割，得到目标主体掩膜图；

目标追焦模块，用于根据所述目标主体掩膜图的区域参数确定所述目标主体掩膜图的外接区域；根据所述目标主体掩膜图和所述外接区域生成所述当前预览图像的追焦预测框，利用所述追焦预测框对下一帧图像进行追焦处理。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

获取当前预览图像，对所述当前预览图像进行目标主体分割，得到目标主体掩膜图；

根据所述目标主体掩膜图的区域参数确定所述目标主体掩膜图的外接区域；

根据所述目标主体掩膜图和所述外接区域生成所述当前预览图像的追焦预测框，利用所述追焦预测框对下一帧图像进行追焦处理。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：

接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

获取当前预览图像，对所述当前预览图像进行目标主体分割，得到目标主体掩膜图；

根据所述目标主体掩膜图的区域参数确定所述目标主体掩膜图的外接区域；

根据所述目标主体掩膜图和所述外接区域生成所述当前预览图像的追焦预测框，利用所述追焦预测框对下一帧图像进行追焦处理。

上述目标追焦方法、装置、电子设备、计算机可读存储介质，根据接收到的拍摄指令控制摄像头采集多帧图像，通过对当前预览图像进行目标主体分割，能够准确地得到目标主体掩膜图。电子设备进而根据目标主体掩膜图的区域参数确定目标主体掩膜图的外接区域，根据目标主体掩膜图和外接区域生成当前预览图像的追焦预测框，从而利用追焦预测框对下一帧图像进行持续追焦处理。通过对每一帧图像的目标主体进行识别分割，并根据目标分割结果进行追焦框预测，由此能够利用每一帧图像的追焦预测框对目标主体进行追焦处理，从而能够准确地对目标主体进行持续追焦，有效提高了追焦的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中目标追焦方法的应用环境图；

图2为一个实施例中目标追焦方法的流程图；

图3为一个实施例中确定目标主体区域步骤的流程图；

图4为一个实施例中对当前预览图像进行局部目标分割步骤的流程图；

图5为一个实施例中计算目标主体掩膜图的外接区域步骤的流程图；

图6为一个实施例中目标追焦装置的结构框图；

图7为另一个实施例中目标追焦装置的结构框图；

图8为一个实施例中电子设备的内部结构示意图；

图9为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一目标主体掩膜图称为第二目标主体掩膜图，且类似地，可将第二目标主体掩膜图称为第一目标主体掩膜图。第一目标主体掩膜图和第二目标主体掩膜图两者都是目标主体掩膜图，但其不是同一目标主体掩膜图。

图1为一个实施例中目标追焦方法的应用环境示意图。如图1所示，该应用环境包括电子设备100。其中，电子设备100包含有摄像头110。具体地，电子设备100可以接收拍摄指令，根据拍摄指令控制摄像头110采集多帧图像。电子设备100获取当前预览图像，对当前预览图像进行目标分割，得到目标主体掩膜图，使得摄像头110根据目标主体掩膜图进行对焦。电子设备100根据目标主体掩膜图的位置信息确定目标主体掩膜图的外接区域，根据目标主体掩膜图和外接区域生成当前预览图像的追焦预测框，利用追焦预测框对下一帧图像进行追焦处理。电子设备100可以但不限于是各种手机、平板电脑或者个人数字助理或穿戴式设备等。

图2为一个实施例中目标追焦方法的流程图。本实施例中的目标追焦方法，以运行于图1中的电子设备上为例进行描述。如图2所示，目标追焦方法包括步骤202至步骤208。

步骤202，接收拍摄指令，根据拍摄指令控制摄像头采集多帧图像。

用户可以通过电子设备发起拍摄指令，例如，用户可以通过按键、触摸或者语音命令等形式发起拍摄指令。拍摄指令可以是视频录制请求等。电子设备则接收用户触发的拍摄指令，进而根据拍摄指令控制摄像头采集多帧图像。其中，摄像头根据拍摄指令持续采集多帧图像。追焦指的是当目标摄像头对拍摄对象进行对焦之后，在后续的拍摄过程中保持对拍摄对象的对焦的过程。

电子设备控制摄像头在拍摄多帧图像的过程中采用AF(Auto Focus，自动对焦)技术进行处理，对焦是指通过调整焦距从而使拍摄的物体成像清晰的过程。在持续采集多帧图像的过程中，在目标主体移动或运动情况下，则需要持续对拍摄画面中的目标主体进行跟踪对焦。目标主体可以是目标拍摄物体。其中，目标拍摄物体可以是根据目标主体检测算法自动识别出的，初始的目标拍摄物体也可以是基于用户在电子设备上手动选择的。

步骤204，获取当前预览图像，对当前预览图像进行目标分割，得到目标主体掩膜图。

具体地，当前预览图像是指电子设备的摄像头在当前所采集的预览图像的画面，用于后续对所预览图像进行相应的处理。例如电子设备在控制摄像头采集的第一帧图像时，摄像头获取的当前预览图像则为初始帧预览图像。掩膜(mask)可以表示为二维矩阵数组或多值图像。目标主体掩膜图则表示当前预览图像中目标主体区域对应的多值图像。

电子设备获取当前预览图像后，则对当前预览图像当前预览图像进行目标分割。具体地，电子设备可以利用预先训练的目标主体分割模型进行目标分割，其中，目标主体分割模型可以为基于神经网络的目标主体检测算法模型，例如可以采用但不限于深度学习算法如CNN(Convolutional Neural Network，卷积神经网络)、DNN(Deep Neural Network，深度神经网络)、或RNN(Recurrent Neural Network，循环神经网络)等来实现。

电子设备则通过目标主体分割模型对当前预览图像进行目标主体分割，从而得到目标主体掩膜图。具体地，若当前预览图像为初始帧的预览图像时，电子设备则通过目标主体分割模型对当前预览图像进行全局目标主体分割，其中，电子设备需要首先对当前预览图像进行主体检测，若当前预览图像中包括多个主体，则确定当前预览图像中的目标主体，进而分割出目标主体区域，并对目标主体区域进行连通域处理，从而得到目标主体区域对应的目标主体掩膜图。电子设备由此能够准确有效地根据目标主体掩膜图进行对焦处理，从而拍摄得到对焦准确率较高的图像。

步骤206，根据目标主体掩膜图的区域参数确定目标主体掩膜图的外接区域。

具体地，目标主体掩膜图包括对应的区域参数，区域参数表示目标主体掩膜图位于当前预览图像中的图像区域信息，例如可以包括目标主体掩膜图的位置坐标参数、区域大小等参数。外接区域是指需要对目标主体掩膜图进行扩充的区域。

电子设备得到目标主体掩膜图后，根据目标主体掩膜图的区域参数计算出目标主体掩膜图在当前预览图像中的占图比。占图比表示目标主体掩膜图所占当前预览图像的比例。进而根据目标主体掩膜图的区域参数和占图比确定对应的外接区域。例如可以将目标主体掩膜图按一定的比例外扩，可以覆盖主体目标在下一帧的位置形成外接区域，以作为下一帧的追焦预测框。例如，电子设备对当前预览图像进行目标主体分割后，得到当前预览图像对应的第一目标主体掩膜图，以控制摄像头根据第一目标主体掩膜图进行对焦。进而根据第一目标主体掩膜图确定外接区域并生成对应的追焦预测框。电子设备则利用当前预览图像的追焦预测框对下一帧预览图像进行追焦处理，得到下一帧图像对应的第二目标主体掩膜图，电子设备进而控制摄像头根据第二目标主体掩膜图进行对焦。

步骤208，根据目标主体掩膜图和外接区域生成当前预览图像的追焦预测框，利用追焦预测框对下一帧图像进行追焦处理。

电子设备进而根据目标主体掩膜图和外接区域生成当前预览图像的追焦预测框，当前预览图像的追焦预测框则用于对下一帧图像进行追焦处理。通过对每一帧图像的目标主体进行识别和预测，由此能够利用每一帧图像的追焦预测框对目标主体进行持续追焦，从而能够准确地对目标主体进行追焦。避免了在目标主体运动和镜头视野变化下，需要用户频繁进行手动对焦操作，以及视觉目标跟踪算法跟踪失败导致的对焦错误，有效提高了追焦的准确度。

在其中一个实施例中，电子设备生成当前预览图像的追焦预测框后，将当前预览图像的追焦预测框进行缓存，以用于对下一帧图像进行追焦处理。电子设备在对下一帧图像进行追焦处理后或在预设长后，则可以将缓存的追焦预测框删除，以有效节省电子设备的资源占用。

若当前预览图像并非第一帧图像时，电子设备则可以直接获取上一帧图像的追焦预测框，根据追焦预测框对当前预览图像进行局部目标分割，得到局部目标分割结果。电子设备则根据追焦预测框的位置信息将局部目标分割结果映射至当前预览图像，并进行连通域处理，从而得到目标主体掩膜图。由此能够利用每一帧图像的追焦预测框对目标主体进行持续追焦，有效提高了追焦的准确度。

本实施例中的目标追焦方法，电子设备接收到拍摄指令后，根据接收到的拍摄指令控制摄像头采集多帧图像，通过对当前预览图像进行目标主体分割，能够准确地得到目标主体掩膜图。电子设备进而根据目标主体掩膜图的区域参数确定目标主体掩膜图的外接区域，根据目标主体掩膜图和外接区域生成当前预览图像的追焦预测框，从而利用追焦预测框对下一帧图像进行持续追焦处理。通过对每一帧图像的目标主体进行识别分割，并根据目标分割结果进行追焦框预测，由此能够利用每一帧图像的追焦预测框对目标主体进行追焦处理，从而能够准确地对目标主体进行持续追焦，有效提高了追焦的准确度。

在一个实施例中，对当前预览图像进行目标主体分割，得到目标主体掩膜图，包括：若当前预览图像为初始帧图像，将当前预览图像输入至已训练的目标主体分割模型，确定出当前预览图像的目标主体区域；对目标主体区域进行连通域处理，输出目标主体对应的目标主体掩膜图。

其中，目标主体分割模型为预先利用大量样本图像进行训练得到的，目标主体分割模型可以为基于神经网络的目标主体检测算法模型。

电子设备接收到拍摄指令后，根据接收到的拍摄指令控制摄像头采集多帧图像。获取当前预览图像，若当前预览图像为初始帧图像时，获取预先训练的目标主体分割模型，通过目标主体分割模型对当前预览图像进行全局目标主体分割。具体地，电子设备将当前预览图像的全局图像输入至目标主体分割模型中，通过目标主体分割模型则对当前预览图像进行主体检测，若当前预览图像中包括多个主体，则确定当前预览图像中的目标主体。目标主体分割模型中的分割网络进而分割出目标主体区域，将分割出的目标主体映射至当前预览图像的原图中进行连通域处理，连通目标主体对应的最大区域，并输出目标主体区域的目标二值掩膜图，从而得到目标主体对应的目标主体掩膜图。通过利用已训练的目标主体分割模型对当前预览图像进行目标主体分割，能够准确地得到目标主体掩膜图。

在一个实施例中，如图3所示，将当前预览图像输入至已训练的目标主体分割模型，确定出当前预览图像的目标主体区域的步骤，具体包括以下内容：

步骤302，对当前预览图像进行特征提取，根据当前预览图像的特征进行区域分割，得到多个分割结果和相应的区域参数。

步骤304，对多个分割结果进行分类，得到相应的分类标签。

步骤306，根据区域位置和分类标签计算多个分割结果的主体置信度。

步骤308，将主体置信度达到置信度阈值的分割结果确定为目标主体区域。

其中，主体置信度表示分割的区域可能是需要对焦的目标主体的概率。

电子设备根据接收到的拍摄指令控制摄像头采集多帧图像，获取初始帧的当前预览图像。电子设备将当前预览图像的全局图像输入至目标主体分割模型中，利用目标主体分割模型则对当前预览图像进行特征提取，例如可以是像素特征提取，根据当前预览图像中的多个特征进行区域分割，从而可以得到得到多个分割结果以及相应的区域参数。目标主体分割模型进一步对分割结果进行分类，根据分类结果分别对每个分割区域添加相应的分类标签。进而根据分类标签和区域参数计算出每个分割结果对应的主体置信度，并将主体置信度达到置信度阈值的分割结果确定为目标主体区域，例如可以将其中主体置信度最大的分割结果确定为目标主体区域。通过利用已训练的目标主体分割模型对当前预览图像进行目标主体分割，能够准确地得到目标主体掩膜图。

在一个实施例中，如图4所示，对当前预览图像进行目标分割，得到目标主体掩膜图的步骤，具体包括以下内容：

步骤402，若当前预览图像为非初始帧图像，获取当前预览图像的上一帧图像的追焦预测框。

步骤404，对追焦预测框进行解析，若追焦预测框为非全局图像时，根据追焦预测框对当前预览图像进行局部目标分割，得到局部目标分割结果。

步骤406，根据追焦预测框的位置信息，将局部目标分割结果映射至当前预览图像，并进行连通域处理，得到目标主体掩膜图。

若获取的当前预览图像并非初始帧图像时，电子设备则可以直接获取上一帧图像的追焦预测框，根据上一帧图像的追焦预测框对当前预览图像进行局部目标分割，得到局部目标分割结果。

具体地，电子设备获取上一帧图像的追焦预测框后，对追焦预测框的区域参数进行解析，根据区域参数判断追焦预测框是否为全局图像。当追焦预测框为非全局图像时，电子设备则根据追焦预测框的区域参数在当前预览图像中裁剪出需要分割的局部区域，通过目标主体分割模型对局部区域进行局部目标主体分割，从而得到局部目标主体区域。电子设备进而根据追焦框的位置信息将分割出的局部目标主体区域映射至当前预览图像的原图中，并对局部目标主体区域进行连通域处理，连通目标主体对应的最大区域，并输出目标主体区域的目标二值掩膜图，从而得到目标主体对应的目标主体掩膜图。

当追焦预测框为全局图像时，电子设备则对当前预览图像的全局图像进行全局目标主体分割，得到目标主体对应的目标主体掩膜图。

通过对每一帧图像的目标主体进行识别分割，并根据目标分割结果进行追焦框预测，由此能够利用每一帧图像的追焦预测框对下一帧图像的目标主体进行追焦处理，从而能够准确地对目标主体进行持续追焦，有效提高了追焦的准确度。

在一个实施例中，根据所述追焦预测框对当前预览图像进行局部目标分割，得到局部目标主体区域，包括：根据追焦预测框的位置信息从当前预览图像中提取出局部区域，根据目标尺寸对局部区域进行调整，得到待分割区域；将待分割区域输入至已训练的目标分割模型中，对待分割区域进行区域分割，得到多个分割区域；获取上一帧图像的目标主体掩膜图的主体特征，根据主体特征从多个分割区域中确定局部目标主体区域。

其中，目标尺寸可以是目标主体分割模型所配置的输入尺寸。主体特征可以指用于表示目标主体的特征的参数，例如目标主体的大小参数、位置参数、掩膜图对角线参数等。

若追焦预测框为非全局图像，电子设备根据根据追焦预测框对当前预览图像进行局部目标主体分割时，根据追焦预测框的位置参数在当前预览图像中裁剪出需要分割的局部区域，并根据目标主体分割模型的输入尺寸，将裁剪的局部区域调整至目标尺寸，例如可以直接将该局部区域放大到目标尺寸。从而利用调整后的局部区域确定为待分割区域。电子设备进而将待分割区域输入至目标主体分割模型，对待分割区域进行区域分割，得到多个分割区域。获取上一帧图像的目标主体掩膜图的主体特征，电子设备则根据主体特征从多个分割区域中识别出待分割区域中的目标主体区域。通过利用上一帧图像的追焦预测框对当前预览图像进行局部目标主体分割，能够准确有效地确定局部目标主体区域，由此从而能够准确地对目标主体进行持续追焦，

在一个实施例中，根据目标主体掩膜图的区域参数确定目标主体掩膜图的外接区域，包括：根据目标主体掩膜图的区域参数计算目标主体掩膜图的占图比；当占图比超过预设阈值时，根据区域参数计算目标主体掩膜图的外接区域。

电子设备根据接收到的拍摄指令控制摄像头采集多帧图像，对获取的当前预览图像进行目标主体分割，得到目标主体掩膜图。电子设备进而根据目标主体掩膜图的区域参数确定目标主体掩膜图的外接区域。具体地，电子设备得到目标主体掩膜图后，根据目标主体掩膜图的区域参数计算出目标主体掩膜图在当前预览图像中的占图比。占图比表示目标主体掩膜图所占当前预览图像的比例。

当占图比超过预设阈值时，则表示识别出目标主体的主体性较强，目标主体掩膜图是有效的对焦主体。电子设备则进一步根据区域参数计算目标主体掩膜图的外接区域。由于主体目标通常在相邻两帧之间的运动范围不会变化太大，因此可以将目标主体掩膜图按一定的比例外扩，可以覆盖主体目标在下一帧的位置形成外接区域，以作为下一帧的追焦预测框。例如可以根据目标主体掩膜图的区域参数和占图比按照相应的比例计算目标主体的外接矩形，如目标主体掩膜图为矩形时，可以按照目标主体的外接矩形的长宽比例进行外扩，如按照长宽短边的百分之五十进行外扩，从而确定出目标主体掩膜图的外接区域。根据目标主体掩膜图和外接区域生成当前预览图像的追焦预测框，从而能够准确有效地利用追焦预测框对下一帧图像进行持续追焦处理。

在一个实施例中，如图5所示，根据区域参数计算目标主体掩膜图的外接区域的步骤，具体包括以下内容：

步骤502，获取上一帧图像的目标主体掩膜图，根据区域参数分别计算上一帧图像和当前预览图像的目标主体掩膜图的质心位置。

步骤504，根据质心位置计算目标主体的移动速度，根据移动速度计算目标主体掩膜图的扩充比例。

步骤506，根据扩充比例确定目标主体掩膜图的外接区域，利用外接区域对目标主体掩膜图进行扩充，得到当前预览图像的追焦预测框。

电子设备根据目标主体掩膜图的区域参数计算目标主体掩膜图的占图比；当占图比超过预设阈值时，根据区域参数计算目标主体掩膜图的外接区域。具体地，电子设备获取上一帧图像的目标主体掩膜图和对应的区域参数，根据区域参数计算出上一帧图像的目标主体掩膜图的质心位置。同时根据当前预览图像的目标主体掩膜图的区域参数，计算出当前预览图像的目标主体掩膜图的质心位置。电子设备根据相邻帧的质心位置以及帧率计算出目标主体的移动速度，进而根据目标主体在相邻帧之间的移动速度计算出当前预览图像的目标主体掩膜图的扩充比例，以确保能够准确地覆盖下一帧图像中目标主体的运动范围对应的区域。

电子设备则按照计算出的扩充比例对目标主体掩膜图进行扩充。其中，扩充方式可以为根据目标主体掩膜图的外接矩形长宽，按照扩充比例对外接矩形的四个方向进行外扩，从而得到外接区域。电子设备则利用目标主体掩膜图和扩充形成的外接区域生成追焦预测框，以用于对下一帧图像进行追焦处理。通过计算出相邻帧的运动速度以确定目标主体掩膜图的外接区域，从而能够在目标主体运动的场景下，准确有效地生成目标主体对应的追焦预测框，从而能够准确有效地利用追焦预测框对下一帧图像进行持续追焦处理，由此有效提高了目标主体追焦的准确度。

在一个实施例中，该方法还包括：当目标主体掩膜图的占图比未达到预设阈值时，将当前预览图像的全局图像确定为当前预览图像的追焦预测框；利用当前预览图像的追焦预测框对下一帧图像进行追焦处理。

电子设备根据接收到的拍摄指令控制摄像头采集多帧图像，对获取当前预览图像进行目标主体分割，得到目标主体掩膜图。电子设备进而根据目标主体掩膜图的区域参数确定目标主体掩膜图的外接区域。具体地，电子设备得到目标主体掩膜图后，根据目标主体掩膜图的区域参数计算出目标主体掩膜图在当前预览图像中的占图比。占图比表示目标主体掩膜图所占当前预览图像的比例。

当占图比未达到预设阈值时，则表示识别出目标主体的主体性较弱，需要重新识别对焦主体或切换对焦主体。此时，电子设备则直接将当前预览图像的全局图像确定为当前预览图像的追焦预测框，并利用当前预览图像的追焦预测框对下一帧图像进行追焦处理。电子设备利用当前预览图像的追焦预测框对下一帧图像进行追焦处理时，则直接对下一帧图像进行全局目标主体分割，以有效地确定下一帧图像的目标主体掩膜图。

在一个实施例中，该方法还包括：根据目标主体掩膜图确定当前对焦区域；控制摄像头根据当前对焦区域对目标主体进行对焦。

电子设备获取当前预览图像，对当前预览图像进行目标主体分割，得到目标主体掩膜图后，根据目标主体掩膜图确定当前对焦区域。电子设备则根据光学成像原理，根据对焦区域的距离、大小等参数确定出对焦参数，电子设备则控制摄像头根据对焦参数对镜头的焦距进行调节，以得到目标主体成像清晰度较高的图像。电子设备在拍摄图像的预览过程中，对拍摄对象进行对焦之后，在后续获取的预览图像中持续根据追焦预测框确定的目标主体掩膜图进行对焦，从而能够有效保证拍摄目标主体仍是清晰的成像。由此可以更加准确地对目标主体进行追焦处理，提高了对焦的准确性。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例的目标追焦装置的结构框图。如图6所示，装置的实施例，该装置包括：指令接收模块602、目标分割模块604和目标追焦模块606，其中：

指令接收模块602，用于接收拍摄指令，根据拍摄指令控制摄像头采集多帧图像；

目标分割模块604，用于获取当前预览图像，对当前预览图像进行目标主体分割，得到目标主体掩膜图；

目标追焦模块606，用于根据目标主体掩膜图的区域参数确定目标主体掩膜图的外接区域；根据目标主体掩膜图和外接区域生成当前预览图像的追焦预测框，利用追焦预测框对下一帧图像进行追焦处理。

在一个实施例中，目标分割模块604还用于若当前预览图像为初始帧图像，将当前预览图像输入至已训练的目标主体分割模型，确定出当前预览图像的目标主体区域；对目标主体区域进行连通域处理，输出目标主体对应的目标主体掩膜图。

在一个实施例中，目标分割模块604还用于对当前预览图像进行特征提取，根据当前预览图像的特征进行区域分割，得到多个分割结果和相应的区域参数；对多个分割结果进行分类，得到相应的分类标签；根据区域参数和分类标签计算多个分割结果的主体置信度；将主体置信度达到置信度阈值的分割结果确定为目标主体区域。

在一个实施例中，目标分割模块604还用于若当前预览图像为非初始帧图像，获取当前预览图像的上一帧图像的追焦预测框；对追焦预测框进行解析，若追焦预测框为非全局图像时，根据追焦预测框对当前预览图像进行局部目标分割，得到局部目标主体区域；根据追焦预测框的位置信息，将局部目标主体区域映射至当前预览图像进行连通域处理，得到目标主体掩膜图。

在一个实施例中，目标分割模块604还用于根据追焦预测框的位置信息从当前预览图像中提取出局部区域，根据目标尺寸对局部区域进行调整，得到待分割区域；将待分割区域输入至已训练的目标分割模型中，对待分割区域进行区域分割，得到多个分割区域；获取上一帧图像的目标主体掩膜图的主体特征，根据主体特征从多个分割区域中确定局部目标主体区域。

在一个实施例中，目标追焦模块606还用于根据目标主体掩膜图的区域参数计算目标主体掩膜图的占图比；当占图比超过预设阈值时，根据区域参数计算目标主体掩膜图的外接区域。

在一个实施例中，目标追焦模块606还用于获取上一帧图像的目标主体掩膜图，根据区域参数分别计算上一帧图像和当前预览图像的目标主体掩膜图的质心位置；根据质心位置计算目标主体的移动速度，根据移动速度计算目标主体掩膜图的扩充比例；根据扩充比例确定目标主体掩膜图的外接区域，利用外接区域对目标主体掩膜图进行扩充，得到当前预览图像的追焦预测框。

在一个实施例中，目标追焦模块606还用于当目标主体掩膜图的占图比未达到预设阈值时，将当前预览图像的全局图像确定为当前预览图像的追焦预测框；利用当前预览图像的追焦预测框对下一帧图像进行追焦处理。

在一个实施例中，如图7所示，该装置还包括对焦模块608，用于根据目标主体掩膜图确定当前对焦区域；控制摄像头根据当前对焦区域对目标主体进行对焦。

上述目标追焦装置中各个模块的划分仅用于举例说明，在其他实施例中，可将目标追焦装置按照需要划分为不同的模块，以完成上述目标追焦装置的全部或部分功能。

图8为一个实施例中电子设备的内部结构示意图。如图8所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种目标追焦方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的目标追焦装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图9所示，图像处理电路包括ISP处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器914也可将原始图像数据发送给传感器920，传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940，或者传感器920将原始图像数据存储到图像存储器930中。

ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器940还可从图像存储器930接收图像数据。例如，传感器920接口将原始图像数据发送给图像存储器930，图像存储器930中的原始图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器940处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。

ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数及ISP处理器940的控制参数。例如，成像设备910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。

以下为运用图9中图像处理技术实现目标追焦方法的步骤。具体的，ISP处理器940接收拍摄指令。成像设备910根据拍摄指令控制摄像头采集多帧图像，采集的图像数据可以缓存至图像存储器930中。ISP处理器940获取当前预览图像，对当前预览图像进行目标主体分割，得到目标主体掩膜图。ISP处理器940根据目标主体掩膜图的区域参数确定目标主体掩膜图的外接区域，根据目标主体掩膜图和外接区域生成当前预览图像的追焦预测框。成像设备910利用追焦预测框对下一帧图像进行追焦处理。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行目标追焦方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行目标追焦方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种目标追焦方法，其特征在于，包括：

接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

获取当前预览图像，对所述当前预览图像进行目标主体分割，得到目标主体掩膜图；

根据所述目标主体掩膜图的区域参数确定所述目标主体掩膜图的外接区域；

根据所述目标主体掩膜图和所述外接区域生成所述当前预览图像的追焦预测框，利用所述追焦预测框对下一帧图像进行追焦处理。

2.根据权利要求1所述的方法，其特征在于，所述对所述当前预览图像进行目标分割，得到目标主体掩膜图，包括：

若所述当前预览图像为初始帧图像，将所述当前预览图像输入至已训练的目标主体分割模型，确定出所述当前预览图像的目标主体区域；

对所述目标主体区域进行连通域处理，输出目标主体对应的目标主体掩膜图。

3.根据权利要求2所述的方法，其特征在于，所述将所述当前预览图像输入至已训练的目标主体分割模型，确定出所述当前预览图像的目标主体区域，包括：

对所述当前预览图像进行特征提取，根据所述当前预览图像的特征进行区域分割，得到多个分割结果和相应的区域参数；

对所述多个分割结果进行分类，得到相应的分类标签；

根据所述区域参数和所述分类标签计算所述多个分割结果的主体置信度；

将所述主体置信度达到置信度阈值的分割结果确定为目标主体区域。

4.根据权利要求1所述的方法，其特征在于，所述对所述当前预览图像进行目标分割，得到目标主体掩膜图，包括：

若所述当前预览图像为非初始帧图像，获取所述当前预览图像的上一帧图像的追焦预测框；

对所述追焦预测框进行解析，若所述追焦预测框为非全局图像时，根据所述追焦预测框对所述当前预览图像进行局部目标分割，得到局部目标主体区域；

根据所述追焦预测框的位置信息，将所述局部目标主体区域映射至所述当前预览图像进行连通域处理，得到目标主体掩膜图。

5.根据权利要求4所述的方法，其特征在于，所述根据所述追焦预测框对所述当前预览图像进行局部目标分割，得到局部目标主体区域，包括：

根据所述追焦预测框的位置信息从所述当前预览图像中提取出局部区域，根据目标尺寸对所述局部区域进行调整，得到待分割区域；

将所述待分割区域输入至已训练的目标分割模型中，对所述待分割区域进行区域分割，得到多个分割区域；

获取所述上一帧图像的目标主体掩膜图的主体特征，根据所述主体特征从所述多个分割区域中确定局部目标主体区域。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标主体掩膜图的区域参数确定所述目标主体掩膜图的外接区域，包括：

根据所述目标主体掩膜图的区域参数计算所述目标主体掩膜图的占图比；

当所述占图比超过预设阈值时，根据所述区域参数计算所述目标主体掩膜图的外接区域。

7.根据权利要求6所述的方法，其特征在于，所述根据所述区域参数计算所述目标主体掩膜图的外接区域，包括：

获取上一帧图像的目标主体掩膜图，根据区域参数分别计算所述上一帧图像和所述当前预览图像的目标主体掩膜图的质心位置；

根据所述质心位置计算所述目标主体的移动速度，根据所述移动速度计算所述目标主体掩膜图的扩充比例；

根据所述扩充比例确定所述目标主体掩膜图的外接区域，利用所述外接区域对所述目标主体掩膜图进行扩充，得到所述当前预览图像的追焦预测框。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当所述目标主体掩膜图的占图比未达到预设阈值时，将所述当前预览图像的全局图像确定为所述当前预览图像的追焦预测框；

利用所述当前预览图像的追焦预测框对下一帧图像进行追焦处理。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：

根据所述目标主体掩膜图确定当前对焦区域；

控制所述摄像头根据所述当前对焦区域对所述目标主体进行对焦。

10.一种目标追焦装置，其特征在于，包括：

指令接收模块，用于接收拍摄指令，根据所述拍摄指令控制摄像头采集多帧图像；

目标分割模块，用于获取当前预览图像，对所述当前预览图像进行目标主体分割，得到目标主体掩膜图；

目标追焦模块，用于根据所述目标主体掩膜图的区域参数确定所述目标主体掩膜图的外接区域；根据所述目标主体掩膜图和所述外接区域生成所述当前预览图像的追焦预测框，利用所述追焦预测框对下一帧图像进行追焦处理。

11.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的目标追焦方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的目标追焦方法的步骤。

Images