CN110149482A - 对焦方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种对焦方法、装置、电子设备和计算机可读存储介质。上述方法包括：获取摄像头采集的预览图像，对摄像头采集的预览图像进行主体检测，得到预览图像包含的多个主体分别对应的类别和多个主体分别对应的区域，根据不同类别对应的优先级从多个主体中选取目标主体，控制摄像头对焦至目标物体对应的区域。上述方法可以避免背景区域特征信息如颜色、纹理等比较丰富的情况下，摄像头自动对焦至背景区域而导致的对焦不准确的问题，可以提高对焦的准确性。

Description

对焦方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及影像技术领域，特别是涉及一种对焦方法、装置、电子设备和计算机可读存储介质。

背景技术

随着影像技术的发展，使用移动设备进行图像拍摄的现象越来越普遍。在图像拍摄过程中，可以通过自动对焦技术确定被拍摄场景的对焦位置，以根据该对焦位置进行对焦后拍摄图像。然而，传统的对焦方法存在对焦准确性低的问题。

发明内容

本申请实施例提供一种对焦方法、装置、电子设备、计算机可读存储介质，可以提高对焦准确性。

一种对焦方法，包括：

获取摄像头采集的预览图像；

对所述预览图像进行主体检测，得到所述预览图像包含的多个主体分别对应的类别和所述多个主体分别对应的区域；

根据不同类别对应的优先级从所述多个所述主体中选取目标主体；

控制所述摄像头对焦至所述目标主体对应的区域。

一种对焦装置，包括：

图像获取模块，用于获取摄像头采集的预览图像；

主体检测模块，用于对所述预览图像进行主体检测，得到所述预览图像包含的多个主体分别对应的类别和所述多个主体分别对应的区域；

主体选取模块，用于根据不同类别对应的优先级从所述多个所述主体中选取目标主体；

对焦模块，用于控制所述摄像头对焦至所述目标主体对应的区域。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取摄像头采集的预览图像；

对所述预览图像进行主体检测，得到所述预览图像包含的多个主体分别对应的类别和所述多个主体分别对应的区域；

根据不同类别对应的优先级从所述多个主体中选取目标主体；

控制所述摄像头对焦至所述目标主体对应的区域。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取摄像头采集的预览图像；

对所述预览图像进行主体检测，得到所述预览图像包含的多个主体分别对应的类别和所述多个主体分别对应的区域；

根据不同类别对应的优先级从所述多个主体中选取目标主体；

控制所述摄像头对焦至所述目标主体对应的区域。

上述对焦方法、装置、电子设备和计算机可读存储介质，通过对摄像头采集的预览图像进行主体检测，得到预览图像包含的多个主体分别对应的类别和多个主体分别对应的区域，根据不同类别对应的优先级从多个主体中选取目标主体，控制摄像头对焦至目标主体对应的区域，可以提高对焦的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中对焦方法的应用环境图；

图2为一个实施例中对焦方法的流程图；

图3为另一个实施例中对焦方法的流程图；

图4为一个实施例中确定对焦的目标主体的示意图；

图5为一个实施例中控制摄像头对焦的流程图；

图6为另一个实施例中控制摄像头对焦的流程图；

图7为一个实施例中对预览图像进行主体检测的流程图；

图8为一个实施例中对焦装置的结构框图；

图9为一个实施例中电子设备的内部结构示意图；

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中对焦方法的应用环境示意图。如图1所示，该应用环境包括电子设备110。电子设备110包括摄像头120。具体地，电子设备110可以通过摄像头120采集预览图像，对预览图像进行主体检测，得到预览图像包含的多个主体分别对应的类别及分别对应的区域，根据不同类别对应的优先级从多个主体中获取目标主体，从而控制摄像头120对焦至目标主体对应的区域。电子设备110可以不限于是各种手机、平板电脑、可穿戴式设备等。

图2为一个实施例中对焦方法的流程图。本实施例中的对焦方法，以运行于图1中的电子设备上为例进行描述。如图2所示，对焦方法包括步骤202至步骤206。其中：

步骤202，获取摄像头采集的预览图像。

预览图像是电子设备通过摄像头实时捕捉当前场景的画面生成的。预览图像可以实时展示在电子设备的显示屏上。摄像头可以不限于是各种广角摄像头、长焦摄像头、彩色摄像头、或黑白摄像头中的一种或多种。可选地，在一个实施例中，预览图像也可以是电子设备在录制视频时获取的视频中的一帧图像。

电子设备获取摄像头采集的预览图像。

步骤204，对预览图像进行主体检测，得到预览图像包含的多个主体分别对应的类别和多个主体分别对应的区域。

电子设备对预览图像进行主体检测，获得预览图像中多个主体分别对应的类别和区域。具体地，电子设备可以通过深度学习的主体检测模型对预览图像进行主体检测。电子设备可以将预览图像输入至主体检测模型，通过主体检测模型对该预览图像进行主体检测得到预览图像包含的多个主体分别对应的类别及分别对应的区域。主体对应的区域是预览图像中包含主体对应的像素点的最小区域。具体地，当主体检测模型采用矩形框输出主体对应的区域时，主体对应的区域包含的像素点与主体对应的像素点关联度高于该预览图像中其他矩形区域包含的像素点与主体对应的像素点的关联度；当主体检测模型采用主体轮廓的方式输出主体对应的区域时，则主体对应的区域的边缘像素点即为主体的轮廓的边缘像素点，此时主体对应的区域包含的像素点与主体对应的像素点的关联度最高。

其中，主体检测模型可通过深度学习算法如CNN(Convolutional NeuralNetwork，卷积神经网络)、DNN(Deep Neural Network，深度神经网络)、或RNN(RecurrentNeural Network，循环神经网络)等来实现。可选地，在一些实施例中，电子设备可预存有多个类别对应的图像特征信息，将预览图像的图像特征信息与预存的图像特征信息进行匹配，获得匹配成功的图像特征信息对应的类别作为预览图像中该匹配成功的图像特征信息对应的区域的类别。

步骤206，根据不同类别对应的优先级从多个主体中选取目标主体。

电子设备可以预设不同类别对应的优先级，电子设备根据不同类别对应的优先级从多个主体中选取目标主体。例如，类别的优先级可以是人物、动物、植物依次降低。可选地，在一个实施例中，类别的优先级可以是人像、花朵、其他类别依次降低。

电子设备可以获取优先级最高的类别对应的主体作为目标主体；若存在与该优先级最高的主体对应的区域重叠或者距离在一定范围的主体时，电子设备将该重叠或距离在一定范围的主体与该优先级最高的主体均作为目标主体。可选地，电子设备还可以结合主体对应的区域的位置、主体对应的区域的面积、主体对应类别的置信度等中一种或多种以确定目标主体。例如，当电子设备的不同类别对应的优先级为人物的优先级大于花朵、花朵的优先级大于其他类别的优先级时，若预览图像包含两个类别为人像的主体和一个类别为花朵的主体时，则电子设备可以将两个类别为人像的主体作为目标主体；若预览图像包括一个类别为花朵的主体和一个类别为书本的主体时，则电子设备可以将类别为花朵的主体作为目标主体，也可以结合类别为花朵的主体和类别为书本的主体对应的区域的面积、位置等确定目标主体。

步骤208，控制摄像头对焦至目标主体对应的区域。

对焦是指通过摄像头的对焦结构改变物距和像距的位置，使被拍摄物体成像清晰的过程。电子设备控制摄像头对焦至目标主体对应的区域，可以使得该目标主体在摄像头采集的图像中清晰成像。

电子设备可以在启用摄像头采用该对焦方法进行对焦，可选地，电子设备控制摄像头对应至目标主体对应的区域之后，可以持续获取新的预览图像，并检测每一帧预览图像中该目标主体对应的区域的清晰度，当清晰度低于阈值时，则可以返回执行获取摄像头采集的预览图像的步骤，以重新确定目标主体再次对焦；电子设备也可以每隔预设帧获取一帧预览图像，以对预览图图像进行主体检测后确定目标主体，控制摄像头对焦至该目标主体；电子设备还可以在接收到图像采集指令时，则获取摄像头采集的预览图像，根据预览图像包含的多个主体分别对应的类别与不同类别对应的优先级确定目标主体，控制摄像头对焦至目标主体，通过摄像头采集目标图像，可以减少图像拍摄的功耗。

本申请提供的实施例中，通过获取摄像头采集的预览图像，对预览图像进行主体检测，得到预览图像包含的多个主体分别对应的类别及区域，根据不同类别对应的优先级从多个主体中选取目标主体，从而控制摄像头对焦至目标主体对应的区域，可以避免背景区域特征信息如颜色、纹理等比较丰富的情况下，摄像头自动对焦至背景区域而导致的对焦不准确的问题，可以提高对焦的准确性。

在一个实施例中，当预览图像中存在多个优先级最高的类别对应的主体时，电子设备可以获取与预览图像对应的深度图像，根据深度图像计算预览图像中每一个主体的深度信息，将预览图像中属于优先级最高的类别，且深度信息在预设范围内的多个主体作为目标主体。其中，预设范围可以根据预览图像属于优先级最高的类别对应的主体中，面积最大、区域最靠近图像中心、或者置信度最高的主体对应的深度信息来确定。例如，当预览图像中优先级最高的类别为人像，且面积最大的人像主体的深度信息为3m时，则预设范围可以是2.8m至3.2m、2.5m至3.4m等，在此不做限定。

在一个实施例中，提供的对焦方法中根据不同类别对应的优先级从多个主体中选取目标主体的过程，包括：基于不同类别对应的优先级，将优先级最高的类别对应的主体作为预选主体；当预选主体的数量小于或等于预设数值时，将预选主体作为目标主体。

预选主体为预览图像中优先级最高的类别对应的主体。预选主体的数量可以是一个或多个。预设数值可以根据实际应用需求设定。通常，预设数值为1。即电子设备可以在预览图像中预选主体的数量为1时，则将预选主体作为目标主体。

当然，在一些实施例中，预设数值也可以设置为2、3等。可选地，在一些实施例中，当预览图像中存在多个优先级最高的类别对应的主体时，电子设备可以获取与预览图像对应的深度图像，根据深度图像计算预览图像中每一个主体的深度信息，将预览图像中属于优先级最高的类别，且深度信息在预设范围内的多个主体作为预选主体。从而电子设备可以在预选主体的数量小于或等于预设数值时，将预选主体作为目标主体。例如，当预设数值为3，预览图像中属于优先级最高的类别，且深度信息在预设范围内的主体为2个时，则可以将这2主体作为目标主体。

在一个实施例中，提供的对焦方法还可以包括：当预选主体的数量超过预设数值时，获取每一个预选主体对应的区域的面积、位置及所属类别的置信度；基于每一个预选主体对应的区域的面积、位置和所属类别的置信度中的至少一种确定作为目标主体的预选主体。

当预选主体的数量超过预设数值时，电子设备可以结合预选主体对应区域的面积、位置、所属类别的置信度中的一种或多种来确定作为目标主体的预选主体。所属类别的置信度是指该主体归属于该类别的可信程度。通常，预选主体对应的区域的面积越大、位置与预览图像的中心的距离越小、所属类别的置信度越高，则认为该预选主体更适合作为目标主体。

具体地，电子设备可以将多个预选主体中面积最大的区域对应的预设数值个预选主体确定为目标主体，也可以将距离图像的中心最接近的预选主体确定为目标主体；还可以将多个预选主体中置信度最高的预选主体作为目标主体；电子设备还可以预设不同面积、不同位置、及不同置信度的得分值，从而可以根据每一个预选主体对应的区域的面积、位置和所属类别的置信度计算每一个预选主体的分数值，将分数值最高的预选主体作为目标主体，或将分数值最高的预设数值个预选主体作为目标主体等。可选地，电子设备也可以结合预选主体对应区域的面积与预览图像的面积的比值来确定目标主体。

在一个实施例中，电子设备将每一个预选主体对应的区域的面积与所属类别的置信度进行相乘，得到每一个预选主体的分数值，将分数值最高的预选主体作为目标主体。

分数值即为预选主体对应的区域的面积与所属类别的置信度的积。可选地，在一些实施例中，电子设备还可以获取预选主体对应区域的面积与预览图像的面积的比值，将该比值与预选主体所属类别的置信度相乘，以得到预选主体的分数值。电子设备可以将分数值最高的预选主体作为目标主体。

如图3所示，在一个实施例中，提供的对焦方法包括：

步骤302，获取摄像头采集的预览图像。

步骤304，对预览图像进行主体检测，得到预览图像包含的多个主体分别对应的类别和多个主体分别的区域。

步骤306，基于不同类别对应的优先级，将优先级最高的类别对应的主体作为预选主体。

步骤308，判断预先主体的数量是否超过预设数值，若否，则进入步骤310，若是，则进入步骤312。

步骤310，将预选主体作为目标主体，进入步骤316。

步骤312，获取每一个预选主体对应的区域的面积、位置及所属类别的置信度。

步骤314，基于每一个预选主体对应的区域的面积、位置和所属类别的置信度中的至少一种确定作为目标主体的预选主体，进入步骤316。

步骤316，控制摄像头对焦至目标主体对应的区域。

通过基于不同类别对应的优先级，将优先级最高的类别对应的主体作为预选主体，当预选主体的数量小于或等于预设数值时，将预选主体作为目标主体，当预选主体的数量超过预设数值时，则基于每一个预选主体对应区域的面积、位置和所属类别的置信度中的至少一种确定目标主体，可以提高主体的准确性。

图4为一个实施例中确定对焦的主体的示意图。如图4所示，在一个实施例中，类别的优先级为人像、花朵、其他类别依次降低。电子设备可以获取摄像头采集的预览图像，并检测预览图像中的主体，当预览图像没有检测到主体或者只包含一个主体时，则控制摄像头进行自动对焦；当预览图像包含多个主体时，若多个主体属于不同的类别，则按照各个主体对应的类别的优先级确定用于对焦的目标主体，具体地，若包含类别为人像的主体，则将该类别为人像的主体作为目标主体以进行自动对焦，若不包含类别为人像的主体且包含类别为花朵的主体，则将该类别为花朵的主体作为目标主体以进行自动对焦，若不包含类别为人像的主体且不包含类别为花朵的主体，则将检测到的其他主体作为目标主体以进行自动对焦；若多个主体属于同一类别，则可以结合多个主体分别对应的类别的置信度和多个主体分别的区域的面积来确定目标主体，以对目标主体进行自动对焦。

如图5所示，在一个实施例中，提供的对焦方法中控制摄像头对焦至目标主体对应的区域的过程，包括：

步骤502，驱动摄像头中镜头以预设距离为步长进行移动。

预设距离可以根据实际应用需求来设定，在此不做限定。通常，对对焦的精确性要求越高，预设距离越小；对对焦的精确性要求越低，则预设距离越大。可选地，电子设备可以根据主体所属类别的优先级确定对应预设距离。例如，人像对应的预设距离为3、花朵对应的预设距离为5等。

电子设备可以在确定目标主体之后，通过摄像头中的马达驱动镜头以预设距离为步长进行移动。在一些实施例中，电子设备在驱动摄像头中镜头以预设距离为步长进行移动之前，还可以获取目标主体的深度信息，根据目标主体的深度信息确定预选对焦位置，将镜头驱动至该预选对焦位置，可以提高对焦位置的查找效率。

步骤504，在每一次镜头移动预设距离时，通过摄像头获取一帧参考图像。

步骤506，计算每一帧参考图像中目标主体对应的区域的聚焦值。

电子设备可以在镜头每次移动预设距离时之后，采集一帧参考图像，并计算该参考图像中目标主体对应的区域的聚焦值(Focus Value，FV)。聚焦值是表示清晰度的值，一般聚焦值越大，图像越清晰；聚焦值越小，图像越模糊。在本申请实施例中，电子设备计算每一帧参考图像中目标主体对应区域的聚焦值，则获得的是目标主体对应的区域的聚焦值，该聚焦值越大，说明目标主体在参考图像中成像越清晰。

步骤508，将聚焦值最大的参考图像对应的镜头位置作为对焦位置，并驱动镜头移动至对焦位置。

电子设备可以将聚焦值最大的参考图像对应的镜头位置作为对焦位置，并驱动镜头移动至对焦位置，镜头在该对焦位置时，目标主体成像最清晰。具体地，在驱动镜头移动的过程中，聚焦值通常先逐渐增大再逐渐减少，电子设备可以在检测到聚焦值连续降低的次数大于阈值时，则停止驱动镜头的移动，将此时聚焦值最大的参考图像对应的镜头位置作为对焦位置。可选地，电子设备还可以根据采集的每一帧参考图像对应的聚焦值，建立描述聚焦值变化的拟合区域，再将拟合曲线顶点对应的镜头位置作为对焦位置。

通过驱动摄像头中镜头以预设距离为步长进行移动，在镜头每一次移动预设距离时之后采集一帧参考图像，并计算参考图像中目标主体对应的区域的聚焦值，将聚焦值最大的参考图像对应的镜头位置作为对焦位置，并驱动镜头移动至对焦位置。镜头位于该对焦位置时聚焦值最大，即目标主体对应区域最清晰，可以提高摄像头对焦的准确性。

如图6所示，在一个实施例中，提供的对焦方法中控制摄像头对焦至目标主体对应的区域的过程，包括：

步骤602，获取预览图像对应的深度图像，从深度图像中获取目标主体对应的深度信息。

电子设备可以包括深度摄像头。在电子设备通过摄像头采集预览图像时，可以控制深度摄像头采集与预览图像对应的深度图像。深度图像中包含了被拍摄场景的深度信息，电子设备可以从深度图像中获取目标主体对应的深度信息。具体地，电子设备可以将深度图像中与目标主体对应的区域对应的区域中包含的像素点的深度信息平均值、中位值、或者众数值等作为该目标主体对应的深度信息。

电子设备也可以包括两个不为深度摄像头的摄像头，其中一个为主摄像头，另一个为副摄像头；电子设备可以在通过主摄像头采集预览图像时，控制副摄像头采集对应的图像，并根据该图像与预览图像计算目标主体对应的深度信息。

步骤604，基于深度信息计算摄像头的像距信息。

像距信息是指成像平面与镜头光心之间的距离。基于摄像头成像原理，电子设备可以根据深度信息计算摄像头的像距信息。具体地，电子设备可以获取摄像头焦距，将焦距和深度信息代入成像公式中既可以获得像距信息。当镜头光心与成像平面的关系满足计算得到的像距信息，则目标主体可以在采集的图像中清晰成像。

步骤606，根据像距信息驱动镜头移动，以对焦至目标主体对应的区域。

电子设备计算得到像距信息后，可以根据像距信息驱动镜头移动，以对焦至目标主体对应的区域，从而摄像头对焦后采集的图像中，目标主体可以在图像中清晰成像。

如图7所示，在一个实施例中，提供的对焦方法中对预览图像进行主体检测，得到预览图像包含的多个主体分别对应的类别和多个主体分别对应的区域的过程，包括：

步骤702，生成与预览图像对应的中心权重图，其中，中心权重图的权重值从中心到边缘逐渐减小。

电子设备可以根据预览图像的大小生成对应的中心权重图。中心权重图的权重值从中心到边缘逐渐减小，即中心权重图的中心权重值最大，边缘的权重值最小。中心权重图通常与预览图像的尺寸大小保持一致。电子设备可以根据预览图像的大小生成对应的中心权重图。例如，当预览图像为224*224时，则电子设备可以建立大小为224*224的中心权重图。具体地，电子设备可以采用一阶方程设计、二阶方程设计、或者高斯函数建立中心权重图。

步骤704，将预览图像和中心权重图输入至主体检测模型，得到主体区域置信度图。

其中，主体检测模型是预先根据同一场景的样本图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。具体地，电子设备可以预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练，得到该主体检测模型。每组训练数据包括同一场景对应的样本图、中心权重图及已标注的主体掩膜图。其中，样本图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗等。

具体地，电子设备可将该预览图像和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图包含各个像素点为不同主体类别的置信度值，例如某个像素点属于人的置信度是0.8，花的置信度是0.1，狗的置信度是0.1。

步骤706，根据主体区域置信度图输出预览图像中包含的多个主体分别对应的类别和多个主体分别对应的区域。

主体区域置信度图包含主体区域中各个像素点为不同类别的置信度值。主体的类别可以是人、花、猫、狗、牛、白云等，在此不做限定。电子设备可以根据主体区域置信度图中各个像素点在不同类别的置信度值的大小输出各个主体对应的区域及对应的类别。具体地，电子设备可以对主体区域置信度图进行自适应阈值过滤，可以剔除主体区域置信度图中置信度值较低，和/或零散的像素点；电子设备还可以对主体区域置信度图进行滤波、膨胀、腐蚀中的一种或多个处理，可以得到边缘精细的主体区域置信度图；从而电子设备可以根据处理后的主体区域置信度图输出预览图像中包含的多个主体分别对应的类别和分别对应的区域，可以提高主体检测的准确性。

通过将预览图像和中心权重图像输入至主体检测模型，得到主体区域置信度图，根据主体区域置信度图输出预览图像中包含的多个主体分别对应的类别和区域，即结合了深度特征和中心注意力特征以识别主体，可以提高主体检测的准确性。

在一个实施例中，提供的主体追踪方法还可以获取与预览图像对应深度图像，对预览图像和深度图像进行配准处理，得到配准后的预览图像和深度图像，从而将配准后的预览图像、深度图像、中心权重图输入至主体检测模型中，得到主体区域置信度图，根据主体区域置信度图输出预览图像包含的多个主体分别对应的类别和多个主体分别对应的区域。

深度图像是指包含深度信息的图像。深度图像可以是通过双摄像头拍摄同一场景计算得到的深度图；也可以是由结构光摄像头或TOF(Time of flight，飞行时间)摄像头采集的深度图等。具体地，电子设备可通过摄像头拍摄同一场景得到预览图像和对应的深度图像，然后采用相机标定参数对预览图像和深度图像进行配准，得到配准后的可见光图和深度图。可选地，电子设备对预览图像和深度图像进行配准之后，还可以对该预览图像中像素点的像素值和该深度图像中像素点的像素值分别进行归一化处理。具体地，对预览图像中像素点的像素值从0到255的整型归一化处理为-1到+1的浮点型数值，对深度图像中像素点的像素值归一化处理为0到1的浮点型数值。当无法拍摄得到深度图像时，可自动生成深度值为预设值的仿真深度图。该预设值可为0至1的浮点型数值。

在该实施例中，主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的可见光图、深度图、中心权重图及已标注的主体掩膜图。

本实施例中，将深度图像和中心权重图作为主体检测模型的输入，可以利用深度图像的深度信息让距离摄像头更近的对象更容易被检测，利用中心权重图中中心权重大，四边权重小的中心注意力机制，让图像中心的对象更容易被检测，引入深度图像实现对主体做深度特征增强，引入中心权重图对主体做中心注意力特征增强，不仅可以准确识别简单场景下的目标主体，更大大提高了复杂场景下的主体识别准确度，引入深度图像可以解决传统目标检测方法对自然图像千变万化的目标鲁棒性较差的问题。其中，简单场景是指主体单一，背景区域对比度不高的场景。

可选地，在一个实施例中，电子设备可以对主体区域置信度图进行处理，得到主体掩膜图，检测预览图像中的高光区域，根据预览图像中的高光区域和主体掩膜图输出预览图像包含的多个主体对应的区域和类别。具体地，主体区域置信度图中存在一些置信度较低、零散的点，电子设备可以对主体区域置信度图进行过滤处理，得到主体掩膜图。该过滤处理可采用配置置信度阈值，将主体区域置信度图中置信度值低于置信度阈值的像素点过滤。该置信度阈值可采用自适应置信度阈值，也可以采用固定阈值，也可以采用分区域配置对应的阈值。其中，自适应置信度阈值可为局部自适应置信度阈值。该局部自适应置信度阈值是根据像素点的领域块的像素值分布来确定该像素点位置上的二值化置信度阈值。亮度较高的图像区域的二值化置信度阈值配置的较高，亮度较低的图像区域的二值化阈值置信度配置的较低。

可选地，电子设备还可以对该主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对该二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。具体地，电子设备将主体区域置信度图按照自适应置信度阈值过滤处理后，将保留的像素点的置信度值采用1表示，去掉的像素点的置信度值采用0表示，得到二值化掩膜图。形态学处理可包括腐蚀和膨胀。可先对二值化掩膜图进行腐蚀操作，再进行膨胀操作，去除噪声；再对形态学处理后的二值化掩膜图进行引导滤波处理，实现边缘滤波操作，得到边缘提取的主体掩膜图。通过形态学处理和引导滤波处理可以保证得到的主体掩膜图的噪点少或没有噪点，边缘更加柔和。

高光区域是指亮度值大于亮度阈值的区域。具体地，电子设备对预览图像进行高光检测，筛选得到亮度值大于亮度阈值的目标像素点，对目标像素点采用连通域处理得到高光区域。

电子设备可以将预览图像中的高光区域与该主体掩膜图做差分计算或逻辑与计算得到预览图像中消除高光的主体对应的主体区域。其中，电子设备将该预览图像中的高光区域与该主体掩膜图做差分处理，即预览图像和主体掩膜图中对应的像素值相减，得到该预览图像中的主体所在的主体区域。

通过对主体区域置信度图做过滤处理得到主体掩膜图，提高了主体区域置信度图的可靠性，对预览图像进行检测得到高光区域，然后与主体掩膜图进行处理，可得到消除了高光的主体所在的主体区域，针对影响主体识别精度的高光、高亮区域单独采用滤波器进行处理，提高了主体识别的精度和准确性。

应该理解的是，虽然图2、3、5-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3、5-7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图8为一个实施例的对焦装置的结构框图。如图8所示，该对焦装置包括：图像获取模块802、主体检测模块804、主体选取模块806和对焦模块808,其中：

图像获取模块802，用于获取摄像头采集的预览图像。

主体检测模块804，用于对预览图像进行主体检测，得到预览图像包含的多个主体分别对应的类别和多个主体分别对应的区域。

主体选取模块806，用于根据不同类别对应的优先级从多个主体中选取目标主体。

对焦模块808，用于控制摄像头对焦至目标主体对应的区域。

本申请实施例提供的对焦装置，用于对摄像头采集的预览图像进行主体检测，得到预览图像包含的多个主体分别对应的类别和多个主体分别对应的区域，根据不同类别对应的优先级从多个主体中选取目标主体，控制摄像头对焦至目标物体对应的区域，可以提高对焦的准确性。

在一个实施例中，主体选取模块806还可以用于基于不同类别对应的优先级，将优先级最高的类别对应的主体作为预选主体；当预选主体的数量小于或等于预设数值时，将预选主体作为目标主体。

在一个实施例中，主体选取模块806还可以用于当预选主体的数量超过预设数值时，获取每一个预选主体对应的区域的面积、位置及所属类别的置信度；基于每一个预选主体对应的区域的面积、位置和所属类别的置信度中的至少一种确定作为目标主体的预选主体。

在一个实施例中，主体选取模块806还可以用于将每一个预选主体对应的区域的面积与所属类别的置信度进行相乘，得到每一个预选主体的分数值，将分数值最高的预选主体作为目标主体。

在一个实施例中，对焦模块808还可以用于驱动摄像头中镜头以预设距离为步长进行移动；在每一次镜头移动预设距离时，通过摄像头获取一帧参考图像；计算每一帧参考图像中目标主体对应的区域的聚焦值；将聚焦值最大的参考图像对应的镜头位置作为对焦位置，并驱动镜头移动至对焦位置。

在一个实施例中，对焦模块808还可以用于获取预览图像对应的深度图像，从深度图像中获取目标主体对应的深度信息；基于深度信息计算摄像头的像距信息；根据像距信息驱动镜头移动，以对焦至目标主体对应的区域。

在一个实施例中，主体检测模块804还可以用于获生成与预览图像对应的中心权重图，其中，中心权重图的权重值从中心到边缘逐渐减小；将预览图像和中心权重图输入至主体检测模型，得到主体区域置信度图；根据主体区域置信度图输出预览图像中包含的多个主体分别对应的类别及多个主体分别对应的区域。

在一个实施例中，主体检测模块804还可以用于获取与预览图像对应的深度图像；对预览图像和深度图像进行配准处理，得到配准后的预览图像和深度图像；将配准后的预览图像、预览图像和中心权重图输入到主体检测模型中，得到主体区域置信度图；根据主体区域置信度图输出预览图像中包含的多个主体分别对应的类别和多个主体分别对应的区域。

上述对焦装置中各个模块的划分仅用于举例说明，在其他实施例中，可将对焦装置按照需要划分为不同的模块，以完成上述对焦装置的全部或部分功能。

图9为一个实施例中电子设备的内部结构示意图。如图9所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种对焦方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的对焦装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示，图像处理电路包括ISP处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由ISP处理器1040处理，ISP处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个透镜1012和图像传感器1014的摄像头。图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1040处理的一组原始图像数据。传感器1020(如陀螺仪)可基于传感器1020接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1040。传感器1020接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

此外，图像传感器1014也可将原始图像数据发送给传感器1020，传感器1020可基于传感器1020接口类型把原始图像数据提供给ISP处理器1040，或者传感器1020将原始图像数据存储到图像存储器1030中。

ISP处理器1040按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1040还可从图像存储器1030接收图像数据。例如，传感器1020接口将原始图像数据发送给图像存储器1030，图像存储器1030中的原始图像数据再提供给ISP处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器1014接口或来自传感器1020接口或来自图像存储器1030的原始图像数据时，ISP处理器1040可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1030，以便在被显示之前进行另外的处理。ISP处理器1040从图像存储器1030接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1040处理后的图像数据可输出给显示器1070，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1040的输出还可发送给图像存储器1030，且显示器1070可从图像存储器1030读取图像数据。在一个实施例中，图像存储器1030可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1040的输出可发送给编码器/解码器1060，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1070设备上之前解压缩。编码器/解码器1060可由CPU或GPU或协处理器实现。

ISP处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1010的控制参数及ISP处理器1040的控制参数。例如，成像设备1010的控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间、防抖参数等)、摄像头闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1012阴影校正参数。

成像设备1010即上述实施例所提供的摄像头。在一些实施例中，成像设备1010可以用于采集预览图像，预览图像可以展示与显示器1070上，ISP处理1040可以对预览图像进行主体检测，得到预览图像包含的多个主体分别对应的类别和多个主体分别对应的区域，并根据不同类别对应的优先级从多个主体中选取目标主体；控制逻辑器1050可以根据目标主体对应的区域确定成像设备1010的对焦参数，以控制控制成像设备1010对焦至所述目标主体对应的区域。电子设备可以通过上述图像处理电路可以实现上述实施例所提供的对焦方法，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行对焦方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行对焦方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种对焦方法，其特征在于，包括：

获取摄像头采集的预览图像；

对所述预览图像进行主体检测，得到所述预览图像包含的多个主体分别对应的类别和所述多个主体分别对应的区域；

根据不同类别对应的优先级从所述多个主体中选取目标主体；

控制所述摄像头对焦至所述目标主体对应的区域。

2.根据权利要求1所述的方法，其特征在于，所述根据不同类别对应的优先级从所述多个主体中选取目标主体，包括：

基于不同类别对应的优先级，将优先级最高的类别对应的主体作为预选主体；

当所述预选主体的数量小于或等于预设数值时，将所述预选主体作为所述目标主体。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当所述预选主体的数量超过所述预设数值时，获取每一个预选主体对应的区域的面积、位置及所属类别的置信度；

基于每一个所述预选主体对应的区域的面积、位置和所属类别的置信度中的至少一种确定作为所述目标主体的预选主体。

4.根据权利要求3所述的方法，其特征在于，所述基于每一个所述预选主体对应的区域的面积、位置和所属类别的置信度中的至少一种确定作为所述目标主体的预选主体，包括：

将每一个所述预选主体对应的区域的面积与所属类别的置信度进行相乘，得到每一个所述预选主体的分数值，将分数值最高的预选主体作为所述目标主体。

5.根据权利要求1所述的方法，其特征在于，所述控制所述摄像头对焦至所述目标主体对应的区域，包括：

驱动所述摄像头中镜头以预设距离为步长进行移动；

在每一次所述镜头移动所述预设距离时，通过所述摄像头获取一帧参考图像；

计算每一帧所述参考图像中所述目标主体对应的区域的聚焦值；

将聚焦值最大的参考图像对应的镜头位置作为对焦位置，并驱动所述镜头移动至所述对焦位置。

6.根据权利要求1所述的方法，其特征在于，所述控制所述摄像头对焦至所述目标主体对应的区域，包括：

获取所述预览图像对应的深度图像，从所述深度图像中获取所述目标主体对应的深度信息；

基于所述深度信息计算所述摄像头的像距信息；

根据所述像距信息驱动所述镜头移动，以对焦至所述目标主体对应的区域。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述对所述预览图像进行主体检测，得到所述预览图像包含的多个主体分别对应的类别及和所述多个主体分别对应的区域，包括：

生成与所述预览图像对应的中心权重图，其中，所述中心权重图的权重值从中心到边缘逐渐减小；

将所述预览图像和中心权重图输入至主体检测模型，得到主体区域置信度图；

根据所述主体区域置信度图输出所述预览图像中包含的多个主体分别对应的类别和所述多个主体分别对应的区域。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取与所述预览图像对应的深度图像；

对所述预览图像和所述深度图像进行配准处理，得到配准后的预览图像和深度图像；

所述将所述预览图像和中心权重图输入至主体检测模型，得到主体区域置信度图，包括：

将所述配准后的预览图像、所述预览图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图。

9.根据权利要求7所述的方法，其特征在于，所述根据所述主体区域置信度图输出所述预览图像中包含的多个主体分别对应的类别和所述多个主体分别对应的区域，包括：

对所述主体区域置信度图进行处理，得到主体掩膜图；

检测所述预览图像，确定所述预览图像中的高光区域；

根据所述预览图像中的高光区域与所述主体掩膜图，确定所述预览图像包含的多个主体对应的类别和多个主体分别对应的区域。

10.一种对焦装置，其特征在于，包括：

图像获取模块，用于获取摄像头采集的预览图像；

主体检测模块，用于对所述预览图像进行主体检测，得到所述预览图像包含的多个主体分别对应的类别和所述多个主体分别对应的区域；

主体选取模块，用于根据不同类别对应的优先级从所述多个所述主体中选取目标主体；

对焦模块，用于控制所述摄像头对焦至所述目标主体对应的区域。

11.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的对焦方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。