CN110191287A - 对焦方法和装置、电子设备、计算机可读存储介质 - Google Patents

对焦方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN110191287A
CN110191287A CN201910578291.5A CN201910578291A CN110191287A CN 110191287 A CN110191287 A CN 110191287A CN 201910578291 A CN201910578291 A CN 201910578291A CN 110191287 A CN110191287 A CN 110191287A
Authority
CN
China
Prior art keywords
preview image
region
focusing
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910578291.5A
Other languages
English (en)
Other versions
CN110191287B (zh
Inventor
康健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910578291.5A priority Critical patent/CN110191287B/zh
Publication of CN110191287A publication Critical patent/CN110191287A/zh
Application granted granted Critical
Publication of CN110191287B publication Critical patent/CN110191287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions

Abstract

本申请涉及一种对焦方法和装置、电子设备、计算机可读存储介质。所述方法包括：获取第一预览图像；将第一预览图像输入至主体检测模型中，得到第一预览图像中的目标主体区域，其中，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型；当检测到目标主体区域中包含光斑时，对目标主体区域进行处理，得到目标主体区域中不含光斑的区域；将不含光斑的区域作为第一预览图像的对焦区域，进行自动对焦，能够在对焦时避免光斑的干扰，从而提高对焦的准确性。

Description

对焦方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及影像领域，特别是涉及一种对焦方法和装置、电子设备、计算机可读存储介质。
背景技术
在使用摄像机进行拍摄时，一般会结合ROI(Region Of Interest，感兴趣区域)进行对焦。由于ROI范围相对固定，当出现干扰时，例如出现光斑，会影响摄像头对焦的准确性。
发明内容
本申请实施例提供一种对焦方法、装置、电子设备、计算机可读存储介质，可以提高摄像头对焦的准确性。
一种对焦方法，包括：
获取第一预览图像；
将所述第一预览图像输入至主体检测模型中，得到所述第一预览图像中的目标主体区域，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型；
当检测到所述目标主体区域中包含光斑时，对所述目标主体区域进行处理，得到所述目标主体区域中不含光斑的区域；
将所述不含光斑的区域作为所述第一预览图像的对焦区域，进行自动对焦。
一种对焦装置，包括：
获取模块，用于获取第一预览图像；
主体检测模块，用于将所述第一预览图像输入至主体检测模型中，得到所述第一预览图像中的目标主体区域，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型；
处理模块，用于当检测到所述目标主体区域中包含光斑时，对所述目标主体区域进行处理，得到所述目标主体区域中不含光斑的区域；
对焦模块，用于将所述不含光斑的区域作为所述第一预览图像的对焦区域，进行自动对焦。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取第一预览图像；
将所述第一预览图像输入至主体检测模型中，得到所述第一预览图像中的目标主体区域，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型；
当检测到所述目标主体区域中包含光斑时，对所述目标主体区域进行处理，得到所述目标主体区域中不含光斑的区域；
将所述不含光斑的区域作为所述第一预览图像的对焦区域，进行自动对焦。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一预览图像；
将所述第一预览图像输入至主体检测模型中，得到所述第一预览图像中的目标主体区域，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型；
当检测到所述目标主体区域中包含光斑时，对所述目标主体区域进行处理，得到所述目标主体区域中不含光斑的区域；
将所述不含光斑的区域作为所述第一预览图像的对焦区域，进行自动对焦。
本实施例中对焦方法和装置、电子设备、计算机可读存储介质，获取第一预览图像，将第一预览图像输入至主体检测模型中，得到第一预览图像中的目标主体区域，能够准确地检测得到目标主体区域；当检测到目标主体区域中包含光斑时，对目标主体区域进行处理，得到目标主体区域中不含光斑的区域，将不含光斑的区域作为第一预览图像的对焦区域进行自动对焦，能够在对焦时避免光斑的干扰，从而提高对焦的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理电路的示意图；
图2为一个实施例中对焦方法的流程图；
图3为一个实施例中精确扫描的原理图；
图4为一个实施例中主体检测的流程图；
图5为一个实施例中主体检测模型的网络结构示意图；
图6为一个实施例中主体检测的过程示意图；
图7为一个实施例中根据第二预览图像中的对焦区域进行自动对焦的流程图；
图8为一个实施例中对目标主体区域进行跟踪的界面示意图；
图9为一个实施例中对焦装置的结构框图；
图10为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件或图像，但这些元件或图像不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分，或者将一张图像与另一张图像区分。举例来说，在不脱离本申请的范围的情况下，可以将第一预览图像称为第二预览图像，且类似地，可将第二预览图像称为第一预览图像。第一预览图像和第二预览图像两者都是预览图像，但其不是同一预览图像。
本申请实施例中的对焦方法可应用于电子设备。该电子设备可为带有摄像头的计算机设备、个人数字助理、平板电脑、智能手机、穿戴式设备等。电子设备中的摄像头在拍摄图像时，会进行自动对焦，以保证拍摄的图像清晰。该电子设备中的摄像头数量不限，例如可以是一个、两个、三个等。
在一个实施例中，上述电子设备中可包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112、图像传感器114、执行器116的照相机。执行器116可驱动透镜112移动。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。传感器120(如陀螺仪)可基于传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。传感器120接口可以利用SMIA(Standard Mobile ImagingArchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器114也可将原始图像数据发送给传感器120，传感器120可基于传感器120接口类型把原始图像数据提供给ISP处理器140，或者传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如，传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器170可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。此外，ISP处理器140的输出可发送给编码器/解码器160，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器170设备上之前解压缩。编码器/解码器160可由CPU或GPU或协处理器实现。
ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。控制逻辑器150可将透镜112的控制参数输出给执行器116，由执行器116根据控制参数驱动透镜112移动。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。
图2为一个实施例中对焦方法的流程图。如图2所示，一种对焦方法，可应用于图1中的电子设备中，包括：
步骤202，获取第一预览图像。
其中，预览图像可为可见光图像。预览图像是指摄像头未进行拍摄时呈现在电子设备屏幕上的图像。第一预览图像可为第一预览图像。
具体地，电子设备的成像设备对焦过程中可按照预设帧率采集多帧图像进行对焦。预设帧率可为每秒10帧、20帧、30帧等，不限于此。电子设备可获取每帧第一预览图像。
步骤204，将第一预览图像输入至主体检测模型中，得到第一预览图像中的目标主体区域，其中，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
其中，主体可为预先配置的能够识别的对象。该对象可为人、物、动物等。物可包括花、山、树等。动物可包括猫、狗、牛、羊、老虎等。目标主体区域可以是能够识别的对象的所在区域。目标主体区域具体可以以矩形框或主体掩膜(mask)图的形式存在。主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。
在一个实施例中，每组训练数据包括同一场景对应的可见光图、中心权重图及已标注的主体。已标注的主体可以以主体掩膜(mask)图形式存在。其中，可见光图作为训练的主体检测模型的输入，已标注的主体掩膜图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体区域，如人、花、猫、狗、背景所在区域等。在另一个实施例中，每组训练数据包括同一场景对应的可见光图、中心权重图、深度图及已标注的主体。
具体地，电子设备可将第一预览图像输入到主体检测模型中进行检测，得到主体区域置信度图，根据该主体区域置信度图可以确定第一预览图像中的目标主体区域。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1，可以选择置信度最大的作为识别出的主体。
电子设备根据主体检测模型检测出第一预览图像中的目标主体区域。该目标主体区域可采用矩形框或掩膜图等来标记。
步骤206，当检测到目标主体区域中包含光斑时，对目标主体区域进行处理，得到目标主体区域中不含光斑的区域。
其中，光斑可以是亮度大于亮度阈值的区域。
具体地，当电子设备检测到目标主体区域中包含光斑时，获取包含光斑的区域。电子设备根据包含光斑的区域处理得到目标主体区域中不含光斑的区域。例如，在目标主体区域的左方出现光斑，电子设备获取包含光斑的像素点坐标信息，那么目标主体区域中除了包含光斑的区域之外，剩下的是不含光斑的区域。
本实施例中，当电子设备检测到目标主体区域中包含光斑时，获取包含光斑的区域位置信息。电子设备根据包含光斑的区域位置信息处理得到目标主体区域中不含光斑的区域位置信息。其中，区域位置信息具体可以是像素点坐标信息。
步骤208，将不含光斑的区域作为第一预览图像的对焦区域，进行自动对焦。
具体地，电子设备将不含光斑的区域作为第一预览图像中的对焦区域，控制摄像头进行自动对焦。电子设备的成像设备110为了拍摄清晰的图像，会先进行自动对焦(AutoFocus，简称AF)。自动对焦的方式有多种，例如相位检测自动对焦(Phase Detection AutoFocus，简称PDAF)、飞行时间自动对焦(Time Of Flight Auto Focus，简称TOFAF)、对比度自动对焦(Contrast Auto Focus，简称CAF)等。相位检测自动对焦是通过传感器获取相位差，根据相位差计算离焦值，根据离焦值控制透镜移动，再寻找聚焦值(Focus Value，简称FV)峰值。飞行时间自动对焦是通过向目标发射红外光，获取景深数据，根据景深数据实现对焦。对比度自动对焦是基于陀螺仪和对比度算法计算聚焦值峰值，通常对比度最大值的位置即为聚焦值峰值位置。
图3为一个实施例中精确扫描的原理图。如图3所示，在精确扫描的过程中，执行器可以驱动透镜以第二对焦距离进行移动，在透镜每次移动之后获取一帧图像，并计算图像的FV值。例如，第二对焦距离为10，那么可以驱动透镜每次移动步长为10进行扫描。如图3所示，在精确扫描的过程中，总共扫描A、B、C、D、E五个点，并分别记录这五个点生成的图像的FV值。在A点到D点的扫描过程中，FV值逐渐增大，说明图像的清晰度越来越高；在D点到E点的扫描过程中，FV值减小，说明图像的清晰度变低。可以根据A点到E点获取的FV值绘制拟合曲线，并将拟合曲线的顶点G点对应的透镜位置作为第二合焦位置进行拍摄。
本实施例中的对焦方法，获取第一预览图像，将第一预览图像输入至主体检测模型中，得到第一预览图像中的目标主体区域，能够准确地检测得到目标主体区域；当检测到目标主体区域中包含光斑时，对目标主体区域进行处理，得到目标主体区域中不含光斑的区域，将不含光斑的区域作为第一预览图像的对焦区域进行自动对焦，能够在对焦时避免光斑的干扰，从而提高对焦的准确性。
在一个实施例中，检测目标主体区域中包含光斑的方式，包括：将第一预览图像输入至光斑检测模型进行处理，得到目标主体区域中包含光斑的区域，其中，光斑检测模型是根据已标注的包含光斑的图像训练得到的。
其中，光斑检测模型可以是通过神经网络训练得到的。光斑检测模型的训练样本是大量的已标注的包含光斑的图像，标注是光斑的位置信息。在训练样本中还可包括正样本和负样本。其中，正样本是指已标注的包含光斑的图像，负样本是指不含光斑的图像。电子设备可采用误差反向传播算法和和随机梯度下降算法训练得到光斑检测模型的参数。
具体地，电子设备加载该光斑检测模型，将第一预览图像输入至光斑检测模型，光斑检测模型可获取主体检测模型检测得到的目标主体区域，并在目标主体区域内检测是否含有光斑。当光斑检测模型检测到目标主体区域内包含光斑时，电子设备可得到目标主体区域内包含光斑的区域。
本实施例中的对焦方法，将第一预览图像输入至光斑检测模型进行处理，得到目标主体区域中包含光斑的区域，能通过光斑检测模型快速且准确地识别得到目标主体区域中包含光斑的区域。
在一个实施例中，检测目标主体区域内包含光斑的方式，包括：获取目标主体区域中像素点的亮度值，确定亮度值大于亮度阈值的目标像素点；当检测到在目标像素点的预设范围内存在预设数量的目标像素点时，确定目标主体区域内包含光斑。
其中，通常亮度值在0～255的范围内，亮度阈值可以是0～255中的任意一个数，例如亮度阈值为250等不限于此。目标像素点的预设范围内具体可以是以目标像素点为圆心的预设范围。预设数量是指在电子设备中已设置的数量。预设数量可根据电子设备的分辨率以及对应的比例等确定。
具体地，电子设备可将第一预览图像转化为灰度图像，从而获取目标主体区域中每个像素点的亮度值。或者，电子设备通过每个像素点的HSL(Hue Saturation Lightness，色相饱和度亮度)值直接获取目标主体区域中像素点的亮度值。或者，电子设备通过每个像素点的RGB(Red Green Blue，红绿蓝)值计算得到目标主体区域内像素点的亮度值。电子设备获取目标主体区域内像素点的亮度值，确定亮度值大于亮度阈值的目标像素点。其中，亮度值大于亮度阈值的目标像素点在目标主体区域内的分布是随机的，可能存在某个像素点的亮度值大于亮度阈值，而该像素点周围的像素点的亮度值大部分小于亮度阈值。而光斑是在主体区域中的某个区域中含有预设数量的超过亮度阈值的像素点。那么，当电子设备检测到在该目标像素点的预设范围内存在预设数量的目标像素点时，确定目标主体区域内包含光斑。
本实施例中的对焦方法，获取目标主体区域中像素点的亮度值，确定亮度值大于亮度阈值的目标像素点，当检测到在目标像素点的预设范围内存在预设数量的目标像素点时，确定目标主体区域内包含光斑，能够在目标主体区域内规避光斑，辅助自动对焦，提高对焦的准确性。
在一个实施例中，检测目标主体区域内包含光斑的方式，包括：获取目标主体区域中像素点的亮度值，确定亮度值大于亮度阈值的目标像素点；当该目标像素点之间的距离均小于或等于预设距离时，确定目标主体区域内包含光斑。例如，光斑大多以圆形的形态呈现。又由于一个圆面中任意两点之间的距离小于圆的直径，那么该预设距离可以为一个圆的直径值。通过该方式能够在目标主体区域内规避光斑，辅助自动对焦，提高对焦的准确性。
在一个实施例中，检测目标主体区域内包含光斑的方式，包括：获取目标主体区域中像素点的亮度值，确定亮度值大于亮度阈值的目标像素点；使用预设尺寸的扫描框扫描该目标主体区域；当检测到扫描框中存在预设数量的目标像素点时，确定目标主体区域内包含光斑。通过该方式能够在目标主体区域内规避光斑，辅助自动对焦，提高对焦的准确性。
图4为一个实施例中主体检测的流程图。如图4所示，将第一预览图像输入至主体检测模型中，得到第一预览图像中的目标主体区域，包括：
步骤402，生成与第一预览图像对应的中心权重图。
其中，中心权重图是指用于记录可见光图中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征可见光图的图像中心像素点到图像边缘像素点的权重值逐渐减小。
具体地，电子设备可以根据第一预览图像的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。
步骤404，将第一预览图像和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，该主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型。
具体地，电子设备可将该第一预览图像和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。
步骤406，根据主体区域置信度图确定第一预览图像中的目标主体区域。
具体地，电子设备可根据主体区域置信度图选取置信度最高或次高等作为可见光图中的主体，若存在一个主体，则将该主体作为目标主体；若存在多个主体，可根据需要选择其中一个或多个主体作为目标主体。
本申请实施例中的对焦方法，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用可见光图、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出第一预览图像中的目标主体区域。
在一个实施例中，该主体检测模型包括依次相连的输入层、中间层和输出层。中间层可为一层或至少两层的网络结构。
将该第一预览图像和所述中心权重图输入到主体检测模型中，包括：将第一预览图像作用于主体检测模型的输入层；将中心权重图作用于主体检测模型的输出层。
本申请实施例中的对焦方法，将中心权重图作用于主体检测模型的输出层可以减少中心权重图的计算过程，直接作用于输出结果，提高检测的准确性。
在一个实施例中，对焦方法还包括：获取不含光斑的区域对应的主体区域置信度图；对主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对二值化掩膜图进行形态学处理和引导滤波处理，得到不含光斑的区域对应的主体掩膜图。
将不含光斑的区域作为第一预览图像的对焦区域，进行自动对焦，包括：将不含光斑的区域对应的主体掩膜图作为第一预览图像的对焦区域，进行自动对焦。
其中，形态学处理可包括腐蚀和膨胀。
具体地，电子设备获取不含光斑的区域对应的主体区域置信度图。电子设备将主体区域置信度图按照自适应置信度阈值过滤处理后，将保留的像素点的置信度值采用1表示，去掉的像素点的置信度值采用0表示，得到二值化掩膜图。
电子设备可先对二值化掩膜图进行腐蚀操作，再进行膨胀操作，去除噪声；再对形态学处理后的二值化掩膜图进行引导滤波处理，实现边缘滤波操作，得到边缘提取的主体掩膜图。
本申请实施例中的对焦方法，获取不含光斑的区域对应的主体区域置信度图，则规避了含有光斑的区域，通过形态学处理和引导滤波处理可以保证得到的主体掩膜图的噪点少或没有噪点，边缘更加柔和，减少了对焦过程中噪点的干扰，提高对焦的准确性。
在一个实施例中，将第一预览图像输入至主体检测模型中，得到第一预览图像中的目标主体区域，包括：获取与第一预览图像对应的深度图；生成与第一预览图像对应的中心权重图；将第一预览图像、深度图和中心权重图输入到主体检测模型中，得到第一预览图像中的目标主体区域，其中，主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体进行训练得到的模型。
其中，深度图是指包含深度信息的图。通过深度摄像头或双目摄像头拍摄同一场景得到对应的深度图。深度摄像头可为结构光摄像头或TOF摄像头。深度图可为结构光深度图、TOF深度图和双目深度图中的至少一种。
主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的可见光图、深度图、中心权重图及已标注的主体掩膜图。其中，可见光图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜图作为训练的主体检测模型期望输出得到的真实值。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。
电子设备可通过摄像头拍摄同一场景得到第一预览图像和对应的深度图，然后采用相机标定参数对可见光图和深度图进行配准，得到配准后的可见光图和深度图。
在其他实施例中，当无法拍摄得到深度图，电子设备可自动生成的仿真深度图。仿真深度图中的各个像素点的深度值可为预设值。此外，仿真深度图中的各个像素点的深度值可对应不同的预设值。
本申请实施例中的对焦方法，将深度图和中心权重图作为主体检测模型的输入，可以利用深度图的深度信息让距离摄像头更近的对象更容易被检测，利用中心权重图中中心权重大，四边权重小的中心注意力机制，让图像中心的对象更容易被检测，引入深度图实现对主体做深度特征增强，引入中心权重图对主体做中心注意力特征增强，不仅可以准确识别简单场景下的目标主体区域，更大大提高了复杂场景下的主体识别准确度，引入深度图可以解决传统目标检测方法对自然图像千变万化的目标鲁棒性较差的问题，其中，简单场景是指主体单一，背景区域对比度不高的场景。
在一个实施例中，主体检测模型包括依次相连的输入层、中间层和输出层；将第一预览图像、深度图和中心权重图输入到主体检测模型中，得到第一预览图像中的目标主体区域，包括：将第一预览图像作用于主体检测模型的输入层；将深度图和中心权重图作用于主体检测模型的输出层。
本申请实施例中的对焦方法，将深度图和中心权重图作用于主体检测模型的输出层可以减少对深度图和中心权重图的计算过程，直接作用于输出结果，提高主体检测的准确性。
图5为一个实施例中主体检测模型的网络结构示意图。如图5所示，主体检测模型的网络结构包括卷积层502、池化层504、卷积层506、池化层508、卷积层510、池化层512、卷积层514、池化层516、卷积层518、卷积层520、双线性插值层522、卷积层524、双线性插值层526、卷积层528、卷积特征连接层530、双线性插值层532、卷积层534、卷积特征连接层536、双线性插值层538、卷积层550、卷积特征连接层552等，卷积层502作为主体检测模型的输入层，卷积特征连接层552作为主体检测模型的输出层。本实施例中的主体检测模型的网络结构仅为示例，不作为对本申请的限制。可以理解的是，主体检测模型的网络结构中的卷积层、池化层、双线性插值层、卷积特征连接层等可以根据需要设置多个。
该主体检测模型的编码部分包括卷积层502、池化层504、卷积层506、池化层508、卷积层510、池化层512、卷积层514、池化层516、卷积层518，解码部分包括卷积层520、双线性插值层522、卷积层524、双线性插值层526、卷积层528、卷积特征连接层530、双线性插值层532、卷积层534、卷积特征连接层536、双线性插值层538、卷积层550、卷积特征连接层552。卷积层506和卷积层534级联(Concatenation)，卷积层510和卷积层528级联，卷积层514与卷积层524级联。双线性插值层522和卷积特征连接层530采用反卷积特征叠加(Deconvolution+add)桥接。双线性插值层532和卷积特征连接层536采用反卷积特征叠加桥接。双线性插值层538和卷积特征连接层552采用反卷积特征叠加桥接。
原图550(如可见光图)输入到主体检测模型的卷积层502，深度图560作用于主体检测模型的卷积特征连接层552，中心权重图570作用于主体检测模型的卷积特征连接层552。深度图560和中心权重图570分别作为一个乘积因子输入到卷积特征连接层552。原图550、深度图560和中心权重图570输入到主体检测模型后输出包含主体的置信度图580。
该主体检测模型的训练过程中对深度图采用预设数值的丢失率。该预设数值可为50％。深度图的训练过程中引入概率的dropout，让主体检测模型可以充分的挖掘深度图的信息，当主体检测模型无法获取深度图时，仍然可以输出准确结果。对深度图输入采用dropout的方式，让主体检测模型对深度图的鲁棒性更好，即使没有深度图也可以准确分割主体区域。
此外，因正常的电子设备拍摄过程中，深度图的拍摄和计算都相当耗时耗力，难以获取，在训练时深度图设计为50％的dropout概率，能够保证没有深度信息的时候主体检测模型依然可以正常检测。
对原图550采用高光检测层544进行高光检测识别出原图中的高光区域。对主体检测模型输出的主体区域置信度图进行自适应阈值过滤处理得到二值化的掩膜图，对二值化掩膜图进行形态学处理和引导滤波处理得到主体掩膜图，将主体掩膜图与包含高光区域的原图进行差分处理，将高光区域从主体掩膜图中删除得到去除高光的主体。主体区域置信度图是分布在0至1的置信度图，主体区域置信度图包含的噪点较多，有很多置信度较低的噪点，或聚合在一起的小块高置信度区域，通过区域自适应置信度阈值进行过滤处理，得到二值化掩膜图。对二值化掩膜图做形态学处理可以进一步降低噪声，做引导滤波处理，可以让边缘更平滑。可以理解的是，主体区域置信度图可为包含噪点的主体掩膜图。
本实施例中使用深度图作为特征以增强网络输出结果，并没有将深度图直接输入到主体检测模型的网络中，可以另外设计一个双深度学习网络结构，其中一个深度学习网络结构用于对深度图进行处理，另一个深度学习网络结构用于对RGB图进行处理，然后将两个深度学习网络结构的输出进行卷积特征连接，然后再输出。
在一个实施例中，该主体检测模型的训练方式，包括：获取同一场景的可见光图和已标注的主体掩膜图；生成与该可见光图对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小；将该可见光图作用于包含初始网络权重的主体检测模型的输入层，将该中心权重图作用于初始的主体检测模型的输出层，将该已标注的主体掩膜图作为该主体检测模型输出的真实值，对该包含初始网络权重的主体检测模型进行训练，得到该主体检测模型的目标网络权重。
图5为一个实施例中主体检测模型的网络结构示意图。本实施例中的训练采用可见光图和中心权重图，即在图5的主体检测模型的网络结构中输出层部分不引入深度图，采用可见光图作用在卷积层502，中心权重图570作用于主体检测模型的卷积特征连接层552。
采用训练好的主体检测模型识别图像中的主体的过程包括：加载主体检测模型，初始化主体检测模型的目标网络权重；获取当前场景的前一帧RGB图和深度图，根据相机标定参数对RGB图和深度图进行配准，并缩小到预设大小；对RGB图和深度图进行预处理，将RGB图从0到255的整型像素值归一化为-1到+1的浮点型，深度图归一化到0到1的浮点型；采用二维高斯函数生成与RGB图对应大小的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将处理后的RGB图、深度图和中心权重图输入到主体检测模型中，得到主体区域置信度图；对主体区域置信度图进行自适应阈值过滤，将置信度低于置信度阈值的像素点过滤掉，得到二值化掩膜图；对二值化掩膜图进行形态学处理和引导滤波处理，做膨胀、腐蚀操作，得到边缘提取的主体掩膜图。该主体掩膜图中记录了图像识别得到的目标主体及对应的目标区域。
图6为一个实施例中主体检测的过程示意图。如图6所示，RGB图602中存在一只蝴蝶，将RGB图输入到主体检测模型后得到主体区域置信度图604，然后对主体区域置信度图604进行滤波和二值化得到二值化掩膜图606，再对二值化掩膜图606进行形态学处理和引导滤波实现边缘增强，得到主体掩膜图608。该主体掩膜图608记录了图像识别得到的目标主体及对应的目标主体区域。
在一个实施例中，该对焦方法还包括：获取第二预览图像，其中，第二预览图像是第一预览图像的下一帧图像；将第一预览图像中的对焦区域作为第二预览图像中的对焦区域，进行自动对焦。
具体地，电子设备检测得到第一预览图像的目标主体区域中不含光斑的区域，将不含光斑的区域作为第一预览图像的对焦区域，进行自动对焦。电子设备将第一预览图像中不含光斑的区域作为第二预览图像中不含光斑的区域，进行自动对焦。
本申请实施例中的对焦方法，由于相邻的两帧图像信息差距较小，故可以直接将第一预览图像中的对焦区域作为第二预览图像中的对焦区域，能提高图像处理效率，也提高对焦的效率。
图7为一个实施例中根据第二预览图像中的对焦区域进行自动对焦的流程图。如图7所示，将第一预览图像中的对焦区域作为第二预览图像中的对焦区域，进行自动对焦，包括：
步骤702，将第一预览图像中的对焦区域作为第二预览图像中的对焦区域。
步骤704，获取第二预览图像中对焦区域的相位差值，根据相位差值从预先标定的相位差值与聚焦值的对应关系确定离焦值。
步骤706，根据该离焦值控制透镜移动。
步骤708，获取第二预览图像的下一帧图像中对应的对焦区域的聚焦值。
步骤710，当检测到第二预览图像的下一帧图像中对应的对焦区域的聚焦值不为聚焦值峰值，则继续控制透镜移动。
步骤712，当检测到第二预览图像的下一帧图像中对应的对焦区域的聚焦值为聚焦值峰值，完成对焦。
本申请实施例中的对焦方法，通过识别一帧图像中目标主体区域，得到不含光斑的区域。然后在该帧图像的下一帧图像中找到对应的不含光斑区域，作为下一帧图像的对焦区域，计算该对焦区域的相位差值，根据该相位差值确定了离焦值，然后再根据离焦值控制透镜移动，实现对焦的粗搜索(coarse research)，然后再次获取下一帧图像中对应的对焦区域中的聚焦值，判断该聚焦值是否为聚焦值峰值，确定为聚焦值峰值，可表示对焦完成，该聚焦值不为聚焦值峰值，则控制透镜移动，进行细搜索(fine search)继续搜索聚焦值峰值，直到达到聚焦值峰值，完成对焦，因识别了图像中的目标主体区域，对焦时确定了对焦区域，不会受到其他区域的影响，提高了对焦的准确性。
在一个实施例中，该对焦方法还包括：逐帧采集第一预览图像后的目标图像；
当目标图像与第一预览图像之间的帧数差值小于或等于帧数阈值，则采用目标跟踪算法对目标图像中的包含光斑的区域进行跟踪；
当目标图像与第一图像之间的帧数差值大于帧数阈值时，则对目标图像进行主体检测，得到目标图像中的目标主体区域。
其中，目标跟踪算法可为Tracking By Detection、Kernelized CorrelationFilters等。
具体地，电子设备识别到第一预览图像中的主体后，继续逐帧采集目标图像，获取目标图像与第一预览图像之间的帧数差值，当帧数差值小于或等于帧数阈值，则可以采用目标跟踪算法对该目标主体进行跟踪，将目标图像中跟踪得到的包含光斑的区域作为该帧图像中的目标区域。当帧数差值大于帧数阈值，则需要重新对第一预览图像进行主体检测和光斑检测，得到该目标图像中的目标主体区域及包含光斑的区域。
本申请实施例中的对焦装置，通过将第一预览图像中包含光斑的区域作为目标图像中包含光斑的区域，来辅助自动对焦，能够利用追踪算法处理的高效性，提高处理效率。
在一个实施例中，该对焦方法还包括：逐帧采集第一预览图像后的目标图像；当目标图像与第一预览图像之间的帧数差值小于或等于帧数阈值，则采用目标跟踪算法对目标图像中的目标主体区域进行跟踪；当目标图像与第一图像之间的帧数差值大于帧数阈值时，则对目标图像进行主体检测，得到目标图像中的目标主体区域。本申请实施例中的对焦方法，通过将第一预览图像中的目标主体区域作为目标图像中的目标主体区域，来辅助自动对焦，能够利用追踪算法处理的高效性，提高处理效率。
图8为一个实施例中对目标主体区域进行跟踪的界面示意图。其中，802为第一预览图像对应的目标主体区域，804为目标图像对应的目标主体区域，806为目标图像中的搜索区域。其中，搜索区域806的中心点与第一预览图像对应的目标主体区域802的中心点相同。电子设备可在搜索区域806内对目标主体区域进行跟踪。图8中的(a)图为第一预览图像中的目标主体区域的界面示意图。图8中的(b)图为目标图像中的目标主体区域的界面示意图。其中，该目标图像与第一预览图像之间的帧数差值小于或等于帧数阈值。
应该理解的是，虽然图2、4和7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4和7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例的对焦装置的结构框图。如图9所示，一种对焦装置，包括获取模块902、主体检测模块904、处理模块906和对焦模块908，其中：
获取模块902，用于获取第一预览图像。
主体检测模块904，用于将第一预览图像输入至主体检测模型中，得到第一预览图像中的目标主体区域，其中，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
处理模块906，用于当检测到目标主体区域中包含光斑时，对目标主体区域进行处理，得到目标主体区域中不含光斑的区域。
对焦模块908，用于将不含光斑的区域作为第一预览图像的对焦区域，进行自动对焦。
本实施例中的对焦装置，获取第一预览图像，将第一预览图像输入至主体检测模型中，得到第一预览图像中的目标主体区域，能够准确地检测得到目标主体区域；当检测到目标主体区域中包含光斑时，对目标主体区域进行处理，得到目标主体区域中不含光斑的区域，将不含光斑的区域作为第一预览图像的对焦区域进行自动对焦，能够在对焦时避免光斑的干扰，从而提高对焦的准确性。
在一个实施例中，处理模块906用于将第一预览图像输入至光斑检测模型进行处理，得到目标主体区域中包含光斑的区域，其中，光斑检测模型是根据已标注的包含光斑的图像训练得到的。
本实施例中的对焦装置，将第一预览图像输入至光斑检测模型进行处理，得到目标主体区域中包含光斑的区域，能通过光斑检测模型快速且准确地识别得到目标主体区域中包含光斑的区域。
在一个实施例中，处理模块906用于获取目标主体区域中像素点的亮度值，确定亮度值大于亮度阈值的目标像素点；当检测到在目标像素点的预设范围内存在预设数量的目标像素点时，确定目标主体区域内包含光斑。
本实施例中的对焦装置，获取目标主体区域中像素点的亮度值，确定亮度值大于亮度阈值的目标像素点，当检测到在目标像素点的预设范围内存在预设数量的目标像素点时，确定目标主体区域内包含光斑，能够在目标主体区域内规避光斑，辅助自动对焦，提高对焦的准确性。
在一个实施例中，处理模块906用于获取目标主体区域中像素点的亮度值，确定亮度值大于亮度阈值的目标像素点；当该目标像素点之间的距离均小于或等于预设距离时，确定目标主体区域内包含光斑。通过处理模块906能够在目标主体区域内规避光斑，辅助自动对焦，提高对焦的准确性。
在一个实施例中，处理模块906用于获取目标主体区域中像素点的亮度值，确定亮度值大于亮度阈值的目标像素点；使用预设尺寸的扫描框扫描该目标主体区域；当检测到扫描框中存在预设数量的目标像素点时，确定目标主体区域内包含光斑。通过处理模块906能够在目标主体区域内规避光斑，辅助自动对焦，提高对焦的准确性。
在一个实施例中，主体检测模块904用于生成与第一预览图像对应的中心权重图；将第一预览图像和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，该主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型；根据主体区域置信度图确定第一预览图像中的目标主体区域。
本申请实施例中的对焦装置，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用可见光图、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出第一预览图像中的目标主体区域。
在一个实施例中，该主体检测模型包括依次相连的输入层、中间层和输出层。中间层可为一层或至少两层的网络结构。主体检测模块904用于将第一预览图像作用于主体检测模型的输入层；将中心权重图作用于主体检测模型的输出层。
本申请实施例中的对焦装置，将中心权重图作用于主体检测模型的输出层可以减少中心权重图的计算过程，直接作用于输出结果，提高检测的准确性。
在一个实施例中，处理模块906还用于获取不含光斑的区域对应的主体区域置信度图；对主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对二值化掩膜图进行形态学处理和引导滤波处理，得到不含光斑的区域对应的主体掩膜图。对焦模块908用于将不含光斑的区域对应的主体掩膜图作为第一预览图像的对焦区域，进行自动对焦。
本申请实施例中的对焦装置，获取不含光斑的区域对应的主体区域置信度图，则规避了含有光斑的区域，通过形态学处理和引导滤波处理可以保证得到的主体掩膜图的噪点少或没有噪点，边缘更加柔和，减少了对焦过程中噪点的干扰，提高对焦的准确性。
在一个实施例中，主体检测模块904用于获取与第一预览图像对应的深度图；生成与第一预览图像对应的中心权重图；将第一预览图像、深度图和中心权重图输入到主体检测模型中，得到第一预览图像中的目标主体区域，其中，主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体进行训练得到的模型。
本申请实施例中的对焦装置，将深度图和中心权重图作为主体检测模型的输入，可以利用深度图的深度信息让距离摄像头更近的对象更容易被检测，利用中心权重图中中心权重大，四边权重小的中心注意力机制，让图像中心的对象更容易被检测，引入深度图实现对主体做深度特征增强，引入中心权重图对主体做中心注意力特征增强，不仅可以准确识别简单场景下的目标主体区域，更大大提高了复杂场景下的主体识别准确度，引入深度图可以解决传统目标检测装置对自然图像千变万化的目标鲁棒性较差的问题，其中，简单场景是指主体单一，背景区域对比度不高的场景。
在一个实施例中，主体检测模型包括依次相连的输入层、中间层和输出层。主体检测模块904用于将第一预览图像作用于主体检测模型的输入层；将深度图和中心权重图作用于主体检测模型的输出层。
本申请实施例中的对焦装置，将深度图和中心权重图作用于主体检测模型的输出层可以减少对深度图和中心权重图的计算过程，直接作用于输出结果，提高主体检测的准确性。
在一个实施例中，该对焦装置还包括训练模块。训练模块用于获取同一场景的可见光图和已标注的主体掩膜图；生成与该可见光图对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小；将该可见光图作用于包含初始网络权重的主体检测模型的输入层，将该中心权重图作用于初始的主体检测模型的输出层，将该已标注的主体掩膜图作为该主体检测模型输出的真实值，对该包含初始网络权重的主体检测模型进行训练，得到该主体检测模型的目标网络权重。
在一个实施例中，获取模块902用于获取第二预览图像，其中，第二预览图像是第一预览图像的下一帧图像。对焦模块908用于将第一预览图像中的对焦区域作为第二预览图像中的对焦区域，进行自动对焦。
本申请实施例中的对焦装置，由于相邻的两帧图像信息差距较小，故可以直接将第一预览图像中的对焦区域作为第二预览图像中的对焦区域，能提高图像处理效率，也提高对焦的效率。
在一个实施例中，对焦模块908用于将第一预览图像中的对焦区域作为第二预览图像中的对焦区域，获取第二预览图像中对焦区域的相位差值，根据相位差值从预先标定的相位差值与聚焦值的对应关系确定离焦值；根据离焦值控制透镜移动；获取第二预览图像的下一帧图像中对应的对焦区域的聚焦值；当检测到第二预览图像的下一帧图像中对应的对焦区域的聚焦值不为聚焦值峰值，则继续控制透镜移动；当检测到第二预览图像的下一帧图像中对应的对焦区域的聚焦值为聚焦值峰值，完成对焦。
本申请实施例中的对焦装置，因识别了图像中的目标主体区域，对焦时确定了对焦区域，不会受到其他区域的影响，提高了对焦的准确性。
在一个实施例中，该对焦装置还包括跟踪模块。获取模块902用于逐帧采集第一预览图像后的目标图像。跟踪模块用于当目标图像与第一预览图像之间的帧数差值小于或等于帧数阈值，则采用目标跟踪算法对目标图像中的包含光斑的区域进行跟踪。主体检测模块904用于当目标图像与第一图像之间的帧数差值大于帧数阈值时，则对目标图像进行主体检测，得到目标图像中的目标主体区域。
本申请实施例中的对焦装置，通过将第一预览图像中包含光斑的区域作为目标图像中包含光斑的区域，来辅助自动对焦，能够利用追踪算法处理的高效性，提高处理效率。
在一个实施例中，该对焦装置还包括跟踪模块。获取模块902用于逐帧采集第一预览图像后的目标图像。跟踪模块用于当目标图像与第一预览图像之间的帧数差值小于或等于帧数阈值，则采用目标跟踪算法对目标图像中的目标主体区域进行跟踪。主体检测模块904用于当目标图像与第一图像之间的帧数差值大于帧数阈值时，则对目标图像进行主体检测，得到目标图像中的目标主体区域。
本申请实施例中的对焦装置，通过将第一预览图像中包含光斑的区域作为目标图像中包含光斑的区域，来辅助自动对焦，能够利用追踪算法处理的高效性，提高处理效率。
上述对焦装置中各个模块的划分仅用于举例说明，在其他实施例中，可将对焦装置按照需要划分为不同的模块，以完成上述对焦装置的全部或部分功能。
图10为一个实施例中电子设备的内部结构示意图。如图10所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种对焦方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的对焦装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行对焦方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行对焦方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种对焦方法，其特征在于，包括：
获取第一预览图像；
将所述第一预览图像输入至主体检测模型中，得到所述第一预览图像中的目标主体区域，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型；
当检测到所述目标主体区域中包含光斑时，对所述目标主体区域进行处理，得到所述目标主体区域中不含光斑的区域；
将所述不含光斑的区域作为所述第一预览图像的对焦区域，进行自动对焦。
2.根据权利要求1所述的方法，其特征在于，检测目标主体区域中包含光斑的方式，包括：
将所述第一预览图像输入至光斑检测模型进行处理，得到所述目标主体区域中包含光斑的区域，其中，所述光斑检测模型是根据已标注的包含光斑的图像训练得到的。
3.根据权利要求1所述的方法，其特征在于，检测目标主体区域内包含光斑的方式，包括：
获取所述目标主体区域中像素点的亮度值，确定亮度值大于亮度阈值的目标像素点；
当检测到在所述目标像素点的预设范围内存在预设数量的目标像素点时，确定所述目标主体区域内包含光斑。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述第一预览图像输入至主体检测模型中，得到所述第一预览图像中的目标主体区域，包括：
生成与所述第一预览图像对应的中心权重图；
将所述第一预览图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型；
根据所述主体区域置信度图确定所述第一预览图像中的目标主体区域。
5.根据权利要求4所述的方法，其特征在于，所述主体检测模型包括依次相连的输入层、中间层和输出层；
所述将所述第一预览图像和所述中心权重图输入到主体检测模型中，包括：
将所述第一预览图像作用于主体检测模型的输入层；
将所述中心权重图作用于所述主体检测模型的输出层。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述不含光斑的区域对应的主体区域置信度图；
对所述主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；
对所述二值化掩膜图进行形态学处理和引导滤波处理，得到不含光斑的区域对应的主体掩膜图；
所述将所述不含光斑的区域作为所述第一预览图像的对焦区域，进行自动对焦，包括：
将所述不含光斑的区域对应的主体掩膜图作为所述第一预览图像的对焦区域，进行自动对焦。
7.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述第一预览图像输入至主体检测模型中，得到所述第一预览图像中的目标主体区域，包括：
获取与所述第一预览图像对应的深度图；
生成与所述第一预览图像对应的中心权重图；
将所述第一预览图像、所述深度图和所述中心权重图输入到主体检测模型中，得到所述第一预览图像中的目标主体区域，其中，所述主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体进行训练得到的模型。
8.根据权利要求7所述的方法，其特征在于，所述主体检测模型包括依次相连的输入层、中间层和输出层；
所述将所述第一预览图像、所述深度图和所述中心权重图输入到主体检测模型中，得到所述第一预览图像中的目标主体区域，包括：
将所述第一预览图像作用于主体检测模型的输入层；
将所述深度图和所述中心权重图作用于所述主体检测模型的输出层。
9.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
获取第二预览图像，其中，所述第二预览图像是所述第一预览图像的下一帧图像；
将所述第一预览图像中的对焦区域作为所述第二预览图像中的对焦区域，进行自动对焦。
10.根据权利要求9所述的方法，其特征在于，所述将所述第一预览图像中的对焦区域作为所述第二预览图像中的对焦区域，进行自动对焦，包括：
将所述第一预览图像中的对焦区域作为所述第二预览图像中的对焦区域，获取所述第二预览图像中对焦区域的相位差值，根据所述相位差值从预先标定的相位差值与聚焦值的对应关系确定离焦值；
根据所述离焦值控制透镜移动；
获取所述第二预览图像的下一帧图像中对应的所述对焦区域的聚焦值；
当检测到所述第二预览图像的下一帧图像中对应的所述对焦区域的聚焦值不为聚焦值峰值，则继续控制透镜移动；
当检测到所述第二预览图像的下一帧图像中对应的所述对焦区域的聚焦值为聚焦值峰值，完成对焦。
11.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
逐帧采集所述第一预览图像后的目标图像；
当所述目标图像与所述第一预览图像之间的帧数差值小于或等于帧数阈值，则采用目标跟踪算法对所述目标图像中的包含所述光斑的区域进行跟踪；
当所述目标图像与所述第一图像之间的帧数差值大于所述帧数阈值时，则对所述目标图像进行主体检测，得到所述目标图像中的目标主体区域。
12.一种对焦装置，其特征在于，包括：
获取模块，用于获取第一预览图像；
主体检测模块，用于将所述第一预览图像输入至主体检测模型中，得到所述第一预览图像中的目标主体区域，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型；
处理模块，用于当检测到所述目标主体区域中包含光斑时，对所述目标主体区域进行处理，得到所述目标主体区域中不含光斑的区域；
对焦模块，用于将所述不含光斑的区域作为所述第一预览图像的对焦区域，进行自动对焦。
13.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述的对焦方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的方法的步骤。
CN201910578291.5A 2019-06-28 2019-06-28 对焦方法和装置、电子设备、计算机可读存储介质 Active CN110191287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910578291.5A CN110191287B (zh) 2019-06-28 2019-06-28 对焦方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910578291.5A CN110191287B (zh) 2019-06-28 2019-06-28 对焦方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110191287A true CN110191287A (zh) 2019-08-30
CN110191287B CN110191287B (zh) 2021-05-11

Family

ID=67724192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910578291.5A Active CN110191287B (zh) 2019-06-28 2019-06-28 对焦方法和装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110191287B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689007A (zh) * 2019-09-16 2020-01-14 Oppo广东移动通信有限公司 主体识别方法和装置、电子设备、计算机可读存储介质
CN110688926A (zh) * 2019-09-19 2020-01-14 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN111178087A (zh) * 2019-12-20 2020-05-19 沈阳雅译网络技术有限公司 一种基于离散型注意力机制的神经机器翻译解码加速方法
CN111754521A (zh) * 2020-06-17 2020-10-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备及存储介质
CN112543285A (zh) * 2020-12-02 2021-03-23 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN116074624A (zh) * 2022-07-22 2023-05-05 荣耀终端有限公司 一种对焦方法和装置

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070159520A1 (en) * 2005-12-28 2007-07-12 Canon Kabushiki Kaisha Optical scanning system and image forming apparatus using the same
CN102006421A (zh) * 2009-09-01 2011-04-06 华晶科技股份有限公司 具有人脸的影像的处理方法
US20150350511A1 (en) * 2014-05-30 2015-12-03 Timo Kaikumaa Automatic anti-glare exposures for imaging devices
CN105430268A (zh) * 2015-12-08 2016-03-23 深圳市维海德电子技术有限公司 一种自动聚焦处理方法和装置
CN106713746A (zh) * 2016-11-29 2017-05-24 维沃移动通信有限公司 一种对焦方法及移动终端
CN106993111A (zh) * 2016-01-21 2017-07-28 欧姆龙株式会社 摄像装置、摄像方法、摄像程序及记录介质
US20170353707A1 (en) * 2016-06-03 2017-12-07 Samsung Electronics Co., Ltd. Timestamp error correction with double readout for the 3d camera with epipolar line laser point scanning
CN107576618A (zh) * 2017-07-20 2018-01-12 华南理工大学 基于深度卷积神经网络的水稻穗瘟检测方法及系统
CN107682740A (zh) * 2017-09-11 2018-02-09 广东欧珀移动通信有限公司 在视频中合成音频方法和电子装置
CN107682611A (zh) * 2017-11-03 2018-02-09 广东欧珀移动通信有限公司 对焦的方法、装置、计算机可读存储介质和电子设备
CN108024065A (zh) * 2017-12-28 2018-05-11 努比亚技术有限公司 一种终端拍摄的方法、终端及计算机可读存储介质
CN108093177A (zh) * 2017-12-28 2018-05-29 广东欧珀移动通信有限公司 图像获取方法、装置、存储介质及电子设备
CN108229425A (zh) * 2018-01-29 2018-06-29 浙江大学 一种基于高分辨率遥感图像的水体识别方法
CN108462826A (zh) * 2018-01-23 2018-08-28 维沃移动通信有限公司 一种辅助拍照的方法及移动终端
US20190028653A1 (en) * 2016-02-01 2019-01-24 Sony Corporation Control apparatus, control method, and control program
CN109792478A (zh) * 2016-09-01 2019-05-21 迪尤莱特公司 基于焦点目标信息调整焦点的系统和方法
US20190174056A1 (en) * 2017-12-01 2019-06-06 Samsung Electronics Co., Ltd. Method and system for providing recommendation information related to photography

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070159520A1 (en) * 2005-12-28 2007-07-12 Canon Kabushiki Kaisha Optical scanning system and image forming apparatus using the same
CN102006421A (zh) * 2009-09-01 2011-04-06 华晶科技股份有限公司 具有人脸的影像的处理方法
US20150350511A1 (en) * 2014-05-30 2015-12-03 Timo Kaikumaa Automatic anti-glare exposures for imaging devices
CN105430268A (zh) * 2015-12-08 2016-03-23 深圳市维海德电子技术有限公司 一种自动聚焦处理方法和装置
CN106993111A (zh) * 2016-01-21 2017-07-28 欧姆龙株式会社 摄像装置、摄像方法、摄像程序及记录介质
US20190028653A1 (en) * 2016-02-01 2019-01-24 Sony Corporation Control apparatus, control method, and control program
US20170353707A1 (en) * 2016-06-03 2017-12-07 Samsung Electronics Co., Ltd. Timestamp error correction with double readout for the 3d camera with epipolar line laser point scanning
CN109792478A (zh) * 2016-09-01 2019-05-21 迪尤莱特公司 基于焦点目标信息调整焦点的系统和方法
CN106713746A (zh) * 2016-11-29 2017-05-24 维沃移动通信有限公司 一种对焦方法及移动终端
CN107576618A (zh) * 2017-07-20 2018-01-12 华南理工大学 基于深度卷积神经网络的水稻穗瘟检测方法及系统
CN107682740A (zh) * 2017-09-11 2018-02-09 广东欧珀移动通信有限公司 在视频中合成音频方法和电子装置
CN107682611A (zh) * 2017-11-03 2018-02-09 广东欧珀移动通信有限公司 对焦的方法、装置、计算机可读存储介质和电子设备
US20190174056A1 (en) * 2017-12-01 2019-06-06 Samsung Electronics Co., Ltd. Method and system for providing recommendation information related to photography
CN108093177A (zh) * 2017-12-28 2018-05-29 广东欧珀移动通信有限公司 图像获取方法、装置、存储介质及电子设备
CN108024065A (zh) * 2017-12-28 2018-05-11 努比亚技术有限公司 一种终端拍摄的方法、终端及计算机可读存储介质
CN108462826A (zh) * 2018-01-23 2018-08-28 维沃移动通信有限公司 一种辅助拍照的方法及移动终端
CN108229425A (zh) * 2018-01-29 2018-06-29 浙江大学 一种基于高分辨率遥感图像的水体识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖磊 等: "TFT-LCD面板光学检测自动对焦系统设计", 《红外与激光工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689007A (zh) * 2019-09-16 2020-01-14 Oppo广东移动通信有限公司 主体识别方法和装置、电子设备、计算机可读存储介质
CN110689007B (zh) * 2019-09-16 2022-04-15 Oppo广东移动通信有限公司 主体识别方法和装置、电子设备、计算机可读存储介质
CN110688926A (zh) * 2019-09-19 2020-01-14 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN110688926B (zh) * 2019-09-19 2022-12-13 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN111178087A (zh) * 2019-12-20 2020-05-19 沈阳雅译网络技术有限公司 一种基于离散型注意力机制的神经机器翻译解码加速方法
CN111178087B (zh) * 2019-12-20 2023-05-09 沈阳雅译网络技术有限公司 一种基于离散型注意力机制的神经机器翻译解码加速方法
CN111754521A (zh) * 2020-06-17 2020-10-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备及存储介质
CN112543285A (zh) * 2020-12-02 2021-03-23 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN116074624A (zh) * 2022-07-22 2023-05-05 荣耀终端有限公司 一种对焦方法和装置
CN116074624B (zh) * 2022-07-22 2023-11-10 荣耀终端有限公司 一种对焦方法和装置

Also Published As

Publication number Publication date
CN110191287B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN110248096A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110149482A (zh) 对焦方法、装置、电子设备和计算机可读存储介质
EP3757890A1 (en) Method and device for image processing, method and device for training object detection model
CN110191287A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN108716983B (zh) 光学元件检测方法和装置、电子设备、存储介质
CN110572573B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110473185B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107800965B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110428366A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108805103A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110334635A (zh) 主体追踪方法、装置、电子设备和计算机可读存储介质
CN108734676A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110298862A (zh) 视频处理方法、装置、计算机可读存储介质和计算机设备
CN110248097A (zh) 追焦方法、装置、终端设备、计算机可读存储介质
CN107509031A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN110349163A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108600740A (zh) 光学元件检测方法、装置、电子设备和存储介质
CN110248101A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN109712177A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108717530A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109327626A (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN110121031A (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN110276831A (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant