CN110248096A - 对焦方法和装置、电子设备、计算机可读存储介质 - Google Patents

对焦方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN110248096A
CN110248096A CN201910571894.2A CN201910571894A CN110248096A CN 110248096 A CN110248096 A CN 110248096A CN 201910571894 A CN201910571894 A CN 201910571894A CN 110248096 A CN110248096 A CN 110248096A
Authority
CN
China
Prior art keywords
frame image
previous frame
target
main body
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910571894.2A
Other languages
English (en)
Other versions
CN110248096B (zh
Inventor
黄海东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910571894.2A priority Critical patent/CN110248096B/zh
Publication of CN110248096A publication Critical patent/CN110248096A/zh
Priority to US16/842,471 priority patent/US11178324B2/en
Priority to EP20174739.1A priority patent/EP3758359A1/en
Priority to PCT/CN2020/094463 priority patent/WO2020259249A1/en
Application granted granted Critical
Publication of CN110248096B publication Critical patent/CN110248096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种对焦方法和装置、电子设备、计算机可读存储介质。所述方法包括：获取当前帧图像；将前一帧图像中的目标区域作为所述当前帧图像的对焦区域，进行自动对焦；其中，所述前一帧图像为所述当前帧图像的相邻上一帧图像；所述前一帧图像的目标区域是将所述前一帧图像输入到主体检测模型中进行识别，得到的所述前一帧图像中的目标主体所在的目标区域，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。因识别了图像中的主体，不会受到其他区域的影响，提高了对焦的准确性。

Description

对焦方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及影像领域，特别是涉及一种对焦方法和装置、电子设备、计算机可读存储介质。
背景技术
随着影像技术的发展，人们越来越习惯通过电子设备上的摄像头等图像采集设备拍摄图像或视频，记录各种信息。摄像头在采集图像过程中会自动选择对焦点进行对焦，传统的对焦方式中对焦的给定框大小和范围相对固定，当给定框中受到干扰影响时，会导致对焦准确性低。
发明内容
本申请实施例提供一种对焦方法和装置、电子设备、计算机可读存储介质，可以提高对焦准确性。
一种对焦方法，包括：
获取当前帧图像；
将前一帧图像中的目标区域作为所述当前帧图像的对焦区域，进行自动对焦；
其中，所述前一帧图像为所述当前帧图像的相邻上一帧图像；所述前一帧图像的目标区域是将所述前一帧图像输入到主体检测模型中进行识别，得到的所述前一帧图像中的目标主体所在的目标区域，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
一种对焦装置，包括：
第一获取模块，用于获取当前帧图像；
对焦模块，用于将所述目标区域作为所述当前帧图像的对焦区域，进行自动对焦；
其中，所述前一帧图像为所述当前帧图像的相邻上一帧图像；所述前一帧图像的目标区域是将所述前一帧图像输入到主体检测模型中进行识别，得到的所述前一帧图像中的目标主体所在的目标区域，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取当前帧图像；
将前一帧图像中的目标区域作为所述当前帧图像的对焦区域，进行自动对焦；
其中，所述前一帧图像为所述当前帧图像的相邻上一帧图像；所述前一帧图像的目标区域是将所述前一帧图像输入到主体检测模型中进行识别，得到的所述前一帧图像中的目标主体所在的目标区域，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取当前帧图像；
将前一帧图像中的目标区域作为所述当前帧图像的对焦区域，进行自动对焦；
其中，所述前一帧图像为所述当前帧图像的相邻上一帧图像；所述前一帧图像的目标区域是将所述前一帧图像输入到主体检测模型中进行识别，得到的所述前一帧图像中的目标主体所在的目标区域，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
本实施例中对焦方法和装置、电子设备、计算机可读存储介质，获取到当前帧图像后，采用前一帧图像进行主体检测得到前一帧图像中的目标主体对应的目标区域作为当前帧图像中的对焦区域，进行自动对焦，能够准确的确定当前帧图像中的对焦区域，不会在出现环境光线过亮等干扰时导致对焦不准确。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的内部结构框图；
图2为一个实施例中对焦方法的流程图；
图3为一个实施例中精细扫描原理示意图；
图4为一个实施例中主体检测模型的网络结构示意图；
图5为一个实施例中主体检测的过程示意图；
图6为另一个实施例中对焦方法的流程图；
图7为一个实施例中对焦方法的应用场景示意图；
图8为一个实施例中对焦装置的结构框图；
图9为另一个实施例中对焦装置的结构框图；
图10为另一个实施例中对焦装置的结构框图；
图11为另一个实施例中电子设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例中的对焦方法可应用于电子设备。该电子设备可为带有摄像头的计算机设备、个人数字助理、平板电脑、智能手机、穿戴式设备等。电子设备中的摄像头在拍摄图像时，会进行自动对焦，以保证拍摄的图像清晰。
在一个实施例中，上述电子设备中可包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112、图像传感器114、执行器116的照相机。执行器116可驱动透镜112移动。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。传感器120(如陀螺仪)可基于传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。传感器120接口可以利用SMIA(Standard Mobile ImagingArchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器114也可将原始图像数据发送给传感器120，传感器120可基于传感器120接口类型把原始图像数据提供给ISP处理器140，或者传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如，传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器170可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。此外，ISP处理器140的输出可发送给编码器/解码器160，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器170设备上之前解压缩。编码器/解码器160可由CPU或GPU或协处理器实现。
ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。控制逻辑器150可将透镜112的控制参数输出给执行器116，由执行器116根据控制参数驱动透镜112移动。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。
图2为一个实施例中对焦方法的流程图。如图2所示，一种对焦方法，可应用于图1中的电子设备中，包括：
步骤202，获取当前帧图像。
其中，当前帧图像可为可见光图像。电子设备的成像设备对焦过程中可按照预设帧率拍摄多帧图像进行对焦。预设帧率可为每秒10帧、20帧、30帧等，不限于此。
步骤204，将前一帧图像中的目标区域作为所述当前帧图像的对焦区域，进行自动对焦；其中，所述前一帧图像为所述当前帧图像的相邻上一帧图像；所述前一帧图像的目标区域是将所述前一帧图像输入到主体检测模型中进行识别，得到的所述前一帧图像中的目标主体所在的目标区域，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
其中，前一帧图像是指当前帧图像的相邻上一帧图像。主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。
在一个实施例中，每组训练数据包括同一场景对应的可见光图、中心权重图及已标注的主体。已标注的主体可以以主体掩膜(mask)图形式存在。其中，可见光图作为训练的主体检测模型的输入，已标注的主体掩膜图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。在另一个实施例中，每组训练数据包括同一场景对应的可见光图、中心权重图、深度图及已标注的主体。
具体地，电子设备可将该前一帧图像输入到主体检测模型中进行检测，得到主体区域置信度图，根据该主体区域置信度图可以确定前一帧图像中的目标主体。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1，可以选择置信度最大的作为识别出的主体。主体可为预先配置的能够识别的对象。该对象可为人、物、动物等。物可包括花、山、树等。动物可包括猫、狗、牛、羊、老虎等。
电子设备根据主体检测模型检测出的目标主体，确定目标主体在前一帧图像中的目标区域。该目标区域可采用矩形框或掩膜图等来标记。
具体地，电子设备将当前帧图像与前一帧图像进行比较，确定当前帧图像中与前一帧图像中的目标主体所在的目标区域相对应的目标区域。通常相邻两帧图像中主体的位置不会发生较大变化，通过两帧图像的横纵坐标值比较，可以确定目标主体在当前帧图像中的目标区域。电子设备的成像设备110为了拍摄清晰的图像，会先进行自动对焦(AutoFocus，简称AF)。自动对焦的方式有多种，例如相位检测自动对焦(Phase Detection AutoFocus，简称PDAF)、飞行时间自动对焦(Time Of Flight Auto Focus，简称TOFAF)、对比度自动对焦(Contrast Auto Focus，简称CAF)等。相位检测自动对焦是通过传感器获取相位差，根据相位差计算离焦值，根据离焦值控制透镜移动，再寻找聚焦值(Focus Value，简称FV)峰值。飞行时间自动对焦是通过向目标发射红外光，获取景深数据，根据景深数据实现对焦。对比度自动对焦是基于陀螺仪和对比度算法计算聚焦值峰值，通常对比度最大值的位置即为聚焦值峰值位置。
图3为一个实施例中精确扫描的原理图。如图3所示，在精确扫描的过程中，执行器可以驱动透镜以第二对焦距离进行移动，在透镜每次移动之后获取一帧图像，并计算图像的FV值。例如，第二对焦距离为10，那么可以驱动透镜每次移动步长为10进行扫描。如图3所示，在精确扫描的过程中，总共扫描A、B、C、D、E五个点，并分别记录这五个点生成的图像的FV值。在A点到D点的扫描过程中，FV值逐渐增大，说明图像的清晰度越来越高；在D点到E点的扫描过程中，FV值减小，说明图像的清晰度变低。可以根据A点到E点获取的FV值绘制拟合曲线，并将拟合曲线的顶点G点对应的透镜位置作为第二合焦位置进行拍摄。
本实施例中的对焦方法，获取当前帧图像后，采用前一帧图像进行主体检测得到的前一帧图像中的目标主体对应的目标区域，作为当前帧图像中的对焦区域，进行自动对焦，能够准确的确定当前帧图像中的对焦区域，不会在出现环境光线过亮等干扰时导致对焦不准确。
在一个实施例中，将所述前一帧图像输入到主体检测模型中，得到所述前一帧图像中的目标主体，包括：生成与所述前一帧图像对应的中心权重图；将所述前一帧图像和所述中心权重图输入到主体检测模型中，得到所述前一帧图像中的目标主体，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型。
其中，中心权重图是指用于记录可见光图中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征可见光图的图像中心像素点到图像边缘像素点的权重值逐渐减小。
电子设备可以根据前一帧图像的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。
主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的可见光图、中心权重图及已标注的主体掩膜图。其中，可见光图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜图作为训练的主体检测模型期望输出得到的真实值。
本实施例中，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用可见光图、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出前一帧图像中的目标主体。
在一个实施例中，该主体检测模型包括依次相连的输入层、中间层和输出层。中间层可为一层或至少两层的网络结构。
该将该前一帧图像和所述中心权重图输入到主体检测模型中，包括：将所述前一帧图像作用于主体检测模型的输入层；将所述中心权重图作用于所述主体检测模型的输出层。
本实施例中，将中心权重图作用于主体检测模型的输出层可以减少中心权重图的计算过程，直接作用于输出结果，提高检测的准确性。
在一个实施例中，将所述前一帧图像输入到主体检测模型中，得到所述前一帧图像中的目标主体，包括：获取与所述前一帧图像对应的深度图；生成与所述前一帧图像对应的中心权重图；将所述前一帧图像、所述深度图和所述中心权重图输入到主体检测模型中，得到所述前一帧图像中的目标主体，其中，所述主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体进行训练得到的模型。
其中，深度图是指包含深度信息的图。通过深度摄像头或双目摄像头拍摄同一场景得到对应的深度图。深度摄像头可为结构光摄像头或TOF摄像头。深度图可为结构光深度图、TOF深度图和双目深度图中的至少一种。
可通过摄像头拍摄同一场景得到前一帧图像和对应的深度图，然后采用相机标定参数对可见光图和深度图进行配准，得到配准后的可见光图和深度图。
在其他实施例中，当无法拍摄得到深度图，可自动生成的仿真深度图。仿真深度图中的各个像素点的深度值可为预设值。此外，仿真深度图中的各个像素点的深度值可对应不同的预设值。
其中，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的可见光图、深度图、中心权重图及已标注的主体掩膜图。其中，可见光图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜图作为训练的主体检测模型期望输出得到的真实值。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。
本实施例中，将深度图和中心权重图作为主体检测模型的输入，可以利用深度图的深度信息让距离摄像头更近的对象更容易被检测，利用中心权重图中中心权重大，四边权重小的中心注意力机制，让图像中心的对象更容易被检测，引入深度图实现对主体做深度特征增强，引入中心权重图对主体做中心注意力特征增强，不仅可以准确识别简单场景下的目标主体，更大大提高了复杂场景下的主体识别准确度，引入深度图可以解决传统目标检测方法对自然图像千变万化的目标鲁棒性较差的问题。简单场景是指主体单一，背景区域对比度不高的场景。
在一个实施例中，所述主体检测模型包括依次相连的输入层、中间层和输出层。
所述将所述前一帧图像、所述深度图和所述中心权重图输入到主体检测模型中，包括：将所述前一帧图像作用于主体检测模型的输入层；将所述深度图和所述中心权重图作用于所述主体检测模型的输出层。
本实施例中，将深度图和中心权重图作用于主体检测模型的输出层可以减少对深度图和中心权重图的计算过程，直接作用于输出结果，提高检测的准确性。
在一个实施例中，在获取与所述前一帧图像对应的深度图后，所述方法还包括：对该前一帧图像和对应的深度图进行配准处理，得到同一场景配准后的前一帧图像和深度图；对该前一帧图像中像素点的像素值和该深度图中像素点的像素值分别进行归一化处理。
具体地，对前一帧图像中像素点的像素值从0到255的整型归一化处理为-1到+1的浮点型数值，对深度图中像素点的像素值归一化处理为0到1的浮点型数值。当无法拍摄得到深度图时，可自动生成深度值为预设值的仿真深度图。该预设值可为0至1的浮点型数值。
本实施例中，对前一帧图像中的像素值和深度图中的像素值分别进行归一化处理，可以减小数据量，节省计算所消耗的处理器资源。
在一个实施例中，在对该前一帧图像中像素点的像素值和该深度图中像素点的像素值分别进行归一化处理之前，该方法还包括：对该前一帧图像和深度图进行缩放处理，得到预设大小的前一帧图像和深度图。
其中，预设大小可根据需要设定，如224*224大小，或256*256,648*320等，不限于此。将前一帧图像和深度图缩小到预设大小，可以节省数据量，提高处理效率，减少系统资源消耗。
可选地，该生成与该前一帧图像对应的中心权重图，包括：生成与该预设大小的前一帧图像对应的预设大小的中心权重图。
前一帧图像缩小到预设大小，则对应生成的中心权重图也需要调整，确保中心权重图表示的权重值与前一帧图像中的像素点对应。
在一个实施例中，上述目标主体的确定方式包括：当存在多个主体时，根据每个主体所属类别的优先级、每个主体在前一帧图像中所占的面积、每个主体在前一帧图像中的位置中的至少一种，确定目标主体。
其中，类别是指对主体所分的类，如人像、花、动物、风景等类别。位置是指在前一帧图像中的位置，可以采用坐标表示。
具体地，当存在多个主体时，获取每个主体所属类别的优先级，选取优先级最高或次高等的主体作为目标主体。
当存在多个主体时，获取每个主体在前一帧图像中所占的面积，选取所占面积最大或次大等的主体作为目标主体。
当存在多个主体时，获取每个主体在前一帧图像中的位置，选取主体的位置与该前一帧图像的中心点之间的距离最小的主体为目标主体。
当存在多个主体所属类别的优先级相同且最高时，获取该多个主体所占的面积，选取所占面积最大或次大的主体作为目标主体。
当存在多个主体所属类别的优先级相同且最高时，获取该优先级相同且最高的多个主体中每个主体在前一帧图像中所占的面积，选取所占面积最大或次大的主体作为目标主体。
当存在多个主体所属类别的优先级相同且最高时，获取该优先级相同且最高的多个主体中每个主体在前一帧图像中的位置，选取主体在前一帧图像中的位置与该前一帧图像的中心点之间的距离最小的主体为目标主体。
当存在多个主体所属类别的优先级相同且最高，获取该优先级相同且最高的多个主体中每个主体在前一帧图像中所占的面积，存在多个主体在前一帧图像中所占的面积相同时，获取面积相同的多个主体在前一帧图像中的位置，选取主体在前一帧图像中的位置与该前一帧图像的中心点之间的距离最小的主体为目标主体。
当存在多个主体时，可以获取每个主体所属类别的优先级、每个主体在前一帧图像中所占的面积、每个主体在前一帧图像中的位置，可以按照优先级、面积和位置三个维度筛选，优先级、面积和位置筛选的顺序可根据需要设定，不作限定。
本实施例中，当存在多个主体时，根据主体所属类别的优先级、面积和位置中的一种或至少两种进行筛选确定目标主体，可以准确确定目标主体。
在一个实施例中，上述图像处理方法还包括：当确定存在多个主体，且该多个主体均为人脸时，判断多个人脸是否在同一平面；
当该多个人脸处于同一平面时，将该多个人脸作为目标主体；
当该多个人脸处于不同平面时，选择面积最大的人脸作为目标主体。
具体地，可获取每个人脸的深度信息，通过比较深度信息是否相同来确定多个人脸是否在同一平面上，当深度信息相同时，则在同一平面，当深度信息不同时，则不在同一平面。人脸的深度信息可采用人脸所在区域的每个像素点的深度信息的平均值、中值或加权值等表示。人脸的深度信息也可采用人脸所在区域的每个像素点按照预设函数计算得到深度信息。该预设函数可为线性函数、指数函数或幂函数等。
在一个实施例中，该主体检测模型的训练方式，包括：获取同一场景的可见光图、深度图和已标注的主体掩膜图；生成与该可见光图对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小；将该可见光图作用于包含初始网络权重的主体检测模型的输入层，将该深度图和该中心权重图作用于初始的主体检测模型的输出层，将该已标注的主体掩膜图作为该主体检测模型输出的真实值，对该包含初始网络权重的主体检测模型进行训练，得到该主体检测模型的目标网络权重。
可收集一个场景的可见光图、深度图和对应的已标注的主体掩膜图。对可见光图和深度图进行语义级的标注，标注里面的主体。可收集大量的可见光图，然后基于COCO数据集中的前景目标图和简单的背景图进行融合得到大量的纯色背景或简单背景的图像，作为训练的可见光图。COCO数据集中包含数量众多的前景目标。
主体检测模型的网络结构采用基于mobile-Unet的架构，并在decoder部分增加层之间的桥接，使高级语义特征在上采样时更充分的传递。中心权重图作用于主体监测模型的输出层，引入中心注意力机制，让处于画面中心的对象更容易被检测为主体。
主体检测模型的网络结构包括输入层、卷积层(conv)、池化层(pooling)、双线性插值层(Bilinear Up sampling)、卷积特征连接层(concat+conv)、输出层等。在双线性插值层和卷积特征连接层之间采用deconvolution+add(反卷积特征叠加)操作实现桥接，使得高级语义特征在上采样时更充分的传递。卷积层、池化层、双线性插值层、卷积特征连接层等可为主体检测模型的中间层。
初始网络权重是指初始化的深度学习网络模型的每一层的初始权重。目标网络权重是指训练得到的能够检测图像主体的深度学习网络模型的每一层的权重。可通过预设训练次数得到目标网络权重，也可以设置深度学习网络模型的损失函数。当训练得到损失函数值小于损失阈值时，将主体检测模型的当前网络权重作为目标网络权重。
图4为一个实施例中主体检测模型的网络结构示意图。如图4所示，主体检测模型的网络结构包括卷积层402、池化层404、卷积层406、池化层408、卷积层410、池化层412、卷积层414、池化层416、卷积层418、卷积层420、双线性插值层422、卷积层424、双线性插值层426、卷积层428、卷积特征连接层430、双线性插值层432、卷积层434、卷积特征连接层436、双线性插值层438、卷积层440、卷积特征连接层442等，卷积层402作为主体检测模型的输入层，卷积特征连接层442作为主体检测模型的输出层。本实施例中的主体检测模型的网络结构仅为示例，不作为对本申请的限制。可以理解的是，主体检测模型的网络结构中的卷积层、池化层、双线性插值层、卷积特征连接层等可以根据需要设置多个。
该主体检测模型的编码部分包括卷积层402、池化层404、卷积层406、池化层408、卷积层410、池化层412、卷积层414、池化层416、卷积层418，解码部分包括卷积层420、双线性插值层422、卷积层424、双线性插值层426、卷积层428、卷积特征连接层430、双线性插值层432、卷积层434、卷积特征连接层436、双线性插值层438、卷积层440、卷积特征连接层442。卷积层406和卷积层434级联(Concatenation)，卷积层410和卷积层428级联，卷积层414与卷积层424级联。双线性插值层422和卷积特征连接层430采用反卷积特征叠加(Deconvolution+add)桥接。双线性插值层432和卷积特征连接层436采用反卷积特征叠加桥接。双线性插值层438和卷积特征连接层442采用反卷积特征叠加桥接。
原图450(如可见光图)输入到主体检测模型的卷积层402，深度图460作用于主体检测模型的卷积特征连接层442，中心权重图470作用于主体检测模型的卷积特征连接层442。深度图460和中心权重图470分别作为一个乘积因子输入到卷积特征连接层442。原图450、深度图460和中心权重图470输入到主体检测模型后输出包含主体的置信度图480。
该主体检测模型的训练过程中对深度图采用预设数值的丢失率。该预设数值可为50％。深度图的训练过程中引入概率的dropout，让主体检测模型可以充分的挖掘深度图的信息，当主体检测模型无法获取深度图时，仍然可以输出准确结果。对深度图输入采用dropout的方式，让主体检测模型对深度图的鲁棒性更好，即使没有深度图也可以准确分割主体区域。
此外，因正常的电子设备拍摄过程中，深度图的拍摄和计算都相当耗时耗力，难以获取，在训练时深度图设计为50％的dropout概率，能够保证没有深度信息的时候主体检测模型依然可以正常检测。
对原图450采用高光检测层444进行高光检测识别出原图中的高光区域。对主体检测模型输出的主体区域置信度图进行自适应阈值过滤处理得到二值化的掩膜图，对二值化掩膜图进行形态学处理和引导滤波处理得到主体掩膜图，将主体掩膜图与包含高光区域的原图进行差分处理，将高光区域从主体掩膜图中删除得到去除高光的主体。主体区域置信度图是分布在0至1的置信度图，主体区域置信度图包含的噪点较多，有很多置信度较低的噪点，或聚合在一起的小块高置信度区域，通过区域自适应置信度阈值进行过滤处理，得到二值化掩膜图。对二值化掩膜图做形态学处理可以进一步降低噪声，做引导滤波处理，可以让边缘更平滑。可以理解的是，主体区域置信度图可为包含噪点的主体掩膜图。
本实施例中使用深度图作为特征以增强网络输出结果，并没有将深度图直接输入到主体检测模型的网络中，可以另外设计一个双深度学习网络结构，其中一个深度学习网络结构用于对深度图进行处理，另一个深度学习网络结构用于对RGB图进行处理，然后将两个深度学习网络结构的输出进行卷积特征连接，然后再输出。
在一个实施例中，该主体检测模型的训练方式，包括：获取同一场景的可见光图和已标注的主体掩膜图；生成与该可见光图对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小；将该可见光图作用于包含初始网络权重的主体检测模型的输入层，将该中心权重图作用于初始的主体检测模型的输出层，将该已标注的主体掩膜图作为该主体检测模型输出的真实值，对该包含初始网络权重的主体检测模型进行训练，得到该主体检测模型的目标网络权重。
本实施例中的训练采用可见光图和中心权重图，即在图4的主体检测模型的网络结构中输出层部分不引入深度图，采用可见光图作用在卷积层402，中心权重图470作用于主体检测模型的卷积特征连接层442。
采用训练好的主体检测模型识别图像中的主体的过程包括：加载主体检测模型，初始化主体检测模型的目标网络权重；获取当前场景的前一帧RGB图和深度图，根据相机标定参数对RGB图和深度图进行配准，并缩小到预设大小；对RGB图和深度图进行预处理，将RGB图从0到255的整型像素值归一化为-1到+1的浮点型，深度图归一化到0到1的浮点型；采用二维高斯函数生成与RGB图对应大小的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将处理后的RGB图、深度图和中心权重图输入到主体检测模型中，得到主体区域置信度图；对主体区域置信度图进行自适应阈值过滤，将置信度低于置信度阈值的像素点过滤掉，得到二值化掩膜图；对二值化掩膜图进行形态学处理和引导滤波处理，做膨胀、腐蚀操作，得到边缘提取的主体掩膜图。该主体掩膜图中记录了图像识别得到的目标主体及对应的目标区域。
图5为一个实施例中主体检测的过程示意图。如图5所示，RGB图502中存在一只蝴蝶，将RGB图输入到主体检测模型后得到主体区域置信度图504，然后对主体区域置信度图504进行滤波和二值化得到二值化掩膜图506，再对二值化掩膜图506进行形态学处理和引导滤波实现边缘增强，得到主体掩膜图508。该主体掩膜图508记录了图像识别得到的目标主体及对应的目标区域。
在一个实施例中，在获取当前帧图像之后，上述对焦方法还包括：
检测是否存在对屏幕的触控指令；
当检测到对屏幕的触控指令时，获取所述触控指令产生的触控区域，将所述触控区域作为所述当前帧图像的对焦区域，进行自动对焦；
当未检测到对屏幕的触控指令时，执行所述将所述目标区域作为所述当前帧图像的对焦区域，进行自动对焦的步骤主体。
其中，电子设备可配置有触控屏，触控屏可以检测到屏幕上的触控行为产生触控指令。电子设备的处理器检测到对屏幕的触控操作产生触控指令，捕捉触控指令产生的触控区域，然后将该触控区域作为目标区域。没有检测到触控指令时，则采用前一帧图像中的目标主体对应的目标区域作为当前帧图像的对焦区域。
本实施例中通过检测到触控指令时，将触控指令产生的触控区域作为目标区域，来进行对焦，可以基于用户所选择的区域作为对焦区域，满足用户的需求，提高对焦的准确性。
在一个实施例中，将所述目标区域作为所述当前帧图像的对焦区域，进行自动对焦，包括：将所述目标区域作为所述当前帧图像的对焦区域，获取所述当前帧图像中目标区域的相位差值，根据该相位差值从预先标定的相位差值与聚焦值的对应关系确定离焦值；根据所述离焦值控制透镜移动；再次获取下一帧图像中对应的所述目标区域的聚焦值；当检测到下一帧图像中对应的所述目标区域的聚焦值不为聚焦值峰值，则继续控制透镜移动；当检测到下一帧图像中对应的所述目标区域的聚焦值为聚焦值峰值，完成对焦。
具体地，采用相位检测自动对焦时，获取当前帧图像中对应的目标区域中每个像素点的相位差值，根据每个像素点的相位差值求和等方式得到该目标区域的相位差值。预先标定有相位差值与聚焦值之间的对应关系，当相位差值为零时，对应的聚焦值为聚焦值峰值，根据相位差值与聚焦值之间的对应关系可以确定当前聚焦值，再根据当前聚焦值和聚焦值峰值可以得到离焦值，再根据离焦值转换为移动方向和移动距离，控制透镜按照该移动方向移动对应的距离。然后将距离值和移动方向传输给执行器116，由执行器116根据距离值和移动方向控制透镜移动，以实现粗搜索(coarse search)。
电子设备的成像设备110再获取下一帧图像，传输给控制逻辑器150，控制逻辑器150计算下一帧图像中对应的目标区域的聚焦值。
控制逻辑器150检测该下一帧图像中对应的目标区域的聚焦值不为聚焦值峰值(Focus Value Peak)，则继续控制透镜移动，然后再获取该下一帧图像的下一帧图像中对应的目标区域的聚焦值，再次判断该聚焦值是否为聚焦值峰值。
控制逻辑器150检测该下一帧图像中对应的目标区域的聚焦值为聚焦值峰值，则完成了本次对焦。
本实施例中，通过相位检测自动对焦，可以计算得到离焦值，一次将透镜移动至聚焦值峰值附近，然后再进行细搜索聚焦值峰值，提高了对焦效率，节省对焦时间。因识别了目标主体及对应的目标区域，将目标区域作为对焦区域，对焦过程中，不会受到周围环境的影响，提高了对焦的准确性。
在一个实施例中，该当检测到下一帧图像中对应的该目标区域的聚焦值不为聚焦值峰值，则继续控制透镜移动，包括：当检测到下一帧图像中对应的该目标区域的聚焦值不为聚焦值峰值，则继续控制透镜按照预设步长移动，其中，该预设步长小于该离焦值。
具体地，预设步长根据需要设定。细搜索(fine search)中按照预设步长逐步移动透镜。
在一个实施例中，上述对焦方法还包括：逐帧采集所述当前帧图像后的目标图像；当所述目标图像与所述当前帧图像之间的帧数差值小于或等于帧数阈值，则采用目标跟踪算法对所述目标图像中的所述目标主体进行跟踪；当所述目标图像与所述当前帧图像之间的帧数差值大于所述帧数阈值，则对所述目标图像进行主体检测，得到所述目标图像中的目标主体及对应的目标区域。
具体地，目标跟踪算法可为Tracking By Detection、Kernelized CorrelationFilters等。识别到当前帧图像中的主体后，继续逐帧采集目标图像，获取目标图像与当前帧图像之间的帧数差值，当帧数差值小于或等于帧数阈值，则可以采用目标跟踪算法对该目标主体进行跟踪，将目标图像中跟踪得到的目标主体所在区域作为该帧图像中的目标区域；当帧数差值大于帧数阈值，则需要重新对图像进行主体检测，得到该目标图像中的目标主体及所在目标区域，将该目标区域作为对焦区域，来辅助自动对焦，避免出现跟踪图像帧数过多，导致的目标主体跟踪丢失或不准确。
图6为另一个实施例中对焦方法的流程图。如图6所示，一种对焦方法，包括：
步骤602，对前一帧图像进行主体检测，识别出前一帧图像中的目标主体及对应的目标区域。
步骤604，获取当前帧图像中目标区域的相位差值，根据该相位差值从预先标定的相位差值与聚焦值的对应关系确定离焦值。
步骤606，根据该离焦值控制透镜移动。
根据离焦值控制透镜移动，实现coarse research(粗搜索)。
步骤608，获取下一帧图像中对应的该目标区域的聚焦值。
步骤610，检测该聚焦值是否为聚焦值峰值，若是，执行步骤612，若否，控制透镜移动，返回执行步骤608。
步骤612，完成对焦。
本实施例中对焦方法，通过识别一帧图像中的目标主体所在的目标区域，然后在该帧图像的下一帧图像中找到对应的目标区域，作为下一帧图像的对焦区域，计算该对焦区域的相位差值，根据该相位差值确定了离焦值，然后再根据离焦值控制透镜移动，实现对焦的粗搜索，然后再次获取下一帧图像中对应的目标区域中的聚焦值，判断该聚焦值是否为聚焦值峰值，确定为聚焦值峰值，可表示对焦完成，该聚焦值不为聚焦值峰值，则控制透镜移动，继续搜索聚焦值峰值，直到达到聚焦值峰值，完成对焦，因识别了图像中的目标主体，对焦时确定了目标区域，不会受到其他区域的影响，提高了对焦的准确性。
图7为一个实施例中对焦方法的应用场景示意图。如图7所示，电子设备的摄像头拍摄一场景700，该场景700中包括第一区域710和第二区域720。第一区域710包含人像，第二区域720不包含人像。第二区域720的亮度值大于第一区域710。若摄像头直接进行自动对焦，因第二区域720的亮度值大于第一区域710，则会将第二区域720作为对焦区域进行对焦。采用本申请实施例中的对焦方法，因先检测到前一帧图像中的目标主体为人像，输出该目标主体对应的目标区域，将该目标区域作为当前帧图像的对焦区域，则确定目标主体即人像，在当前帧图像中对应的目标区域，然后将该人像所在的区域作为当前帧图像的对焦区域，即将第一区域710作为对焦区域，不会因第二区域720的亮度值大于第一区域710的亮度值而将第二区域720作为对焦区域，导致对焦不准确，从而提高了对焦的准确性。
应该理解的是，虽然图2和图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例中对焦装置的结构框图。如图8所示，一种对焦装置，包括第一获取模块810和对焦模块820。其中：
第一获取模块810用于获取当前帧图像。
对焦模块820用于将前一帧图像中的目标区域作为所述当前帧图像的对焦区域，进行自动对焦；其中，所述前一帧图像为所述当前帧图像的相邻上一帧图像；所述前一帧图像的目标区域是将所述前一帧图像输入到主体检测模型中进行识别，得到的所述前一帧图像中的目标主体所在的目标区域，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
在一个实施例中，如图9所示，上述对焦装置还包括主体检测模块830。主体检测模块830还用于生成与所述前一帧图像对应的中心权重图；将所述前一帧图像和所述中心权重图输入到主体检测模型中，得到所述前一帧图像中的目标主体，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型。
在一个实施例中，所述主体检测模型包括依次相连的输入层、中间层和输出层；
主体检测模块830还用于将所述前一帧图像作用于主体检测模型的输入层；以及将所述中心权重图作用于所述主体检测模型的输出层。
在一个实施例中，主体检测模块830还用于获取与所述前一帧图像对应的深度图；生成与所述前一帧图像对应的中心权重图；将所述前一帧图像、所述深度图和所述中心权重图输入到主体检测模型中，得到所述前一帧图像中的目标主体，其中，所述主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体进行训练得到的模型。
在一个实施例中，所述主体检测模型包括依次相连的输入层、中间层和输出层；
主体检测模块830还用于将所述前一帧图像作用于主体检测模型的输入层；以及将所述深度图和所述中心权重图作用于所述主体检测模型的输出层。
在一个实施例中，主体检测模块830还用于当存在多个主体时，根据每个主体所属类别的优先级、每个主体在前一帧图像中所占的面积、每个主体在前一帧图像中的位置中的至少一种，确定目标主体。
在一个实施例中，主体检测模块830还用于当识别到前一帧图像中的主体有多个时，则获取所述多个主体所属类别的优先级，选取优先级最高的主体作为目标主体。
在一个实施例中，主体检测模块830还用于当优先级最高的主体存在多个时，获取所述优先级最高的主体在前一帧图像中的位置与所述前一帧图像的中心点之间的距离，选择距离最小的主体作为所述目标主体。
在一个实施例中，主体检测模块830还用于当优先级最高的主体存在多个时，获取所述优先级最高的主体各自在前一帧图像中所占的面积，选择面积最大的主体作为目标主体。
在一个实施例中，如图9所示，对焦装置还包括指令检测模块840。指令检测模块用于在获取当前帧图像之后，检测是否存在对屏幕的触控指令；
对焦模块820还用于当检测到对屏幕的触控指令时，获取所述触控指令产生的触控区域，将所述触控区域作为所述当前帧图像的对焦区域，进行自动对焦；
对焦模块820还用于当未检测到对屏幕的触控指令时，将所述目标区域作为所述当前帧图像的对焦区域，进行自动对焦。
在一个实施例中，对焦模块820还用于将所述目标区域作为所述当前帧图像的对焦区域，获取所述当前帧图像中目标区域的相位差值，根据该相位差值从预先标定的相位差值与聚焦值的对应关系确定离焦值；根据所述离焦值控制透镜移动；再次获取下一帧图像中对应的所述目标区域的聚焦值；当检测到下一帧图像中对应的所述目标区域的聚焦值不为聚焦值峰值，则继续控制透镜移动；当检测到下一帧图像中对应的所述目标区域的聚焦值为聚焦值峰值，完成对焦。
在一个实施例中，对焦模块820还用于当检测到下一帧图像中对应的所述目标区域的聚焦值不为聚焦值峰值，则继续控制透镜按照预设步长移动，其中，所述预设步长小于所述离焦值。
在一个实施例中，如图10所示，上述对焦装置还包括跟踪模块850。
第一获取模块810还用于逐帧采集所述当前帧图像后的目标图像。
跟踪模块850用于当所述目标图像与所述当前帧图像之间的帧数差值小于或等于帧数阈值，则采用目标跟踪算法对所述目标图像中的所述目标主体进行跟踪；
主体检测模块830用于当所述目标图像与所述当前帧图像之间的帧数差值大于所述帧数阈值，则对所述目标图像进行主体检测，得到所述目标图像中的目标主体及对应的目标区域。
上述对焦装置中各个模块的划分仅用于举例说明，在其他实施例中，可将对焦装置按照需要划分为不同的模块，以完成上述对焦装置的全部或部分功能。
图11为一个实施例中电子设备的内部结构示意图。如图11所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种对焦方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的对焦装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行对焦方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行对焦方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种对焦方法，其特征在于，包括：
获取当前帧图像；
将前一帧图像中的目标区域作为所述当前帧图像的对焦区域，进行自动对焦；
其中，所述前一帧图像为所述当前帧图像的相邻上一帧图像；所述前一帧图像的目标区域是将所述前一帧图像输入到主体检测模型中进行识别，得到的所述前一帧图像中的目标主体所在的目标区域，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
2.根据权利要求1所述的方法，其特征在于，所述将所述前一帧图像输入到主体检测模型中，得到所述前一帧图像中的目标主体，包括：
生成与所述前一帧图像对应的中心权重图；
将所述前一帧图像和所述中心权重图输入到主体检测模型中，得到所述前一帧图像中的目标主体，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型。
3.根据权利要求2所述的方法，其特征在于，所述主体检测模型包括依次相连的输入层、中间层和输出层；
所述将所述前一帧图像和所述中心权重图输入到主体检测模型中，包括：
将所述前一帧图像作用于主体检测模型的输入层；
将所述中心权重图作用于所述主体检测模型的输出层。
4.根据权利要求1所述的方法，其特征在于，所述将所述前一帧图像输入到主体检测模型中，得到所述前一帧图像中的目标主体，包括：
获取与所述前一帧图像对应的深度图；
生成与所述前一帧图像对应的中心权重图；
将所述前一帧图像、所述深度图和所述中心权重图输入到主体检测模型中，得到所述前一帧图像中的目标主体，其中，所述主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体进行训练得到的模型。
5.根据权利要求4所述的方法，其特征在于，所述主体检测模型包括依次相连的输入层、中间层和输出层；
所述将所述前一帧图像、所述深度图和所述中心权重图输入到主体检测模型中，包括：
将所述前一帧图像作用于主体检测模型的输入层；
将所述深度图和所述中心权重图作用于所述主体检测模型的输出层。
6.根据权利要求1所述的方法，其特征在于，所述目标主体的确定方式，包括：
当存在多个主体时，根据每个主体所属类别的优先级、每个主体在所述前一帧图像中所占的面积、每个主体在所述前一帧图像中的位置中的至少一种，确定目标主体。
7.根据权利要求1所述的方法，其特征在于，所述目标主体的确定方式，包括：
当识别到前一帧图像中的主体有多个时，则获取所述多个主体所属类别的优先级，选取优先级最高的主体作为目标主体。
8.根据权利要求7所述的方法，其特征在于，所述目标主体的确定方式，还包括：
当优先级最高的主体存在多个时，获取所述优先级最高的主体在所述前一帧图像中的位置与所述前一帧图像的中心点之间的距离，选择距离最小的主体作为所述目标主体。
9.根据权利要求7所述的方法，其特征在于，所述目标主体的确定方式，还包括：
当优先级最高的主体存在多个时，获取所述优先级最高的主体各自在所述前一帧图像中所占的面积，选择面积最大的主体作为目标主体。
10.根据权利要求1所述的方法，其特征在于，所述在获取当前帧图像之后，所述方法还包括：
检测是否存在对屏幕的触控指令；
当检测到对屏幕的触控指令时，获取所述触控指令产生的触控区域，将所述触控区域作为所述当前帧图像的对焦区域，进行自动对焦；
当未检测到对屏幕的触控指令时，执行所述将所述前一帧图像中的目标区域作为所述当前帧图像的对焦区域，进行自动对焦的步骤。
11.根据权利要求1所述的方法，其特征在于，所述将所述前一帧图像中的目标区域作为所述当前帧图像的对焦区域，进行自动对焦，包括：
将所述目标区域作为所述当前帧图像的对焦区域，获取所述当前帧图像中目标区域的相位差值，根据该相位差值从预先标定的相位差值与聚焦值的对应关系确定离焦值；
根据所述离焦值控制透镜移动；
再次获取下一帧图像中对应的所述目标区域的聚焦值；
当检测到下一帧图像中对应的所述目标区域的聚焦值不为聚焦值峰值，则继续控制透镜移动；
当检测到下一帧图像中对应的所述目标区域的聚焦值为聚焦值峰值，完成对焦。
12.根据权利要求11所述的方法，其特征在于，所述当检测到下一帧图像中对应的所述目标区域的聚焦值不为聚焦值峰值，则继续控制透镜移动，包括：
当检测到下一帧图像中对应的所述目标区域的聚焦值不为聚焦值峰值，则继续控制透镜按照预设步长移动，其中，所述预设步长小于所述离焦值。
13.根据权利要求1所述的方法，其特征在于，所述方法还包括：
逐帧采集所述当前帧图像后的目标图像；
当所述目标图像与所述当前帧图像之间的帧数差值小于或等于帧数阈值，则采用目标跟踪算法对所述目标图像中的所述目标主体进行跟踪；
当所述目标图像与所述当前帧图像之间的帧数差值大于所述帧数阈值，则对所述目标图像进行主体检测，得到所述目标图像中的目标主体及对应的目标区域。
14.一种对焦装置，其特征在于，包括：
第一获取模块，用于获取当前帧图像；
对焦模块，用于将所述目标区域作为所述当前帧图像的对焦区域，进行自动对焦；
其中，所述前一帧图像为所述当前帧图像的相邻上一帧图像；所述前一帧图像的目标区域是将所述前一帧图像输入到主体检测模型中进行识别，得到的所述前一帧图像中的目标主体所在的目标区域，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
15.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至13中任一项所述的对焦方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至13中任一项所述的方法的步骤。
CN201910571894.2A 2019-06-28 2019-06-28 对焦方法和装置、电子设备、计算机可读存储介质 Active CN110248096B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910571894.2A CN110248096B (zh) 2019-06-28 2019-06-28 对焦方法和装置、电子设备、计算机可读存储介质
US16/842,471 US11178324B2 (en) 2019-06-28 2020-04-07 Focusing method and device, electronic device and computer-readable storage medium
EP20174739.1A EP3758359A1 (en) 2019-06-28 2020-05-14 Focusing method and device, electronic device and computer-readable storage medium
PCT/CN2020/094463 WO2020259249A1 (en) 2019-06-28 2020-06-04 Focusing method and device, electronic device and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910571894.2A CN110248096B (zh) 2019-06-28 2019-06-28 对焦方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110248096A true CN110248096A (zh) 2019-09-17
CN110248096B CN110248096B (zh) 2021-03-12

Family

ID=67890088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910571894.2A Active CN110248096B (zh) 2019-06-28 2019-06-28 对焦方法和装置、电子设备、计算机可读存储介质

Country Status (4)

Country Link
US (1) US11178324B2 (zh)
EP (1) EP3758359A1 (zh)
CN (1) CN110248096B (zh)
WO (1) WO2020259249A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110545384A (zh) * 2019-09-23 2019-12-06 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110610171A (zh) * 2019-09-24 2019-12-24 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110661977A (zh) * 2019-10-29 2020-01-07 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN110688926A (zh) * 2019-09-19 2020-01-14 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
WO2020259249A1 (en) * 2019-06-28 2020-12-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Focusing method and device, electronic device and computer-readable storage medium
WO2021057474A1 (zh) * 2019-09-24 2021-04-01 Oppo广东移动通信有限公司 主体对焦方法、装置、电子设备和存储介质
WO2021057652A1 (zh) * 2019-09-29 2021-04-01 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
WO2021207945A1 (zh) * 2020-04-14 2021-10-21 深圳市大疆创新科技有限公司 对焦控制方法、装置、设备、可移动平台和存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622213B (zh) * 2018-02-09 2022-11-15 百度时代网络技术（北京）有限公司 利用3d语义地图进行深度定位和分段的系统和方法
US11669724B2 (en) 2018-05-17 2023-06-06 Raytheon Company Machine learning using informed pseudolabels
US11068747B2 (en) * 2019-09-27 2021-07-20 Raytheon Company Computer architecture for object detection using point-wise labels
US11676391B2 (en) 2020-04-16 2023-06-13 Raytheon Company Robust correlation of vehicle extents and locations when given noisy detections and limited field-of-view image frames
US11388334B2 (en) * 2020-05-22 2022-07-12 Qualcomm Incorporated Automatic camera guidance and settings adjustment
US11895409B2 (en) * 2020-08-20 2024-02-06 Qualcomm Incorporated Image processing based on object categorization
US20220257213A1 (en) * 2020-10-26 2022-08-18 Chison Medical Technologies Co., Ltd. Pulse wave velocity measuring method and ultrasound device
US11562184B2 (en) 2021-02-22 2023-01-24 Raytheon Company Image-based vehicle classification
CN113129281B (zh) * 2021-04-13 2022-06-21 广西大学 一种基于深度学习的小麦茎秆截面参数检测方法
US11852895B2 (en) * 2022-02-28 2023-12-26 e-con Systems India Private Limited System and method for obtaining optimal focus of an image capturing device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463878A (zh) * 2014-12-11 2015-03-25 南京理工大学 一种新的深度图像局部描述符方法
US20160073004A1 (en) * 2014-09-09 2016-03-10 Casio Computer Co., Ltd. Detection of object in digital image
CN106127733A (zh) * 2016-06-14 2016-11-16 湖南拓视觉信息技术有限公司 人体目标识别的方法和装置
CN107301864A (zh) * 2017-08-16 2017-10-27 重庆邮电大学 一种基于Maxout神经元的深度双向LSTM声学模型
CN107682740A (zh) * 2017-09-11 2018-02-09 广东欧珀移动通信有限公司 在视频中合成音频方法和电子装置
CN107948514A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像虚化处理方法、装置及移动设备
CN108024065A (zh) * 2017-12-28 2018-05-11 努比亚技术有限公司 一种终端拍摄的方法、终端及计算机可读存储介质
CN108229425A (zh) * 2018-01-29 2018-06-29 浙江大学 一种基于高分辨率遥感图像的水体识别方法
CN108337471A (zh) * 2017-02-24 2018-07-27 腾讯科技（深圳）有限公司 视频画面的处理方法及装置
CN109684925A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 一种基于深度图像的人脸活体检测方法及设备
CN109792478A (zh) * 2016-09-01 2019-05-21 迪尤莱特公司 基于焦点目标信息调整焦点的系统和方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321489A (ja) 2004-05-07 2005-11-17 Ricoh Co Ltd 撮像装置
EP1966648A4 (en) * 2005-12-30 2011-06-15 Nokia Corp METHOD AND DEVICE FOR ADJUSTING THE AUTOFOCUS OF A VIDEO CAMERA BY FOLLOWING A REGION OF INTEREST
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
CN101750845B (zh) 2008-12-12 2012-02-15 三星电机株式会社 自动聚焦方法
US8593534B2 (en) 2010-09-08 2013-11-26 Apple Inc. Auto-triggered camera self-timer based on recognition of subject's presence in scene
US9077890B2 (en) * 2011-02-24 2015-07-07 Qualcomm Incorporated Auto-focus tracking
JP5808124B2 (ja) * 2011-03-24 2015-11-10 キヤノン株式会社 焦点検出装置及びその制御方法並びに焦点検出装置を有する撮像装置
US9619708B2 (en) * 2012-04-30 2017-04-11 Niko Corporation Method of detecting a main subject in an image
CN103679744B (zh) 2012-09-17 2017-09-12 浙江大华技术股份有限公司 一种旋转及变焦ptz摄像机跟踪的方法及装置
KR102121528B1 (ko) * 2013-08-23 2020-06-10 삼성전자주식회사 촬영 장치 및 이의 제어 방법
CN103679756A (zh) 2013-12-26 2014-03-26 北京工商大学 基于颜色和形状特征的自动目标跟踪方法及系统
JP6214421B2 (ja) * 2014-02-18 2017-10-18 オリンパス株式会社 撮像装置、撮像方法
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
CN104469167B (zh) 2014-12-26 2017-10-13 小米科技有限责任公司 自动对焦方法及装置
CN105847664B (zh) 2015-07-31 2019-01-29 维沃移动通信有限公司 一种移动终端拍照的方法和装置
CN205883405U (zh) 2016-07-29 2017-01-11 深圳众思科技有限公司 一种自动追焦装置及终端
CN106686308B (zh) 2016-12-28 2018-02-16 平安科技（深圳）有限公司 图像焦距检测方法和装置
CN108170817A (zh) 2017-12-29 2018-06-15 努比亚技术有限公司 照片主体的演变视频获取方法、装置及可读存储介质
CN108900778A (zh) 2018-06-27 2018-11-27 努比亚技术有限公司 一种拍摄方法、移动终端及计算机可读存储介质
CN109167910A (zh) 2018-08-31 2019-01-08 努比亚技术有限公司 对焦方法、移动终端及计算机可读存储介质
CN109089047B (zh) 2018-09-29 2021-01-12 Oppo广东移动通信有限公司 控制对焦的方法和装置、存储介质、电子设备
CN109525786B (zh) 2018-12-26 2021-04-30 北京旷视科技有限公司 视频处理方法、装置、终端设备及存储介质
CN110248096B (zh) 2019-06-28 2021-03-12 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160073004A1 (en) * 2014-09-09 2016-03-10 Casio Computer Co., Ltd. Detection of object in digital image
CN104463878A (zh) * 2014-12-11 2015-03-25 南京理工大学 一种新的深度图像局部描述符方法
CN106127733A (zh) * 2016-06-14 2016-11-16 湖南拓视觉信息技术有限公司 人体目标识别的方法和装置
CN109792478A (zh) * 2016-09-01 2019-05-21 迪尤莱特公司 基于焦点目标信息调整焦点的系统和方法
CN108337471A (zh) * 2017-02-24 2018-07-27 腾讯科技（深圳）有限公司 视频画面的处理方法及装置
CN107301864A (zh) * 2017-08-16 2017-10-27 重庆邮电大学 一种基于Maxout神经元的深度双向LSTM声学模型
CN107682740A (zh) * 2017-09-11 2018-02-09 广东欧珀移动通信有限公司 在视频中合成音频方法和电子装置
CN107948514A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像虚化处理方法、装置及移动设备
CN108024065A (zh) * 2017-12-28 2018-05-11 努比亚技术有限公司 一种终端拍摄的方法、终端及计算机可读存储介质
CN108229425A (zh) * 2018-01-29 2018-06-29 浙江大学 一种基于高分辨率遥感图像的水体识别方法
CN109684925A (zh) * 2018-11-21 2019-04-26 深圳奥比中光科技有限公司 一种基于深度图像的人脸活体检测方法及设备

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020259249A1 (en) * 2019-06-28 2020-12-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Focusing method and device, electronic device and computer-readable storage medium
US11178324B2 (en) 2019-06-28 2021-11-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Focusing method and device, electronic device and computer-readable storage medium
CN110688926B (zh) * 2019-09-19 2022-12-13 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN110688926A (zh) * 2019-09-19 2020-01-14 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN110545384B (zh) * 2019-09-23 2021-06-08 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110545384A (zh) * 2019-09-23 2019-12-06 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
EP4013033A4 (en) * 2019-09-24 2022-10-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. SUBJECT FOCUSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND STORAGE MEDIA
US20220166930A1 (en) * 2019-09-24 2022-05-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and device for focusing on target subject, and electronic device
WO2021057474A1 (zh) * 2019-09-24 2021-04-01 Oppo广东移动通信有限公司 主体对焦方法、装置、电子设备和存储介质
CN110610171A (zh) * 2019-09-24 2019-12-24 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
WO2021057652A1 (zh) * 2019-09-29 2021-04-01 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN113766125A (zh) * 2019-09-29 2021-12-07 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN113766125B (zh) * 2019-09-29 2022-10-25 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
WO2021082883A1 (zh) * 2019-10-29 2021-05-06 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN110661977B (zh) * 2019-10-29 2021-08-03 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
CN110661977A (zh) * 2019-10-29 2020-01-07 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质
EP4044579A4 (en) * 2019-10-29 2022-11-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR MAIN BODY DETECTION, ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIUM
WO2021207945A1 (zh) * 2020-04-14 2021-10-21 深圳市大疆创新科技有限公司 对焦控制方法、装置、设备、可移动平台和存储介质

Also Published As

Publication number Publication date
CN110248096B (zh) 2021-03-12
WO2020259249A1 (en) 2020-12-30
US20200412937A1 (en) 2020-12-31
US11178324B2 (en) 2021-11-16
EP3758359A1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
CN110248096A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US11457138B2 (en) Method and device for image processing, method for training object detection model
CN110149482B (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN110473185B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110572573B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110191287B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110493527B (zh) 主体对焦方法、装置、电子设备和存储介质
CN110334635A (zh) 主体追踪方法、装置、电子设备和计算机可读存储介质
CN115442515A (zh) 图像处理方法和设备
CN107800965B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110248097A (zh) 追焦方法、装置、终端设备、计算机可读存储介质
CN110349163A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108810413A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108734676A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109712177A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110248101A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110366048A (zh) 视频传输方法、装置、电子设备和计算机可读存储介质
CN110276831A (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN108616700A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110121031A (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN110378934A (zh) 主体检测方法、装置、电子设备和计算机可读存储介质
CN110392211A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110399823A (zh) 主体跟踪方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant