CN113766125B - 对焦方法和装置、电子设备、计算机可读存储介质 - Google Patents

对焦方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN113766125B
CN113766125B CN202111021102.8A CN202111021102A CN113766125B CN 113766125 B CN113766125 B CN 113766125B CN 202111021102 A CN202111021102 A CN 202111021102A CN 113766125 B CN113766125 B CN 113766125B
Authority
CN
China
Prior art keywords
preview image
subject
target
image
main body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111021102.8A
Other languages
English (en)
Other versions
CN113766125A (zh
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111021102.8A priority Critical patent/CN113766125B/zh
Publication of CN113766125A publication Critical patent/CN113766125A/zh
Application granted granted Critical
Publication of CN113766125B publication Critical patent/CN113766125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions

Abstract

本申请涉及一种对焦方法、装置、电子设备和计算机可读存储介质。所述方法包括：获取第一预览图像；确定第一预览图像中的目标主体；当第一预览图像满足预设条件时，确定目标主体的质心区域，其中，预设条件包括目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种；根据质心区域进行对焦。采用上述方法能够提高拍摄对象的清晰度。

Description

对焦方法和装置、电子设备、计算机可读存储介质
本申请是于2019年09月29日提交中国专利局，申请号为2019109314312，申请名称为“对焦方法和装置、电子设备、计算机可读存储介质”的分案申请，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理领域，特别是涉及一种对焦方法和装置、电子设备、计算机可读存储介质。
背景技术
随着图像处理技术的发展，人们对于图像的要求越来越高。在图像拍摄过程中，传统的对焦方法是对焦在整张图像的中心位置。然而，目前的对焦方法，在一些场景下，存在不能准确对焦导致拍摄对象较模糊的问题。
发明内容
本申请实施例提供一种对焦方法、装置、电子设备、计算机可读存储介质，能够提高拍摄对象的清晰度。
一种对焦方法，包括：
获取第一预览图像；
确定第一预览图像中的目标主体；
当第一预览图像满足预设条件时，确定目标主体的质心区域，其中，预设条件包括目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种；
根据质心区域进行对焦。
一种对焦装置，包括：
获取模块，用于获取第一预览图像；
主体确定模块，用于确定第一预览图像中的目标主体；
质心区域确定模块，用于当第一预览图像满足预设条件时，确定目标主体的质心区域，其中，预设条件包括目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种；
对焦模块，用于根据质心区域进行对焦。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取第一预览图像；
确定第一预览图像中的目标主体；
当第一预览图像满足预设条件时，确定目标主体的质心区域，其中，预设条件包括目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种；
根据质心区域进行对焦。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：
获取第一预览图像；
确定第一预览图像中的目标主体；
当第一预览图像满足预设条件时，确定目标主体的质心区域，其中，预设条件包括目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种；
根据质心区域进行对焦。
上述对焦方法和装置、电子设备、计算机可读存储介质，获取第一预览图像，确定第一预览图像中的目标主体，当第一预览图像满足目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种时，确定目标主体的质心区域，并根据质心区域进行对焦，能够在人脸过小或者光照过暗时可以迅速找到适当的位置进行自动对焦，提高对焦效率，同时避免对焦到背景区域，提高对焦准确性以及拍摄对象的清晰度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理电路的示意图；
图2为一个实施例中对焦方法的流程图；
图3为一个实施例中确定目标主体的质心区域的流程示意图；
图4为一个实施例中确定第一预览图像中的目标主体的流程示意图；
图5为一个实施例中质心坐标求取的流程示意图；
图6为一个实施例中主体检测的过程示意图；
图7为另一个实施例中对焦方法的流程示意图；
图8为一个实施例中对焦装置的结构框图；
图9为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一预览图像称为第二预览图像，且类似地，可将第二预览图像称为第一预览图像。第一预览图像和第二预览图像两者都是预览图像，但其不是同一预览图像。
本申请实施例中的对焦方法可应用于电子设备。该电子设备可为带有摄像头的计算机设备、个人数字助理、平板电脑、智能手机、穿戴式设备等。电子设备中的摄像头在拍摄图像时，会进行自动对焦，以保证拍摄的图像清晰。该电子设备中的摄像头数量不限，例如可以是一个、两个、三个等。
在一个实施例中，上述电子设备中可包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112、图像传感器114、执行器116的照相机。执行器116可驱动透镜112移动。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。传感器120(如陀螺仪)可基于传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。传感器120接口可以利用SMIA(Standard Mobile ImagingArchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器114也可将原始图像数据发送给传感器120，传感器120可基于传感器120接口类型把原始图像数据提供给ISP处理器140，或者传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如，传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器170可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。此外，ISP处理器140的输出可发送给编码器/解码器160，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器170设备上之前解压缩。编码器/解码器160可由CPU或GPU或协处理器实现。
ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。控制逻辑器150可将透镜112的控制参数输出给执行器116，由执行器116根据控制参数驱动透镜112移动。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。
在本申请实施例中，该电子设备所包括的处理器140执行存储在存储器上的计算机程序时实现获取第一预览图像；确定第一预览图像中的目标主体；当第一预览图像满足预设条件时，确定目标主体的质心区域，其中，预设条件包括目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种；根据质心区域进行对焦。
图2为一个实施例中对焦方法的流程图。本实施例中的对焦方法，以运行于图1中的终端为例进行描述。如图5所示，对焦方法包括步骤202至步骤208。
步骤202，获取第一预览图像。
其中，预览图像可为可见光图像。预览图像是指摄像头未进行拍摄时呈现在电子设备屏幕上的图像。第一预览图像可为当前帧的预览图像。
具体地，当获取到采集指令时，电子设备的摄像头采集第一预览图像并显示在电子设备的显示装置上。
步骤204，确定第一预览图像中的目标主体。
其中，目标主体可为预先配置的能够识别的对象。该对象可为人、物、动物等。物可包括花、山、树等。动物可包括猫、狗、牛、羊、老虎等。目标主体可以是不规则图形轮廓，也可以是规则的图形轮廓。
具体地，电子设备可对第一预览图像进行主体检测，确定第一预览图像中的目标主体。或者电子设备可通过检测第一预览图像中的特征点得到目标主体。
步骤206，当第一预览图像满足预设条件时，确定目标主体的质心区域，其中，预设条件包括目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种。
其中，质心是指物质上被认为质量集中于此的一个假想点。质心区域是指该质心所在的区域。质心区域可以是一个方形区域、圆形区域、三角形区域等不限于此。人脸面积阈值是指在电子设备中存储的人脸面积的临界值。人脸面积阈值可根据需求设置。例如，在同一距离下，用户A的人脸面积大于预设人脸面积阈值。为了符合个性化设置，用户A可自行配置人脸面积阈值。亮度阈值是指在电子设备中存储的图像亮度的临界值。亮度阈值也可根据时间配置。例如，白天，即早上七点到晚上六点，为第一亮度阈值；晚上，即晚上六点到早上七点，为第二亮度阈值。第一亮度阈值大于第二亮度阈值。或者，亮度阈值根据地点配置。电子设备获取所在地点，当该地点为室外时，自动选择第一亮度阈值；当该地点为室内时，自动选择第二亮度阈值，其中，第一亮度阈值大于第二亮度阈值。
具体地，当电子设备检测到第一预览图像满足预设条件时，即预设条件包括目标主体对应的人脸面积小于人脸面积阈值、人脸面积等于人脸面积阈值、第一预览图像的亮度小于亮度阈值、第一预览图像的亮度等于亮度阈值、目标主体对应的人脸面积小于人脸面积阈值且亮度小于亮度阈值、人脸面积小于人脸面积阈值且亮度等于亮度阈值、人脸面积等于面积阈值且亮度小于亮度阈值，或者人脸面积等于面积阈值且亮度等于亮度阈值，确定目标主体的质心区域。
本实施例中，电子设备确定第一预览图像中的目标主体所在区域。电子设备在目标主体所在区域中检测是否存在人脸。当目标主体所在区域中存在人脸时，判断目标主体的人脸面积是否满足人脸面积阈值。
本实施例中，电子设备通过检测人脸的特征点得到人脸区域，再获取该人脸特征点所围成的区域对应的像素点的数量计算得到目标主体对应的人脸面积。
本实施例中，电子设备可通过HSV(Hue Saturation Value，色调饱和度亮度)颜色模型算法得到第一预览图像的亮度。
本实施例中，电子设备可获取环境亮度，将环境亮度转化为图像亮度，从而得到图像亮度。
本实施例中，电子设备可通过深度摄像头获取人脸到手机屏幕的距离，根据该距离计算得到人脸面积。或者，电子设备可根据距离与人脸面积的对应关系得到目标主体对应的人脸面积。
步骤208，根据质心区域进行对焦。
其中，自动对焦的方式可以是反差式对焦(Contrast Detection Auto Focus，CDAF)、相位对焦(Phase Detection Auto Focus，PDAF)或者激光对焦(Laser DetectionAuto Focus，LADF)等不限于此。
具体地，电子设备可将质心区域作为第一预览图像中的对焦区域。电子设备可根据对焦区域控制摄像头进行自动对焦。即电子设备根据对焦区域调节透镜，进行自动对焦。相位检测自动对焦是通过传感器获取相位差，根据相位差计算离焦值，根据离焦值控制透镜移动，再寻找聚焦值(Focus Value，简称FV)峰值。激光对焦是通过记录红外激光从拍摄装置发射，经过目标表面反射，最后再被测距仪接收到的时间差，来计算目标到测试仪器的距离，从而实现对焦。
本实施例中，电子设备可将质心区域作为参考区域，并根据参考区域处理得到对焦区域，进行自动对焦。
本实施例中的对焦方法，获取第一预览图像，确定第一预览图像中的目标主体，当第一预览图像满足目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种时，确定目标主体的质心区域，并以质心区域作为对焦区域进行对焦，能够在人脸过小或者光照过暗时可以迅速找到适当的位置进行自动对焦，提高对焦效率，同时避免对焦到背景区域，提高对焦准确性以及拍摄对象的清晰度。
在一个实施例中，如图3所示，图3为一个实施例中确定目标主体的质心区域的流程示意图，包括：
步骤302，获取目标主体对应的像素点的集合。
其中，像素点的集合是指目标主体所对应的多个像素点。
具体地，电子设备确定目标主体对应的像素点的集合。例如，目标主体为人脸，那么目标主体对应的像素点的集合为人脸轮廓所围成的多个像素点。目标主体为人像，那么目标主体对应的像素点的集合为人像所围成的多个像素点。
步骤304，获取目标主体所对应的像素点的集合中各个像素点的坐标。
其中，每个像素点均有像素点坐标。
具体地，电子设备获取目标主体所对应的像素点的集合中各个像素点的坐标。例如，像素点的集合中有100个像素点，那么电子设备获取100个像素点中每个像素点的坐标。
步骤306，根据各个像素点的坐标，得到目标主体的质心坐标。
具体地，电子设备从各个像素点的坐标中查找到横坐标最小值、横坐标最大值、纵坐标最小值和纵坐标最大值。电子设备根据横坐标最小值和横坐标最大值求均值得到质心坐标的横坐标。电子设备根据纵坐标最小值和最大值求均值得到质心坐标的纵坐标。
本实施例中，电子设备可获取目标主体的轮廓对应的像素点坐标。根据目标主体的轮廓上各个像素点对应的目标像素点坐标得到目标主体的质心坐标。电子设备可对轮廓上像素点坐标的横坐标求均值以及纵坐标求均值得到目标主体的质心坐标。
本实施例中，当计算得到的质心坐标中含有小数时，对质心坐标取整。或者，对该小数进行四舍五入，得到质心坐标。
步骤308，确定质心坐标所在区域。
具体地，电子设备可以质心坐标为中心确定质心坐标所在区域。例如以质心坐标为中心，横向取150个像素点，纵向取150个像素点作为质心坐标所在区域。或者以质心坐标为中心，以150个像素点为半径取一个圆形作为质心坐标所在区域等不限于此。
步骤310，将质心坐标所在区域作为目标主体的质心区域。
本申请实施例中的对焦方法，获取目标主体对应的像素点的集合，获取各个像素点的坐标，得到质心坐标，将质心坐标所在区域作为目标主体的质心区域，能够确定对焦区域，提高目标主体拍摄的清晰度。
在一个实施例中，根据各个像素点的坐标，得到目标主体的质心坐标，包括：将各个像素点的坐标求加权平均值，得到目标主体的质心坐标。
具体地，电子设备将各个像素点的坐标的横坐标求加权平均值，以及各个像素点坐标的纵坐标求加权平均值，得到目标主体的质心坐标。例如，目标像素点坐标有100个，分别为(X1,Y1)、(X2,Y2)…(X100,Y100)，设质心坐标为(A，B)，那么A＝(X1+X2+…+X100)/100，Y＝(Y1+Y2+…+Y100)/100。
本申请实施例中的对焦方法，将各个像素点的坐标求加权平均值，得到目标主体的质心坐标，能够获取所有的目标像素点坐标进行计算，提高质心坐标计算的准确性。
在一个实施例中，当第一预览图像满足预设条件时，确定目标主体的质心区域，其中，预设条件包括目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种，包括：
当第一预览图像满足目标主体对应的人脸面积大于人脸面积阈值时，判断第一预览图像的亮度是否大于亮度阈值；
当第一预览图像的亮度小于或等于亮度阈值时，确定目标主体的质心区域。
其中，判断目标主体对应的人脸面积大于人脸面积阈值的条件优先级可高于判断亮度条件的优先级。
具体地，当电子设备检测到第一预览图像满足第一预览图像中的目标主体对应的人脸面积大于人脸面积阈值时，判断第一预览图像的亮度是否大于亮度阈值。当电子设备检测到第一预览图像的亮度小于或等于亮度阈值时，确定目标主体的质心区域。
本申请实施例中的对焦方法，通过人脸面积是否大于人脸面积阈值以及第一预览图像的亮度是否大于亮度阈值两个条件判断是否需要确定目标主体的质心区域，能够在人脸面积大于人脸面积阈值且光线过暗时迅速找到适当的位置进行自动对焦，提高对焦效率，同时避免对焦到背景区域，提高对焦准确性以及拍摄对象的清晰度。
在一个实施例中，如图4所示，为一个实施例中确定第一预览图像中的目标主体的流程示意图，包括：
步骤402，对第一预览图像进行主体检测，得到目标主体所在区域，其中，目标主体所在区域对应的图像为主体掩膜图。
其中，目标主体所在区域可以是一个规则的区域。例如目标主体所在区域为矩形区域。目标主体所在区域的面积大于目标主体的面积。主体掩膜(mask)图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。
具体地，电子设备对第一预览图像进行主体检测，得到目标主体所在区域。
步骤404，获取目标主体所在区域中各像素点的灰度值。
其中，主体掩膜图中的一般包含两种颜色，即黑和白。且主体掩膜图一般包含两个灰度值，例如0和255不限于此。
具体地，电子设备获取主体掩膜图中目标主体所在区域中各像素点的灰度值。
步骤406，确定目标主体所在区域中满足目标灰度值的目标像素点集合。
具体地，目标灰度值是指目标主体对应的灰度值。由于主体掩膜图中一般包含两个灰度值，例如0和255，0可以代表背景，255代表主体。电子设备确定目标主体所在区域中满足目标灰度值的目标像素点集合。
步骤408，将目标像素点集合对应的区域作为目标主体。
具体地，电子设备将目标像素点集合对应的第一预览图像中的区域作为目标主体。例如主体掩膜图中的目标像素点集合为(X1,Y1)、(X2,Y2)…(X100,Y100)，那么在第一预览图像中的目标主体对应的像素点坐标也为(X1,Y1)、(X2,Y2)…(X100,Y100)。
本申请实施例中的对焦方法，对第一预览图像进行主体检测，得到目标主体所在区域，获取各像素点灰度值，确定满足目标灰度值的区域，得到目标主体，能够通过主体掩膜图确定目标主体，从而确定目标主体的质心区域，并以质心区域作为对焦区域进行对焦，能够在人脸过小或者光照过暗时可以迅速找到适当的位置进行自动对焦，提高对焦效率，同时避免对焦到背景区域，提高拍摄对象的清晰度。
图5为一个实施例中质心坐标求取的流程示意图。如图5所示，包括以下步骤：
步骤502，获取目标主体所在区域。
步骤504，遍历该目标主体所在区域中的各个像素点。
步骤506，记录灰度值为255的像素点坐标。
步骤508，求取灰度值为255的像素点坐标的平均值，得到质心坐标。
本申请实施例中的对焦方法，获取目标主体所在区域，遍历该目标主体所在区域中各个像素点，记录灰度值为255的像素点坐标，并求平均值得到质心坐标，能够得到质心坐标，提高对焦准确性以及拍摄对象的清晰度。
在一个实施例中，确定第一预览图像中的目标主体，包括：获取第二预览图像，其中，第二预览图像是第一预览图像的前向帧图像；对第二预览图像进行主体检测，得到参考主体；将参考主体作为第一预览图像中的目标主体。
其中，第二预览图像是第一预览图像的前向帧图像。前向帧的帧数量小于预设数量。例如，预设数量可以是5帧，那么前向帧图像可以为第一预览图像的前五帧对应的一帧图像，不可以是第一预览图像的前六帧对应的图像。
具体地，电子设备获取第二预览图像，并对第二预览图像进行主体检测，得到参考主体。由于相邻预设帧之间的图像差距较小，因此电子设备可将参考主体作为第一预览图像中的目标主体。
本申请实施例中的对焦方法，取第二预览图像，其中，第二预览图像是第一预览图像的前向帧图像，对第二预览图像进行主体检测，得到参考主体，由于相邻预设帧之间的图像差距较小，将参考主体作为第一预览图像中的目标主体，能提高图像处理效率，也提高对焦的效率。
在一个实施例中，对第二预览图像进行主体检测，得到参考主体，包括：将第二预览图像输入至主体检测模型中，得到第二预览图像中的参考主体，其中，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
其中，中心权重图是指用于记录可见光图中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征可见光图的图像中心像素点到图像边缘像素点的权重值逐渐减小。
主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的可见光图、中心权重图及已标注的主体掩膜图。其中，可见光图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(groundtruth)。
具体地，电子设备可将第二预览图像输入至主体检测模型中进行检测，得到第二预览图像中的参考主体。
本申请实施例中的对焦方法，将第二预览图像输入至主体检测模型中，得到第二预览图像中的参考主体，能够准确检测到第二预览图像中的目标主体，从而准确检测到第一预览图像中的目标主体，提高对焦的准确性以及拍摄对象的清晰度。
在一个实施例中，将第二预览图像输入至主体检测模型中，得到第二预览图像中的参考主体，包括：
生成与第二预览图像对应的中心权重图；
将第二预览图像和中心权重图输入到主体检测模型中，得到主体区域置信度图；
对主体区域置信度图进行处理，得到主体掩膜图；
根据主体掩膜图确定第二预览图像中的参考主体。
具体地，电子设备可根据第二预览图像的大小生成对应的中心权重图。电子设备将第二预览图像和中心权重图输入至主体检测模型中进行检测，得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率。例如某个像素点属于人的概率是0.6，花的概率是0.2，背景的概率是0.2。
主体区域置信度图中存在一些置信度较低、零散的点，可通过ISP处理器或中央处理器对主体区域置信度图进行过滤处理，得到主体掩膜图。过滤处理可采用配置置信度阈值，电子设备将主体区域置信度图中置信度值低于置信度阈值的像素点过滤。该置信度阈值可采用自适应置信度阈值，也可以采用固定阈值，也可以采用分区域配置对应的阈值。电子设备根据主体掩膜图确定第二预览图像中的参考主体。
本实施例中，根据主体掩膜图确定第二预览图像中的参考主体，包括：获取主体掩膜图中各像素点的灰度值，确定主体掩膜图中满足目标灰度值的目标像素点集合，将目标像素点集合对应的区域作为目标主体。
本申请实施例中的对焦方法，生成与第二预览图像对应的中心权重图，将第二预览图像和中心权重图输入到主体检测模型中，得到主体区域置信度图，对主体区域置信度图进行处理，得到主体掩膜图，根据主体掩膜图确定第二预览图像中的参考主体，能够精确地检测到第二预览图像中的目标主体，从而进行质心计算，提高对焦准确性。
在一个实施例中，对主体区域置信度图进行处理，得到主体掩膜图，包括：
对该主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对该二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。
具体地，ISP处理器或中央处理器将主体区域置信度图按照自适应置信度阈值过滤处理后，将保留的像素点的置信度值采用1表示，去掉的像素点的置信度值采用0表示，得到二值化掩膜图。
形态学处理可包括腐蚀和膨胀。可先对二值化掩膜图进行腐蚀操作，再进行膨胀操作，去除噪声；再对形态学处理后的二值化掩膜图进行引导滤波处理，实现边缘滤波操作，得到边缘提取的主体掩膜图。
本申请实施例中的对焦方法，对主体区域置信度图进行形态学处理和引导滤波处理可以保证得到的主体掩膜图的噪点少或没有噪点，边缘更加柔和，从而提高质心计算的准确性，进而提高对焦的准确性以及拍摄对象的清晰度。
在一个实施例中，该对焦方法还包括：获取第一预览图像的后向帧图像；采用目标跟踪算法对第一预览图像中的目标主体进行追踪，得到后向帧图像中的主体；当追踪的后向帧图像的帧数达到预设帧数时，重新确定图像中的主体。
其中，第一预览图像的后向帧图像可以是第一预览图像的下一帧图像、下两帧图像等等不限于此。目标跟踪算法可以是TLD(Tracking Learning Detection，跟踪学习检测)算法、Minimum OutputSum of Squared Error MOSSE(最小均方误差)滤波算法、Struck算法等不限于此。预设帧数可以是在电子设备中存储的帧数阈值。例如预设帧数可为10帧、20帧…等不限于此。
具体地，电子设备获取第一预览图像的后向帧图像。由于在预设帧数内，目标主体的移动范围不会太大，因此电子设备采用目标跟踪算法对第一预览图像中的目标主体进行追踪，得到后向帧中的主体。当追踪的后向帧图像的帧数达到预设帧数时，目标主体可能与第一预览图像中的目标主体的位置或者类型等不同，电子设备重新确定图像中的主体。
本申请实施例中的对焦方法，获取第一预览图像的后向帧图像，采用目标跟踪算法对第一预览图像中的目标主体进行追踪，得到后向帧图像中的主体，当追踪的后向帧图像的帧数达到预设帧数时，重新确定图像中的主体，能够提高主体检测的效率，从而提高对焦效率。
图6为一个实施例中主体检测的过程示意图。如图6所示，RGB图602中存在一只蝴蝶，将RGB图输入到主体检测模型后得到主体区域置信度图604，然后对主体区域置信度图604进行滤波和二值化得到二值化掩膜图606，再对二值化掩膜图606进行形态学处理和引导滤波实现边缘增强，得到主体掩膜图608。该主体掩膜图608记录了图像识别得到的目标主体及对应的目标主体区域。
在一个实施例中，确定第一预览图像中的目标主体，包括：当存在至少两个主体时，根据每个主体所属类别的优先级、每个主体在第一预览图像中所占的面积、每个主体在第一预览图像中的区域中的至少一种，确定第一预览图像中的目标主体。
其中，类别是指对主体所分的类，如人像、花、动物、风景等类别。
具体地，当存在多个主体时，获取每个主体所属类别的优先级，选取优先级最高或次高等的主体作为目标主体。例如，优先级为人脸＞动物＞花，第一预览图像中同时包含人脸、动物和花，那么电子设备确定人脸为目标主体。
当存在多个主体时，获取每个主体在图像中所占的面积，选取在可见光图中所占面积最大的主体作为目标主体。
当存在多个主体时，获取每个主体在图像中的位置，选取主体在图像的位置与该图像的中心点之间的距离最小的主体为目标主体。例如，花在图像中的中心点，人脸在中心点的另一侧，那么电子设备确定花为目标主体。
当存在多个主体所属类别的优先级相同且最高时，获取该多个主体在图像中所占的面积，选取在图像中所占面积最大的主体作为目标主体。例如，第一预览图像中存在两张人脸，那么电子设备选取所占面积最大的人脸作为目标主体并计算得到质心。
当存在多个主体所属类别的优先级相同且最高时，获取该优先级相同且最高的多个主体中每个主体在图像中的位置，选取主体在图像中的位置与该图像的中心点之间的距离最小的主体为目标主体。
当存在多个主体所属类别的优先级相同且最高，获取该优先级相同且最高的多个主体中每个主体在图像中所占的面积，存在多个主体在图像中所占的面积相同时，获取面积相同的多个主体在图像中的位置，选取主体在图像中的位置与该图像的中心点之间的距离最小的主体为目标主体。
当存在多个主体时，可以获取每个主体所属类别的优先级、每个主体在图像中所占的面积、每个主体在图像中的位置，可以按照优先级、面积和位置三个维度筛选，优先级、面积和位置筛选的顺序可根据需要设定，不作限定。
本实施例中，当存在多个主体时，根据主体所属类别的优先级、主体在图像中面积和主体在图像中位置中的一种或至少两种进行筛选确定目标主体，可以准确确定目标主体。
本申请实施例中的对焦方法，当存在至少两个主体时，根据每个主体所属类别的优先级、每个主体在第一预览图像中所占的面积、每个主体在第一预览图像中的区域中的至少一种，确定第一预览图像中的目标主体，能够在存在多个主体的情况下确定目标主体，提高主体检测的准确性，从而提高对焦准确性。
在一个实施例中，该对焦方法还包括：当满足人脸面积大于人脸面积阈值且第一预览图像的亮度大于亮度阈值时，按照预设对焦区域进行自动对焦。
其中，预设对焦区域可以是电子设备设置的任何一个对焦区域，例如可以是图像的中心区域。
具体地，当满足人脸面积大于人脸面积阈值且第一预览图像的亮度大于亮度阈值时，说明拍摄场景的情况良好，按照预设对焦区域进行自动对焦。
本申请实施例中的对焦方法，当满足人脸面积大于人脸面积阈值且第一预览图像的亮度大于亮度阈值时，按照预设对焦区域进行自动对焦，不需要计算质心坐标，提高对焦效率。
在一个实施例中，图7为另一个实施例中对焦方法的流程示意图。如图7所示，一种对焦方法，包括以下步骤：
步骤702，获取第二预览图像，其中，第二预览图像是第一预览图像的前向帧图像。
步骤704，对第二预览图像进行主体检测，得到参考主体所在区域。
步骤706，获取第一预览图像，将参考主体所在区域作为第一预览图像的目标主体所在区域。
步骤708，将目标主体所在区域输入至人脸检测模块，当检测结果出现人脸时，判断人脸面积是否大于人脸面积阈值。
步骤710，当人脸面积大于面积阈值时，判断第一预览图像的亮度是否大于亮度阈值。
步骤712，当满足目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种时，确定目标主体的质心区域。
步骤714，根据质心区域进行自动对焦。
本申请实施例中的对焦方法，获取第一预览图像，确定第一预览图像中的目标主体，当第一预览图像满足目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种时，确定目标主体的质心区域，并以质心区域作为对焦区域进行对焦，能够在人脸过小或者光照过暗时可以迅速找到适当的位置进行自动对焦，提高对焦效率，同时避免对焦到背景区域，提高拍摄对象的清晰度。
在一个实施例中，一种对焦方法，包括：
步骤(a1)，获取第二预览图像，其中，第二预览图像是第一预览图像的前向帧图像。
步骤(a2)，生成与第二预览图像对应的中心权重图。
步骤(a3)，将第二预览图像和中心权重图输入到主体检测模型中，得到主体区域置信度图。
步骤(a4)，对主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图。
步骤(a5)，对二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。
步骤(a6)，获取参考主体所在区域中各像素点的灰度值。
步骤(a7)，确定参考主体所在区域中满足目标灰度值的参考像素点集合。
步骤(a8)，将参考像素点集合对应的区域作为参考主体。
步骤(a9)，将参考主体作为第一预览图像中的目标主体。
步骤(a10)，当第一预览图像满足预设条件时，获取目标主体对应的像素点的集合，其中，预设条件包括目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种。
步骤(a11)，获取目标主体所对应的像素点的集合中各个像素点的坐标。
步骤(a12)，根据各个像素点的坐标，得到目标主体的质心坐标。
步骤(a13)，确定质心坐标所在区域。
步骤(a14)，将质心坐标所在区域作为目标主体的质心区域。
步骤(a15)，当满足人脸面积大于人脸面积阈值且第一预览图像的亮度大于亮度阈值时，按照预设对焦区域进行自动对焦。
步骤(a16)，根据质心区域进行对焦。
步骤(a17)，当存在至少两个主体时，根据每个主体所属类别的优先级、每个主体在第一预览图像中所占的面积、每个主体在第一预览图像中的区域中的至少一种，确定第一预览图像中的目标主体。
步骤(a18)，获取第一预览图像的后向帧图像。
步骤(a19)，采用目标跟踪算法对第一预览图像中的目标主体进行追踪，得到后向帧图像中的主体。
步骤(a20)，当追踪的后向帧图像的帧数达到预设帧数时，重新确定图像中的主体。
本实施例中的对焦方法，获取第一预览图像，确定第一预览图像中的目标主体，当第一预览图像满足目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种时，确定目标主体的质心区域，并以质心区域作为对焦区域进行对焦，能够在人脸过小或者光照过暗时可以迅速找到适当的位置进行自动对焦，提高对焦效率，同时避免对焦到背景区域，提高拍摄对象的清晰度。
应该理解的是，虽然图2至7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例的对焦装置的结构框图。如图8所示，一种对焦装置，包括获取模块802、主体确定模块804、质心确定模块806和对焦模块808，其中：
获取模块802，用于获取第一预览图像。
主体确定模块804，用于确定第一预览图像中的目标主体。
质心确定模块806，用于当第一预览图像满足预设条件时，确定目标主体的质心区域，其中，预设条件包括目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种。
对焦模块808，用于根据质心区域进行对焦。
本实施例中的对焦装置，获取第一预览图像，确定第一预览图像中的目标主体，当第一预览图像满足目标主体对应的人脸面积小于或等于人脸面积阈值、第一预览图像的亮度小于或等于亮度阈值中至少一种时，确定目标主体的质心区域，并根据质心区域进行对焦，能够在人脸过小或者光照过暗时可以迅速找到适当的位置进行自动对焦，提高对焦效率，同时避免对焦到背景区域，提高拍摄对象的清晰度。
在一个实施例中，质心确定模块806用于获取目标主体对应的像素点的集合；获取目标主体所对应的像素点的集合中各个像素点的坐标；根据各个像素点对应的目标像素点的坐标，得到目标主体的质心坐标；确定质心坐标所在区域；将质心坐标所在区域作为目标主体的质心区域。
本申请实施例中的对焦装置，获取目标主体对应的像素点的集合，获取各个像素点的坐标，得到质心坐标，将质心坐标所在区域作为目标主体的质心区域，能够确定对焦区域，提高目标主体拍摄的清晰度。
在一个实施例中，质心确定模块806用于将各个像素点对应的目标像素点的坐标求加权平均值，得到目标主体的质心坐标。
本申请实施例中的对焦装置，将各个像素点的坐标求加权平均值，得到目标主体的质心坐标，能够获取所有的目标像素点坐标进行计算，提高质心坐标计算的准确性。
在一个实施例中，质心确定模块806用于当第一预览图像满足目标主体对应的人脸面积大于人脸面积阈值时，判断第一预览图像的亮度是否大于亮度阈值；当第一预览图像的亮度小于或等于亮度阈值时，确定目标主体的质心区域。
本申请实施例中的对焦装置，通过人脸面积是否大于人脸面积阈值以及第一预览图像的亮度是否大于亮度阈值两个条件判断是否需要确定目标主体的质心区域，能够在人脸面积大于人脸面积阈值且光线过暗时迅速找到适当的位置进行自动对焦，提高对焦效率，同时避免对焦到背景区域，提高对焦准确性以及拍摄对象的清晰度。
在一个实施例中，主体确定模块804用于对第一预览图像进行主体检测，得到目标主体所在区域，其中，目标主体所在区域对应的图像为主体掩膜图；获取目标主体所在区域中各像素点的灰度值；确定目标主体所在区域中满足目标灰度值的目标像素点集合；将目标像素点集合对应的区域作为目标主体。
本申请实施例中的对焦装置，对第一预览图像进行主体检测，得到目标主体所在区域，获取各像素点灰度值，确定满足目标灰度值的区域，得到目标主体，能够通过主体掩膜图确定目标主体，从而确定目标主体的质心区域，并以质心区域作为对焦区域进行对焦，能够在人脸过小或者光照过暗时可以迅速找到适当的位置进行自动对焦，提高对焦效率，同时避免对焦到背景区域，提高拍摄对象的清晰度。
在一个实施例中，获取模块802用于获取第二预览图像，其中，第二预览图像是第一预览图像的前向帧图像。主体确定模块804用于对第二预览图像进行主体检测，得到参考主体；将参考主体作为第一预览图像中的目标主体。
本申请实施例中的对焦装置，取第二预览图像，其中，第二预览图像是第一预览图像的前向帧图像，对第二预览图像进行主体检测，得到参考主体，由于相邻预设帧之间的图像差距较小，将参考主体作为第一预览图像中的目标主体，能提高图像处理效率，也提高对焦的效率。
在一个实施例中，主体确定模块804用于将第二预览图像输入至主体检测模型中，得到第二预览图像中的参考主体，其中，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
本申请实施例中的对焦装置，将第二预览图像输入至主体检测模型中，得到第二预览图像中的参考主体，能够准确检测到第二预览图像中的目标主体，从而准确检测到第一预览图像中的目标主体，提高对焦的准确性以及拍摄对象的清晰度。
在一个实施例中，主体确定模块804用于生成与第二预览图像对应的中心权重图；将第二预览图像和中心权重图输入到主体检测模型中，得到主体区域置信度图；对主体区域置信度图进行处理，得到主体掩膜图；根据主体掩膜图确定第二预览图像中的参考主体。
本申请实施例中的对焦装置，生成与第二预览图像对应的中心权重图，将第二预览图像和中心权重图输入到主体检测模型中，得到主体区域置信度图，对主体区域置信度图进行处理，得到主体掩膜图，根据主体掩膜图确定第二预览图像中的参考主体，能够精确地检测到第二预览图像中的目标主体，从而进行质心计算，提高对焦准确性。
在一个实施例中，主体确定模块804用于对该主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对该二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。
本申请实施例中的对焦装置，对主体区域置信度图进行形态学处理和引导滤波处理可以保证得到的主体掩膜图的噪点少或没有噪点，边缘更加柔和，从而提高质心计算的准确性，进而提高对焦的准确性以及拍摄对象的清晰度。
在一个实施例中，获取模块802用于获取第一预览图像的后向帧图像。该对焦装置还包括追踪模块。追踪模块用于采用目标跟踪算法对第一预览图像中的目标主体进行追踪，得到后向帧图像中的主体；当追踪的后向帧图像的帧数达到预设帧数时，重新确定图像中的主体。
本申请实施例中的对焦装置，获取第一预览图像的后向帧图像，采用目标跟踪算法对第一预览图像中的目标主体进行追踪，得到后向帧图像中的主体，当追踪的后向帧图像的帧数达到预设帧数时，重新确定图像中的主体，能够提高主体检测的效率，从而提高对焦效率。
在一个实施例中，主体确定模块804用于当存在至少两个主体时，根据每个主体所属类别的优先级、每个主体在第一预览图像中所占的面积、每个主体在第一预览图像中的区域中的至少一种，确定第一预览图像中的目标主体。
本申请实施例中的对焦装置，当存在至少两个主体时，根据每个主体所属类别的优先级、每个主体在第一预览图像中所占的面积、每个主体在第一预览图像中的区域中的至少一种，确定第一预览图像中的目标主体，能够在存在多个主体的情况下确定目标主体，提高主体检测的准确性，从而提高对焦准确性。
在一个实施例中，对焦模块808还用于当满足人脸面积大于人脸面积阈值且第一预览图像的亮度大于亮度阈值时，按照预设对焦区域进行自动对焦。
本申请实施例中的对焦装置，当满足人脸面积大于人脸面积阈值且第一预览图像的亮度大于亮度阈值时，按照预设对焦区域进行自动对焦，不需要计算质心坐标，提高对焦效率。
上述对焦装置中各个模块的划分仅用于举例说明，在其他实施例中，可将对焦装置按照需要划分为不同的模块，以完成上述对焦装置的全部或部分功能。
关于对焦装置的具体限定可以参见上文中对于对焦方法的限定，在此不再赘述。上述对焦装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图9为一个实施例中电子设备的内部结构示意图。如图9所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种对焦方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的对焦装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行对焦方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行对焦方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种对焦方法，其特征在于，包括：
获取第一预览图像；
确定所述第一预览图像中的目标主体；所述目标主体是对所述第一预览图像进行主体检测所得到的，或者，所述目标主体是将对第二预览图像进行主体检测所得到的参考主体作为目标主体所得到的；所述第二预览图像是所述第一预览图像的前向帧图像；
当所述第一预览图像满足所述目标主体对应的人脸面积大于人脸面积阈值、且所述第一预览图像的亮度小于或等于亮度阈值时，确定所述目标主体的质心区域；
根据所述质心区域进行对焦；
当满足所述人脸面积大于人脸面积阈值且所述第一预览图像的亮度大于所述亮度阈值时，按照预设对焦区域进行自动对焦。
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标主体的质心区域，还包括：
获取所述目标主体对应的像素点的集合；
获取所述目标主体所对应的像素点的集合中各个像素点的坐标；
根据所述各个像素点的坐标，得到所述目标主体的质心坐标；
确定所述质心坐标所在区域；
将所述质心坐标所在区域作为所述目标主体的质心区域。
3.根据权利要求2所述的方法，其特征在于，所述根据所述各个像素点的坐标，得到所述目标主体的质心坐标，包括：
将所述各个像素点的坐标求加权平均值，得到所述目标主体的质心坐标。
4.根据权利要求1所述的方法，其特征在于，所述确定所述第一预览图像中的目标主体，包括：
对所述第一预览图像进行主体检测，得到目标主体所在区域，其中，所述目标主体所在区域对应的图像为主体掩膜图；
获取目标主体所在区域中各像素点的灰度值；
确定所述目标主体所在区域中满足目标灰度值的目标像素点集合；
将所述目标像素点集合对应的区域作为目标主体。
5.根据权利要求1所述的方法，其特征在于，所述确定所述第一预览图像中的目标主体，包括：
获取第二预览图像；
对所述第二预览图像进行主体检测，得到参考主体；
将所述参考主体作为第一预览图像中的目标主体。
6.根据权利要求5所述的方法，其特征在于，所述对所述第二预览图像进行主体检测，得到参考主体，包括：
将所述第二预览图像输入至主体检测模型中，得到所述第二预览图像中的参考主体，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体进行训练得到的模型，或者所述主体检测模型是预先根据同一场景的可见光图、中心权重图、深度图及对应的已标注的主体进行训练得到的模型。
7.根据权利要求6所述的方法，其特征在于，所述将所述第二预览图像输入至主体检测模型中，得到所述第二预览图像中的参考主体，包括：
生成与所述第二预览图像对应的中心权重图；
将所述第二预览图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图；
对所述主体区域置信度图进行处理，得到主体掩膜图；
根据所述主体掩膜图确定所述第二预览图像中的参考主体。
8.根据权利要求7所述的方法，其特征在于，所述对所述主体区域置信度图进行处理，得到主体掩膜图，包括：
对所述主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；
对所述二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
获取所述第一预览图像的后向帧图像；
采用目标跟踪算法对所述第一预览图像中的目标主体进行追踪，得到后向帧图像中的主体；
当追踪的后向帧图像的帧数达到预设帧数时，重新确定图像中的主体。
10.根据权利要求1至8任一项所述的方法，其特征在于，所述确定所述第一预览图像中的目标主体，包括：
当存在至少两个主体时，根据每个主体所属类别的优先级、每个主体在所述第一预览图像中所占的面积、每个主体在所述第一预览图像中的区域中的至少一种，确定所述第一预览图像中的目标主体。
11.根据权利要求1至8任一项所述的方法，其特征在于，所述质心区域是质心坐标所在区域，所述质心坐标是在所述目标主体所在区域中，基于灰度值为目标灰度值的各个像素点的坐标得到的。
12.根据权利要求1至8任一项所述的方法，其特征在于，所述亮度阈值是基于所述第一预览图像对应的拍摄时间或拍摄地点确定的。
13.一种对焦装置，其特征在于，包括：
获取模块，用于获取第一预览图像；
主体确定模块，用于确定所述第一预览图像中的目标主体；所述目标主体是对所述第一预览图像进行主体检测所得到的，或者，所述目标主体是将对第二预览图像进行主体检测所得到的参考主体作为目标主体所得到的；所述第二预览图像是所述第一预览图像的前向帧图像；
质心区域确定模块，用于当所述第一预览图像满足所述目标主体对应的人脸面积大于人脸面积阈值、且所述第一预览图像的亮度小于或等于亮度阈值时，确定所述目标主体的质心区域；
对焦模块，用于根据所述质心区域进行对焦；
对焦模块，还用于当满足所述人脸面积大于人脸面积阈值且所述第一预览图像的亮度大于所述亮度阈值时，按照预设对焦区域进行自动对焦。
14.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述的对焦方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的方法的步骤。
CN202111021102.8A 2019-09-29 2019-09-29 对焦方法和装置、电子设备、计算机可读存储介质 Active CN113766125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111021102.8A CN113766125B (zh) 2019-09-29 2019-09-29 对焦方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111021102.8A CN113766125B (zh) 2019-09-29 2019-09-29 对焦方法和装置、电子设备、计算机可读存储介质
CN201910931431.2A CN110536068B (zh) 2019-09-29 2019-09-29 对焦方法和装置、电子设备、计算机可读存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910931431.2A Division CN110536068B (zh) 2019-09-29 2019-09-29 对焦方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113766125A CN113766125A (zh) 2021-12-07
CN113766125B true CN113766125B (zh) 2022-10-25

Family

ID=68670696

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910931431.2A Active CN110536068B (zh) 2019-09-29 2019-09-29 对焦方法和装置、电子设备、计算机可读存储介质
CN202111021102.8A Active CN113766125B (zh) 2019-09-29 2019-09-29 对焦方法和装置、电子设备、计算机可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910931431.2A Active CN110536068B (zh) 2019-09-29 2019-09-29 对焦方法和装置、电子设备、计算机可读存储介质

Country Status (2)

Country Link
CN (2) CN110536068B (zh)
WO (1) WO2021057652A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110536068B (zh) * 2019-09-29 2021-09-28 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN111768414A (zh) * 2020-06-05 2020-10-13 哈尔滨新光光电科技股份有限公司 一种用于激光对抗系统的光电快速瞄准方法及装置
CN111881720B (zh) * 2020-06-09 2024-01-16 山东大学 用于深度学习的数据自动增强扩充方法、识别方法及系统
CN113221754A (zh) * 2021-05-14 2021-08-06 深圳前海百递网络有限公司 快递单图像检测方法、装置、计算机设备和存储介质
CN113259594A (zh) * 2021-06-22 2021-08-13 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质、终端
CN113610864B (zh) * 2021-07-23 2024-04-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CA3229067A1 (en) 2021-10-05 2023-04-13 Genentech, Inc. Cyclopentylpyrazole cdk2 inhibitors
CN114143594A (zh) * 2021-12-06 2022-03-04 百度在线网络技术（北京）有限公司 视频画面的处理方法、装置、设备及可读存储介质
CN114286004A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 对焦方法、拍摄装置、电子设备及介质
CN115103107B (zh) * 2022-06-01 2023-11-07 上海传英信息技术有限公司 对焦控制方法、智能终端和存储介质
CN115174803A (zh) * 2022-06-20 2022-10-11 平安银行股份有限公司 自动拍照方法及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450932A (zh) * 2015-12-31 2016-03-30 华为技术有限公司 逆光拍照方法和装置
CN105915782A (zh) * 2016-03-29 2016-08-31 维沃移动通信有限公司 一种基于人脸识别的照片获取方法和移动终端
CN107360361A (zh) * 2017-06-14 2017-11-17 中科创达软件科技（深圳）有限公司 一种逆光拍摄人物方法及装置
CN107911618A (zh) * 2017-12-27 2018-04-13 上海传英信息技术有限公司 拍照的处理方法、终端及终端可读存储介质
CN108259754A (zh) * 2018-03-06 2018-07-06 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN109167921A (zh) * 2018-10-18 2019-01-08 北京小米移动软件有限公司 拍摄方法、装置、终端及存储介质
CN110149482A (zh) * 2019-06-28 2019-08-20 Oppo广东移动通信有限公司 对焦方法、装置、电子设备和计算机可读存储介质
CN110248096A (zh) * 2019-06-28 2019-09-17 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5030022B2 (ja) * 2007-12-13 2012-09-19 カシオ計算機株式会社 撮像装置及びそのプログラム
CN107124546B (zh) * 2012-05-18 2020-10-16 华为终端有限公司 一种自动切换终端对焦模式的方法及终端
CN102984454B (zh) * 2012-11-15 2015-08-19 广东欧珀移动通信有限公司 一种自动调节相机焦距的系统、方法和手机
US9571741B1 (en) * 2015-10-08 2017-02-14 Gopro, Inc. Smart shutter in low light
CN106101540B (zh) * 2016-06-28 2019-08-06 北京旷视科技有限公司 对焦点确定方法及装置
CN106060419B (zh) * 2016-06-30 2019-05-17 维沃移动通信有限公司 一种拍照方法及移动终端
CN106231189A (zh) * 2016-08-02 2016-12-14 乐视控股（北京）有限公司 拍照处理方法和装置
CN108062525B (zh) * 2017-12-14 2021-04-23 中国科学技术大学 一种基于手部区域预测的深度学习手部检测方法
CN107911616A (zh) * 2017-12-26 2018-04-13 Tcl移动通信科技（宁波）有限公司 一种摄像头自动调焦方法、存储设备及移动终端
CN109963072B (zh) * 2017-12-26 2021-03-02 Oppo广东移动通信有限公司 对焦方法、装置、存储介质及电子设备
CN108111768B (zh) * 2018-01-31 2020-09-22 Oppo广东移动通信有限公司 控制对焦的方法、装置、电子设备及计算机可读存储介质
CN111385460A (zh) * 2018-12-28 2020-07-07 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109858436B (zh) * 2019-01-29 2020-11-27 中国科学院自动化研究所 基于视频动态前景掩膜的目标类别修正方法、检测方法
CN110276767B (zh) * 2019-06-28 2021-08-31 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110536068B (zh) * 2019-09-29 2021-09-28 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450932A (zh) * 2015-12-31 2016-03-30 华为技术有限公司 逆光拍照方法和装置
CN105915782A (zh) * 2016-03-29 2016-08-31 维沃移动通信有限公司 一种基于人脸识别的照片获取方法和移动终端
CN107360361A (zh) * 2017-06-14 2017-11-17 中科创达软件科技（深圳）有限公司 一种逆光拍摄人物方法及装置
CN107911618A (zh) * 2017-12-27 2018-04-13 上海传英信息技术有限公司 拍照的处理方法、终端及终端可读存储介质
CN108259754A (zh) * 2018-03-06 2018-07-06 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN109167921A (zh) * 2018-10-18 2019-01-08 北京小米移动软件有限公司 拍摄方法、装置、终端及存储介质
CN110149482A (zh) * 2019-06-28 2019-08-20 Oppo广东移动通信有限公司 对焦方法、装置、电子设备和计算机可读存储介质
CN110248096A (zh) * 2019-06-28 2019-09-17 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
WO2021057652A1 (zh) 2021-04-01
CN110536068A (zh) 2019-12-03
CN113766125A (zh) 2021-12-07
CN110536068B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110149482B (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN110248096B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110572573B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110473185B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20220166930A1 (en) Method and device for focusing on target subject, and electronic device
CN108810413B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110334635B (zh) 主体追踪方法、装置、电子设备和计算机可读存储介质
CN112102386A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110191287B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110248101B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109712177B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110881103B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN110490196B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN110378934B (zh) 主体检测方法、装置、电子设备和计算机可读存储介质
CN110392211B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110830709A (zh) 图像处理方法和装置、终端设备、计算机可读存储介质
CN112581481B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110688926B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN110650288B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN110399823B (zh) 主体跟踪方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant