CN110248101B - 对焦方法和装置、电子设备、计算机可读存储介质 - Google Patents
对焦方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN110248101B CN110248101B CN201910656240.XA CN201910656240A CN110248101B CN 110248101 B CN110248101 B CN 110248101B CN 201910656240 A CN201910656240 A CN 201910656240A CN 110248101 B CN110248101 B CN 110248101B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- camera
- subject
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
Abstract
本申请涉及一种对焦方法和装置、电子设备、计算机可读存储介质。所述方法包括:控制所述至少两个摄像头分别进行对焦,得到对应的各个候选图像;其中,所述一个摄像头对应一个候选图像;识别各个所述候选图像的目标主体;确定各个所述候选图像的目标主体的清晰度,并将各个所述候选图像的目标主体的清晰度进行比较,得到比较结果;根据比较结果从各个所述候选图像中确定第一目标图像,并将所述第一目标图像对应的摄像头作为目标摄像头;控制所述目标摄像头对所述目标主体进行追焦。上述对焦方法和装置、电子设备、计算机可读存储介质,提高了对焦的准确性。
Description
技术领域
本申请涉及计算机技术,特别是涉及一种对焦方法、装置、电子设备、计算机可读存储介质。
背景技术
随着计算机技术的发展,出现了对焦技术,通过对焦,可以拍摄出更清晰的图像。传统的对焦方法,通常是将用户点击屏幕的区域作为对焦区域,摄像头对对焦区域对应的拍摄物体进行对焦。
然而,传统的对焦方法,存在对焦不准确的问题。
发明内容
本申请实施例提供一种对焦方法、装置、电子设备、计算机可读存储介质,可以提高对焦的准确性。
一种对焦方法,应用于包含至少两个摄像头的电子设备,包括:
控制所述至少两个摄像头分别进行对焦,得到对应的各个候选图像;其中,所述一个摄像头对应一个候选图像;
识别各个所述候选图像的目标主体;
确定各个所述候选图像的目标主体的清晰度,并将各个所述候选图像的目标主体的清晰度进行比较,得到比较结果;
根据比较结果从各个所述候选图像中确定第一目标图像,并将所述第一目标图像对应的摄像头作为目标摄像头;
控制所述目标摄像头对所述目标主体进行追焦。
一种对焦装置,应用于包含至少两个摄像头的电子设备,包括:
对焦模块,用于控制所述至少两个摄像头分别进行对焦,得到对应的各个候选图像;其中,所述一个摄像头对应一个候选图像;
识别模块,用于识别各个所述候选图像的目标主体;
比较模块,用于确定各个所述候选图像的目标主体的清晰度,并将各个所述候选图像的目标主体的清晰度进行比较,得到比较结果;
第一目标图像确定模块,用于根据比较结果从各个所述候选图像中确定第一目标图像,并将所述第一目标图像对应的摄像头作为目标摄像头;
追焦模块,用于控制所述目标摄像头对所述目标主体进行追焦。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述的追焦方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
上述对焦方法和装置、电子设备和计算机可读存储介质,控制至少两个摄像头分别进行对焦,得到对应的各个候选图像,识别各个候选图像的目标主体,确定各个候选图像的目标主体的清晰度,并将各个候选图像的目标主体的清晰度进行比较,根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头,控制目标摄像头对目标主体进行追焦。根据各个候选图像的目标主体的清晰度,从至少两个摄像头中确定目标摄像头,则目标摄像头获取的图像中的目标主体可以更加准确地进行追焦处理,提高了对焦的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中对焦方法的应用环境图;
图2为一个实施例中图像处理电路的示意图;
图3为一个实施例中对焦方法的流程图;
图4a为一个实施例中主体检测的示意图;
图4b为一个实施例中追焦的示意图;
图5为一个实施例中步骤主体识别的流程图;
图6为一个实施例中主体识别的示意图;
图7为另一个实施例中步骤主体识别的流程图;
图8为另一个实施例中步骤判断目标主体的清晰度的流程图;
图9为另一个实施例中对焦方法的流程图;
图10为一个实施例中对焦装置的结构框图;
图11为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一目标图像称为第二目标图像,且类似地,可将第二目标图像称为第一目标图像。第一目标图像和第二目标图像两者都是目标图像,但其不是同一目标图像。
图1为一个实施例中对焦方法的应用环境示意图。如图1所示,该应用环境包括电子设备10,电子设备10中包含至少两个摄像头。电子设备10控制至少两个摄像头分别进行对焦,得到对应的各个候选图像;其中,一个摄像头对应一个候选图像;识别各个候选图像的目标主体;确定各个候选图像的目标主体的清晰度,并将各个候选图像的目标主体的清晰度进行比较,得到比较结果;根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头;控制目标摄像头对目标主体进行追焦。其中,电子设备10可以为手机、电脑、可穿戴设备、个人数字助理等,在此不做限定。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图2为一个实施例中图像处理电路的示意图。如图2所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图2所示,图像处理电路包括第一ISP处理器230、第二ISP处理器240和控制逻辑器250。第一摄像头210包括一个或多个第一透镜212和第一图像传感器214。第一图像传感器214可包括色彩滤镜阵列(如Bayer滤镜),第一图像传感器214可获取用第一图像传感器214的每个成像像素捕捉的光强度和波长信息,并提供可由第一ISP处理器230处理的一组图像数据。第二摄像头220包括一个或多个第二透镜222和第二图像传感器224。第二图像传感器224可包括色彩滤镜阵列(如Bayer滤镜),第二图像传感器224可获取用第二图像传感器224的每个成像像素捕捉的光强度和波长信息,并提供可由第二ISP处理器240处理的一组图像数据。
第一摄像头210采集的第一图像传输给第一ISP处理器230进行处理,第一ISP处理器230处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的光比、图像的反差值、图像的颜色等)发送给控制逻辑器250,控制逻辑器250可根据统计数据确定第一摄像头210的控制参数,从而第一摄像头210可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器230进行处理后可存储至图像存储器260中,第一ISP处理器230也可以读取图像存储器260中存储的图像以对进行处理。另外,第一图像经过ISP处理器230进行处理后可直接发送至显示器270进行显示,显示器270也可以读取图像存储器260中的图像以进行显示。
其中,第一ISP处理器230按多种格式逐个像素地处理图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,第一ISP处理器230可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
图像存储器260可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自第一图像传感器214接口时,第一ISP处理器230可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器260,以便在被显示之前进行另外的处理。第一ISP处理器230从图像存储器260接收处理数据,并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器230处理后的图像数据可输出给显示器270,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,第一ISP处理器230的输出还可发送给图像存储器260,且显示器270可从图像存储器260读取图像数据。在一个实施例中,图像存储器260可被配置为实现一个或多个帧缓冲器。
第一ISP处理器230确定的统计数据可发送给控制逻辑器250。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜212阴影校正等第一图像传感器214统计信息。控制逻辑器250可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定第一摄像头210的控制参数及第一ISP处理器230的控制参数。例如,第一摄像头210的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜212控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及第一透镜212阴影校正参数。
同样地,第二摄像头220采集的第二图像传输给第二ISP处理器240进行处理,第二ISP处理器240处理第一图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器250,控制逻辑器250可根据统计数据确定第二摄像头220的控制参数,从而第二摄像头220可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器240进行处理后可存储至图像存储器260中,第二ISP处理器240也可以读取图像存储器260中存储的图像以对进行处理。另外,第二图像经过ISP处理器240进行处理后可直接发送至显示器270进行显示,显示器270也可以读取图像存储器260中的图像以进行显示。第二摄像头220和第二ISP处理器240也可以实现如第一摄像头210和第一ISP处理器230所描述的处理过程。
在一个实施例中,第一摄像头210和第二摄像头220可以均为彩色摄像头。第一ISP处理器130和第二ISP处理器140可为同一ISP处理器。控制第一摄像头210和第二摄像头220分别进行对焦,得到对应的候选图像,即第一摄像头210对应的候选图像和第二摄像头220对应的候选图像,并将两个候选图像发送至ISP处理器。ISP处理器可识别各个候选图像的目标主体,确定各个候选图像的目标主体的清晰度,并将清晰度的值发送至控制逻辑器250。控制逻辑器250将各个候选图像的目标主体的清晰度进行比较,得到比较结果;根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头;控制目标摄像头对目标主体进行追焦。根据各个候选图像的目标主体的清晰度,从第一摄像头210和第二摄像头220中确定目标摄像头,则目标摄像头获取的图像中的目标主体可以更加准确地进行追焦处理,提高了对焦的准确性。
图3为一个实施例中对焦方法的流程图。本实施例中的对焦方法,以运行于图1中的电子设备上为例进行描述。如图3所示,对焦方法包括步骤302至步骤310。
步骤302,控制至少两个摄像头分别进行对焦,得到对应的各个候选图像;其中,一个摄像头对应一个候选图像。
对焦指的是通过调整焦距从而使拍摄的物体成像清晰的过程。其中,焦距指的是从摄像头中的透镜光心到光聚集的焦点的距离。候选图像指的是摄像头经过对焦之后得到的图像。
电子设备可以设置摄像头,设置的摄像头的数量为至少两个。例如,设置2个、3个、5个等,在此不做限定。摄像头设置于电子设备的形式不限,例如,可以是内置于电子设备的摄像头,也可以外置于电子设备的摄像头;可以是前置摄像头,也可以是后置摄像头。
在本申请提供的实施例中,电子设备上的摄像头可以为任意类型的摄像头。例如,摄像头可以是彩色摄像头、黑白摄像头、深度摄像头、长焦摄像头、广角摄像头等,不限于此。
相对应地,通过彩色摄像头获取彩色图像,通过黑白摄像头获取黑白图像,通过深度摄像头获取深度图像,通过长焦摄像头获取长焦图像,通过广角摄像头获取广角图像,不限于此。至少两个摄像头可以是相同类型的摄像头,也可以是不同类型的摄像头。例如,至少两个摄像头可以均是彩色摄像头,也可以均是黑白摄像头;可以其中的一个摄像头为长焦摄像头,其他的摄像头为广角摄像头,不限于此。
可以理解的是,至少两个摄像头位于电子设备的同一侧,并拍摄同一方向的场景。
步骤304,识别各个候选图像的目标主体。
其中,主体是指各种对象,如人、花、猫、狗、牛、蓝天、白云、背景等。目标主体是指需要的主体,可根据需要选择。
具体地,ISP处理器或中央处理器可根据识别到的对象作为候选图像的主体,若存在一个主体,则将该主体作为目标主体;若存在多个主体,可根据需要选择其中一个或多个主体作为目标主体。
步骤306,确定各个候选图像的目标主体的清晰度,并将各个候选图像的目标主体的清晰度进行比较,得到比较结果。
清晰度指的是图像上各细部影纹及其边界的清晰程度。目标主体的清晰度指的是目标主体中各细部影纹及其边界的清晰程度。
在一个实施例中,可以获取各个候选图像的分辨率,根据各个候选图像的分辨率确定各个候选图像的目标主体的清晰度。可以理解的是,候选图像的分辨率越高,则候选图像越清晰,候选图像的目标主体也越清晰。
在其他实施例中,可以通过Brenner梯度函数、Tenengrad梯度函数、SMD(灰度方差)函数、Reblur二次模糊算法等方式计算得到各个候选图像的目标主体的清晰度。
例如,通过Brenner梯度函数计算候选图像的目标主体的清晰度:D(f)=∑y∑x|f(x+2,y-f(x,y)2。其中,f(x,y)表示候选图像的目标主体对应像素点(x,y)的灰度值,D(f)表示图像的清晰度。
当确定各个候选图像的目标主体的清晰度之后,将各个候选图像的目标主体的清晰度进行比较,得到比较结果。则比较结果可以是将各个候选图像按照对应的目标主体的清晰度进行排序,可以按照目标主体的清晰度从高到低的顺序将各个候选图像进行排序,也可以按照目标主体的清晰度从低到高的顺序将各个候选图像进行排序,不限于此。
步骤308,根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头。
第一目标图像指的是从各个候选图像中的确定的图像。目标摄像头指的是第一目标图像对应的摄像头,即获取第一目标图像的摄像头为目标摄像头。
在一个实施例中,第一目标图像可以是目标主体的清晰度最高的图像,也就是说,目标摄像头获取的候选图像中的目标主体的清晰度最高。将清晰度最高的目标主体对应的摄像头作为目标摄像头,从而控制目标摄像头对目标主体进行追焦,可以提高追焦的准确性。
在其他实施例中,第一目标图像也可以是目标主体的清晰度次高的图像,还可以是目标主体的清晰度较低的图像,不限于此。
在一个实施例中,获取各个摄像头的功耗;根据各个摄像头的功耗和各个候选图像的目标主体的清晰度,从至少两个摄像头中确定目标摄像头。
功耗指的是功率的损耗。一般地,摄像头拍摄的图像越清晰,则功耗越高。
可以理解的是,摄像头在拍摄过程中,需要经过大量的图像处理工作,如对焦、曝光、美颜、滤波等处理,消耗了电子设备大量的功耗。因此,可以根据各个目标摄像头的功耗和各个候选图像的目标主体的清晰度,从至少两个摄像头中确定功耗较低且拍摄的图像的清晰度较高的摄像头,保证了对焦的准确性的同时也降低了摄像头的功耗。
步骤310,控制目标摄像头对目标主体进行追焦。
追焦指的是当目标摄像头对拍摄对象进行对焦之后,在后续的拍摄过程中保持对拍摄对象的对焦的过程。例如,在电子设备拍摄图像的预览过程中,对拍摄对象进行对焦之后,在后续获取的预览图像中仍然保持对拍摄对象的对焦,则获取的预览图像中的拍摄对象仍是清晰的成像。
在一个实施例中,可以采用核相关滤波算法对目标主体进行追焦。预先获取大量的训练数据,采用核相关滤波算法对训练数据进行训练,得到相关滤波器。基于相关滤波器对目标主体进行追焦。
在一个实施例中,基于第一目标图像的目标主体的区域,确定搜索区域;从拍摄的图像的搜索区域中确定目标主体。
搜索区域指的是用于搜索目标主体,以实现对目标主体进行追焦的区域。一般地,搜索区域大于且覆盖第一目标图像的目标主体的区域。
如图4a所示,402为第一目标图像,通过主体检测识别第一目标图像中的目标主体为404。如图4b所示,控制目标摄像头对目标主体进行追焦,得到拍摄的图像作为第二目标图像406。在第二目标图像406中,404为上一帧图像,即第一目标图像的目标主体的区域,以第一目标图像的目标主体的区域404为中心,确定搜索区域408。从第二目标图像406的搜索区域408中确定目标主体410。从第一目标图像中的目标主体跟踪至第二目标图像中的目标主体,从而实现了对目标主体的追焦。
上述对焦方法,控制至少两个摄像头分别进行对焦,得到对应的各个候选图像,识别各个候选图像的目标主体,确定各个候选图像的目标主体的清晰度,并将各个候选图像的目标主体的清晰度进行比较,根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头,控制目标摄像头对目标主体进行追焦。根据各个候选图像的目标主体的清晰度,从至少两个摄像头中确定目标摄像头,则目标摄像头获取的图像中的目标主体可以更加准确地进行追焦处理,提高了对焦的准确性。
在一个实施例中,监测电子设备的触控屏;获取触控屏被点击的区域对应的各个候选图像的目标区域;确定各个候选图像的目标区域的清晰度,并将各个目标区域的清晰度进行比较,得到比较结果;根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头;控制目标摄像头对目标主体进行追焦。
在电子设备的触控屏上,可以将至少两个摄像头其中的一个摄像头获取的候选图像进行展示。监测电子设备的触控屏,当监测到触控屏被点击时,获取触控屏被点击的区域对应的各个候选图像的目标区域。确定各个候选图像的目标区域的清晰度,并将各个目标区域的清晰度进行比较。
可选地,可以将清晰度最高的目标区域对应的候选图像作为第一目标图像,也可以将清晰度次高的目标区域对应的候选图像作为第一目标图像,还可以选择其他候选图像作为第一目标图像,不限于此。
可以理解的是,触控屏被点击的区域,通常是用户选择对焦的区域,就用户拍摄的目标主体在被点击的区域附近。因此,获取触控屏被点击的区域对应的各个候选图像的目标区域,确定各个候选图像的目标区域的清晰度,并根据各个目标区域的清晰度确定第一目标图像,从而确定目标摄像头,提高了对焦的准确性。
在一个实施例中,至少两个摄像头的变焦范围均不相同。
变焦指的是改变摄像头中透镜的焦距,从而使摄像头可以拍摄不同焦距的图像。当摄像头中的透镜的焦距不同时,则摄像头中对焦的深度信息不同,对焦的对象也不同,因此,拍摄的图像中各个拍摄对象的清晰度也不同。其中,深度信息指的是拍摄对象到摄像头的距离。
例如,当摄像头的透镜的焦距较小时,则摄像头对焦的对象的深度信息对应的距离较小,拍摄的图像中处于焦距处的对象成像清晰,即距离摄像头较近的对象成像清晰。当摄像头的透镜的焦距较大时,则摄像头对焦的对象的深度信息对应的距离较大,拍摄的图像中处于焦距处的对象成像清晰,即距离摄像头较远的对象成像清晰。
当拍摄的对象在摄像头的变焦范围内,摄像头可以通过变焦拍摄得到清晰的图像。当拍摄的对象超出摄像头的变焦范围时,则摄像头拍摄的图像不清晰。例如,广角摄像头适合拍摄较近的物体,变焦范围为28mm-20mm,当拍摄的物体较远,需要30mm的焦距才能拍摄清晰时,则拍摄的物体超出了广角摄像头的变焦范围,广角摄像头拍摄该物体的图像不清晰。
因此,设置至少两个摄像头的变焦范围均不相同,可以控制不同变焦范围的摄像头拍摄不同深度信息的对象,即变焦范围处于较小的数值范围的摄像头可以拍摄较近的对象,变焦范围处于较大的数值范围的摄像头可以拍摄较远的对象,保证了对不同深度信息的对象均可以拍摄清晰的图像,提高了对焦的准确性。
在另一个实施例中,当拍摄的对象发生位移时,使得拍摄的对象与摄像头之间的距离发生变化,则至少两个摄像头的变焦范围均不相同,增大了电子设备的变焦范围,保证拍摄的对象成像清晰。
在一个实施例中,根据比较结果从各个候选图像中确定第一目标图像,包括:根据比较结果将清晰度最高的目标主体对应的候选图像确定为第一目标图像。
将各个候选图像的目标主体的清晰度进行比较,得到比较结果之后,根据比较结果从各个目标主体中确定清晰度最高的目标主体,将清晰度最高的目标主体对应的候选图像确定为第一目标图像,再将第一目标图像对应的摄像头确定为目标摄像头。
可以理解的是,目标主体的清晰度越高,则摄像头对目标主体进行追焦的准确性越高。因此,获取目标主体清晰度最高的候选图像作为第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头。当控制目标摄像头对目标主体进行追焦时,可以更准确地进行追焦。
在一个实施例中,如图5所示,识别各个候选图像的目标主体,包括:
步骤502,根据各个候选图像生成对应的各个中心权重图,其中,中心权重图所表示的权重值从中心到边缘逐渐减小,一个候选图像生成对应的一个中心权重图。
其中,中心权重图是指用于记录候选图像中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小,即中心权重最大,向四边权重逐渐减小。通过中心权重图表征候选图像的图像中心像素点到图像边缘像素点的权重值逐渐减小。
ISP处理器或中央处理器可以根据候选图像的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。
步骤504,将各个候选图像和对应的各个中心权重图输入到主体检测模型中,得到各个候选图像的主体区域置信度图,其中,主体检测模型是预先根据同一场景的候选图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。
其中,主体检测(salient object detection)是指面对一个场景时,自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域。感兴趣区域称为主体区域。
其中,主体检测模型是预先采集大量的训练数据,将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的候选图像、中心权重图及已标注的主体掩膜图。其中,候选图像和中心权重图作为训练的主体检测模型的输入,已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板,可以遮挡图像的其他部分,筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体,如人、花、猫、狗、背景等。
具体地,ISP处理器或中央处理器可将该候选图像和中心权重图输入到主体检测模型中,进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率,例如某个像素点属于人的概率是0.8,花的概率是0.1,背景的概率是0.1。
步骤506,根据各个候选图像的主体区域置信度图确定各个候选图像中的目标主体。
其中,主体是指各种对象,如人、花、猫、狗、牛、蓝天、白云、背景等。目标主体是指需要的主体,可根据需要选择。
具体地,ISP处理器或中央处理器可根据主体区域置信度图选取置信度最高或次高等作为候选图像中的主体,若存在一个主体,则将该主体作为目标主体;若存在多个主体,可根据需要选择其中一个或多个主体作为目标主体。
本实施例中的对焦方法,获取各个候选图像,并生成与候选图像对应的各个中心权重图后,将各个候选图像和对应的中心权重图输入到对应的主体检测模型中检测,可以得到各个候选图像的主体区域置信度图,根据主体区域置信度图可以确定得到候选图像中的目标主体,利用中心权重图可以让图像中心的对象更容易被检测,利用训练好的利用候选图像、中心权重图和主体掩膜图等训练得到的主体检测模型,可以更加准确的识别出各个候选图像中的目标主体。
在一个实施例中,如图6所示,602为候选图像,将候选图像602输入至预先训练好的主体检测模型中,可以得到目标主体的位置信息604;再将目标主体的位置信息604映射至候选图像602,得到候选图像对应的图像606,从而检测得到目标主体608。其中,主体检测模型可以采用深度学习算法,基于大量预先标注的训练数据进行训练得到。
在一个实施例中,如图7所示,根据各个候选图像的主体区域置信度图确定各个候选图像中的目标主体,包括:
步骤702,对各个候选图像的主体区域置信度图进行处理,得到对应的各个主体掩膜图;其中,一个主体区域置信度图对应一个主体掩膜图。
具体地,主体区域置信度图中存在一些置信度较低、零散的点,可通过ISP处理器或中央处理器对主体区域置信度图进行过滤处理,得到主体掩膜图。该过滤处理可采用配置置信度阈值,将主体区域置信度图中置信度值低于置信度阈值的像素点过滤。该置信度阈值可采用自适应置信度阈值,也可以采用固定阈值,也可以采用分区域配置对应的阈值。
步骤704,检测各个候选图像,确定各个候选图像中的高光区域。
其中,高光区域是指亮度值大于亮度阈值的区域。
具体地,ISP处理器或中央处理器对候选图像进行高光检测,筛选得到亮度值大于亮度阈值的目标像素点,对目标像素点采用连通域处理得到高光区域。
步骤706,根据各个候选图像中的高光区域与对应的主体掩膜图,确定各个候选图像中消除高光的目标主体。
具体地,ISP处理器或中央处理器可将候选图像中的高光区域与该主体掩膜图做差分计算或逻辑与计算得到候选图像中消除高光的目标主体。
本实施例中,对主体区域置信度图做过滤处理得到主体掩膜图,提高了主体区域置信度图的可靠性,对各个候选图像进行检测得到高光区域,然后与主体掩膜图进行处理,可得到消除了高光的目标主体,针对影响主体识别精度的高光、高亮区域单独采用滤波器进行处理,提高了主体识别的精度和准确性。
在一个实施例中,对各个候选图像的主体区域置信度图进行处理,得到对应的各个主体掩膜图,包括:对各个候选图像的主体区域置信度图进行自适应置信度阈值过滤处理,得到对应的各个主体掩膜图。
其中,自适应置信度阈值是指置信度阈值。自适应置信度阈值可为局部自适应置信度阈值。该局部自适应置信度阈值是根据像素点的领域块的像素值分布来确定该像素点位置上的二值化置信度阈值。亮度较高的图像区域的二值化置信度阈值配置的较高,亮度较低的图像区域的二值化阈值置信度配置的较低。
可选地,自适应置信度阈值的配置过程包括:当像素点的亮度值大于第一亮度值,则配置第一置信度阈值,当像素点的亮度值小于第二亮度值,则配置第二置信度阈值,当像素点的亮度值大于第二亮度值且小于第一亮度值,则配置第三置信度阈值,其中,第二亮度值小于或等于第一亮度值,第二置信度阈值小于第三置信度阈值,第三置信度阈值小于第一置信度阈值。
可选地,自适应置信度阈值的配置过程包括:当像素点的亮度值大于第一亮度值,则配置第一置信度阈值,当像素点的亮度值小于或等于第一亮度值,则配置第二置信度阈值,其中,第二亮度值小于或等于第一亮度值,第二置信度阈值小于第一置信度阈值。
对主体区域置信度图进行自适应置信度阈值过滤处理时,将主体区域置信度图中各像素点的置信度值与对应的置信度阈值比较,大于或等于置信度阈值则保留该像素点,小于置信度阈值则去掉该像素点。
在一个实施例中,如图8所示,上述方法还包括:
步骤802,获取目标摄像头对目标主体进行追焦得到的第二目标图像,以及第二目标图像的目标主体。
第二目标图像指的是目标摄像头对目标主体进行追焦得到的图像。第二目标图像的目标主体是目标摄像头对第一目标图像的目标主体进行追焦得到的。
确定目标摄像头之后,可以控制目标摄像头对第一目标图像中的目标主体进行追焦处理,得到第二目标图像。在追焦时,可以采用核相关滤波算法对第一目标图像中的目标主体进行跟踪,从而得到第二目标图像的目标主体。
步骤804,获取第二目标图像的目标主体的清晰度。
可以理解的是,在追焦过程中,存在电子设备发生抖动或者目标主体发生位移的情况,则拍摄得到的第二目标图像不清晰,第二目标图像的目标主体也不清晰,目标摄像头无法准确跟踪到第二目标图像的目标主体,也无法对后续目标摄像头拍摄的图像进行追焦。因此,获取第二目标图像的目标主体的清晰度,从而判断目标摄像头是否准确追焦到第二目标图像的目标主体。
步骤806,当第二目标图像的目标主体的清晰度大于或等于第二清晰度阈值时,执行控制目标摄像头对目标主体进行追焦步骤。
当第二目标图像的目标主体的清晰度大于或等于第二清晰度阈值时,表示第二目标图像的目标主体较清晰,第二目标图像可以准确跟踪到目标主体,则执行控制目标摄像头对目标主体进行追焦步骤,即控制目标摄像头基于第二目标摄像头的目标主体继续对目标主体进行跟踪,实现对目标主体的追焦。
步骤808,当第二目标图像的目标主体的清晰度小于第二清晰度阈值时,执行控制至少两个摄像头分别进行对焦,得到对应的各个候选图像步骤。
当第二目标摄像头的目标主体的清晰度小于第二清晰度阈值时,表示第二目标图像的目标主体较模糊,第二目标图像对目标主体的跟踪不准确,即对目标主体追焦不准确。当目标摄像头对目标主体追焦不准确时,可能由于目标主体超出了目标摄像头的变焦范围,也可能由于目标摄像头无法跟踪到目标主体,因此,需要控制至少两个摄像头重新进行对焦,重新进行识别得到目标主体,重新确定目标摄像头等步骤,即返回执行控制至少两个摄像头分别进行对焦,得到对应的各个候选图像步骤。
上述对焦方法,获取目标摄像头对目标主体进行追焦得到的第二目标图像,以及第二目标图像的目标主体,获取第二目标图像的目标主体的清晰度,根据第二目标图像的目标主体的清晰度判断是否继续对目标主体进行追焦,提高了对焦的准确性。
在一个实施例中,上述方法还包括:当目标摄像头对目标主体失焦时,统计连续失焦的帧数量;当连续失焦的帧数量达到数量阈值时,执行控制至少两个摄像头分别进行对焦,得到对应的各个候选图像步骤。
对目标主体失焦指的是目标摄像头的透镜的焦点未处于目标主体处。
当目标摄像头对目标主体失焦时,且统计连续失焦的帧数量未达到数量阈值,如连续失焦的帧数量为1帧,则目标摄像头仍然可以基于第一目标图像中国的目标主体的位置信息,对目标主体进行跟踪,实现对目标主体的追焦。
当目标摄像头对目标主体失焦时,且统计连续失焦的帧数量达到数量阈值,表示目标摄像头无法对目标主体进行追焦,目标摄像头拍摄得到的图像中的目标主体不清晰。因此,需要控制至少两个摄像头重新进行对焦,重新进行识别得到目标主体,重新确定目标摄像头等步骤,即返回执行控制至少两个摄像头分别进行对焦,得到对应的各个候选图像步骤。
上述对焦方法,当目标摄像头对目标主体失焦时,统计连续失焦的帧数量,当连续失焦的帧数量达到数量阈值时,重新从至少两个摄像头中确定目标摄像头进行追焦,提高了对焦的准确性。
在一个实施例中,如图9所示,电子设备执行步骤902,控制至少两个摄像头分别进行对焦,得到对应的各个候选图像;执行904步骤,对各个候选图像进行主体检测,识别各个候选图像的目标主体;确定各个候选图像的目标主体的清晰度,并执行步骤906,将各个候选图像的目标主体的清晰度进行比较,得到比较结果;根据比较结果从各个候选图像中确定第一目标图像,可以将目标主体清晰度最高的候选图像确定为第一目标图像,也可以将目标主体清晰度次高的候选图像确定为第一目标图像,不限于此;将第一目标图像对应的摄像头作为目标摄像头,即步骤908,确定目标摄像头;执行步骤910,基于第一目标图像中的目标主体的位置信息,控制目标摄像头对目标主体进行追焦。
获取目标摄像头对目标主体进行追焦得到的第二目标图像,以及第二目标图像的目标主体;获取第二目标图像的目标主体的清晰度;执行步骤912,判断第二目标图像的目标主体的清晰度是否小于第二清晰度阈值或连续失焦多帧。当第二目标图像的目标主体的清晰度大于或等于第二清晰度阈值时,执行控制目标摄像头对目标主体进行追焦步骤,即执行步骤910。当第二目标图像的目标主体的清晰度小于第二清晰度阈值时,执行控制所述至少两个摄像头分别进行对焦,得到对应的各个候选图像步骤,即执行步骤902。
当目标摄像头对目标主体失焦时,统计连续失焦的帧数量;执行步骤912,判断第二目标图像的目标主体的清晰度是否小于第二清晰度阈值或连续失焦多帧。当连续失焦的帧数量未达到数量阈值时,执行控制目标摄像头对目标主体进行追焦步骤,即执行步骤910。当连续失焦的帧数量达到数量阈值时,执行控制至少两个摄像头分别进行对焦,得到对应的各个候选图像步骤,即执行步骤902。
在一个实施例中,至少两个摄像头包含至少一个长焦摄像头;上述方法还包括:获取拍摄物体的深度距离;其中,深度距离指的是拍摄物体与电子设备之间的距离。控制至少两个摄像头分别进行对焦,得到对应的各个候选图像,包括:当深度距离大于或等于预设距离时,控制至少一个长焦摄像头分别进行对焦,得到对应的各个第一候选图像;其中,一个长焦摄像头对应一个第一候选图像。识别各个候选图像的目标主体,包括:识别各个第一候选图像的目标主体。确定各个候选图像的目标主体的清晰度,并将各个候选图像的目标主体的清晰度进行比较,得到比较结果,包括:确定各个第一候选图像的目标主体的清晰度,并将各个第一候选图像的目标主体的清晰度进行比较,得到比较结果。根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头,包括:根据比较结果从各个第一候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头。
长焦摄像头是一种焦距长于标准摄像头、视角小于标准摄像头的摄像头。长焦摄像头的视角较小,焦距较长,可以拍摄到远距离物体较清晰的图像,适合拍摄较远的物体。
深度距离指的是拍摄物体与电子设备之间的距离,即拍摄物体与摄像头之间的距离。深度距离越大,表示拍摄物体距离摄像头越远;深度距离越小,表示拍摄物体距离摄像头越近。电子设备上可以设置深度摄像头,通过深度摄像头获取深度图像。在深度图像中,可以获取各个拍摄物体的深度距离。
当拍摄物体的深度距离大于或等于预设距离时,表示拍摄物体距离摄像头较远,通过长焦摄像头可以拍摄清晰的图像。因此,控制至少一个长焦摄像头分别进行对焦,得到对应的各个第一候选图像;识别各个第一候选图像的目标主体;确定各个第一候选图像的目标主体的清晰度,并将各个第一候选图像的目标主体的清晰度进行比较,得到比较结果;根据比较结果从各个第一候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头。
当电子设备中包含一个长焦摄像头时,可以直接将该长焦摄像头作为目标摄像头。当电子设备中包含至少两个长焦摄像头时,从至少两个长焦摄像头中确定目标摄像头。
上述对焦方法,获取拍摄物体的深度距离,当深度距离大于或等于预设距离时,表示拍摄物体距离摄像头较远,则从至少一个长焦摄像头中确定目标摄像头,避免了将全部摄像头进行比较处理,提高了对焦的效率。
在一个实施例中,至少两个摄像头包含至少一个广角摄像头;上述方法还包括:获取拍摄物体的深度距离;其中,深度距离指的是拍摄物体与电子设备之间的距离。控制至少两个摄像头分别进行对焦,得到对应的各个候选图像,包括:当深度距离小于预设距离时,控制至少一个广角摄像头分别进行对焦,得到对应的各个第二候选图像;其中,一个广角摄像头对应一个第二候选图像。识别各个候选图像的目标主体,包括:识别各个第二候选图像的目标主体。确定各个候选图像的目标主体的清晰度,并将各个候选图像的目标主体的清晰度进行比较,得到比较结果,包括:确定各个第一候选图像的目标主体的清晰度,并将各个第二候选图像的目标主体的清晰度进行比较,得到比较结果。根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头,包括:根据比较结果从各个第二候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头。
广角摄像头是一种焦距短于标准摄像头、视角大于标准摄像头的摄像头。广角摄像头的视角较大,即通过广角摄像头拍摄得到的图像可以包含较广的拍摄场景,适合拍摄较近的物体。
深度距离指的是拍摄物体与电子设备之间的距离,即拍摄物体与摄像头之间的距离。深度距离越大,表示拍摄物体距离摄像头越远;深度距离越小,表示拍摄物体距离摄像头越近。电子设备上可以设置深度摄像头,通过深度摄像头获取深度图像。在深度图像中,可以获取各个拍摄物体的深度距离。
当拍摄物体的深度距离小于预设距离时,表示拍摄物体距离摄像头较近,通过广角摄像头可以拍摄清晰的图像。因此,控制至少一个广角摄像头分别进行对焦,得到对应的各个第二候选图像;识别各个第二候选图像的目标主体;确定各个第二候选图像的目标主体的清晰度,并将各个第二候选图像的目标主体的清晰度进行比较,得到比较结果;根据比较结果从各个第二候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头。
当电子设备中包含一个广角摄像头时,可以直接将该广角摄像头作为目标摄像头。当电子设备中包含至少两个广角摄像头时,从至少两个广角摄像头中确定目标摄像头。
上述对焦方法,获取拍摄物体的深度距离,当深度距离小于预设距离时,表示拍摄物体距离摄像头较近,则从至少一个广角摄像头中确定目标摄像头,避免了将全部摄像头进行比较处理,提高了对焦的效率。
应该理解的是,虽然图3、图5、图7和图8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3、图5、图7和图8中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图10为一个实施例的对焦装置的结构框图。如图10所示,提供了一种对焦装置1000,应用于包含至少两个摄像头的电子设备,包括:对焦模块1002、识别模块1004、比较模块1006、第一目标图像确定模块1008和追焦模块1010,其中:
对焦模块1002,用于控制至少两个摄像头分别进行对焦,得到对应的各个候选图像;其中,一个摄像头对应一个候选图像。
识别模块1004,用于识别各个候选图像的目标主体。
比较模块1006,用于确定各个候选图像的目标主体的清晰度,并将各个候选图像的目标主体的清晰度进行比较,得到比较结果。
第一目标图像确定模块1008,用于根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头。
追焦模块1010,用于控制目标摄像头对目标主体进行追焦。
上述对焦装置,控制至少两个摄像头分别进行对焦,得到对应的各个候选图像,识别各个候选图像的目标主体,确定各个候选图像的目标主体的清晰度,并将各个候选图像的目标主体的清晰度进行比较,根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头,控制目标摄像头对目标主体进行追焦。根据各个候选图像的目标主体的清晰度,从至少两个摄像头中确定目标摄像头,则目标摄像头获取的图像中的目标主体可以更加准确地进行追焦处理,提高了对焦的准确性。
在一个实施例中,至少两个摄像头的变焦范围均不相同。
在一个实施例中,上述第一目标图像确定模块1008还用于根据比较结果将清晰度最高的目标主体对应的候选图像确定为第一目标图像。
在一个实施例中,上述识别模块1004还用于根据各个候选图像生成对应的各个中心权重图,其中,中心权重图所表示的权重值从中心到边缘逐渐减小,一个候选图像生成对应的一个中心权重图;将各个候选图像和对应的各个中心权重图输入到主体检测模型中,得到各个候选图像的主体区域置信度图,其中,主体检测模型是预先根据同一场景的候选图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型;根据各个候选图像的主体区域置信度图确定各个候选图像中的目标主体。
在一个实施例中,上述识别模块1004还用于对各个候选图像的主体区域置信度图进行处理,得到对应的各个主体掩膜图;其中,一个主体区域置信度图对应一个主体掩膜图;检测各个候选图像,确定各个候选图像中的高光区域;根据各个候选图像中的高光区域与对应的主体掩膜图,确定各个候选图像中消除高光的目标主体。
在一个实施例中,上述识别模块1004还用于对各个候选图像的主体区域置信度图进行自适应置信度阈值过滤处理,得到对应的各个主体掩膜图。
在一个实施例中,上述对焦装置还包括判断模块,用于获取目标摄像头对目标主体进行追焦得到的第二目标图像,以及第二目标图像的目标主体;获取第二目标图像的目标主体的清晰度;当第二目标图像的目标主体的清晰度大于或等于第二清晰度阈值时,执行控制目标摄像头对目标主体进行追焦步骤;当第二目标图像的目标主体的清晰度小于第二清晰度阈值时,执行控制至少两个摄像头分别进行对焦,得到对应的各个候选图像步骤。
在一个实施例中,上述判断模块还用于当目标摄像头对目标主体失焦时,统计连续失焦的帧数量;当连续失焦的帧数量达到数量阈值时,执行控制至少两个摄像头分别进行对焦,得到对应的各个候选图像步骤。
在一个实施例中,上述对焦装置还包括深度距离获取模块,用于获取拍摄物体的深度距离;其中,深度距离指的是拍摄物体与电子设备之间的距离。控制至少两个摄像头分别进行对焦,得到对应的各个候选图像,包括:当深度距离大于或等于预设距离时,控制至少一个长焦摄像头分别进行对焦,得到对应的各个第一候选图像;其中,一个长焦摄像头对应一个第一候选图像。识别各个候选图像的目标主体,包括:识别各个第一候选图像的目标主体。确定各个候选图像的目标主体的清晰度,并将各个候选图像的目标主体的清晰度进行比较,得到比较结果,包括:确定各个第一候选图像的目标主体的清晰度,并将各个第一候选图像的目标主体的清晰度进行比较,得到比较结果。根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头,包括:根据比较结果从各个第一候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头。
在一个实施例中,上述深度距离获取模块还用于获取拍摄物体的深度距离;其中,深度距离指的是拍摄物体与电子设备之间的距离。控制至少两个摄像头分别进行对焦,得到对应的各个候选图像,包括:当深度距离小于预设距离时,控制至少一个广角摄像头分别进行对焦,得到对应的各个第二候选图像;其中,一个广角摄像头对应一个第二候选图像。识别各个候选图像的目标主体,包括:识别各个第二候选图像的目标主体。确定各个候选图像的目标主体的清晰度,并将各个候选图像的目标主体的清晰度进行比较,得到比较结果,包括:确定各个第一候选图像的目标主体的清晰度,并将各个第二候选图像的目标主体的清晰度进行比较,得到比较结果。根据比较结果从各个候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头,包括:根据比较结果从各个第二候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头。
上述对焦装置中各个模块的划分仅用于举例说明,在其他实施例中,可将对焦装置按照需要划分为不同的模块,以完成上述对焦装置的全部或部分功能。
图11为一个实施例中电子设备的内部结构示意图。如图11所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种对焦方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的对焦装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行对焦方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行对焦方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种对焦方法,其特征在于,应用于包含至少两个摄像头的电子设备,包括:
控制所述至少两个摄像头分别进行对焦,得到对应的各个候选图像;其中,一个所述摄像头对应一个候选图像;
根据各个所述候选图像生成对应的各个中心权重图,其中,所述中心权重图所表示的权重值从中心到边缘逐渐减小,一个候选图像生成对应的一个中心权重图;
将各个所述候选图像和对应的各个所述中心权重图输入到主体检测模型中,得到各个所述候选图像的主体区域置信度图,其中,所述主体检测模型是预先根据同一场景的候选图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型;
根据各个所述候选图像的主体区域置信度图,选取各个所述主体区域置信度图中置信度最高或次高的主体,确定为对应的所述候选图像中的目标主体;
确定各个所述候选图像的目标主体的清晰度,并将各个所述候选图像的目标主体的清晰度进行比较,得到比较结果;
根据比较结果从各个所述候选图像中确定第一目标图像,并将所述第一目标图像对应的摄像头作为目标摄像头;
控制所述目标摄像头对所述目标主体进行追焦。
2.根据权利要求1所述的方法,其特征在于,所述至少两个摄像头的变焦范围均不相同。
3.根据权利要求1所述的方法,其特征在于,所述根据比较结果从各个所述候选图像中确定第一目标图像,包括:
根据比较结果将清晰度最高的目标主体对应的候选图像确定为第一目标图像。
4.根据权利要求1所述的方法,其特征在于,所述根据各个所述候选图像的主体区域置信度图确定各个所述候选图像中的目标主体,包括:
对各个所述候选图像的主体区域置信度图进行处理,得到对应的各个主体掩膜图;其中,一个主体区域置信度图对应一个主体掩膜图;
检测各个所述候选图像,确定各个所述候选图像中的高光区域;
根据各个所述候选图像中的高光区域与对应的所述主体掩膜图,确定各个所述候选图像中消除高光的目标主体。
5.根据权利要求4所述的方法,其特征在于,所述对各个所述候选图像的主体区域置信度图进行处理,得到对应的各个主体掩膜图,包括:
对各个所述候选图像的主体区域置信度图进行自适应置信度阈值过滤处理,得到对应的各个主体掩膜图。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述目标摄像头对所述目标主体进行追焦得到的第二目标图像,以及所述第二目标图像的目标主体;
获取所述第二目标图像的目标主体的清晰度;
当所述第二目标图像的目标主体的清晰度大于或等于第二清晰度阈值时,执行所述控制所述目标摄像头对所述目标主体进行追焦步骤;
当所述第二目标图像的目标主体的清晰度小于第二清晰度阈值时,执行所述控制所述至少两个摄像头分别进行对焦,得到对应的各个候选图像步骤。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述目标摄像头对所述目标主体失焦时,统计连续失焦的帧数量;
当所述连续失焦的帧数量达到数量阈值时,执行所述控制所述至少两个摄像头分别进行对焦,得到对应的各个候选图像步骤。
8.根据权利要求1所述的方法,其特征在于,所述至少两个摄像头包含至少一个长焦摄像头;所述方法还包括:
获取拍摄物体的深度距离;其中,所述深度距离指的是拍摄物体与电子设备之间的距离;
所述控制所述至少两个摄像头分别进行对焦,得到对应的各个候选图像,包括:
当所述深度距离大于或等于预设距离时,控制所述至少一个长焦摄像头分别进行对焦,得到对应的各个第一候选图像;其中,所述一个长焦摄像头对应一个第一候选图像;
识别各个所述第一候选图像的目标主体;
所述确定各个所述候选图像的目标主体的清晰度,并将各个所述候选图像的目标主体的清晰度进行比较,得到比较结果,包括:
确定各个所述第一候选图像的目标主体的清晰度,并将各个所述第一候选图像的目标主体的清晰度进行比较,得到比较结果;
所述根据比较结果从各个所述候选图像中确定第一目标图像,并将所述第一目标图像对应的摄像头作为目标摄像头,包括:
根据比较结果从各个所述第一候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头。
9.根据权利要求1所述的方法,其特征在于,所述至少两个摄像头包含至少一个广角摄像头;所述方法还包括:
获取拍摄物体的深度距离;其中,所述深度距离指的是拍摄物体与电子设备之间的距离;
当所述深度距离小于预设距离时,控制所述至少一个广角摄像头分别进行对焦,得到对应的各个第二候选图像;其中,所述一个广角摄像头对应一个第二候选图像;
识别各个所述第二候选图像的目标主体;
所述确定各个所述候选图像的目标主体的清晰度,并将各个所述候选图像的目标主体的清晰度进行比较,得到比较结果,包括:
确定各个所述第二候选图像的目标主体的清晰度,并将各个所述第二候选图像的目标主体的清晰度进行比较,得到比较结果;
所述根据比较结果从各个所述候选图像中确定第一目标图像,并将所述第一目标图像对应的摄像头作为目标摄像头,包括:
根据比较结果从各个所述第二候选图像中确定第一目标图像,并将第一目标图像对应的摄像头作为目标摄像头。
10.一种对焦装置,其特征在于,应用于包含至少两个摄像头的电子设备,包括:
对焦模块,用于控制所述至少两个摄像头分别进行对焦,得到对应的各个候选图像;其中,一个所述摄像头对应一个候选图像;
识别模块,用于根据各个所述候选图像生成对应的各个中心权重图,其中,所述中心权重图所表示的权重值从中心到边缘逐渐减小,一个候选图像生成对应的一个中心权重图;将各个所述候选图像和对应的各个所述中心权重图输入到主体检测模型中,得到各个所述候选图像的主体区域置信度图,其中,所述主体检测模型是预先根据同一场景的候选图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型;根据各个所述候选图像的主体区域置信度图,选取各个所述主体区域置信度图中置信度最高或次高的主体,确定为对应的所述候选图像中的目标主体;
比较模块,用于确定各个所述候选图像的目标主体的清晰度,并将各个所述候选图像的目标主体的清晰度进行比较,得到比较结果;
第一目标图像确定模块,用于根据比较结果从各个所述候选图像中确定第一目标图像,并将所述第一目标图像对应的摄像头作为目标摄像头;
追焦模块,用于控制所述目标摄像头对所述目标主体进行追焦。
11.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的追焦方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910656240.XA CN110248101B (zh) | 2019-07-19 | 2019-07-19 | 对焦方法和装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910656240.XA CN110248101B (zh) | 2019-07-19 | 2019-07-19 | 对焦方法和装置、电子设备、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110248101A CN110248101A (zh) | 2019-09-17 |
CN110248101B true CN110248101B (zh) | 2021-07-09 |
Family
ID=67893190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910656240.XA Active CN110248101B (zh) | 2019-07-19 | 2019-07-19 | 对焦方法和装置、电子设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110248101B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110248097B (zh) * | 2019-06-28 | 2021-02-23 | Oppo广东移动通信有限公司 | 追焦方法、装置、终端设备、计算机可读存储介质 |
CN110545384B (zh) * | 2019-09-23 | 2021-06-08 | Oppo广东移动通信有限公司 | 对焦方法和装置、电子设备、计算机可读存储介质 |
CN111007661B (zh) * | 2019-12-02 | 2022-02-22 | 湖南国科智瞳科技有限公司 | 一种基于深度学习的显微图像自动聚焦方法及装置 |
CN112907500B (zh) * | 2019-12-03 | 2022-02-18 | 精微视达医疗科技(武汉)有限公司 | 一种内窥镜对焦方法及装置 |
CN111062313A (zh) * | 2019-12-13 | 2020-04-24 | 歌尔股份有限公司 | 一种图像识别方法、装置、监控系统及存储介质 |
CN111787224B (zh) * | 2020-07-10 | 2022-07-12 | 深圳传音控股股份有限公司 | 图像的获取方法、终端设备和计算机可读存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101637019A (zh) * | 2007-03-09 | 2010-01-27 | 伊斯曼柯达公司 | 提供范围映射的多镜头照相机 |
CN101771816A (zh) * | 2008-12-27 | 2010-07-07 | 鸿富锦精密工业(深圳)有限公司 | 便携式电子装置及成像方法 |
JP2010523015A (ja) * | 2007-03-09 | 2010-07-08 | イーストマン コダック カンパニー | 多様なモードにおいて操作可能なマルチレンズカメラ |
CN102215377A (zh) * | 2010-04-07 | 2011-10-12 | 北京智安邦科技有限公司 | Ptz单目标自动跟踪的装置及方法 |
CN102984530A (zh) * | 2011-09-02 | 2013-03-20 | 宏达国际电子股份有限公司 | 图像处理系统及自动对焦方法 |
CN103986876A (zh) * | 2014-05-29 | 2014-08-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取终端和图像获取方法 |
CN104168418A (zh) * | 2014-06-30 | 2014-11-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取装置、图像获取方法及终端 |
CN104363379A (zh) * | 2014-11-28 | 2015-02-18 | 广东欧珀移动通信有限公司 | 使用不同焦距摄像头拍照的方法和终端 |
CN106161941A (zh) * | 2016-07-29 | 2016-11-23 | 深圳众思科技有限公司 | 双摄像头自动追焦方法、装置及终端 |
CN106713718A (zh) * | 2017-02-27 | 2017-05-24 | 努比亚技术有限公司 | 一种基于双摄像头的对焦方法及移动终端 |
CN107925729A (zh) * | 2015-08-17 | 2018-04-17 | 三星电子株式会社 | 拍摄装置及其控制方法 |
CN108229425A (zh) * | 2018-01-29 | 2018-06-29 | 浙江大学 | 一种基于高分辨率遥感图像的水体识别方法 |
CN108989693A (zh) * | 2018-10-26 | 2018-12-11 | 昆山亿趣信息技术研究院有限公司 | 基于双摄像头的快速对比度检测的对焦方法 |
CN109120821A (zh) * | 2016-01-20 | 2019-01-01 | 深圳富泰宏精密工业有限公司 | 多镜头系统、其工作方法及便携式电子装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108989647B (zh) * | 2013-06-13 | 2020-10-20 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
-
2019
- 2019-07-19 CN CN201910656240.XA patent/CN110248101B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101637019A (zh) * | 2007-03-09 | 2010-01-27 | 伊斯曼柯达公司 | 提供范围映射的多镜头照相机 |
JP2010523015A (ja) * | 2007-03-09 | 2010-07-08 | イーストマン コダック カンパニー | 多様なモードにおいて操作可能なマルチレンズカメラ |
CN101771816A (zh) * | 2008-12-27 | 2010-07-07 | 鸿富锦精密工业(深圳)有限公司 | 便携式电子装置及成像方法 |
CN102215377A (zh) * | 2010-04-07 | 2011-10-12 | 北京智安邦科技有限公司 | Ptz单目标自动跟踪的装置及方法 |
CN102984530A (zh) * | 2011-09-02 | 2013-03-20 | 宏达国际电子股份有限公司 | 图像处理系统及自动对焦方法 |
CN103986876A (zh) * | 2014-05-29 | 2014-08-13 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取终端和图像获取方法 |
CN104168418A (zh) * | 2014-06-30 | 2014-11-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像获取装置、图像获取方法及终端 |
CN104363379A (zh) * | 2014-11-28 | 2015-02-18 | 广东欧珀移动通信有限公司 | 使用不同焦距摄像头拍照的方法和终端 |
CN107925729A (zh) * | 2015-08-17 | 2018-04-17 | 三星电子株式会社 | 拍摄装置及其控制方法 |
CN109120821A (zh) * | 2016-01-20 | 2019-01-01 | 深圳富泰宏精密工业有限公司 | 多镜头系统、其工作方法及便携式电子装置 |
CN106161941A (zh) * | 2016-07-29 | 2016-11-23 | 深圳众思科技有限公司 | 双摄像头自动追焦方法、装置及终端 |
CN106713718A (zh) * | 2017-02-27 | 2017-05-24 | 努比亚技术有限公司 | 一种基于双摄像头的对焦方法及移动终端 |
CN108229425A (zh) * | 2018-01-29 | 2018-06-29 | 浙江大学 | 一种基于高分辨率遥感图像的水体识别方法 |
CN108989693A (zh) * | 2018-10-26 | 2018-12-11 | 昆山亿趣信息技术研究院有限公司 | 基于双摄像头的快速对比度检测的对焦方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110248101A (zh) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
CN110248101B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110248096B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN113766125B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110473185B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110225248B (zh) | 图像采集方法和装置、电子设备、计算机可读存储介质 | |
EP3496383A1 (en) | Image processing method, apparatus and device | |
US8184196B2 (en) | System and method to generate depth data using edge detection | |
CN110493527B (zh) | 主体对焦方法、装置、电子设备和存储介质 | |
CN110572573B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110349163B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110248097B (zh) | 追焦方法、装置、终端设备、计算机可读存储介质 | |
CN110650291B (zh) | 目标追焦方法和装置、电子设备、计算机可读存储介质 | |
CN110580428A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN110490196B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
CN109712177B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN109146906B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110881103B (zh) | 对焦控制方法和装置、电子设备、计算机可读存储介质 | |
CN110191287B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110661977B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
CN109327626B (zh) | 图像采集方法、装置、电子设备和计算机可读存储介质 | |
CN110213498B (zh) | 图像生成方法和装置、电子设备、计算机可读存储介质 | |
CN110049240B (zh) | 摄像头控制方法、装置、电子设备和计算机可读存储介质 | |
CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
CN110392211B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |