CN115037871A - 控制对焦的方法、装置、电子设备及计算机可读存储介质 - Google Patents
控制对焦的方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115037871A CN115037871A CN202110246145.XA CN202110246145A CN115037871A CN 115037871 A CN115037871 A CN 115037871A CN 202110246145 A CN202110246145 A CN 202110246145A CN 115037871 A CN115037871 A CN 115037871A
- Authority
- CN
- China
- Prior art keywords
- frame image
- defocus amount
- target object
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 abstract description 22
- 230000000694 effects Effects 0.000 abstract description 11
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000006641 stabilisation Effects 0.000 description 5
- 238000011105 stabilization Methods 0.000 description 5
- 230000000087 stabilizing effect Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种控制对焦的方法、装置、电子设备及计算机可读存储介质。该方法,包括:根据历史帧图像确定目标对象的运动状态;根据所述运动状态对当前帧图像的离焦量进行分析,所述历史帧图像为在所述当前帧图像之前通过摄像头采集的图像;若根据分析结果确定所述离焦量为正常离焦量,则控制对焦模块根据所述离焦量执行对焦操作。上述的控制对焦的方法、装置、电子设备及计算机可读存储介质,能够提高自动对焦的准确性,提高了目标对象的成像效果,且可防止镜头出现推拉的情况。
Description
技术领域
本申请涉及影像技术领域,具体涉及一种控制对焦的方法、装置、电子设备及计算机可读存储介质。
背景技术
摄像装置在进行图像采集时,需要先进行对焦,从而保证拍摄的目标对象在图像中成像清晰。对于在运动过程中的目标对象,摄像装置需要实时对目标对象进行追踪,确定目标对象的真实物距,从而将镜头移动至目标清晰的焦平面,保证运动目标对焦清楚。
然而摄像装置在实际的使用过程中,为了保证对目标对象进行图像采集后的成像效果,通常需要先对采集的图像进行充分处理,包括自动对焦、自动曝光、白平衡处理及降噪等,因此,目标对象的追踪过程会出现延迟,摄像装置对目标对象的追踪结果与目标对象的真实位置出现偏差,导致出现自动对焦不准确的情况,降低了目标对象的成像效果。
发明内容
本申请实施例公开了一种控制对焦的方法、装置、电子设备及计算机可读存储介质,能够提高自动对焦的准确性,提高了目标对象的成像效果,且可防止镜头出现推拉的情况。
本申请实施例公开了一种控制对焦的方法,包括:
根据历史帧图像确定目标对象的运动状态;
根据所述运动状态对当前帧图像的离焦量进行分析,所述历史帧图像为在所述当前帧图像之前通过摄像头采集的图像;
若根据分析结果确定所述离焦量为正常离焦量,则控制对焦模块根据所述离焦量执行对焦操作。
本申请实施例公开了一种控制对焦的装置,包括:
状态确定模块,用于根据历史帧图像确定目标对象的运动状态;
分析模块,用于根据所述运动状态对当前帧图像的离焦量进行分析,所述历史帧图像为在所述当前帧图像之前通过摄像头采集的图像;
控制模块,用于若根据分析结果确定所述离焦量为正常离焦量,则控制对焦模块根据所述离焦量执行对焦操作。
本申请实施例公开了一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如上所述的方法。
本申请实施例公开了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。
本申请实施例公开的控制对焦的方法、装置、电子设备及计算机可读存储介质,根据历史帧图像确定目标对象的运动状态,根据该运动状态对当前帧图像的离焦量进行分析,若根据分析结果确定该离焦量为正常离焦量,则控制对焦模块根据该离焦量执行对焦操作,可根据运动状态检测当前帧图像的离焦量是否正常,仅在当前帧图像的离焦量为正常离焦量时,才进行对焦,从而可提高自动对焦的准确性,提高了目标对象的成像效果,且可防止出现因为当前帧图像的离焦量为异常离焦量导致镜头出现推拉的情况,提高了对焦的稳定性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为一个实施例中理想状态下电子设备实现目标追焦的框图;
图1B为一个实施例中实际使用状态下电子设备实现目标追焦的框图;
图2为一个实施例中图像处理电路的框图;
图3为一个实施例中控制对焦的方法的流程图;
图4为另一个实施例中控制对焦的方法的流程图;
图5A为一个实施例中根据目标对象的运动状态分析离焦量的示意图;
图5B为另为一个实施例中根据目标对象的运动状态分析离焦量的示意图;
图6为另一个实施例中控制对焦的方法的流程图;
图7为一个实施例中控制对焦的装置的框图;
图8为一个实施例中电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一感兴趣区域称为第二感兴趣区域,且类似地,可将第二感兴趣区域称为第一感兴趣区域。第一感兴趣区域和第二感兴趣区域两者都是感兴趣区域,但其不是同一帧图像中的感兴趣区域。
图1A为一个实施例中理想状态下电子设备实现目标追焦的框图。如图1A所示,电子设备可包括图像传感器110、目标确定模块120、跟踪模块130及对焦模块140。追焦指的是对动运的目标进行追踪对焦,目标确定模块120可用于确定待追踪的目标对象,在该目标对象运动的过程中,图像传感器110可捕抓图像数据。跟踪模块130可基于图像传感器110捕抓的图像数据确定目标对象在每帧图像中的位置,对目标对象进行追踪。对焦模块140则可基于跟踪模块130的追踪结果进行对焦,可将跟踪模块130输出的目标对象在图像中的位置作为对焦区域,确定目标对象的真实物距,从而将镜头移动至目标清晰的焦平面,保证目标对象对焦清楚。
在理想状态下的追焦流程中,对焦模块140置于跟踪模块130之后,从而能够保证对焦模块140每次接收到的追踪结果都是目标对象在当前帧图像中的位置,从而保证对焦准确。然而在实际的追焦流程中,为了保证成像效果,通常要求图像传感器110捕抓的图像数据经过充分处理,该处理可包括但不限于自动对焦、自动曝光、白平衡处理及降噪等,因此,会将跟踪模块130置于对焦模块140后。
图1B为一个实施例中实际使用状态下电子设备实现目标追焦的框图。如图1B所示,跟踪模块130置于对焦模块140后,对焦模块140处于图像采集过程中的前端位置,这样会导致跟踪模块130输出的跟踪结果延迟反馈至对焦模块140,即跟踪模块130输出的跟踪结果为前几帧图像的跟踪结果,而非对焦模块140当前需要进行对焦的图像中目标对象的跟踪结果。对于运动状态下的目标对象,跟踪模块130的延迟反馈会导致对目标对象的追踪结果与目标对象的真实位置出现偏差,导致对焦模块140的对焦区域不准确,出现目标对象在采集的图像中不清晰的情况,降低了目标对象的成像效果。且由于对焦模块140是基于前几帧图像的跟踪结果对当前帧图像进行对焦,在对焦区域与目标对象的真实位置出现较大偏差时,会导致镜头出现推拉效果,追焦过程不稳定。
本申请实施例中提供一种控制对焦的方法、装置、电子设备及计算机可读存储介质,可根据运动状态检测当前帧图像的离焦量是否正常,仅在当前帧图像的离焦量为正常离焦量时,才进行对焦,从而可提高自动对焦的准确性,提高了目标对象的成像效果,且可防止出现因为当前帧图像的离焦量为异常离焦量导致镜头出现推拉的情况,提高了对焦的稳定性。
本申请实施例提供一种电子设备。该电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图2为一个实施例中图像处理电路的框图。为便于说明,图2仅示出与本申请实施例相关的图像处理技术的各个方面。
如图2所示,图像处理电路包括ISP处理器240和控制逻辑器250。成像设备210捕捉的图像数据首先由ISP处理器240处理,ISP处理器240对图像数据进行分析以捕捉可用于确定成像设备210的一个或多个控制参数的图像统计信息。成像设备210可包括一个或多个透镜212和图像传感器214。图像传感器214可包括色彩滤镜阵列(如Bayer滤镜),图像传感器214可获取每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器240处理的一组原始图像数据。姿态传感器220(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器220接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器240。姿态传感器220接口可以采用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。
需要说明的是,虽然图2中仅示出了一个成像设备210,但是在本申请实施例中,可包括至少两个成像设备210,每个成像设备210可分别对应一个图像传感器214,也可多个成像设备210对应一个图像传感器214,在此不作限定。每个成像设备210的工作过程可参照上述所描述的内容。
此外,图像传感器214也可将原始图像数据发送给姿态传感器220,姿态传感器220可基于姿态传感器220接口类型把原始图像数据提供给ISP处理器240,或者姿态传感器220将原始图像数据存储到图像存储器230中。
ISP处理器240按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器240可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器240还可从图像存储器230接收图像数据。例如,姿态传感器220接口将原始图像数据发送给图像存储器230,图像存储器230中的原始图像数据再提供给ISP处理器240以供处理。图像存储器230可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器214接口或来自姿态传感器220接口或来自图像存储器230的原始图像数据时,ISP处理器240可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器230,以便在被显示之前进行另外的处理。ISP处理器240从图像存储器230接收处理数据,并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器240处理后的图像数据可输出给显示器260,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器240的输出还可发送给图像存储器230,且显示器260可从图像存储器230读取图像数据。在一个实施例中,图像存储器230可被配置为实现一个或多个帧缓冲器。
ISP处理器240确定的统计数据可发送给控制逻辑器250。例如,统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜212阴影校正等图像传感器214统计信息。控制逻辑器250可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备210的控制参数及ISP处理器240的控制参数。例如,成像设备210的控制参数可包括姿态传感器220控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜212控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜212阴影校正参数。
示例性地,结合图2的图像处理电路,对本申请实施例所提供的控制对焦的方法进行说明。图像处理电路中的图像传感器214可将捕捉到的原始图像数据发送给ISP处理器240,ISP处理器240可对图像传感器214发送的原始图像数据进行处理,得到可在显示器260中显示的图像。ISP处理器240可对处理得到的每帧图像中的目标对象区域进行识别。可选地,在ISP处理器240识别得到当前帧图像的目标对象区域后,可根据当前帧图像的目标对象区域与前一帧图像的目标对象区域之间的区别确定目标对象的运动状态。同时,可根据当前帧图像的目标对象区域确定下一帧(或是下N帧)图像的对焦区域,该对焦区域即为下一帧图像的感兴趣区域。
在ISP处理器240接收到图像传感器214发送的下一帧图像的原始图像数据时,该下一帧图像即作为新的当前帧图像,可根据镜头平稳策略及运动状态判断当前帧的感兴趣区域(即上一帧图像确定的对焦区域)是否为正常感兴趣区域,该正常感兴趣区域可理解为目标对象处于感兴趣区域内,即以该感兴趣区域为对焦区域是准确的。若当前帧的感兴趣区域为正常感兴趣区域,则ISP处理器240可将当前帧的感兴趣区域的区域信息发送给控制逻辑器250,控制逻辑器250根据该感兴趣区域的区域信息确定对焦区域,并生成相应的镜头控制参数控制镜头移动,使得成像设备210对该对焦区域进行对焦,从而可实现对目标设备的准确追焦。
若当前帧的感兴趣区域为异常感兴趣区域,表示目标对象不处于该感兴趣区域内或是仅有一部分处于该感兴趣区域内,即以该感兴趣区域为对焦区域是不准确的。IPS处理器240可通过控制逻辑器250控制镜头保持不动,不基于该感兴趣区域执行对焦操作。
进一步地,ISP处理器240可根据运动状态对当前帧图像的离焦量进行分析,若根据分析结果确定该离焦量为正常离焦量,可说明当前帧的感兴趣区域为正常感兴趣区域,则控制逻辑器250可根据该离焦量生成相应的镜头控制参数控制镜头移动,从而进行对焦操作。若根据分析结果确定该离焦量为异常离焦量,则可过滤该离焦量,使镜头保持不动。
如图3所示,在一个实施例中,提供一种控制对焦的方法,可应用于上述的电子设备,该电子设备可包括但不限于手机、平板电脑、智能可穿戴设备、车载终端、监控系统、笔记本电脑及PC(Personal Computer,个人计算机)等,电子设备中可设置有一个或多个摄像头,也可以与外置的一个或多个摄像装置连接。该图像处理方法,可包括以下步骤:
步骤310,根据历史帧图像确定目标对象的运动状态。
目标对象可指的是电子设备的关注对象,也即摄像头的主要拍摄对象,该目标对象可包括但不限于人、动物、非生命物体等各类物体,目标对象可以是整个物体,也可以仅是物体的某个部位,例如,目标对象可以是整个人,也可以是人的人脸,目标对象可以是整栋建筑,也可以是建筑的大门、楼层等。
图像传感器捕捉图像的原始数据,并将捕捉的图像发送给处理器,可将图像传感器最近所捕捉的图像作为当前帧图像,历史帧图像则可指的是在当前帧图像之前通过摄像头所采集的图像,历史帧图像可以是图像传感器所捕的原始图像,也可以是经过处理器处理后得到的图像。
在一些实施例中,电子设备可逐帧确定目标对象的运动状态。电子设备的处理器在获取到每帧图像后,可通过上述的跟踪模块130对每帧图像中的目标对象进行识别,确定目标对象在每帧图像中的目标对象区域。可根据目标对象在连续多帧图像中的目标对象区域确定目标对象在当前的运动状态。
示例性地,可将获取的第N帧图像中的目标对象区域与一帧或多帧在第N帧图像之前的图像(如第N-1帧图像、第N-2帧图像等)中的目标对象区域进行比对,并根据比对结果确定目标对象的运动状态,该目标对象的运动状态可用于检验下一需要进行对焦的图像(如第N+1帧图像)的感兴趣区域是否准确。
步骤320,根据该运动状态对当前帧图像的离焦量进行分析,并根据分析结果判断离焦量是否为正常离焦量,若是,则执行步骤330,若否,则执行步骤340。
跟踪模块130在对每帧图像中的目标对象进行识别后,可确定目标对象在每帧图像中的目标对象区域,并根据该确定的目标对象区域确定下一需要进行对焦的图像的感兴趣区域。由于跟踪模块130置于对焦模块140之后,因此跟踪模块130向对焦模块140反馈的跟踪结果存在帧差。在一些实施例中,在跟踪模块130识别出图像中的目标对象区域后,可将该目标对象区域反馈至对焦模块140,对焦模块140可将该目标对象区域作为当前需要进行对焦的图像的感兴趣区域,该感兴趣区域即指的是待对焦区域。也即,当前需要进行对焦的图像的感兴趣区域是基于之前的历史帧图像中的目标对象区域进行确定的。
例如,跟踪模块130识别出第N帧图像的目标对象区域后,可将该第N帧图像的目标对象区域作为第N+1帧图像的感兴趣区域。
离焦量可用于表示目标对象相对摄像头的聚焦平面的偏移程度,离焦量越大,可表示偏移程度越大,在离焦量较大时,摄像头可认为当前处于失焦状态,因此会驱动镜头重新进行对焦。在图像传感器采集当前帧图像的原始图像数据后,可根据该原始图像数据计算当前帧图像对应的模糊参数,并根据该模糊参数确定当前帧图像的离焦量,该模糊参数可用于表征当前帧图像的模糊程度,离焦量越大,说明模糊程度越大。
在一些实施例中,可预先设置有一个或多个镜头平稳策略,镜头平稳策略可用于判断是否需要对镜头进行移动,从而保证镜头不会出现推拉等不稳定的情况,镜头平稳策略可根据实际需求进行设定,当目标对象处于不同运动状态时,可分别对应不同的镜头平稳策略。
可根据与运动状态对应的镜头平稳策略判断当前帧图像的离焦量是否为正常离焦量,从而可确定当前帧图像的第一感兴趣区域是否为正常感兴趣区域。可选地,该正常感兴趣区域指的是当前帧图像的第一感兴趣区域与目标对象的真实位置之间不存在偏差或是偏差较小。例如,在目标对象不动或在同一平面上移动时,目标对象在相邻帧图像之间的深度信息不会发生变化的,因此产生的离焦量应较小,若此时当前帧图像的离焦量为较大的离焦量,则可说明该离焦量为异常离焦量,也即当前帧图像的第一感兴趣区域与目标对象的真实位置存在较大偏差,第一感兴趣区域不准确,为异常感兴趣区域。
电子设备可根据预设的镜头平稳策略及目标对象的运动状态判断当前帧图像的离焦量是否为正常离焦量,若该离焦量为正常离焦量,说明以当前帧图像的第一感兴趣区域进行对焦是准确的,则可控制对焦模块基于第一感兴趣区域执行对焦操作。
若当前帧图像的离焦量为异常离焦量,则说明当前帧图像的第一感兴趣区域与目标对象的真实位置存大较大偏差,若是以该第一感兴趣区域进行对焦,则会对焦到非目标对象区域(如背景区域等),当在下一帧又会重新对焦回目标对象区域,从而产生镜头推拉的效果,追焦过程不稳定。因此,若确定当前帧图像的离焦量为异常离焦量,则可控制对焦模块不执行对焦操作,并继续执行步骤310~340。由跟踪模块对当前帧图像中的目标对象进行识别,确定当前帧图像中的目标对象区域,基于该当前帧图像的目标对象区域确定目标对象的运动状态以及确定下一帧图像的感兴趣区域,该当前帧图像即为下一帧图像的历史帧图像,下一帧图像则作为新的当前帧图像,并在新的当前帧图像的离焦量为正常离焦量时,执行对焦操作,持续对目标对象进行追焦。
步骤330,控制对焦模块基于第一感兴趣区域执行对焦操作。
在一些实施例中,对焦模块可采用相位对焦或反差对焦等对焦方式执行对焦操作。在相位对焦方式中,可根据图像传感器所捕捉的原始图像数据中对焦区域所包含的各个像素点的相位差信息,对摄像头的镜头位置进行调整,以使得对焦区域所包含的各个像素点的相位差为0,则表示对焦区域为清晰的图像区域,从而实现对该对焦区域的对焦。在反差对焦方式中,可计算图像传感器所捕捉的原始图像数据中对焦区域的清晰度,并基于该清晰度对摄像头的镜头位置进行调整,可采用爬坡算法寻找到最佳镜头位置,该最佳镜头位置对应的对焦区域的清晰度最高,从而实现对该对焦区域的对焦。需要说明的是,对焦模块也可采用其它方式执行对焦操作,在此不作限定。
步骤340,过滤该离焦量以使得对焦模块不重新执行对焦操作。
若当前帧图像的离焦量为异常离焦量,则可过滤该离焦量,可选地,过滤该离焦量可包括将离焦量置为0,或将离焦量设置为小于第一离焦量阈值的固定值等,其中,第一离焦量阈值为触发镜头移动的离焦量阈值,在图像的离焦量大于该第一离焦量阈值时,会触发镜头进行移动,重新进行对焦操作。
电子设备可过滤异常的离焦量,使镜头保持不动,避免对焦模块重新执行对焦操作,从而可避免镜头出现推拉的情况。
在本申请实施例中,根据历史帧图像确定目标对象的运动状态,根据该运动状态对当前帧图像的离焦量进行分析,若根据分析结果确定该离焦量为正常离焦量,则控制对焦模块根据该离焦量执行对焦操作,可根据运动状态检测当前帧图像的离焦量是否正常,仅在当前帧图像的离焦量为正常离焦量时,才进行对焦,从而可提高自动对焦的准确性,提高了目标对象的成像效果,且可防止出现因为当前帧图像的离焦量为异常离焦量导致镜头出现推拉的情况,提高了对焦的稳定性。
如图4所示,在一个实施例中,提供另一种控制对焦的方法,可应用于上述的电子设备,该方法可包括以下步骤:
步骤402,根据历史帧图像确定目标对象的运动状态。
在一些实施例中,电子设备根据历史帧图像确定目标对象的运动状态,可包括:将在当前帧图像之前连续的至少两帧历史帧图像中的目标对象区域进行比对,得到目标对象区域的位置变化及尺寸变化信息,并根据位置变化及尺寸变化信息确定目标对象的运动状态。
电子设备在逐帧确定目标对象的运动状态,可根据相邻的至少两帧图像中的目标对象区域的变化确定目标对象的运动状态。例如,可获取第N帧图像中目标对象区域的第一位置及尺寸信息,以及获取第N-1帧图像中目标对象区域的第二位置及尺寸信息。该第一位置及尺寸信息可用于表征目标对象在第N帧图像中的图像位置及尺寸大小,该第二位置及尺寸信息可用于表征目标对象在N-1帧图像中的图像位置及尺寸大小。其中,图像位置可用像素坐标或图像坐标进行表示,尺寸大小可用目标对象区域所占的像素面积进行表示等,但不限于此。可将第一位置及尺寸信息,与第二位置及尺寸信息进行比对,得到目标对象在第N-1帧图像及第N帧图像的位置变化及尺寸变化信息。
可选地,目标对象的运动状态可包括不移动、在同一平面上移动(即平移)、在不同平面上移动等状态,其中,在不同平面上移动可包括前后移动及斜向移动。当目标对象在同一平面上移动时,目标对象的深度信息不会发生改变,即物距保持不变,因此目标对象区域的位置发生变化,而尺寸不发生变化。当目标对象在不同平面上移动时,目标对象的深度信息会发生改变,即物距会产生变化,因此目标对象区域的尺寸会发生变化,而位置可能发生变化也可能不发生变化。
作为一种具体实施方式,基于目标对象区域的位置变化及尺寸变化信息判断目标对象的运动状态的判断条件可如表1所示。
表1
根据目标对象在连续的多帧图像中的目标对象区域的位置变化及尺寸变化信息,可准确识别出目标对象的运动状态,从而可更准确地对目标对象进行追焦,提高了追焦的准确性。
步骤404,当运动状态为不移动或是在同一平面上移动时,判断当前帧图像的离焦量是否大于第一离焦量阈值,若是,则执行步骤408,若否,则执行步骤406。
在一些实施例中,当目标对象的运动状态为不移动或是在同一平面上移动时,可判断当前帧图像的离焦量是否大于第一离焦量阈值,若当前帧图像的离焦量大于第一离焦量阈值,则可确定离焦量为正常离焦量,若离焦量大于第一离焦量阈值,则可确定离焦量为异常离焦量。
在目标对象不动或在同一平面上移动时,目标对象在摄像头中的像平面不会发生大的偏移,与最佳聚焦平面之间的距离不会发生大的变化,因此,产生的离焦量应较小。可当前帧图像的离焦量是否大于第一离焦量阈值,该第一离焦量阈值可指的是用于触发镜头移动的离焦量阈值,在离焦量大于第一离焦量阈值时,会触发镜头进行移动。
在目标对象不动或在同一平面上移动时,镜头是不需要移动的,若当前帧图像的离焦量大于第一离焦量阈值,则可确定该离焦量为异常离焦量,说明当前帧图像的第一感兴趣区域为异常感兴趣区域。可过滤当前帧图像的离焦量,将当前帧图像的离焦量设置为0,或是设置为小于第一离焦量阈值的固定值,从而不触发对焦模块执行对焦操作,使镜头保持不动。
在一些实施例中,该第一离焦量阈值是根据镜头的当前位置进行确定的,镜头处于不同的位置时,对应的第一离焦量阈值可不同。可获取镜头的当前位置,并基于至少两组参考值计算该当前位置对应的第一离焦量阈值,其中,每组参考值可包括参考镜头位置及该参考镜头位置对应的参考离焦量阈值。例如,第一组参考值包括第一参考镜头位置LensPos1、第一参考离焦量阈值DefThresh1,第二组参考值包括第二参考镜头位置LensPos2、第二参考离焦量阈值DefThresh2。
具体地,可计算镜头的当前位置LensPos与第一参考镜头位置LensPos1之间的第一位置差值,以及第二参考镜头位置LensPos2与第一参考镜头LensPos1之间的第二位置差值,并计算第一位置差值与第二位置差值的比值,基于该比值确定镜头的当前位置LensPos对应的第一离焦量阈值DefThresh。可选地,可采用下述的公式(1)计算镜头的当前位置LensPos对应的第一离焦量阈值DefThresh:
需要说明的是,上述的第一参考镜头位置LensPos1、第一参考离焦量阈值DefThresh1、第二参考镜头位置LensPos2、第二参考离焦量阈值DefThresh2可通过多次试验得到,电子设备也可基于三组、四组等多组参考值计算镜头的当前位置对应的第一离焦量阈值,并不仅限于上述的两组。在其它的实施例中,电子设备也可预先计算镜头的各个位置对应的第一离焦量阈值,并对镜头位置与离焦量阈值的对应关系进行存储,在获取当前帧图像的离焦量后,可根据存储的对应关系查找与镜头的当前位置对应的第一离焦量阈值,并判断当前帧图像的离焦量是否大于该第一离焦量阈值。
步骤406,确定该离焦量为正常离焦量,控制对焦模块根据该离焦量执行对焦操作。
若当前帧图像的离焦量为正常离焦量,可说明当前帧图像的第一感兴趣区域为正常感兴趣区域,则可控制对焦模块基于该离焦量执行对焦操作,使得焦点落入第一感兴趣区域内,以第一感兴趣区域为对焦区域进行对焦。
步骤408,确定该离焦量为异常离焦量,过滤该离焦量以使得对焦模块不重新执行对焦操作。
若当前帧图像的离焦量为异常离焦量,则可过滤该异常离焦量,不触发对焦模块执行对焦操作,使镜头保持不动,并继续对目标对象进行追焦。
示例性地,图5A为一个实施例中根据目标对象的运动状态分析离焦量的示意图。如图5A所示,图像502为第N-1帧图像,图像504为第N帧图像,可对图像502进行图像识别得到目标图像区域512,并基于该目标图像区域512确定图像504的第一感兴趣区域514。可计算得到图像504的离焦量较小,由于目标对象(人)为平移运动,图像502和图像504变化很小,该离焦量为正常离焦量,说明第一感兴趣区域514为正常感兴趣区域,则可正常进行对焦操作。
示例性地,图5B为另一个实施例中根据目标对象的运动状态分析离焦量的示意图。图像506为第N-1帧图像,图像508为第N帧图像,可对图像506进行图像识别得到目标图像区域516,基于该目标图像区域516确定图像508的第一感兴趣区域518。可计算得到图像504的离焦量较大,由于目标对象(人)为平移运动,图像506和图像508变化很小,因此该离焦量为异常离焦量,说明第一感兴趣区域518为异常感兴趣区域,则不进行对焦操作,可防止在当前帧对焦到异常的第一感兴趣区域518,在下一帧又对焦回正常的感兴趣区域(人的上半身区域),从而产生镜头推拉的情况。
在本申请实施例中,可根据运动状态对当前帧图像的离焦量进行分析,判断当前帧图像的离焦量是否为正常离焦量,并在当前帧图像的离焦量为异常离焦量时对该离焦量进行过滤,使镜头保持不动,从而可避免因异常离焦量导致镜头出现推拉的情况,提高对目标对象进行追焦的稳定性。且结合运动状态分析离焦量是否正常,可进一步提高分析的准确性,从而提高自动对焦的准确性。
如图6所示,在一个实施例中,提供另一种控制对焦的方法,可应用于上述的电子设备,该方法可包括以下步骤:
步骤602,根据历史帧图像确定目标对象的运动状态。
步骤604,获取当前帧图像的第一感兴趣区域。
在电子设备通过图像传感器捕捉到当前帧图像后,可获取根据历史帧图像中的目标对象区域确定的第一感兴趣区域。作为一种可选的实施方式,可确定目标对象在目标历史帧图像中的目标对象区域,并将该目标历史帧图像中的目标对象区域作为当前帧图像的第一感兴趣区域。该目标历史帧图像可以是当前帧图像的前一帧图像,也可以是当前帧图像的前二帧图像。例如,当前帧图像为第5帧图像,则目标历史帧图像可以是第4帧图像,也可以是第3帧图像等,但不限于此。
可选地,该目标历史帧图像与当前帧图像之间的帧差与确定图像中的目标对象区域的时长呈正相关关系,跟踪模块130识别图像中的目标对象区域的时长越长,则当前帧图像与目标历史帧图像之间的帧差越大。
步骤606,确定第一感兴趣区域与参考帧图像的第二感兴趣区域之间的相似度。
由于在对目标对象的运动状态进行检测时,是逐帧进行检测的,因此,相邻两帧图像中目标对象的目标对象区域的位置及尺寸信息可能不会发生变化。如果目标对象的运动状态是斜向移动,由于相邻两帧图像中目标对象的目标对象区域的位置及尺寸信息可能不会发生变化,因此,斜向移动可能被识别为平移或前后移动。为了进一步区分目标对象的真实运动状态,在本申请实施例中,可结合当前帧图像与参考帧图像的第二感兴趣区域之间的相似度辅助进行判断。
参考帧图像属于在当前帧图像之前采集的历史帧图像,参考帧图像可以是当前帧图像的上一帧历史帧图像,可选地,参考帧图像可以是当前帧图像的上一帧感兴趣区域为正常感兴趣区域的历史帧图像。在一些实施例中,进行相似度计算的当前帧图像及参考帧图像可以是相位差图像、图像传感器采集的原始图像(如MIPI格式的RAW数据),或是ISP处理器中的其它未进行自动对焦的图像,在此不作限定。
电子设备可提取第一感兴趣区域的第一图像特征,以及提取参考帧图像的第二感兴趣区域的第二图像特征,并根据第一图像特征及第二图像特征计算第一感兴趣区域与第二感兴趣区域之间的相似度。可选地,第一图像特征及第二图像特征可包括灰度直方图特征、颜色直方图特征、纹理特征等,但不限于些,其中,灰度直方图特征可用于描述感兴趣区域内各个像素点的灰度级分布,颜色直方图特征可用于描述感兴趣区域内各个像素点的颜色分布。
在一些实施例中,可基于灰度直方图特征计算第一感兴趣区域与第二感兴趣区域之间的相似度。可分别统计第一感兴趣区域在各个灰度级区间的第一像素分布数量,并根据该第一像素分布数量确定第一感兴趣区域的第一灰度级分布概率。分别统计第二感兴趣区域在各个灰度级区间的第二像素分布数量,并根据第二像素分布数量确定第二感兴趣区域的第二灰度级分布概率。
可将图像的灰度级划分为多个灰度级区间,例如,若图像灰度级为256,可将灰度级分为4个灰度级区间,则可划分为[0,64)、[64,128)、[128,192)及[192,255]4个灰度级区间。可分别统计第一感兴趣区域在各个灰度级区间的第一像素分布数量,以及统计第二感兴趣区域在各个灰度级区间的第二像素分布数量,例如,可分别统计第一感兴趣区域在[0,64)、[64,128)、[128,192)及[192,255]4个灰度级区间的像素点数量,以及统计第二感兴趣区域在[0,64)、[64,128)、[128,192)及[192,255]4个灰度级区间的像素点数量。
可根据第一感兴趣区域在各个灰度级区间的第一像素分布数量,计算每个灰度级区间内的第一像素点数量占第一感兴趣区域的比例,得到第一灰度级分布概率。例如,第一感兴趣区域包含1000个像素点,可统计在[0,64)、[64,128)、[128,192)及[192,255]4个灰度级区间的像素点数量分别为320、120、220及340,则可计算每个灰度级区间的像素点数量占第一感兴趣区域的比例,得到第一灰度级分布概率为[0.32,0.12,0.22,0.34]。
同理,可根据第二感兴趣区域在各个灰度级区间的第二像素分布数量,计算每个灰度级区间内的第二像素点数量占第二感兴趣区域的比例,得到第二灰度级分布概率。
可根据第一灰度级分布概率及第二灰度级分布概率计算第一感兴趣区域与第二感兴趣区域之间的相似度。计算相似度的算法可包括但不限于JSD(Jensen-ShannonDivergence)距离算法、KL散度(Kullback-Leibler Divergence)算法、JS散度算法等。作为一种具体实施例,可计算第一灰度级分布概率与第二灰度级分布概率的距离,并根据该距离确定第一感兴趣区域与第二感兴趣区域之间的相似度,第一灰度级分布概率与第二灰度级分布概率的距离越小,第一感兴趣区域与第二感兴趣区域之间的相似度越大。
以JDS距离算法为例,可通过下述的公式(2)~(3)计算第一感兴趣区域与第二感兴趣区域之间的相似度:
其中,P可表示第一灰度级分布概率,Q可表示第二灰度级分布概率。
步骤608,根据运动状态及相似度对当前帧图像的离焦量进行分析,并根据分析结果判断离焦量是否为正常离焦量,若是,则执行步骤610,若否,则执行步骤612。
当目标对象的运动状态为在不同平面上移动时,目标对象的运动状态可能为前后移动或是斜向移动,由于目标对象处于前后移动及斜向移动对应的离焦量情况不同,因此可利用第一感兴趣区域与第二感兴趣区域之间的相似度进行区分,并分别设置不同的镜头平稳策略。
在一些实施例中,当运动状态为在不同平面上移动时,可判断该相似度是否大于相似度阈值,若相似度大于相似度阈值,则可确定当前帧图像的离焦量为正常离焦量。在目标对象为前后移动时,对焦框会一直保持在目标对象上,相邻两帧图像的感兴趣区域之间差异很小。因此,当运动状态为在不同平面上移动时,若第一感兴趣区域与第二感兴趣区域之间的相似度大于相似度阈值,则可认为目标对象当前正处于前后移动。
在目标对象处于前后移动的状态时,镜头需要移动来对目标对象进行追焦,当物体前后移动的速度很快时,会产生较大的离焦量,此时不能对离焦量进行过滤,否则会出现失焦的情况,因此,可确定当前帧图像的离焦量为正常离焦量,并控制对焦模块根据该离焦量推动镜头移动到最佳位置,对目标对象进行对焦。
在一些实施例中,当运动状态为在不同平面上移动时,若第一感兴趣区域与第二感兴趣区域之间的相似度不大于相似度阈值,则可进一步判断当前帧图像的离焦量是否大于第二离焦量阈值,若当前帧图像的离焦量大于第二离焦量阈值,则可确定该离焦量为异常离焦量,若当前帧图像的离焦量不大于第二离焦量阈值,则可确定该离焦量为正常离焦量。
在目标对象为斜向移动时,相邻两帧图像的感兴趣区域之间的差异会大于目标对象在前后移动时的差异。当运动状态为在不同平面上移动时,若第一感兴趣区域与第二感兴趣区域之间的相似度不大于相似度阈值,则可认为目标对象当前正处于斜向移动。当目标对象斜向移动时,镜头也需要移动来对目标对象进行追焦,但是当离焦量过大时,可认为对焦到背景区域上,即第一感兴趣区域为异常感兴趣区域,则需对该离焦量进行过滤。可设置第二离焦量阈值,该第二离焦量阈值可以是经多次试验设置的一个固定值,并在当前帧图像的离焦量大于该第二离焦量阈值时,对当前帧图像的离焦量进行过滤,使镜头保持不动。
作为一种具体实施方式,第一感兴趣区域与第二感兴趣区域之间的相似度可用JSD距离进行表示,则可判断第一感兴趣区域与第二感兴趣区域之间的JSD距离是否小于设定的JSD距离阈值,若小于该设定的JSD距离阈值,则可认为第一感兴趣区域与第二感兴趣区域相似,可确定目标对象为前后移动。若不小于该设定的JSD距离,则可认为第一感兴趣区域与第二感兴趣区域之间的差异较大,可确定目标对象为斜向移动。
在一些实施例中,若第一感兴趣区域与第二感兴趣区域之间的相似度大于相似度阈值,则可将当前帧图像更新为新的参考帧图像,以供后面采集的图像进行相似度计算。
需要说明的是,若目标对象的运动状态为不移动或是在同一平面上移动,则判断当前帧图像的离焦量是否为正常离焦量的方式可参照上述实施例中的描述,在此不再重复赘述。
步骤610,控制对焦模块根据该离焦量执行对焦操作。
步骤612,过滤该离焦量以使得对焦模块不重新执行对焦操作。
在本申请实施例中,可结合当前帧图像中的第一感兴趣区域与参考帧图像之间的第二感兴趣区域之间的相似度对目标对象的运动状态进一步进行划分,并针对不同情况的运动状态设置不同的镜头平稳模块,使得对镜头的控制更加符合对运动目标进行追焦时的实际情况,提高追焦的准确性,且可以避免因异常离焦量导致镜头出现推拉的情况,提高对目标对象进行追焦的稳定性。
在一些实施例中,电子设备还可通过预测的方式获取当前帧图像的第一感兴趣区域,步骤获取当前帧图像的第一感兴趣区域,可包括:获取目标对象在多帧历史帧图像中的目标对象区域,通过滤波器对目标对象在多帧历史帧图像中的目标对象区域进行分析,预测得到目标对象在当前帧图像的预测区域,并将预测区域作为当前帧图像的第一感兴趣区域。
以当前帧图像为第i+N帧图像为例,则可根据第i帧图像、第i-N帧图像等历史帧图像对第i+N帧图像的感兴趣区域进行预测,其中,N可为正常数,N可根据实际需求进行设置。可选地,N可用于表征延迟帧数,该延迟帧数可指的是跟踪模块130到对焦模块140延迟反馈的帧数,即跟踪模块130反馈的跟踪结果对应的帧数与对焦模块140基于该跟踪结果进行对焦的帧数之间的差值。举例进行说明,跟踪模块130对第2帧图像进行识别,得到的目标对象的跟踪结果,再反馈到对焦模块140时,对焦模块140基于该跟踪结果对第5帧图像进行对焦,则跟踪模块130与对焦模块140之间存在3帧延迟帧数。
在一些实施例中,电子设备可根据目标对象在第i-N帧图像的目标对象区域,以及目标对象在第i帧图像的目标对象区域,计算目标对象在第i帧图像的变化速度信息,该变化速度信息可包括位置变化速度及尺寸变化速度等信息。可根据该变化速度信息预测目标对象在第i+N帧图像的第一预测区域信息。
可选地,上述的滤波器可包括卡尔曼滤波器,卡尔曼滤波器是一种利用线性系统状态的数据滤波模型,能够基于已知的情况从一系列存在测量噪声的数据中,估计动态系统的状态。卡尔曼滤波器可根据目标对象在第i帧图像的目标对象区域得到卡尔曼滤波器的预测值,可将上述得到的第一预测区域信息作为卡尔曼滤波器的观测值,并利用该预测值对卡尔曼滤波器的预测值进行修正,得到第二预测区域信息,从而可将该第二预测区域信息作为第i+N帧图像的第一感兴趣区域。
在利用多帧历史帧图像预测得到当前帧图像的第一感兴趣区域后,由于可能存在预测结果不准确的情况,则可通过上述各实施例中所描述的方式对当前帧图像的离焦量进行检测,从而可判断预测的当前帧图像的第一感兴趣区域是否准确,可进一步提高预测结果的准确性,保证对焦的准确性。
在本申请实施例中,可利用滤波器及多帧历史帧图像,预测当前帧图像的第一感兴趣区域,能够减少目标对象的追踪结果与真实位置之间出现的偏差,提高了第一感兴趣区域的准确性,从而提高自动对焦的准确性。
如图7所示,在一个实施例中,提供一种控制对焦的装置700,可应用于上述的电子设备。该控制对焦的装置700,可包括:状态确定模块710、分析模块720及控制模块730。
状态确定模块710,用于根据历史帧图像确定目标对象的运动状态。
分析模块720,用于根据运动状态对当前帧图像的离焦量进行分析,历史帧图像为在当前帧图像之前通过摄像头采集的图像。
控制模块730,用于若根据分析结果确定所述离焦量为正常离焦量,则控制对焦模块根据所述离焦量执行对焦操作。
在一个实施例中,控制模块730,还用于若根据分析结果确定离焦量为异常离焦量,则过滤离焦量以使得对焦模块不重新执行对焦操作。
在一个实施例中,控制模块730,还用于若根据分析结果确定离焦量为异常离焦量,则将离焦量置为0,或将离焦量设置为小于第一离焦量阈值的固定值,该第一离焦量阈值为触发镜头移动的离焦量阈值。
在本申请实施例中,根据历史帧图像确定目标对象的运动状态,根据该运动状态对当前帧图像的离焦量进行分析,若根据分析结果确定所述离焦量为正常离焦量,则控制对焦模块根据该离焦量执行对焦操作,可根据运动状态检测当前帧图像的离焦量是否正常,仅在当前帧图像的离焦量为正常离焦量时,才进行对焦,从而可提高自动对焦的准确性,提高了目标对象的成像效果,且可防止出现因为当前帧图像的离焦量为异常离焦量导致镜头出现推拉的情况,提高了对焦的稳定性。
在一个实施例中,状态确定模块710,还用于将在当前帧图像之前连续的至少两帧历史帧图像中的目标对象区域进行比对,得到目标对象区域的位置变化及尺寸变化信息,并根据位置变化及尺寸变化信息确定目标对象的运动状态。
在一个实施例中,分析模块720,还用于当运动状态为不移动或是在同一平面上移动时,判断当前帧图像的离焦量是否大于第一离焦量阈值,若离焦量不大于第一离焦量阈值,则确定该离焦量为正常离焦量,若离焦量大于第一离焦量阈值,则确定该离焦量为异常离焦量。
可选地,第一离焦量阈值是根据镜头的当前位置进行确定的。
在本申请实施例中,可根据与运动状态对应的镜头平稳策略对当前帧图像的离焦量进行分析,判断当前帧图像的离焦量是否为正常离焦量,并在当前帧图像的离焦量为异常离焦量时对该离焦量进行过滤,使镜头保持不动,从而可避免因异常离焦量导致镜头出现推拉的情况,提高对目标对象进行追焦的稳定性。且结合运动状态分析离焦量是否正常,可进一步提高分析的准确性,从而提高自动对焦的准确性。
在一个实施例中,上述控制对焦的装置700,除了包括状态确定模块710、分析模块720及控制模块730,还包括区域获取模块及相似度确定模块。
区域获取模块,用于获取当前帧图像的第一感兴趣区域,第一感兴趣区域是根据历史帧图像中的目标对象区域确定的。
在一个实施例中,区域获取模块,还用于确定目标对象在目标历史帧图像中的目标对象区域,并将目标历史帧图像中的目标对象区域作为当前帧图像的第一感兴趣区域,目标历史帧图像与当前帧图像之间的帧差与确定图像中的目标对象区域的时长呈正相关关系。
相似度确定模块,用于确定第一感兴趣区域与参考帧图像的第二感兴趣区域之间的相似度,参考帧图像属于在当前帧图像之前采集的历史帧图像。
在一个实施例中,相似度确定模块,包括特征提取单元及计算单元。
特征提取单元,用于提取第一感兴趣区域的第一图像特征,以及提取参考帧图像的第二感兴趣区域的第二图像特征。
计算单元,用于根据第一图像特征及第二图像特征计算第一感兴趣区域与第二感兴趣区域之间的相似度。
在一个实施例中,特征提取单元,还用于分别统计第一感兴趣区域在各个灰度级区间的第一像素分布数量,并根据第一像素分布数量确定第一感兴趣区域的第一灰度级分布概率;以及用于分别统计第二感兴趣区域在各个灰度级区间的第二像素分布数量,并根据第二像素分布数量确定第二感兴趣区域的第二灰度级分布概率。
计算单元,还用于根据第一灰度级分布概率及第二灰度级分布概率计算第一感兴趣区域与第二感兴趣区域之间的相似度。
分析模块720,还用于根据运动状态及相似度对当前帧图像的离焦量进行分析。
在一个实施例中,分析模块720,还用于当运动状态为在不同平面上移动时,若相似度大于相似度阈值,则确定当前帧图像的离焦量为正常离焦量;若相似度不大于相似度阈值,且离焦量不大于第二离焦量阈值,则确定离焦量为正常离焦量;若相似度不大于相似度阈值,且离焦量大于第二离焦量阈值,则确定离焦量为异常离焦量。
在本申请实施例中,可结合当前帧图像中的第一感兴趣区域与参考帧图像之间的第二感兴趣区域之间的相似度对目标对象的运动状态进一步进行划分,并针对不同情况的运动状态设置不同的镜头平稳模块,使得对镜头的控制更加符合对运动目标进行追焦时的实际情况,提高追焦的准确性,且可以避免因异常离焦量导致镜头出现推拉的情况,提高对目标对象进行追焦的稳定性。
在一个实施例中,区域获取模块720,还用于获取目标对象在多帧历史帧图像中的目标对象区域,通过滤波器对目标对象在多帧历史帧图像中的目标对象区域进行分析,预测得到目标对象在当前帧图像的预测区域,并将预测区域作为当前帧图像的第一感兴趣区域。
在本申请实施例中,可利用滤波器及多帧历史帧图像,预测当前帧图像的第一感兴趣区域,能够减少目标对象的追踪结果与真实位置之间出现的偏差,提高了第一感兴趣区域的准确性,从而提高自动对焦的准确性。
图8为一个实施例中电子设备的结构框图。如图8所示,电子设备800可以包括一个或多个如下部件:处理器810、与处理器810耦合的存储器820,其中存储器820可存储有一个或多个计算机程序,一个或多个计算机程序可以被配置为由一个或多个处理器810执行时实现如上述各实施例描述的方法。
处理器810可以包括一个或者多个处理核。处理器810利用各种接口和线路连接整个电子设备800内的各个部分,通过运行或执行存储在存储器820内的指令、程序、代码集或指令集,以及调用存储在存储器820内的数据,执行电子设备800的各种功能和处理数据。可选地,处理器810可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器810中,单独通过一块通信芯片进行实现。
存储器820可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory,ROM)。存储器820可用于存储指令、程序、代码、代码集或指令集。存储器820可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备800在使用中所创建的数据等。
可以理解地,电子设备800可包括比上述结构框图中更多或更少的结构元件,例如,包括电源模块、物理按键、WiFi(Wireless Fidelity,无线保真)模块、扬声器、蓝牙模块、传感器等,还可在此不进行限定。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序被处理器执行时实现如上述实施例描述的方法。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、ROM等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM,PROM)、可擦除PROM(Erasable PROM,EPROM)、电可擦除PROM(Electrically ErasablePROM,EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory,RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM可为多种形式,诸如静态RAM(Static RAM,SRAM)、动态RAM(Dynamic Random Access Memory,DRAM)、同步DRAM(synchronous DRAM,SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM,DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM,ESDRAM)、同步链路DRAM(Synchlink DRAM,SLDRAM)、存储器总线直接RAM(Rambus DRAM,RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM,DRDRAM)。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
以上对本申请实施例公开的一种控制对焦的方法、装置、电子设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种控制对焦的方法,其特征在于,包括:
根据历史帧图像确定目标对象的运动状态;
根据所述运动状态对当前帧图像的离焦量进行分析,所述历史帧图像为在所述当前帧图像之前通过摄像头采集的图像;
若根据分析结果确定所述离焦量为正常离焦量,则控制对焦模块根据所述离焦量执行对焦操作。
2.根据权利要求1所述的方法,其特征在于,在所述根据所述运动状态对当前帧图像的离焦量进行分析之后,所述方法包括:
若根据分析结果确定所述离焦量为异常离焦量,则过滤所述离焦量以使得对焦模块不重新执行对焦操作。
3.根据权利要求2所述的方法,其特征在于,所述过滤所述离焦量包括:将所述离焦量置为0,或将所述离焦量设置为小于第一离焦量阈值的固定值,所述第一离焦量阈值为触发镜头移动的离焦量阈值。
4.根据权利要求1-3任一所述的方法,其特征在于,所述根据所述运动状态对当前帧图像的离焦量进行分析,包括:
当所述运动状态为不移动或是在同一平面上移动时,判断所述当前帧图像的离焦量是否大于第一离焦量阈值;
若所述离焦量不大于所述第一离焦量阈值,则确定所述离焦量为正常离焦量;
若所述离焦量大于所述第一离焦量阈值,则确定所述离焦量为异常离焦量。
5.根据权利要求4所述的方法,其特征在于,所述第一离焦量阈值是根据镜头的当前位置进行确定的。
6.根据权利要求1-3任一所述的方法,其特征在于,在所述根据所述运动状态对当前帧图像的离焦量进行分析之前,所述方法还包括:
获取当前帧图像的第一感兴趣区域,所述第一感兴趣区域是根据所述历史帧图像中的目标对象区域确定的;
确定所述第一感兴趣区域与参考帧图像的第二感兴趣区域之间的相似度,所述参考帧图像属于在所述当前帧图像之前采集的历史帧图像;
所述根据运动状态对当前帧图像的离焦量进行分析,包括:
根据所述运动状态及所述相似度对当前帧图像的离焦量进行分析。
7.根据权利要求6所述的方法,其特征在于,所述确定所述第一感兴趣区域与参考帧图像的第二感兴趣区域之间的相似度,包括:
提取所述第一感兴趣区域的第一图像特征,以及提取参考帧图像的第二感兴趣区域的第二图像特征;
根据所述第一图像特征及第二图像特征计算所述第一感兴趣区域与所述第二感兴趣区域之间的相似度。
8.根据权利要求7所述的方法,其特征在于,所述提取所述第一感兴趣区域的第一图像特征,以及提取参考帧图像的第二感兴趣区域的第二图像特征,包括:
分别统计所述第一感兴趣区域在各个灰度级区间的第一像素分布数量,并根据所述第一像素分布数量确定所述第一感兴趣区域的第一灰度级分布概率;
分别统计所述第二感兴趣区域在所述各个灰度级区间的第二像素分布数量,并根据所述第二像素分布数量确定所述第二感兴趣区域的第二灰度级分布概率;
所述根据所述第一图像特征及第二图像特征计算所述第一感兴趣区域与所述第二感兴趣区域之间的相似度,包括:
根据所述第一灰度级分布概率及所述第二灰度级分布概率计算所述第一感兴趣区域与所述第二感兴趣区域之间的相似度。
9.根据权利要求6所述的方法,其特征在于,所述根据所述运动状态及所述相似度对当前帧图像的离焦量进行分析,包括:
当所述运动状态为在不同平面上移动时,若所述相似度大于相似度阈值,则确定所述当前帧图像的离焦量为正常离焦量;
若所述相似度不大于所述相似度阈值,且所述离焦量不大于第二离焦量阈值,则确定所述离焦量为正常离焦量;
若所述相似度不大于所述相似度阈值,且所述离焦量大于所述第二离焦量阈值,则确定所述离焦量为异常离焦量。
10.根据权利要求6所述的方法,其特征在于,所述获取当前帧图像的第一感兴趣区域,包括:
确定目标对象在目标历史帧图像中的目标对象区域,并将所述目标历史帧图像中的目标对象区域作为当前帧图像的第一感兴趣区域,所述目标历史帧图像与所述当前帧图像之间的帧差与确定图像中的目标对象区域的时长呈正相关关系。
11.根据权利要求6所述的方法,其特征在于,所述获取当前帧图像的第一感兴趣区域,包括:
获取目标对象在多帧历史帧图像中的目标对象区域;
通过滤波器对所述目标对象在多帧历史帧图像中的目标对象区域进行分析,预测得到目标对象在当前帧图像的预测区域,并将所述预测区域作为所述当前帧图像的第一感兴趣区域。
12.根据权利要求1-3、7-11任一所述的方法,其特征在于,所述根据历史帧图像确定目标对象的运动状态,包括:
将在当前帧图像之前连续的至少两帧历史帧图像中的目标对象区域进行比对,得到目标对象区域的位置变化及尺寸变化信息;
根据所述位置变化及尺寸变化信息确定所述目标对象的运动状态。
13.一种控制对焦的装置,其特征在于,包括:
状态确定模块,用于根据历史帧图像确定目标对象的运动状态;
分析模块,用于根据所述运动状态对当前帧图像的离焦量进行分析,所述历史帧图像为在所述当前帧图像之前通过摄像头采集的图像;
控制模块,用于若根据分析结果确定所述离焦量为正常离焦量,则控制对焦模块根据所述离焦量执行对焦操作。
14.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至12任一所述的方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至12任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110246145.XA CN115037871A (zh) | 2021-03-05 | 2021-03-05 | 控制对焦的方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110246145.XA CN115037871A (zh) | 2021-03-05 | 2021-03-05 | 控制对焦的方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115037871A true CN115037871A (zh) | 2022-09-09 |
Family
ID=83118068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110246145.XA Pending CN115037871A (zh) | 2021-03-05 | 2021-03-05 | 控制对焦的方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115037871A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024148975A1 (zh) * | 2023-01-10 | 2024-07-18 | 华为技术有限公司 | 一种拍摄方法及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412435A (zh) * | 2016-10-12 | 2017-02-15 | 广东欧珀移动通信有限公司 | 对焦方法、装置及移动终端 |
CN107465880A (zh) * | 2017-09-29 | 2017-12-12 | 广东欧珀移动通信有限公司 | 对焦方法、装置、终端和计算机可读存储介质 |
CN108037643A (zh) * | 2018-03-27 | 2018-05-15 | 四川大学 | 一种基于ccd相干因子检测装置的最佳像面调校方法 |
CN108200342A (zh) * | 2018-01-19 | 2018-06-22 | 广东顺德墨赛生物科技有限公司 | 自动聚焦方法、装置、计算机设备和存储介质 |
US20200175663A1 (en) * | 2017-08-09 | 2020-06-04 | Fujifilm Corporation | Image processing system, server apparatus, image processing method, and image processing program |
-
2021
- 2021-03-05 CN CN202110246145.XA patent/CN115037871A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106412435A (zh) * | 2016-10-12 | 2017-02-15 | 广东欧珀移动通信有限公司 | 对焦方法、装置及移动终端 |
US20200175663A1 (en) * | 2017-08-09 | 2020-06-04 | Fujifilm Corporation | Image processing system, server apparatus, image processing method, and image processing program |
CN107465880A (zh) * | 2017-09-29 | 2017-12-12 | 广东欧珀移动通信有限公司 | 对焦方法、装置、终端和计算机可读存储介质 |
CN108200342A (zh) * | 2018-01-19 | 2018-06-22 | 广东顺德墨赛生物科技有限公司 | 自动聚焦方法、装置、计算机设备和存储介质 |
CN108037643A (zh) * | 2018-03-27 | 2018-05-15 | 四川大学 | 一种基于ccd相干因子检测装置的最佳像面调校方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024148975A1 (zh) * | 2023-01-10 | 2024-07-18 | 华为技术有限公司 | 一种拍摄方法及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US9501834B2 (en) | Image capture for later refocusing or focus-manipulation | |
JP4582423B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
US8068639B2 (en) | Image pickup apparatus, control method therefor, and computer program for detecting image blur according to movement speed and change in size of face area | |
JP4678603B2 (ja) | 撮像装置及び撮像方法 | |
CN110248097B (zh) | 追焦方法、装置、终端设备、计算机可读存储介质 | |
US10701281B2 (en) | Image processing apparatus, solid-state imaging device, and electronic apparatus | |
CN110536068B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
US8860875B2 (en) | Imaging device for recognition and method of controlling the same | |
CN110248101B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN108093158B (zh) | 图像虚化处理方法、装置、移动设备和计算机可读介质 | |
CN109327626B (zh) | 图像采集方法、装置、电子设备和计算机可读存储介质 | |
US7957633B2 (en) | Focus adjusting apparatus and focus adjusting method | |
US9071766B2 (en) | Image capturing apparatus and control method thereof | |
CN110490196B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
CN113099122A (zh) | 拍摄方法、装置、设备和存储介质 | |
EP3213502B1 (en) | Time extension for image frame processing | |
JP5144724B2 (ja) | 撮像装置、画像処理装置、撮像方法、及び画像処理方法 | |
CN110399823B (zh) | 主体跟踪方法和装置、电子设备、计算机可读存储介质 | |
CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
CN115037871A (zh) | 控制对焦的方法、装置、电子设备及计算机可读存储介质 | |
CN110688926B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
CN110689007B (zh) | 主体识别方法和装置、电子设备、计算机可读存储介质 | |
CN109598195B (zh) | 一种基于监控视频的清晰人脸图像处理方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |