CN112866543A - 对焦控制方法和装置、电子设备、计算机可读存储介质 - Google Patents

对焦控制方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN112866543A
CN112866543A CN201911101397.2A CN201911101397A CN112866543A CN 112866543 A CN112866543 A CN 112866543A CN 201911101397 A CN201911101397 A CN 201911101397A CN 112866543 A CN112866543 A CN 112866543A
Authority
CN
China
Prior art keywords
phase difference
sub
pixel
original image
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911101397.2A
Other languages
English (en)
Other versions
CN112866543B (zh
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911101397.2A priority Critical patent/CN112866543B/zh
Publication of CN112866543A publication Critical patent/CN112866543A/zh
Application granted granted Critical
Publication of CN112866543B publication Critical patent/CN112866543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种对焦控制方法和装置、电子设备、计算机可读存储介质,包括:首先,对原始图像计算第一方向、第二方向两个方向上的相位差。其次,获取电子设备拍摄原始图像时的移动信息,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差。因为在拍摄原始图像的过程中,电子设备的移动信息会对所拍摄出的原始图像的第一方向、第二方向上的相位差造成影响,所以,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差,就提高了所确定的目标相位差的准确性。最后,根据目标相位差控制镜头移动以进行对焦,就可以大大提高对焦过程中的准确度。

Description

对焦控制方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种对焦控制方法和装置、电子设备、计算机可读存储介质。
背景技术
随着电子设备技术的发展,越来越多的用户通过电子设备拍摄图像。为了保证拍摄的图像清晰,通常需要对电子设备的摄像模组进行对焦,即通过调节镜头与图像传感器之间的距离,以使拍摄对象在焦平面上。传统的对焦方式包括相位检测自动对焦(英文:phase detection auto focus;简称:PDAF)。
传统的相位检测自动对焦,是在图像传感器包括的像素点中成对地设置相位检测像素点,其中,每个相位检测像素点对中的一个相位检测像素点进行左侧遮挡,另一个相位检测像素点进行右侧遮挡,这样,就可以将射向每个相位检测像素点对的成像光束分离成左右两个部分,通过对比左右两部分成像光束所成的像,即可得到相位差,在得到相位差后即可根据该相位差进行对焦,其中,相位差是指从不同方向射入的成像光线在成像位置上的差异。
然而,上述通过在图像传感器中设置相位检测像素点方式进行对焦的准确度不高。
发明内容
本申请实施例提供一种对焦控制方法、装置、电子设备、计算机可读存储介质,可以提高拍照过程中对焦的准确性。
一种对焦控制方法,应用于电子设备,包括:
对原始图像计算第一方向的相位差和第二方向的相位差,所述第一方向与所述第二方向成预设夹角;
获取电子设备拍摄所述原始图像时的移动信息,根据所述电子设备拍摄所述原始图像时的移动信息从所述第一方向的相位差和所述第二方向的相位差中确定目标相位差;
根据所述目标相位差控制镜头移动以进行对焦。
一种对焦控制装置,包括:
相位差计算模块,用于对原始图像计算第一方向的相位差和第二方向的相位差,所述第一方向与所述第二方向成预设夹角;
目标相位差确定模块,用于获取电子设备拍摄所述原始图像时的移动信息,根据所述电子设备拍摄所述原始图像时的移动信息从所述第一方向的相位差和所述第二方向的相位差中确定目标相位差;
相位差对焦模块,用于根据所述目标相位差控制镜头移动以进行对焦。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上方法的步骤。
上述对焦控制方法、装置、电子设备、计算机可读存储介质,对原始图像计算第一方向的相位差和第二方向的相位差,第一方向与第二方向成预设夹角。获取电子设备拍摄原始图像时的移动信息,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差。根据目标相位差控制镜头移动以进行对焦。首先,对原始图像计算第一方向,第二方向两个方向上的相位差。相较于传统的只能计算一个方向上的相位差,两个方向上的相位差显然能够反应更多的相位差信息。其次,获取电子设备拍摄原始图像时的移动信息,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差。因为在拍摄原始图像的过程中,电子设备的移动信息会对所拍摄出的原始图像的第一方向、第二方向上的相位差造成影响,所以,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差,就提高了所确定的目标相位差的准确性。最后,根据目标相位差控制镜头移动以进行对焦,就可以大大提高对焦过程中的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为相位检测自动对焦的原理示意图;
图2为在图像传感器包括的像素点中成对地设置相位检测像素点的示意图;
图3为一个实施例中图像传感器的部分结构示意图;
图4为一个实施例中像素点的结构示意图;
图5为一个实施例中图像传感器的内部结构示意图;
图6为一个实施例中像素点组上设置滤光片的示意图;
图7为一个实施例中对焦控制方法的流程图;
图8为图7中确定目标相位差方法的流程图;
图9A为一个实施例中对焦控制方法的流程图;
图9B为一个实施例中对焦控制方法的流程图;
图10为图7中对原始图像计算第一方向的相位差和第二方向的相位差方法的流程图;
图11为图10中根据目标亮度图计算第一方向的相位差和第二方向的相位差方法的流程图;
图12为一个实施例中像素点组的示意图;
图13为一个实施例中子亮度图的示意图;
图14为一个实施例中对焦控制装置的结构示意图;
图15为图14中目标相位差确定模块的结构示意图;
图16为图14中相位差计算模块的结构示意图;
图17为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一摄像头称为第二摄像头,且类似地,可将第二摄像头称为第一摄像头。第一摄像头和第二摄像头两者都是摄像头,但其不是同一摄像头。
图1为相位检测自动对焦(phase detection auto focus,PDAF)的原理示意图。如图1所示,M1为成像设备处于合焦状态时,图像传感器所处的位置,其中,合焦状态指的是成功对焦的状态。当图像传感器位于M1位置时,由物体W反射向镜头Lens的不同方向上的成像光线g在图像传感器上会聚,也即是,由物体W反射向镜头Lens的不同方向上的成像光线g在图像传感器上的同一位置处成像,此时,图像传感器成像清晰。
M2和M3为成像设备不处于合焦状态时,图像传感器所可能处于的位置,如图1所示,当图像传感器位于M2位置或M3位置时,由物体W反射向镜头Lens的不同方向上的成像光线g会在不同的位置成像。请参考图1,当图像传感器位于M2位置时,由物体W反射向镜头Lens的不同方向上的成像光线g在位置A和位置B分别成像,当图像传感器位于M3位置时,由物体W反射向镜头Lens的不同方向上的成像光线g在位置C和位置D分别成像,此时,图像传感器成像不清晰。
在PDAF技术中,可以获取从不同方向射入镜头的成像光线在图像传感器中所成的像在位置上的差异,例如,如图1所示,可以获取位置A和位置B的差异,或者,获取位置C和位置D的差异;在获取到从不同方向射入镜头的成像光线在图像传感器中所成的像在位置上的差异之后,可以根据该差异以及摄像机中镜头与图像传感器之间的几何关系,得到离焦距离,所谓离焦距离指的是图像传感器当前所处的位置与合焦状态时图像传感器所应该处于的位置的距离;成像设备可以根据得到的离焦距离进行对焦。
由此可知,合焦时,计算得到的PD值为0,反之算出的值越大,表示离合焦点的位置越远,值越小,表示离合焦点越近。采用PDAF对焦时,通过计算出PD值,再根据标定得到PD值与离焦距离之间的对应关系,可以求得离焦距离,然后根据离焦距离控制镜头移动达到合焦点,以实现对焦。
相关技术中,可以在图像传感器包括的像素点中成对地设置一些相位检测像素点,如图2所示,图像传感器中可以设置有相位检测像素点对(以下称为像素点对)A,像素点对B和像素点对C。其中,在每个像素点对中,一个相位检测像素点进行左侧遮挡(英文:LeftShield),另一个相位检测像素点进行右侧遮挡(英文:Right Shield)。
对于进行了左侧遮挡的相位检测像素点而言,射向该相位检测像素点的成像光束中仅有右侧的光束才能在该相位检测像素点的感光部分(也即是未被遮挡的部分)上成像,对于进行了右侧遮挡的相位检测像素点而言,射向该相位检测像素点的成像光束中仅有左侧的光束才能在该相位检测像素点的感光部分(也即是未被遮挡的部分)上成像。这样,就可以将成像光束分为左右两个部分,通过对比左右两部分成像光束所成的像,即可得到相位差。
然而,由于图像传感器中设置的相位检测像素点通常较为稀疏,因此,通过相位检测像素点只能获取到水平的相位差,无法计算水平纹理的场景,计算得到的PD值会产生混淆而得不出正确的结果,例如拍摄场景为一条水平线,根据PD特性会得到左右两张图像,但无法计算出PD值。
为了解决相位检测自动对焦针对一些水平纹理的场景无法计算得出PD值实现对焦的情况,本申请实施例中提供了一种成像组件,可以用来检测输出第一方向的相位差值和第二方向的相位差值,针对水平纹理场景,可采用第二方向的相位差值来实现对焦。
在一个实施例中,本申请提供了一种成像组件。成像组件包括图像传感器。图像传感器可以为金属氧化物半导体元件(英文:Complementary Metal Oxide Semiconductor;简称:CMOS)图像传感器、电荷耦合元件(英文:Charge-coupled Device;简称:CCD)、量子薄膜传感器或者有机传感器等。
图3为一个实施例中图像传感器的一部分的结构示意图。图像传感器300包括阵列排布的多个像素点组Z,每个像素点组Z包括阵列排布的多个像素点D,每个像素点D对应一个感光单元。每个像素点D包括阵列排布的多个子像素点d。也就是每个感光单元可以由多个阵列排布的感光元件组成。其中,感光元件是一种能够将光信号转化为电信号的元件。在一个实施例中,感光元件可为光电二极管。本申请实施例中,每个像素点组Z包括2*2阵列排布的4个像素点D,每个像素点可包括2*2阵列排布的4个子像素点d。其中,每个像素点组形成2*2PD,可以直接接收光信号,进行光电转换,可以同时输出左右和上下的信号。每个颜色通道可以由4个子像素点组成。
如图4所示,以每个像素点包括子像素点1、子像素点2、子像素点3和子像素点4为例,可将子像素点1和子像素点2合成,子像素点3和子像素点4合成,形成上下方向的PD像素对,检测水平边缘,得到第二方向的相位差值,即竖直方向的PD值;将子像素点1和子像素点3合成,子像素点2和子像素点4合成,形成左右方向的PD像素对,可以检测竖直边缘,得到第一方向的相位差值,即水平方向的PD值。
图5为一个实施例中成像设备的内部结构示意图。如图5所示,该成像设备包括透镜50、滤光片52和图像传感器54。透镜50、滤光片52和图像传感器54依次位于入射光路上,即透镜50设置在滤光片52之上,滤光片52设置在图像传感器54上。
滤光片52可包括红、绿、蓝三种,分别只能透过红色、绿色、蓝色对应波长的光线。一个滤光片52设置在一个像素点上。
图像传感器54可为图3中的图像传感器。
透镜50用于接收入射光,并将入射光传输给滤光片52。滤光片52对入射光进行平滑处理后,将平滑处理后的光以像素为基础入射到图像传感器54的感光单元上。
图像传感器54中的感光单元通过光电效应将从滤光片52入射的光转换成电荷信号,并生成与电荷信号一致的像素信号。电荷信号与接收的光强度相一致。
图6为一个实施例中像素点组上设置滤光片的示意图。像素点组Z包括按照两行两列的阵列排布方式进行排布的4个像素点D,其中,第一行第一列的像素点的颜色通道为绿色,也即是,第一行第一列的像素点上设置的滤光片为绿色滤光片;第一行第二列的像素点的颜色通道为红色,也即是,第一行第二列的像素点上设置的滤光片为红色滤光片;第二行第一列的像素点的颜色通道为蓝色,也即是,第二行第一列的像素点上设置的滤光片为蓝色滤光片;第二行第二列的像素点的颜色通道为绿色,也即是,第二行第二列的像素点上设置的滤光片为绿色滤光片。
图7为一个实施例中对焦控制方法的流程图。本实施例中的对焦控制方法,以运行于图5中的图像传感器上为例进行描述。如图7所示,该对焦控制方法包括步骤720至步骤760。
步骤720,对原始图像计算第一方向的相位差和第二方向的相位差,第一方向与第二方向成预设夹角。
原始图像指的是由电子设备的摄像模组对拍摄场景进行拍摄获取的RGB图像,该原始图像的显示范围与摄像模组所能够捕获到的图像信息的范围是一致的。对原始图像进行计算第一方向的相位差和第二方向的相位差,第一方向与第二方向成预设夹角。例如,第一方向与第二方向相互垂直,当然,在其他实施例中,只需要有两个不同的方向,而这两个不同的方向不一定呈垂直关系设置。具体的,可以根据原始图像中的纹理特征来确定第一方向和第二方向。当所确定的第一方向为原始图像中的水平方向时,那么第二方向可以是原始图像中的竖直方向。则水平方向的相位差能够反应目标主体区域中的水平纹理特征,竖直方向的相位差能够反应目标主体区域中的竖直纹理特征,如此可以兼顾目标主体区域中水平纹理的主体和竖直纹理的主体。
具体的,先根据原始图像(RGB图)生成亮度图。然后,根据亮度图计算第一方向的相位差和第二方向的相位差,第一方向与第二方向成预设夹角。例如,第一方向与第二方向相互垂直。通常,计算相位差值可以采用频率域算法和空间域算法,当然还可以采用其他方法来进行计算。其中,频率域算法是利用傅立叶位移的特性计算,将采集的目标亮度图利用傅立叶转换从空间域转换到频率域,然后再计算phase correlation,当correlation算出最大值时(peak),表示其有最大位移,此时再做反傅立叶就可知在空间域最大位移是多少。空间域算法是指找出特征点,例如边缘特征,DoG(difference of Gaussian),Harris角点等特征,再利用这些特征点计算位移。
步骤740,获取电子设备拍摄原始图像时的移动信息,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差。
获取电子设备拍摄原始图像时的移动信息,具体的,可以通过电子设备中的陀螺仪来采集电子设备拍摄原始图像时的移动信息。当然,还可以通过方向传感器、加速度传感器等传感器来采集电子设备拍摄原始图像时的移动信息,当然,本申请对此不作限定。根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差。因为在拍摄原始图像的过程中,电子设备的移动信息会对所拍摄出的原始图像的第一方向、第二方向上的相位差造成影响,所以,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差,就避免了电子设备的移动信息对所确定的目标相位差的准确性的影响。
步骤760,根据目标相位差控制镜头移动以进行对焦。
根据目标相位差计算出离焦距离,进而根据离焦距离控制镜头移动以进行对焦。其中,离焦距离的计算公式如下:
Defocus=PD*slope(DCC), (1-1)
其中,Defocus指的是离焦距离,PD指的是目标相位差,slope(DCC)指的是离焦转换系数。slope(DCC)是在相机标定过程中所计算出的离焦转换系数,对于同一个摄像头,slope(DCC)是固定的。
在控制镜头对焦至过程中,可以采用其他自动对焦方式来配合相位差对焦PDAF。例如,可以采用飞行时间自动对焦(Time of flight Auto Focus,TOFAF)、对比度自动对焦(Contrast Auto Focus,CAF)、激光对焦等方式中的其中一种或多种来与相位对焦方式进行混合对焦。具体的,可以先采用TOF进行粗略对焦,然后再采用PDAF进行精准对焦;或先采用PDAF进行粗略对焦,然后再采用CAF进行精准对焦等。其中,先采用PDAF进行粗略对焦,然后再采用CAF进行精准对焦这种自动对焦方式,可以把相位自动对焦的速度和对比度自动对焦的精确度进行结合。首先,相位自动对焦快速调整距离设置,此时所拍摄的物体已经比较清晰。随后由对比度对焦进行微调,由于对焦位置的预先调整,因此可以在较少的时间内确定出最大对比度,从而能够更准确地对焦。
本申请实施例中,对原始图像计算第一方向的相位差,对原始图像计算第二方向的相位差,第一方向与第二方向成预设夹角。获取电子设备拍摄原始图像时的移动信息,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差。根据目标相位差控制镜头移动以进行对焦。首先,对原始图像计算第一方向,第二方向两个方向上的相位差。相较于传统的只能计算一个方向上的相位差,两个方向上的相位差显然能够反应更多的相位差信息。其次,获取电子设备拍摄原始图像时的移动信息,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差。因为在拍摄原始图像的过程中,电子设备的移动信息会对所拍摄出的原始图像的第一方向、第二方向上的相位差造成影响,所以,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差,就提高了所确定的目标相位差的准确性。最后,根据目标相位差控制镜头移动以进行对焦,就可以大大提高对焦过程中的准确度。
在一个实施例中,如图8所示,步骤740,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差,包括:
步骤742,获取第一方向的相位差的第一置信度和第二方向的相位差的第二置信度。
步骤744,根据电子设备拍摄原始图像时的移动信息调整第一置信度和第二置信度,得到调整后的第一置信度和第二置信度。
步骤746,从调整后的第一置信度和第二置信度中筛选出较大的置信度所对应的相位差,作为目标相位差。
具体的,电子设备拍摄原始图像时的移动信息包括电子设备拍摄原始图像时移动的速度和方向,具体的,可以通过电子设备中的陀螺仪来采集电子设备拍摄原始图像时移动的速度和方向。当然,还可以通过方向传感器、加速度传感器等传感器来采集电子设备拍摄原始图像时移动的速度和方向,当然,本申请对此不作限定。
然后,根据电子设备移动的速度和方向调整第一置信度和第二置信度。例如,当电子设备的移动方向与第一方向相同时,则此时所拍摄出的原始图像上会产生第一方向上的水平拖影,该第一方向上的水平拖影就类似于第一方向上的纹理。所以,此时所计算出的第一方向的相位差的准确性就较低,或甚至根据第一方向上的PD像素对无法得到第一方向的相位差值。所以就可以调小第一置信度,以避免将准确性较低的第一方向的相位差筛选为目标相位差,显然将会大大降低对焦的准确性。
当然,也可以相应地调大第二方向的相位差的第二置信度,因为此时所拍摄出的原始图像上会产生第一方向上的水平拖影,该第一方向上的水平拖影就类似于第一方向上的纹理。而在第二方向上并无拖影,所以所计算出的第二方向的相位差的准确性会较高,因此,相应地调大第二方向的相位差的第二置信度,以使得最终能够筛选出第二方向的相位差作为目标相位差,在一定程度上提高对焦的准确性。
对于当电子设备的移动方向与第二方向相同时,则同理调大第一置信度,调小第二置信度,避免将准确性较低的第二方向的相位差筛选为目标相位差,最终能够筛选出第一方向的相位差作为目标相位差,在一定程度上提高对焦的准确性。
当在第一方向上电子设备拍摄原始图像时移动的速度较大,则相应调小第一置信度,因为在第一方向上电子设备拍摄原始图像时移动的速度越大,则在第一方向上所形成的水平拖影就越明显,则所计算出的第一方向的相位差的准确性就越低。此时,相应地可以调大第二置信度。
对于在第二方向上电子设备拍摄原始图像时移动的速度较大的情况,也是同理调小第二置信度,相应地可以调大第一置信度。
本申请实施例中,电子设备拍摄原始图像时在第一方向或第二方向上的移动信息,会对原始图像上在第一方向或第二方向上的拖影产生影响,而拖影会降低该方向上所计算出的相位差的准确性。所以,根据第一方向上的拖影调低第一置信度或调大第二置信度;或根据第二方向上的拖影调低第二置信度或调大第一置信度。从而,根据置信度筛查出的目标相位差的准确性较高,则在一定程度上提高了对焦的准确性。
在一个实施例中,电子设备拍摄原始图像时的移动信息包括电子设备拍摄原始图像时的移动方向;
步骤744,根据电子设备拍摄原始图像时的移动信息调整第一置信度和第二置信度,得到调整后的第一置信度和第二置信度,包括:
当电子设备的移动方向与第一方向的夹角小于预设夹角阈值时,则调小第一置信度或调大第二置信度。
当电子设备的移动方向与第二方向的夹角小于预设夹角阈值时,则调小第二置信度或调大第一置信度。
具体的,可以分别计算电子设备的移动方向与第一方向的夹角、电子设备的移动方向与第二方向的夹角。判断上述计算出的哪个夹角小于预设夹角阈值,则判断出电子设备的移动方向是趋近于第一方向还是趋近于第二方向。该预设夹角阈值为第一方向和第二方向的夹角的一半,当第一方向与第二方向垂直时,则预设夹角阈值为45°。例如,当判断出电子设备的移动方向与第一方向的夹角小于预设夹角阈值,则说明电子设备的移动方向是趋近于第一方向,调小第一置信度或调大第二置信度。当判断出电子设备的移动方向与第二方向的夹角小于预设夹角阈值,则说明电子设备的移动方向是趋近于第二方向,调小第二置信度或调大第一置信度。当判断出电子设备的移动方向与第二方向的夹角或与第一方向的夹角等于预设夹角阈值,则不对第二置信度、第一置信度采取调节操作。还可以采用以下这种方式来判断对第一置信度、第二置信度是进行调大还是调小。具体的,当通过陀螺仪或其他传感器获取了电子设备的移动方向之后,将电子设备的移动方向分解为第一方向上和第二方向上。分解到哪个方向上的移动方向的数值较大,则判断为趋近于该方向。当电子设备的移动方向趋近于第一方向时,则调小第一置信度或调大第二置信度。当电子设备的移动方向趋近于第二方向时,则调小第二置信度或调大第一置信度。
本申请实施例中,根据电子设备的移动方向来调整第一置信度和第二置信度。从而,根据调整后的置信度筛查出的目标相位差的准确性较高,则在一定程度上提高了对焦的准确性。
在一个实施例中,当电子设备的移动方向趋近于第二方向时,则调小第二置信度或调大第一置信度,包括:
当电子设备的移动方向趋近于第二方向时,则根据电子设备的移动方向趋近于第二方向的程度相应调小第二置信度或调大第一置信度。
具体的,判断电子设备的移动方向是趋近于第一方向还是趋近于第二方向。例如,当通过陀螺仪或其他传感器获取了电子设备的移动方向之后,将电子设备的移动方向分解为第一方向上和第二方向上。电子设备的移动方向趋近于第一方向的程度,可以用分解到该第一方向上的数值的大小来衡量。例如,若第一方向为水平方向、第二方向为竖直方向,则就可以以第一方向和第二方向建立坐标系,坐标系中的x方向就可以认为为第一方向,坐标系中的y方向就可以认为为第二方向。若电子设备运动方向为沿着x方向偏向y方向60°的方向,则取该电子设备运动方向的线段的长度为2,则该线段分解到x方向的长度就是1,该线段分解到y方向的长度就是
Figure BDA0002269978040000111
判断出电子设备的运动方向为趋近于第二方向。
当电子设备的移动方向趋近于第二方向时,则根据电子设备的移动方向趋近于第二方向的程度相应调小第二置信度或调大第一置信度。例如,在上个例子中电子设备的移动方向趋近于第二方向的程度可以用
Figure BDA0002269978040000112
来表示,则根据电子设备的移动方向趋近于第二方向的程度相应调小第二置信度或调大第一置信度。例如,可以对第二置信度缩小
Figure BDA0002269978040000113
倍,即用第二置信度除以
Figure BDA0002269978040000114
得到调整后的第二置信度。当然,还可以根据
Figure BDA0002269978040000115
采取其他调小第二置信度的方法。相应地,在调大第一置信度时,例如也可以将第一置信度调大
Figure BDA0002269978040000116
倍,当然,还可以根据
Figure BDA0002269978040000117
采取其他调大第一置信度的方法。
本申请实施例中,当判断出电子设备的移动方向趋近于第二方向时,则根据电子设备的移动方向趋近于第二方向的程度相应调小第二置信度或调大第一置信度。将电子设备的移动方向趋近于第二方向的程度用数值进行量化,如此则更加精细地调小第二置信度或调大第一置信度。对于判断出电子设备的移动方向趋近于第二方向时的情况,也是采用同样的方法来进行调整第一置信度和第二置信度。从而,根据调整后的置信度筛查出的目标相位差的准确性较高,则在一定程度上提高了对焦的准确性。
在一个实施例中,电子设备拍摄原始图像时的移动信息包括电子设备拍摄原始图像时的移动方向和移动速度;
根据电子设备拍摄原始图像时的移动信息调整第一置信度和第二置信度,得到调整后的第一置信度和第二置信度,包括:
当电子设备的移动方向趋近于第一方向时,则根据电子设备移动速度的大小调小第一置信度或调大第二置信度;
当电子设备的移动方向趋近于第二方向时,则根据电子设备移动速度的大小调小第二置信度或调大第一置信度。
具体的,当电子设备的移动方向趋近于第一方向时,则此时所拍摄出的原始图像上会产生趋近于第一方向上的水平拖影,该趋近于第一方向上的水平拖影就类似于趋近于第一方向上的纹理。所以,此时所计算出的第一方向的相位差的准确性就较低,或甚至根据第一方向上的PD像素对无法得到第一方向的相位差值。然后,进一步获取电子设备在移动方向上的移动速度的大小,因为移动速度越大则拖影越长,则所计算出的第一方向的相位差的准确性就较低,或甚至根据第一方向上的PD像素对无法得到第一方向的相位差值。所以,根据电子设备移动速度的大小相应调小第一置信度或调大第二置信度。具体调小或调大的倍数可以根据移动速度的大小进行量化,本申请对此不作限定。
对于当判断出电子设备的移动方向趋近于第一方向时,同理,采用上述的方法根据电子设备移动速度的大小调小第一置信度或调大第二置信度。
本申请实施例中,据电子设备移动速度的大小调小第一置信度或调大第二置信度,如此则更加精细地对第一置信度、第二置信度进行调整。从而,根据调整后的置信度筛查出的目标相位差的准确性较高,则在一定程度上提高了对焦的准确性。
在一个实施例中,对原始图像计算第一方向的相位差,对原始图像计算第二方向的相位差,包括:
对原始图像计算第一方向的原始相位差,采用相机标定过程中的增益图对第一方向的原始相位差进行补偿,得到第一方向的相位差;
对原始图像计算第二方向的原始相位差,采用相机标定过程中的增益图对第二方向的原始相位差进行补偿,得到第二方向的相位差。
具体的,如图9A所示,提供了一种对焦控制方法,在采用PDAF对焦过程中,由图像传感器sensor输出图像数据后,开始计算第一方向和第二方向的PD值(即原始相位差),因为相位图phase image同样具有暗角问题(shading),所以在计算PD值的时候,需要由标定时所标定的增益图gain map进行补偿得到补偿后的PD值。筛选出置信度最大的PD值作为目标相位差,目标相位差再结合离焦转换系数slope(DCC)计算出离焦距离Defocus,然后驱动镜头lens根据离焦距离进行移动达到对焦的目的。其中,增益图、离焦转换系数都是在相机标定过程中所生成的。
对原始图像计算第一方向的相位差和计算第二方向的相位差的过程中,分别都采用相机标定过程中的增益图对第一方向的原始相位差、第二方向的原始相位差进行补偿,得到补偿后的第一方向的相位差、第二方向的相位差。
本申请实施例中,采用相机标定过程中的增益图对第一方向的原始相位差、第二方向的原始相位差进行补偿,如此则可以消除相位图上的暗角问题(shading),提高相位图中的相位差的准确度,从而在所计算出的相位差准确的前提下,提高后续根据目标相位差进行对焦的准确度。
在一个实施例中,如图9B所示,还提供了一种对焦控制方法,在采用PDAF对焦过程中,由图像传感器sensor输出图像数据后,开始计算第一方向和第二方向的PD值(即原始相位差),因为相位图phase image同样具有暗角问题(shading),所以在计算PD值的时候,需要由标定时所标定的增益图gain map进行补偿得到补偿后的PD值。再获取补偿后的PD值的置信度,根据陀螺仪所采集到的数据即电子设备的移动方向和移动速度,对补偿后的PD值的置信度进行调整。筛选出置信度最大的PD值作为目标相位差,目标相位差再结合离焦转换系数slope(DCC)计算出离焦距离Defocus,然后驱动镜头lens根据离焦距离进行移动达到对焦的目的。
本申请实施例中,采用相机标定过程中的增益图对第一方向的原始相位差、第二方向的原始相位差进行补偿,如此则可以消除相位图上的暗角问题,提高相位图中的相位差的准确度。根据电子设备的移动方向和移动速度,对补偿后的相位差的置信度进行调整。从而,根据调整后的置信度所筛查出的目标相位差的准确性较高,则在一定程度上提高了对焦的准确性。
在一个实施例中,电子设备包括图像传感器,图像传感器包括阵列排布的多个像素点组,每个像素点组包括阵列排布的多个像素点;每个像素点对应一个感光单元;每个像素点包括阵列排布的多个子像素点;如图10所示,步骤740,对原始图像计算第一方向的相位差和第二方向的相位差,包括:
步骤742,对原始图像中的每个像素点组,根据像素点组中每个像素点的相同位置处的子像素点的亮度值,获取像素点组对应的子亮度图。
通常情况下,图像传感器的像素点的亮度值可以由该像素点包括的子像素点的亮度值来进行表征。成像设备可以根据像素点组中每个像素点的相同位置处的子像素点的亮度值,来获取像素点组对应的子亮度图。其中,子像素点的亮度值是指该子像素点对应的感光元件接收到的光信号的亮度值。
如上文,图像传感器包括的子像素点是一种能够将光信号转化为电信号的感光元件,因此,可以根据子像素点输出的电信号来获取该子像素点接收到的光信号的强度,根据子像素点接收到的光信号的强度即可得到该子像素点的亮度值。
步骤744,根据每个像素点组对应的子亮度图生成目标亮度图。
成像设备可以按照图像传感器中各个像素点组的阵列排布方式,对各个像素点组对应的子亮度图进行拼接,得到目标亮度图。
步骤746,根据目标亮度图计算第一方向的原始相位差和第二方向的原始相位差。
对目标亮度图进行切分处理,得到第一切分亮度图和第二切分亮度图,并根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差值。根据相互匹配的像素的相位差值确定第一方向的原始相位差值和第二方向的原始相位差值。
本申请实施例中,因为电子设备中的图像传感器包括阵列排布的多个像素点组,每个像素点组包括阵列排布的多个像素点。每个像素点对应一个感光单元,每个像素点包括阵列排布的多个子像素点,每个子像素点对应一个光电二极管。所以通过每一个光电二极管就可以获取到一个亮度值,即为子像素点的亮度值。再由子像素点的亮度值获取到像素点组对应的子亮度图,进而按照图像传感器中各个像素点组的阵列排布方式,对各个像素点组对应的子亮度图进行拼接,得到目标亮度图。最后,根据目标亮度图就可以计算出第一方向的原始相位差和第二方向的原始相位差。
再从第一方向的原始相位差和第二方向的原始相位差中确定目标相位差,目标相位差的准确性更高,从而根据目标相位差对目标主体区域进行对焦,就可以大大提高对焦过程中的准确度。
在一个实施例中,如图11所示,步骤746,根据目标亮度图计算第一方向的原始相位差和第二方向的原始相位差,包括:步骤746a和步骤746b。
步骤746a,对目标亮度图进行切分处理,得到第一切分亮度图和第二切分亮度图,并根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差值。
一种对目标亮度图进行切分处理的方式,成像设备可以沿列的方向(图像坐标系中的y轴方向)对该目标亮度图进行切分处理,在沿列的方向对目标亮度图进行切分处理的过程中,切分处理的每一分割线都与列的方向垂直。
另一种对目标亮度图进行切分处理的方式,成像设备可以沿行的方向(图像坐标系中的x轴方向)对该目标亮度图进行切分处理,在沿行的方向对目标亮度图进行切分处理的过程中,切分处理的每一分割线都与行的方向垂直。
沿列的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为上图和下图。沿行的方向对目标亮度图进行切分处理后得到的第一切分亮度图和第二切分亮度图可以分别称为左图和右图。
其中,“相互匹配的像素”指的是由像素本身及其周围像素组成的像素矩阵相互相似。例如,第一切分亮度图中像素a和其周围的像素组成一个3行3列的像素矩阵,该像素矩阵的像素值为:
2 15 70
1 35 60
0 100 1
第二切分亮度图中像素b和其周围的像素也组成一个3行3列的像素矩阵,该像素矩阵的像素值为:
1 15 70
1 36 60
0 100 2
由上文可以看出,这两个矩阵是相似的,则可以认为像素a和像素b相互匹配。判断像素矩阵是否相似的方式很多,通常可对两个像素矩阵中的每个对应像素的像素值求差,再将求得的差值的绝对值进行相加,利用该相加的结果来判断像素矩阵是否相似,也即是,若该相加的结果小于预设的某一阈值,则认为像素矩阵相似,否则,则认为像素矩阵不相似。
例如,对于上述两个3行3列的像素矩阵而言,可以分别将1和2求差,将15和15求差,将70和70求差,……,再将求得的差的绝对值相加,得到相加结果为3,该相加结果3小于预设的阈值,则认为上述两个3行3列的像素矩阵相似。
另一种判断像素矩阵是否相似的方式是利用sobel卷积核计算方式或者高拉普拉斯计算方式等方式提取其边缘特征,通过边缘特征来判断像素矩阵是否相似。
这里,“相互匹配的像素的位置差异”指的是,相互匹配的像素中位于第一切分亮度图中的像素的位置和位于第二切分亮度图中的像素的位置的差异。如上述举例,相互匹配的像素a和像素b的位置差异指的是像素a在第一切分亮度图中的位置和像素b在第二切分亮度图中的位置的差异。
相互匹配的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像。例如,第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配,其中,该像素a可以对应于图1中在A位置处所成的像,像素b可以对应于图1中在B位置处所成的像。
由于相互匹配的像素分别对应于从不同方向射入镜头的成像光线在图像传感器中所成的不同的像,因此,根据相互匹配的像素的位置差异,即可确定该相互匹配的像素的相位差。
步骤746b,根据相互匹配的像素的相位差值确定第一方向的原始相位差值或第二方向的原始相位差值。
当第一切分亮度图包括的是偶数行的像素,第二切分亮度图包括的是奇数行的像素,第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配,则根据相互匹配的像素a和像素b的相位差,可以确定第一方向的原始相位差值。
当第一切分亮度图包括的是偶数列的像素,第二切分亮度图包括的是奇数列的像素,第一切分亮度图中的像素a与第二切分亮度图中的像素b相互匹配,则根据相互匹配的像素a和像素b的相位差,可以确定第二方向的原始相位差值。
本申请实施例中,对各个像素点组对应的子亮度图进行拼接,得到目标亮度图,将目标亮度图划分为两个切分亮度图后,通过像素匹配,可以快速的确定相互匹配的像素的相位差值,同时包含了丰富的相位差值,可以提高原始相位差值的精确度,提高对焦的准确度和稳定度。
图12为一个实施例中的像素点组的示意图,如图12所示,该像素点组包括按照两行两列的阵列排布方式进行排布的4个像素点,该4个像素点分别为D1像素点、D2像素点、D3像素点和D4像素点,其中,每个像素点包括按照两行两列的阵列排布方式进行排布的4个子像素点,其中,子像素点分别为d11、d12、d13、d14、d21、d22、d23、d24、d31、d32、d33、d34、d41、d42、d43和d44。
如图12所示,子像素点d11、d21、d31和d41在各像素点中的排布位置相同,均为第一行第一列,子像素点d12、d22、d32和d42在各像素点中的排布位置相同,均为第一行第二列,子像素点d13、d23、d33和d43在各像素点中的排布位置相同,均为第二行第一列,子像素点d14、d24、d34和d44在各像素点中的排布位置相同,均为第二行第二列。
在一个实施例中,步骤742,根据像素点组中每个像素点的相同位置处的子像素点的亮度值,获取像素点组对应的子亮度图,包括可以包括步骤A1至A3。
步骤A1,成像设备从每个像素点中确定相同位置处的子像素点,得到多个子像素点集合。其中,每个子像素点集合包括的子像素点在像素点中的位置均相同。
成像设备分别从D1像素点、D2像素点、D3像素点和D4像素点中确定相同位置处的子像素点,可以得到4个子像素点集合J1、J2、J3和J4,其中,子像素点集合J1包括子像素点d11、d21、d31和d41,其包括的子像素点在像素点中的位置均相同,为第一行第一列,子像素点集合J2包括子像素点d12、d22、d32和d42,其包括的子像素点在像素点中的位置均相同,为第一行第二列,子像素点集合J3包括子像素点d13、d23、d33和d43,其包括的子像素点在像素点中的位置均相同,为第二行第一列,子像素点集合J4包括子像素点d14、d24、d34和d44,其包括的子像素点在像素点中的位置均相同,为第二行第二列。
步骤A2,对于每个子像素点集合,成像设备根据该子像素点集合中每个子像素点的亮度值,获取该子像素点集合对应的亮度值。
可选的,在步骤A2中,成像设备可以确定子像素点集合中每个子像素点对应的颜色系数,其中,该颜色系数是根据子像素点对应的颜色通道确定的。
例如,子像素点d11属于D1像素点,该D1像素点包括的滤光片可以为绿色滤光片,也即是,该D1像素点的颜色通道为绿色,则其包括的子像素点d11的颜色通道也为绿色,成像设备可以根据子像素点d11的颜色通道(绿色)确定该子像素点d11对应的颜色系数。
在确定了子像素点集合中每个子像素点对应的颜色系数之后,成像设备可以将子像素点集合中每个子像素点对应的颜色系数与亮度值相乘,得到子像素点集合中每个子像素点的加权亮度值。
例如,成像设备可以将子像素点d11的亮度值与子像素点d11对应的颜色系数相乘,得到该子像素点d11的加权亮度值。
在得到子像素点集合中每个子像素点的加权亮度值之后,成像设备可以将子像素点集合中每个子像素点的加权亮度值相加,得到该子像素点集合对应的亮度值。
例如,对于子像素点集合J1,可以基于下述第一公式计算该子像素点集合J1对应的亮度值。
Y_TL=Y_21*C_R+(Y_11+Y_41)*C_G/2+Y_31*C_B。
其中,Y_TL为该子像素点集合J1对应的亮度值,Y_21为子像素点d21的亮度值,Y_11为子像素点d11的亮度值,Y_41为子像素点d41的亮度值,Y_31为子像素点d31的亮度值,C_R为子像素点d21对应的颜色系数,C_G/2为子像素点d11和d41对应的颜色系数,C_B为子像素点d31对应的颜色系数,其中,Y_21*C_R为子像素点d21的加权亮度值,Y_11*C_G/2为子像素点d11的加权亮度值,Y_41*C_G/2为子像素点d41的加权亮度值,Y_31*C_B为子像素点d31的加权亮度值。
对于子像素点集合J2,可以基于下述第二公式计算该子像素点集合J2对应的亮度值。
Y_TR=Y_22*C_R+(Y_12+Y_42)*C_G/2+Y_32*C_B。
其中,Y_TR为该子像素点集合J2对应的亮度值,Y_22为子像素点d22的亮度值,Y_12为子像素点d12的亮度值,Y_42为子像素点d42的亮度值,Y_32为子像素点d32的亮度值,C_R为子像素点d22对应的颜色系数,C_G/2为子像素点d12和d42对应的颜色系数,C_B为子像素点d32对应的颜色系数,其中,Y_22*C_R为子像素点d22的加权亮度值,Y_12*C_G/2为子像素点d12的加权亮度值,Y_42*C_G/2为子像素点d42的加权亮度值,Y_32*C_B为子像素点d32的加权亮度值。
对于子像素点集合J3,可以基于下述第三公式计算该子像素点集合J3对应的亮度值。
Y_BL=Y_23*C_R+(Y_13+Y_43)*C_G/2+Y_33*C_B。
其中,Y_BL为该子像素点集合J3对应的亮度值,Y_23为子像素点d23的亮度值,Y_13为子像素点d13的亮度值,Y_43为子像素点d43的亮度值,Y_33为子像素点d33的亮度值,C_R为子像素点d23对应的颜色系数,C_G/2为子像素点d13和d43对应的颜色系数,C_B为子像素点d33对应的颜色系数,其中,Y_23*C_R为子像素点d23的加权亮度值,Y_13*C_G/2为子像素点d13的加权亮度值,Y_43*C_G/2为子像素点d43的加权亮度值,Y_33*C_B为子像素点d33的加权亮度值。
对于子像素点集合J4,可以基于下述第四公式计算该子像素点集合J4对应的亮度值。
Y_BR=Y_24*C_R+(Y_14+Y_44)*C_G/2+Y_34*C_B。
其中,Y_BR为该子像素点集合J4对应的亮度值,Y_24为子像素点d24的亮度值,Y_14为子像素点d14的亮度值,Y_44为子像素点d44的亮度值,Y_34为子像素点d34的亮度值,C_R为子像素点d24对应的颜色系数,C_G/2为子像素点d14和d44对应的颜色系数,C_B为子像素点d34对应的颜色系数,其中,Y_24*C_R为子像素点d24的加权亮度值,Y_14*C_G/2为子像素点d14的加权亮度值,Y_44*C_G/2为子像素点d44的加权亮度值,Y_34*C_B为子像素点d34的加权亮度值。
步骤A3,成像设备根据每个子像素集合对应的亮度值生成子亮度图。
其中,子亮度图包括多个像素,该子亮度图中每个像素与一个子像素集合相对应,每个像素的像素值等于对应的子像素集合所对应的亮度值。
图13为一个实施例中子亮度图的示意图。如图13所示,该子亮度图包括4个像素,其中,第一行第一列的像素与子像素集合J1相对应,其像素值为Y_TL,第一行第二列的像素与子像素集合J2相对应,其像素值为Y_TR,第二行第一列的像素与子像素集合J3相对应,其像素值为Y_BL,第二行第二列的像素与子像素集合J4相对应,其像素值为Y_BR。
应该理解的是,虽然上述的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图14所示,提供了一种对焦控制装置800,包括:相位差计算模块1420、目标相位差确定模块1440及相位差对焦模块1460。其中,
相位差计算模块1420,用于对原始图像计算第一方向的相位差和第二方向的相位差,第一方向与第二方向成预设夹角;
目标相位差确定模块1440,用于获取电子设备拍摄原始图像时的移动信息,根据电子设备拍摄原始图像时的移动信息从第一方向的相位差和第二方向的相位差中确定目标相位差;
相位差对焦模块1460,用于根据目标相位差控制镜头移动以进行对焦。
在一个实施例中,如图15所示,目标相位差确定模块1440,还包括:置信度获取单元1442、置信度调整单元1444及目标相位差筛选单元1446。
置信度获取单元1442,用于获取第一方向的相位差的第一置信度和第二方向的相位差的第二置信度;
置信度调整单元1444,用于根据电子设备拍摄原始图像时的移动信息调整第一置信度和第二置信度,得到调整后的第一置信度和第二置信度;
目标相位差筛选单元1446,用于从调整后的第一置信度和第二置信度中筛选出较大的置信度所对应的相位差,作为目标相位差。
在一个实施例中,电子设备拍摄原始图像时的移动信息包括电子设备拍摄原始图像时的移动方向;置信度调整单元1444,还用于当电子设备的移动方向趋近于第一方向时,则调小第一置信度或调大第二置信度;当电子设备的移动方向趋近于第二方向时,则调小第二置信度或调大第一置信度。
在一个实施例中,置信度调整单元1444,还用于当电子设备的移动方向趋近于第二方向时,则根据电子设备的移动方向趋近于第二方向的程度相应调小第二置信度或调大第一置信度。
在一个实施例中,电子设备拍摄原始图像时的移动信息包括电子设备拍摄原始图像时的移动方向和移动速度;置信度调整单元1444,还用于当电子设备的移动方向趋近于第一方向时,则根据电子设备移动速度的大小调小第一置信度或调大第二置信度;当电子设备的移动方向趋近于第二方向时,则根据电子设备移动速度的大小调小第二置信度或调大第一置信度。
在一个实施例中,相位差计算模块1420,还用于对原始图像计算第一方向的原始相位差,采用相机标定过程中的增益图对第一方向的原始相位差进行补偿,得到第一方向的相位差;对原始图像计算第二方向的原始相位差,采用相机标定过程中的增益图对第二方向的原始相位差进行补偿,得到第二方向的相位差。
在一个实施例中,如图16所示,相位差计算模块1420,包括子亮度图获取单元1422、目标亮度图获取单元1424及第一方向、第二方向原始相位差单元1426,其中,
子亮度图获取单元1422,用于对原始图像中的每个像素点组,根据像素点组中每个像素点的相同位置处的子像素点的亮度值,获取像素点组对应的子亮度图;
目标亮度图获取单元1424,用于根据每个像素点组对应的子亮度图生成目标亮度图;
第一方向、第二方向原始相位差单元1426,用于根据目标亮度图计算第一方向的原始相位差和第二方向的原始相位差。
在一个实施例中,第一方向、第二方向相位差单元1426,还用于对目标亮度图进行切分处理,得到第一切分亮度图和第二切分亮度图,并根据第一切分亮度图和第二切分亮度图中相互匹配的像素的位置差异,确定相互匹配的像素的相位差值;根据相互匹配的像素的相位差值确定第一方向的原始相位差值和第二方向的原始相位差值。
在一个实施例中,子亮度图获取单元1422,还用于从每个像素点中确定相同位置处的子像素点,得到多个子像素点集合,其中,每个子像素点集合包括的子像素点在像素点中的位置均相同;对于每个子像素点集合,根据子像素点集合中每个子像素点的亮度值,获取子像素点集合对应的亮度值;根据每个子像素集合对应的亮度值生成子亮度图。
上述对焦控制装置中各个模块的划分仅用于举例说明,在其他实施例中,可将对焦控制装置按照需要划分为不同的模块,以完成上述对焦控制装置的全部或部分功能。
图17为一个实施例中电子设备的内部结构示意图。如图17所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种对焦控制方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的对焦控制装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
电子设备实现该对焦控制方法的过程如上述实施例,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器执行时,使得处理器执行对焦控制方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行对焦控制方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种对焦控制方法,应用于电子设备,其特征在于,所述方法包括:
对原始图像计算第一方向的相位差和第二方向的相位差,所述第一方向与所述第二方向成预设夹角;
获取电子设备拍摄所述原始图像时的移动信息,根据所述电子设备拍摄所述原始图像时的移动信息从所述第一方向的相位差和所述第二方向的相位差中确定目标相位差;
根据所述目标相位差控制镜头移动以进行对焦。
2.根据权利要求1所述的方法,其特征在于,所述根据所述电子设备拍摄所述原始图像时的移动信息从所述第一方向的相位差和所述第二方向的相位差中确定目标相位差,包括:
获取所述第一方向的相位差的第一置信度和所述第二方向的相位差的第二置信度;
根据所述电子设备拍摄所述原始图像时的移动信息调整所述第一置信度和所述第二置信度,得到调整后的第一置信度和第二置信度;
从调整后的第一置信度和第二置信度中筛选出较大的置信度所对应的相位差,作为目标相位差。
3.根据权利要求2所述的方法,其特征在于,所述电子设备拍摄所述原始图像时的移动信息包括电子设备拍摄所述原始图像时的移动方向;
所述根据所述电子设备拍摄所述原始图像时的移动信息调整所述第一置信度和所述第二置信度,得到调整后的第一置信度和第二置信度,包括:
当所述电子设备的移动方向与所述第一方向的夹角小于预设夹角阈值时,则调小所述第一置信度或调大所述第二置信度;
当所述电子设备的移动方向与所述第二方向的夹角小于预设夹角阈值时,则调小所述第二置信度或调大所述第一置信度。
4.根据权利要求3所述的方法,其特征在于,所述当所述电子设备的移动方向趋近于所述第二方向时,则调小所述第二置信度或调大所述第一置信度,包括:
当所述电子设备的移动方向趋近于所述第二方向时,则根据所述电子设备的移动方向趋近于所述第二方向的程度相应调小所述第二置信度或调大所述第一置信度。
5.根据权利要求2所述的方法,其特征在于,所述电子设备拍摄所述原始图像时的移动信息包括电子设备拍摄所述原始图像时的移动方向和移动速度;
所述根据所述电子设备拍摄所述原始图像时的移动信息调整所述第一置信度和所述第二置信度,得到调整后的第一置信度和第二置信度,包括:
当所述电子设备的移动方向趋近于所述第一方向时,则根据所述电子设备移动速度的大小调小所述第一置信度或调大所述第二置信度;
当所述电子设备的移动方向趋近于所述第二方向时,则根据所述电子设备移动速度的大小调小所述第二置信度或调大所述第一置信度。
6.根据权利要求1所述的方法,其特征在于,所述对原始图像计算第一方向的相位差和第二方向的相位差,包括:
对原始图像计算第一方向的原始相位差,采用相机标定过程中的增益图对所述第一方向的原始相位差进行补偿,得到第一方向的相位差;
对原始图像计算第二方向的原始相位差,采用相机标定过程中的增益图对所述第二方向的原始相位差进行补偿,得到第二方向的相位差。
7.根据权利要求6所述的方法,其特征在于,所述电子设备包括图像传感器,所述图像传感器包括阵列排布的多个像素点组,每个所述像素点组包括阵列排布的多个像素点;每个像素点对应一个感光单元;每个像素点包括阵列排布的多个子像素点;
所述对原始图像计算第一方向的原始相位差和第二方向的原始相位差,包括:
对所述原始图像中的每个所述像素点组,根据所述像素点组中每个像素点的相同位置处的子像素点的亮度值,获取所述像素点组对应的子亮度图;
根据每个所述像素点组对应的子亮度图生成所述目标亮度图;
根据所述目标亮度图计算第一方向的原始相位差和第二方向的原始相位差。
8.根据权利要求7所述的方法,其特征在于,所述根据所述目标亮度图计算第一方向的原始相位差和第二方向的原始相位差,包括:
对所述目标亮度图进行切分处理,得到第一切分亮度图和第二切分亮度图,并根据所述第一切分亮度图和所述第二切分亮度图中相互匹配的像素的位置差异,确定所述相互匹配的像素的相位差值;
根据所述相互匹配的像素的相位差值确定第一方向的原始相位差值和第二方向的原始相位差值。
9.根据权利要求7所述的方法,其特征在于,所述根据所述像素点组中每个像素点的相同位置处的子像素点的亮度值,获取所述像素点组对应的子亮度图,包括:
从每个所述像素点中确定相同位置处的子像素点,得到多个子像素点集合,其中,每个所述子像素点集合包括的子像素点在像素点中的位置均相同;
对于每个所述子像素点集合,根据所述子像素点集合中每个子像素点的亮度值,获取所述子像素点集合对应的亮度值;
根据每个所述子像素集合对应的亮度值生成所述子亮度图。
10.一种对焦控制装置,其特征在于,所述装置包括:
相位差计算模块,用于对原始图像计算第一方向的相位差和第二方向的相位差,所述第一方向与所述第二方向成预设夹角;
目标相位差确定模块,用于获取电子设备拍摄所述原始图像时的移动信息,根据所述电子设备拍摄所述原始图像时的移动信息从所述第一方向的相位差和所述第二方向的相位差中确定目标相位差;
相位差对焦模块,用于根据所述目标相位差控制镜头移动以进行对焦。
11.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的对焦控制方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
CN201911101397.2A 2019-11-12 2019-11-12 对焦控制方法和装置、电子设备、计算机可读存储介质 Active CN112866543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911101397.2A CN112866543B (zh) 2019-11-12 2019-11-12 对焦控制方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911101397.2A CN112866543B (zh) 2019-11-12 2019-11-12 对焦控制方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112866543A true CN112866543A (zh) 2021-05-28
CN112866543B CN112866543B (zh) 2022-06-14

Family

ID=75984614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911101397.2A Active CN112866543B (zh) 2019-11-12 2019-11-12 对焦控制方法和装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112866543B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109498A1 (en) * 2012-07-06 2015-04-23 Fujifilm Corporation Imaging device, and image processing method
US20150319420A1 (en) * 2014-05-01 2015-11-05 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
US20160267666A1 (en) * 2015-03-09 2016-09-15 Samsung Electronics Co., Ltd. Image signal processor for generating depth map from phase detection pixels and device having the same
CN106027905A (zh) * 2016-06-29 2016-10-12 努比亚技术有限公司 一种用于天空对焦的方法和移动终端
CN106921823A (zh) * 2017-04-28 2017-07-04 广东欧珀移动通信有限公司 图像传感器、摄像模组和终端设备
CN106973206A (zh) * 2017-04-28 2017-07-21 广东欧珀移动通信有限公司 摄像模组摄像处理方法、装置和终端设备
US20180288306A1 (en) * 2017-03-30 2018-10-04 Qualcomm Incorporated Mask-less phase detection autofocus
KR20190042353A (ko) * 2017-10-16 2019-04-24 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN109905600A (zh) * 2019-03-21 2019-06-18 上海创功通讯技术有限公司 成像方法、成像装置及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109498A1 (en) * 2012-07-06 2015-04-23 Fujifilm Corporation Imaging device, and image processing method
US20150319420A1 (en) * 2014-05-01 2015-11-05 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
US20160267666A1 (en) * 2015-03-09 2016-09-15 Samsung Electronics Co., Ltd. Image signal processor for generating depth map from phase detection pixels and device having the same
CN106027905A (zh) * 2016-06-29 2016-10-12 努比亚技术有限公司 一种用于天空对焦的方法和移动终端
US20180288306A1 (en) * 2017-03-30 2018-10-04 Qualcomm Incorporated Mask-less phase detection autofocus
CN106921823A (zh) * 2017-04-28 2017-07-04 广东欧珀移动通信有限公司 图像传感器、摄像模组和终端设备
CN106973206A (zh) * 2017-04-28 2017-07-21 广东欧珀移动通信有限公司 摄像模组摄像处理方法、装置和终端设备
KR20190042353A (ko) * 2017-10-16 2019-04-24 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN109905600A (zh) * 2019-03-21 2019-06-18 上海创功通讯技术有限公司 成像方法、成像装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡赞赞: "PDAF对焦技术原理解析及生产应用", 《电子技术与软件工程》 *

Also Published As

Publication number Publication date
CN112866543B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
US11856291B2 (en) Thin multi-aperture imaging system with auto-focus and methods for using same
CN112866511B (zh) 成像组件、对焦方法和装置、电子设备
CN112866549B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112866675B (zh) 深度图生成方法和装置、电子设备、计算机可读存储介质
CN112866542B (zh) 追焦方法和装置、电子设备、计算机可读存储介质
CN112866510B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN112866655B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112866548B (zh) 相位差的获取方法和装置、电子设备
CN112866545B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN112866543B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN112866547B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN112862880B (zh) 深度信息获取方法、装置、电子设备和存储介质
CN112866552B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN112866546B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN112866544B (zh) 相位差的获取方法、装置、设备及存储介质
CN112866551B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN112866674B (zh) 深度图获取方法、装置、电子设备和计算机可读存储介质
CN117835054A (zh) 相位对焦方法、装置、电子设备和存储介质、产品
CN112866550A (zh) 相位差获取方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant