CN107613216A - 对焦方法、装置、计算机可读存储介质和电子设备 - Google Patents
对焦方法、装置、计算机可读存储介质和电子设备 Download PDFInfo
- Publication number
- CN107613216A CN107613216A CN201711044060.3A CN201711044060A CN107613216A CN 107613216 A CN107613216 A CN 107613216A CN 201711044060 A CN201711044060 A CN 201711044060A CN 107613216 A CN107613216 A CN 107613216A
- Authority
- CN
- China
- Prior art keywords
- shooting image
- value
- original shooting
- focus value
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
Abstract
本申请涉及一种对焦方法、装置、计算机可读存储介质和电子设备。所述方法包括:在镜头移动扫描的过程中,获取所述镜头每次定位时原始拍摄图像传感器输出的原始拍摄图像,所述原始拍摄图像中的每个像素点对应一个通道值;根据所述原始拍摄图像中像素点的通道值获取所述原始拍摄图像对应的聚焦值,所述聚焦值用于表示所述原始拍摄图像的清晰度;根据获取的所述聚焦值进行对焦。上述对焦方法、装置、计算机可读存储介质和电子设备,可以降低拍摄平台的维护成本。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及对焦方法、装置、计算机可读存储介质和电子设备。
背景技术
在人们的工作和生活中拍照使用越来越频繁,而且要求也越来越高。在拍摄过程中,对焦可以使得拍摄画面更加精准地将人们关注的物体进行呈现。通常可以使用相位对焦、反差对焦等方法进行对焦。而在不同的拍摄平台中,往往采用的对焦算法往往是不一样的。
发明内容
本申请实施例提供一种对焦方法、装置、计算机可读存储介质和电子设备,可以减少拍摄平台的维护成本。
一种对焦方法,包括:
在镜头移动扫描的过程中,获取所述镜头每次定位时原始拍摄图像传感器输出的原始拍摄图像,所述原始拍摄图像中的每个像素点对应一个通道值;
根据所述原始拍摄图像中像素点的通道值获取所述原始拍摄图像对应的聚焦值,所述聚焦值用于表示所述原始拍摄图像的清晰度;
根据获取的所述聚焦值进行对焦。
一种对焦装置,包括:
图像获取模块,用于在镜头移动扫描的过程中,获取所述镜头每次定位时图像传感器输出的原始拍摄图像,所述原始拍摄图像中的每个像素点对应一个通道值;
聚焦值获取模块,用于根据所述原始拍摄图像中像素点的通道值获取所述原始拍摄图像对应的聚焦值,所述聚焦值用于表示所述原始拍摄图像的清晰度;
对焦模块,用于根据获取的所述聚焦值进行对焦。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
在镜头移动扫描的过程中,获取所述镜头每次定位时图像传感器输出的原始拍摄图像,所述原始拍摄图像中的每个像素点对应一个通道值;
根据所述原始拍摄图像中像素点的通道值获取所述原始拍摄图像对应的聚焦值,所述聚焦值用于表示所述原始拍摄图像的清晰度;
根据获取的所述聚焦值进行对焦。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
在镜头移动扫描的过程中,获取所述镜头每次定位时图像传感器输出的原始拍摄图像,所述原始拍摄图像中的每个像素点对应一个通道值;
根据所述原始拍摄图像中像素点的通道值获取所述原始拍摄图像对应的聚焦值,所述聚焦值用于表示所述原始拍摄图像的清晰度;
根据获取的所述聚焦值进行对焦。
上述对焦方法、装置、计算机可读存储介质和电子设备,直接获取图像传感器输出的原始拍摄图像,通过该原始拍摄图像计算聚焦值,并根据计算的聚焦值进行对焦。使对焦过程可以适用于不同的平台,降低拍摄平台的维护成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中对焦方法的应用环境图;
图2为一个实施例中对焦方法的流程图;
图3为另一个实施例中对焦方法的流程图;
图4为一个实施例中RAW图像中像素点的排列结构图;
图5为一个实施例中对焦过程的原理图;
图6为一个实施例中对焦装置的结构示意图;
图7为一个实施例中图像处理电路的示意图;
图8为一个实施例中ZSL通道的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
图1为一个实施例中对焦方法的应用环境图。如图1所示,该应用环境中包括用户终端102和服务器104。用户终端102中可以安装用于拍照的应用程序,服务器104用于向用户终端102发送应用程序的安装包及应用数据等。用户终端102包括用于拍照的镜头,在镜头移动扫描的过程中,获取镜头每次定位时图像传感器输出的原始拍摄图像,并将所述原始拍摄图像上传至应用层的应用程序。用户终端102的应用层中的应用程序可以根据原始拍摄图像获取对应的聚焦值,聚焦值用于表示原始拍摄图像的清晰度,然后根据获取的聚焦值进行对焦。其中,用户终端102是处于计算机网络最外围,主要用于输入用户信息以及输出处理结果的电子设备,例如可以是个人电脑、移动终端、个人数字助理、可穿戴电子设备等。服务器104是用于响应服务请求,同时提供计算服务的设备,例如可以是一台或者多台计算机。可以理解的是,在本申请提供的其他实施例中,该对焦方法的应用环境中可以只包括用户终端102。
图2为一个实施例中对焦方法的流程图。如图2所示,该对焦方法包括步骤202至步骤206。其中:
步骤202,在镜头移动扫描的过程中,获取镜头每次定位时图像传感器输出的原始拍摄图像,原始拍摄图像中的每个像素点对应一个通道值。
在一个实施例中,对焦是指通过摄像头进行拍摄时,调整焦距从而找到镜头的合焦位置的过程。镜头是指摄像头中用于改变光路的光学元件,包括凸透镜和凹透镜。合焦是指拍摄照片时拍摄物体清晰成像的状态,合焦位置即为合焦时镜头所在的位置。对焦过程中,会将镜头沿着光路的方向按照预定的步长进行移动扫描,镜头每移动一个步长进行一次成像,并计算成像图像的聚焦值。聚焦值可以体现成像图像的清晰度,从而根据聚焦值来判断镜头的最佳拍摄位置。具体地,对焦过程一般分为两个阶段:预先扫描(pre scan)和精确扫描(fine scan)。在预先扫描的过程中,镜头以较大的步长进行移动扫描,找到镜头粗略的合焦位置。然后再通过精确扫描使镜头以较小的步长进行移动扫描,找到镜头精确的合焦位置。
可以理解的是,镜头在扫描过程中,每次定位时都会通过图像传感器输出一张图像,并通过该图像来计算聚焦(Focus Value,FV)值。通常情况下,用于对焦的图像是指先由图像传感器进行成像,并通过ISP(Image Signal Processing,图像信号处理)处理器处理之后图像。ISP处理器会将图像传感器输出的原始拍摄图像进行处理,输出不同格式的图像,并根据处理之后的图像进行聚焦。例如,通过ISP处理器将原始拍摄图像转换成YUV图像,YUV图像中每个像素点对应Y、U、V三个通道值,其中Y表示明亮度,U和V表示色度。而本申请实施例中,采用原始拍摄图像进行对焦,原始拍摄图像是指直接将图像传感器的成像进行输出,而不经过ISP处理器处理的图像。图像传感器输出的图像可为RAW格式的原始拍摄图像,将RAW格式的原始拍摄图像上传至终端的应用层的应用程序,并对原始拍摄图像进行处理从而完成对焦。应用层由若干个特定应用服务元素和一个或多个公用应用服务元素组成,为用户提供特征的应用服务。应用程序是指可以用于拍摄的应用程序,例如社交软件、美颜相机、美图秀秀等应用程序。由于原始拍摄图像没有经过ISP处理器处理,所以输出的图像格式可以适用于所有平台。
步骤204,根据原始拍摄图像中像素点的通道值获取原始拍摄图像对应的聚焦值,聚焦值用于表示原始拍摄图像的清晰度。
在一个实施例中,终端的应用层可以获取原始拍摄图像,并通过原始拍摄图像获取聚焦值。终端的应用层中包含一个或多个应用程序,由于原始拍摄图像适用于所有平台,因此将原始拍摄图像上传至终端的应用层之后,终端应用层的应用程序可以根据原始拍摄图像来计算聚焦值,并根据计算的聚焦值完成对焦。例如,终端的应用层中包含应用程序1和应用程序2,应用程序1在获取到原始拍摄图像之后,可以根据应用程序1提供的统计算法来获取原始拍摄图像的聚焦值,并根据获取的聚焦值完成对焦。应用程序2在获取到原始拍摄图像之后,也可以根据应用程序2提供的统计算法来获取聚焦值,从而完成对焦。
在本申请提供的实施例中,步骤204包括:从缓存中获取所述原始拍摄图像,并根据原始拍摄图像中像素点的通道值获取原始拍摄图像对应的聚焦值。具体地,图像传感器输出的原始拍摄图像可以通过零延时拍照ZSL通道进行输出,并将输出的图像数据存放在缓存中,并通知应用层。其中,ZSL(Zero Shutter Lag,零延时拍照)通道是为了减少拍摄延时,可以将图像数据输出到缓存中的一种数据传输通道。缓存中存放的图像数据可以是一个数据队列,终端的应用层在收到通知之后,从缓存中获取原始拍摄图像的图像数据,并根据原始拍摄图像的图像数据获取对应的聚焦值。
步骤206,根据获取的聚焦值进行对焦。
镜头每次移动一个步长,会将产生的原始拍摄图像上传到终端的应用层,终端的应用层根据获取的原始拍摄图像计算聚焦值,然后根据计算的聚焦值进行对焦。步骤206具体包括:根据聚焦值获取镜头的合焦位置,驱动镜头移动至合焦位置完成对焦。
本申请实施例提供的对焦方法,直接获取图像传感器输出的原始拍摄图像,通过该原始拍摄图像计算聚焦值,并根据计算的聚焦值进行对焦。使对焦过程可以适用于不同的平台,降低拍摄平台的维护成本。
图3为另一个实施例中对焦方法的流程图。如图3所示,该对焦方法包括步骤302至步骤314。其中:
步骤302,在镜头移动扫描的过程中,获取镜头每次定位时图像传感器输出的RAW格式的原始拍摄图像,并通过零延时拍照ZSL通道输出到终端的缓存中。
可以理解的是,RAW格式的原始拍摄图像是由图像传感器输出的,没有经过任何处理的图像。RAW格式由若干个像素点构成,每个像素点只感应红、绿、蓝中的一个颜色,并通过一定的规律进行排列。RAW格式的图像中由四个像素点构成一个像素单元,最常见的排列方式为RG/GB的排列方式,即每个像素单元中由50%的G、25%的R和25%的B构成。一般地,图像传感器生成RAW格式的原始拍摄图像,ISP处理器会将原始拍摄图像进行处理,通过插值处理将每个像素点都通过RGB三个通道值来进行表示。RAW格式包括bayer格式,bayer格式图像中的一个像素单元是以RGRG/GBGB的方式排列的。
在一个实施例中,为了提高上传速度,可以上传一个固定规格的原始拍摄图像。即在上传原始拍摄图像之前,将图像传感器输出的原始拍摄图像进行压缩,并将压缩之后的原始拍摄图像上传至终端的应用层。例如,上传960*720的尺寸原始拍摄图像到应用层进行处理。
步骤304,从缓存中获取原始拍摄图像,并获取原始拍摄图像的中心区域。
终端应用层的应用程序可以调用终端的摄像头进行拍摄,摄像头获取的原始拍摄图像可以通过ZSL通道存放在缓存中,应用层的应用程序可以通过缓存去读取原始拍摄图像的图像数据。例如,用户可以通过终端打开美颜相机的APP(Application,应用程序),美颜相机APP可以打开终端的摄像头,然后通过摄像头获取原始拍摄图像,并将原始拍摄图像通过ZSL通道存放在缓存中,美颜相机APP在接收到通知之后,从缓存中获取原始拍摄图像的图像数据。中心区域是以原始拍摄图像的中点为中心截取的图像区域,通过获取原始拍摄图像的中心区域计算聚焦值,可以提高计算速度。例如,960*720尺寸的原始拍摄图像,获取的中心区域为以原始拍摄图像的中点为中心,截取1/3*1/3的图像区域,即截取的中心区域尺寸为320*240。
步骤306,获取中心区域的G通道像素点的通道值作为第一通道值,获取与G通道像素点对角相邻的G通道像素点的通道值作为第二通道值。
在一个实施例中,RAW格式的图像是由若干个像素单元构成的,而图像的亮度往往可以通过G通道来体现,因此在计算聚焦值的时候可以去G通道值来计算,而不需要考虑所有像素点。G通道像素点就是指RAW图像中显示G通道的像素点。首先获取中心区域的G通道像素点的通道值作为第一通道值,然后获取与该与G通道像素点对角相邻的G通道像素点的通道值作为第二通道值。与G通道像素点对角相邻的G通道像素点,是指图像中某个G通道像素点的对角线上与该G通道像素点相邻的G通道像素点。如图4所示,每个像素点只表示一个颜色通道,由四个像素点构成一个像素单元,中心区域由若干个像素单元构成。假设获取的G通道像素点的通道值为G0,则G0为第一通道值,那么获取与G通道像素点对角相邻的G通道像素点的第二通道值就分别为G1、G2、G3和G4。
步骤308,获取第一通道值和第二通道值的差值,并根据差值计算平方和。
将第一通道值和第二通道值相减获取差值,然后再根据获取的差值求取平方和。将第一通道值和第二通道值进行差值计算,计算结果可以体现G通道像素与其相邻像素的通道值的差值,可以反映图像中像素点之间的差异,从而体现图像的清晰度。例如,第一通道值G0,第二通道值分别为G1、G2、G3和G4,则求取的平方和就为(G0-G1)2+(G0-G2)2+(G0-G3)2+(G0-G4)2。可以理解的是,本实施例中表述的是计算聚焦值的一种方法,在其他实施例中还可以采用R通道像素或B通道像素进行计算,也可以结合RGB三通道像素进行计算,在此不做限定。
步骤310,遍历中心区域的每个G通道像素点,将获取的每个G通道像素点的平方和进行累加,得到原始拍摄图像对应的聚焦值。
遍历中心区域的每一个像素点,获取每一个G通道像素点,并根据步骤308计算每一个G通道像素点的平方和,然后将获取的所有G通道像素点对应的平方和进行累加得到最后的聚焦值。具体地,聚焦值可以由以下公式进行计算:
为减少计算量,还可以取对焦相邻的部分G通道像素点的通道值进行计算,在此不做限定。例如还可以是根据以下公式进行计算:
步骤312,若在连续三次获取的聚焦值中,第二次获取的聚焦值分别大于第一次获取的聚焦值和第三次获取的聚焦值,则根据连续三次获取的聚焦值获取描述聚焦值变化规律的拟合曲线,并将拟合曲线的顶点对应的镜头位置作为镜头的合焦位置。
在镜头移动扫描的过程中,每移动一次镜头,输出一张原始拍摄图像,从而获取一个对应的聚焦值。例如,马达推动镜头的位置从200移动到600,可以每次移动一个step获取一个聚焦值,每个step移动步长为40,则总共需要10个step,即获取10个聚焦值。在完成预先扫描之后,可以确定一个镜头的合焦位置的位置区间,然后在这个位置区间之间再进行精确扫描,确定精确的合焦位置。在预先扫描和精确扫描的过程中,可以根据扫描获取的聚焦值绘制与镜头位置的关系曲线,然后根据该关系曲线来获取镜头的合焦位置。确定镜头的合焦位置的方法具体包括:若在连续三次获取的聚焦值中,第二次获取的聚焦值分别大于第一次获取的聚焦值和第三次获取的聚焦值,则根据连续三次获取的聚焦值获取描述聚焦值变化规律的拟合曲线,并将拟合曲线的顶点对应的镜头位置作为镜头的合焦位置。
图5为一个实施例中对焦过程的原理图。如图5所示,该对焦过程分为两个阶段:预先扫描和精确扫描。从A点→E点的扫描过程为预先扫描过程,E点→D点的扫描过程为精确扫描的过程。具体地,在预先扫描的过程中,马达可以驱动镜头以较大的步长进行移动,例如每次移动40个步长。从预先扫描开始,每移动一次镜头,获取一个对应的聚焦值,直到聚焦值开始变小则停止预先扫描的过程。分别获取到A、B、C、D、E五个点,在A点→D点的扫描过程中,FV值逐渐增大,说明图像的清晰度越来越高;在D点→E点的扫描过程中,FV值减小,说明图像的清晰度变低。然后进入精确扫描的过程,马达驱动镜头以较小的步长进行移动,例如每次移动10个步长。精确扫描的过程只需要对E点→D点进行扫描,并在每次移动镜头之后获取一个聚焦值。在精确扫描过程中分别获取到E、F、G、H、D五个点,在E点→H点的扫描过程中,FV值逐渐增大,说明图像的清晰度越来越高;在H点→D点的扫描过程中,FV值减小,说明图像的清晰度变低。然后根据G、H、D这三个点绘制一个拟合曲线,该拟合曲线可以描述聚焦值的变化规律,然后将该拟合曲线的顶点I点对应的镜头位置作为最佳合焦位置进行拍摄。
步骤314,通过终端的应用层发起对焦指令,根据对焦指令驱动镜头移动至合焦位置完成对焦,其中对焦指令是根据合焦位置生成的。
在一个实施例中,获取到合焦位置之后,应用层的APP可以发起对焦指令,对焦指令中包含了镜头的合焦位置。摄像头在接收到对焦指令之后,通过马达将镜头驱动至合焦位置完成对焦。可以理解的是,应用层中不同的应用程序可以采用不同的算法计算聚焦值,在本申请中不做限定。
本申请实施例提供的对焦方法,根据原始拍摄图像计算聚焦值,并在应用层发起对焦指令完成对焦。使用原始拍摄图像在应用层完成对焦过程,不同的平台可以任意选择对焦算法,避免不同平台之间算法不兼容的情况,降低拍摄平台的维护成本。
图6为一个实施例中对焦装置的结构示意图。如图6所示,该对焦装置600包括图像获取模块602、聚焦值获取模块604和对焦模块606。其中:
图像获取模块602,用于在镜头移动扫描的过程中,获取所述镜头每次定位时图像传感器输出的原始拍摄图像,所述原始拍摄图像中的每个像素点对应一个通道值。
聚焦值获取模块604,用于根据所述原始拍摄图像中像素点的通道值获取所述图像对应的聚焦值,所述聚焦值用于表示所述原始拍摄图像的清晰度。
对焦模块606,用于根据获取的所述聚焦值进行对焦。
上述实施例提供的对焦装置,获取图像传感器输出的原始拍摄图像,通过原始拍摄图像计算聚焦值,并根据计算的聚焦值进行对焦。使对焦过程可以适用于不同的平台,降低拍摄平台的维护成本。
在一个实施例中,图像获取模块602还用于获取所述镜头每次定位时图像传感器输出的RAW格式的原始拍摄图像,并通过零延时拍照ZSL通道输出到终端的缓存中;从所述缓存中获取所述原始拍摄图像。
在又一个实施例中,聚焦值获取模块604还用于获取所述原始拍摄图像的中心区域;获取所述中心区域中每个像素点的通道值,根据所述每个像素点的通道值获取所述原始拍摄图像对应的聚焦值。
在本申请提供的实施例中,聚焦值获取模块604还用于获取所述中心区域的G通道像素点的通道值作为第一通道值,获取与所述G通道像素点对角相邻的G通道像素点的通道值作为第二通道值;获取所述第一通道值和第二通道值的差值,并根据所述差值计算平方和;遍历所述中心区域的每个G通道像素点,将获取的每个G通道像素点的平方和进行累加,得到所述原始拍摄图像对应的聚焦值。
在其中一个实施例中,对焦模块606还用于根据所述聚焦值获取所述镜头的合焦位置,驱动所述镜头移动至所述合焦位置完成对焦。
在一个实施例中,对焦模块606还用于若在连续三次获取的聚焦值中,第二次获取的聚焦值分别大于第一次获取的聚焦值和第三次获取的聚焦值,则根据所述连续三次获取的聚焦值获取描述聚焦值变化规律的拟合曲线,并将所述拟合曲线的顶点对应的镜头位置作为所述镜头的合焦位置。
在另一个实施例中,对焦模块606还用于通过所述终端的应用层发起对焦指令,根据所述对焦指令驱动所述镜头移动至所述合焦位置完成对焦,其中所述对焦指令是根据合焦位置生成的。
上述对焦装置中各个模块的划分仅用于举例说明,在其他实施例中,可将对焦装置按照需要划分为不同的模块,以完成上述对焦装置的全部或部分功能。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机程序的非易失性计算机可读存储介质,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行以下步骤:
在镜头移动扫描的过程中,获取所述镜头每次定位时图像传感器输出的原始拍摄图像,所述原始拍摄图像中的每个像素点对应一个通道值;
根据所述原始拍摄图像中像素点的通道值获取所述图像对应的聚焦值,所述聚焦值用于表示所述原始拍摄图像的清晰度;
根据获取的所述聚焦值进行对焦。
在一个实施例中,所述处理器执行的所述获取所述镜头每次定位时图像传感器输出的原始拍摄图像包括:
获取所述镜头每次定位时图像传感器输出的RAW格式的原始拍摄图像,并通过零延时拍照ZSL通道输出到终端的缓存中;
从所述缓存中获取所述原始拍摄图像。
在一个实施例中,所述处理器执行的所述根据所述原始拍摄图像中像素点的通道值获取所述原始拍摄图像对应的聚焦值包括:
获取所述原始拍摄图像的中心区域;
获取所述中心区域中每个像素点的通道值,根据所述每个像素点的通道值获取所述原始拍摄图像对应的聚焦值。
在一个实施例中,所述处理器执行的所述获取所述中心区域中每个像素点的通道值,根据所述每个像素点的通道值获取所述原始拍摄图像对应的聚焦值包括:
获取所述中心区域的G通道像素点的通道值作为第一通道值,获取与所述G通道像素点对角相邻的G通道像素点的通道值作为第二通道值;
获取所述第一通道值和第二通道值的差值,并根据所述差值计算平方和;
遍历所述中心区域的每个G通道像素点,将获取的每个G通道像素点的平方和进行累加,得到所述原始拍摄图像对应的聚焦值。
在一个实施例中,所述处理器执行的所述根据获取的所述聚焦值进行对焦包括:
根据所述聚焦值获取所述镜头的合焦位置,驱动所述镜头移动至所述合焦位置完成对焦。
在一个实施例中,所述处理器执行的所述根据所述聚焦值获取所述镜头的合焦位置包括:
若在连续三次获取的聚焦值中,第二次获取的聚焦值分别大于第一次获取的聚焦值和第三次获取的聚焦值,则根据所述连续三次获取的聚焦值获取描述聚焦值变化规律的拟合曲线,并将所述拟合曲线的顶点对应的镜头位置作为所述镜头的合焦位置。
在一个实施例中,所述处理器执行的所述驱动所述镜头移动至所述合焦位置完成对焦包括:
通过终端的应用层发起对焦指令,根据所述对焦指令驱动所述镜头移动至所述合焦位置完成对焦,其中所述对焦指令是根据合焦位置生成的。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图7为一个实施例中图像处理电路的示意图。如图7所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图7所示,图像处理电路包括ISP处理器740和控制逻辑器750。成像设备710捕捉的图像数据首先由ISP处理器740处理,ISP处理器740对图像数据进行分析以捕捉可用于确定和/或成像设备710的一个或多个控制参数的图像统计信息。成像设备710可包括具有一个或多个透镜712和图像传感器714的照相机。图像传感器714可包括色彩滤镜阵列(如RAW滤镜),图像传感器714可获取用图像传感器714的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器740处理的一组原始图像数据。传感器720(如陀螺仪)可基于传感器720接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器740。传感器720接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器710还可以将原始图像数据发送到应用层的应用程序780,应用程序780可以对原始图像数据进行处理。图像传感器710也可将原始图像数据发送给传感器720,传感器720可基于传感器720接口类型把原始图像数据提供给ISP处理器740,或者传感器720将原始图像数据存储到图像存储器730中。
ISP处理器740按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器740可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器740还可从图像存储器730接收像素数据。例如,传感器720接口将原始图像数据发送给图像存储器730,图像存储器730中的原始图像数据再提供给ISP处理器740以供处理。图像存储器730可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器710接口或来自传感器720接口或来自图像存储器730的原始图像数据时,ISP处理器740可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器730,以便在被显示之前进行另外的处理。ISP处理器740从图像存储器730接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器740处理后的图像数据可输出给显示器770,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器740的输出还可发送给图像存储器730,且显示器770可从图像存储器730读取图像数据。在一个实施例中,图像存储器730可被配置为实现一个或多个帧缓冲器。此外,ISP处理器740的输出可发送给编码器/解码器760,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器770设备上之前解压缩。编码器/解码器760可由CPU或GPU或协处理器实现。
ISP处理器740确定的统计数据可发送给控制逻辑器750单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜712阴影校正等图像传感器714统计信息。控制逻辑器750可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备710的控制参数及ISP处理器740的控制参数。例如,成像设备710的控制参数可包括传感器720控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜712控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜712阴影校正参数。
应用程序780可以通过ZSL通道获取原始拍摄图像,并通过原始拍摄图像驱动透镜712进行移动,以实现透镜712的对焦过程。以下为运用图7中图像处理技术实现对焦方法的步骤:
在镜头移动扫描的过程中,获取所述镜头每次定位时图像传感器输出的原始拍摄图像,所述原始拍摄图像中的每个像素点对应一个通道值;
根据所述原始拍摄图像中像素点的通道值获取所述图像对应的聚焦值,所述聚焦值用于表示所述原始拍摄图像的清晰度;
根据获取的所述聚焦值进行对焦。
在一个实施例中,所述获取所述镜头每次定位时图像传感器输出的原始拍摄图像包括:
获取所述镜头每次定位时图像传感器输出的RAW格式的原始拍摄图像,并通过零延时拍照ZSL通道输出到终端的缓存中;
从所述缓存中获取所述原始拍摄图像。
在一个实施例中,所述根据所述原始拍摄图像中像素点的通道值获取所述原始拍摄图像对应的聚焦值包括:
获取所述原始拍摄图像的中心区域;
获取所述中心区域中每个像素点的通道值,根据所述每个像素点的通道值获取所述原始拍摄图像对应的聚焦值。
在一个实施例中,所述获取所述中心区域中每个像素点的通道值,根据所述每个像素点的通道值获取所述原始拍摄图像对应的聚焦值包括:
获取所述中心区域的G通道像素点的通道值作为第一通道值,获取与所述G通道像素点对角相邻的G通道像素点的通道值作为第二通道值;
获取所述第一通道值和第二通道值的差值,并根据所述差值计算平方和;
遍历所述中心区域的每个G通道像素点,将获取的每个G通道像素点的平方和进行累加,得到所述原始拍摄图像对应的聚焦值。
在一个实施例中,所述根据获取的所述聚焦值进行对焦包括:
根据所述聚焦值获取所述镜头的合焦位置,驱动所述镜头移动至所述合焦位置完成对焦。
在一个实施例中,所述根据所述聚焦值获取所述镜头的合焦位置包括:
若在连续三次获取的聚焦值中,第二次获取的聚焦值分别大于第一次获取的聚焦值和第三次获取的聚焦值,则根据所述连续三次获取的聚焦值获取描述聚焦值变化规律的拟合曲线,并将所述拟合曲线的顶点对应的镜头位置作为所述镜头的合焦位置。
在一个实施例中,所述驱动所述镜头移动至所述合焦位置完成对焦包括:
通过终端的应用层发起对焦指令,根据所述对焦指令驱动所述镜头移动至所述合焦位置完成对焦,其中所述对焦指令是根据合焦位置生成的。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的对焦方法。
图8为一个实施例中ZSL通道的结构示意图。如图8所示,图像传感器802可通过色彩滤镜阵列中的每个成像像素捕捉光线强度和波长信息,并生成原始拍摄图像。图像缓冲区804用于临时存放原始拍摄图像。在该ZSL通道中,图像传感器802首先生成原始拍摄图像,然后将原始拍摄图像存放在图像缓冲区804中。当终端应用层中的应用程序808需要获取原始拍摄图像时,应用程序808会发出图像获取指令,然后终端根据图像获取指令从图像缓冲区804中查找并获取原始拍摄图像,并通过硬件抽象层806发送给应用程序808。硬件抽象层806可以将终端中的硬件进行抽象,从而实现硬件与操作系统之间的数据传输。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种对焦方法,其特征在于,包括:
在镜头移动扫描的过程中,获取所述镜头每次定位时图像传感器输出的原始拍摄图像,所述原始拍摄图像中的每个像素点对应一个通道值;
根据所述原始拍摄图像中像素点的通道值获取所述原始拍摄图像对应的聚焦值,所述聚焦值用于表示所述原始拍摄图像的清晰度;
根据获取的所述聚焦值进行对焦。
2.根据权利要求1所述的对焦方法,其特征在于,所述获取所述镜头每次定位时图像传感器输出的原始拍摄图像包括:
获取所述镜头每次定位时图像传感器输出的RAW格式的原始拍摄图像,并通过零延时拍照ZSL通道输出到终端的缓存中;
从所述缓存中获取所述原始拍摄图像。
3.根据权利要求1或2所述的对焦方法,其特征在于,所述根据所述原始拍摄图像中像素点的通道值获取所述原始拍摄图像对应的聚焦值包括:
获取所述原始拍摄图像的中心区域;
获取所述中心区域中每个像素点的通道值,根据所述每个像素点的通道值获取所述原始拍摄图像对应的聚焦值。
4.根据权利要求3所述的对焦方法,其特征在于,所述获取所述中心区域中每个像素点的通道值,根据所述每个像素点的通道值获取所述原始拍摄图像对应的聚焦值包括:
获取所述中心区域的G通道像素点的通道值作为第一通道值,获取与所述G通道像素点对角相邻的G通道像素点的通道值作为第二通道值;
获取所述第一通道值和第二通道值的差值,并根据所述差值计算平方和;
遍历所述中心区域的每个G通道像素点,将获取的每个G通道像素点的平方和进行累加,得到所述原始拍摄图像对应的聚焦值。
5.根据权利要求1所述的对焦方法,其特征在于,所述根据获取的所述聚焦值进行对焦包括:
根据所述聚焦值获取所述镜头的合焦位置,驱动所述镜头移动至所述合焦位置完成对焦。
6.根据权利要求5所述的对焦方法,其特征在于,所述根据所述聚焦值获取所述镜头的合焦位置包括:
若在连续三次获取的聚焦值中,第二次获取的聚焦值分别大于第一次获取的聚焦值和第三次获取的聚焦值,则根据所述连续三次获取的聚焦值获取描述聚焦值变化规律的拟合曲线,并将所述拟合曲线的顶点对应的镜头位置作为所述镜头的合焦位置。
7.根据权利要求5或6所述的对焦方法,其特征在于,所述驱动所述镜头移动至所述合焦位置完成对焦包括:
通过终端的应用层发起对焦指令,根据所述对焦指令驱动所述镜头移动至所述合焦位置完成对焦,其中所述对焦指令是根据合焦位置生成的。
8.一种对焦装置,其特征在于,包括:
图像获取模块,用于在镜头移动扫描的过程中,获取所述镜头每次定位时图像传感器输出的原始拍摄图像,所述原始拍摄图像中的每个像素点对应一个通道值;
聚焦值获取模块,用于根据所述原始拍摄图像中像素点的通道值获取所述原始拍摄图像对应的聚焦值,所述聚焦值用于表示所述原始拍摄图像的清晰度;
对焦模块,用于根据获取的所述聚焦值进行对焦。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的对焦方法。
10.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的对焦方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711044060.3A CN107613216B (zh) | 2017-10-31 | 2017-10-31 | 对焦方法、装置、计算机可读存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711044060.3A CN107613216B (zh) | 2017-10-31 | 2017-10-31 | 对焦方法、装置、计算机可读存储介质和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107613216A true CN107613216A (zh) | 2018-01-19 |
CN107613216B CN107613216B (zh) | 2019-10-18 |
Family
ID=61084838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711044060.3A Active CN107613216B (zh) | 2017-10-31 | 2017-10-31 | 对焦方法、装置、计算机可读存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107613216B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112672033A (zh) * | 2019-10-15 | 2021-04-16 | 中兴通讯股份有限公司 | 图像处理方法及装置、存储介质、电子装置 |
CN114697531A (zh) * | 2020-12-30 | 2022-07-01 | 深圳中科飞测科技股份有限公司 | 聚焦方法及系统、设备和存储介质 |
CN115037867A (zh) * | 2021-03-03 | 2022-09-09 | Oppo广东移动通信有限公司 | 拍摄方法、装置、计算机可读存储介质及电子设备 |
CN115118853A (zh) * | 2022-06-24 | 2022-09-27 | 维沃移动通信有限公司 | 摄像模组、摄像装置、拍摄方法和装置、电子设备 |
CN115225819A (zh) * | 2022-07-20 | 2022-10-21 | 哲库科技(上海)有限公司 | 图像拍摄方法、装置、芯片、终端及存储介质 |
CN115379201A (zh) * | 2022-08-16 | 2022-11-22 | Oppo广东移动通信有限公司 | 测试方法和装置、电子设备和可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105052126A (zh) * | 2013-03-15 | 2015-11-11 | 佳能株式会社 | 摄像设备和摄像设备的控制方法 |
CN105446056A (zh) * | 2014-12-25 | 2016-03-30 | 北京展讯高科通信技术有限公司 | 自动对焦装置及方法 |
CN106464807A (zh) * | 2014-06-13 | 2017-02-22 | 英特尔公司 | 用于基于相位的自动聚焦的可靠性测量 |
CN107197151A (zh) * | 2017-06-16 | 2017-09-22 | 广东欧珀移动通信有限公司 | 自动对焦方法、装置、存储介质及电子设备 |
CN107197152A (zh) * | 2017-06-16 | 2017-09-22 | 广东欧珀移动通信有限公司 | 对焦方法、装置、计算机可读存储介质和移动终端 |
-
2017
- 2017-10-31 CN CN201711044060.3A patent/CN107613216B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105052126A (zh) * | 2013-03-15 | 2015-11-11 | 佳能株式会社 | 摄像设备和摄像设备的控制方法 |
CN106464807A (zh) * | 2014-06-13 | 2017-02-22 | 英特尔公司 | 用于基于相位的自动聚焦的可靠性测量 |
CN105446056A (zh) * | 2014-12-25 | 2016-03-30 | 北京展讯高科通信技术有限公司 | 自动对焦装置及方法 |
CN107197151A (zh) * | 2017-06-16 | 2017-09-22 | 广东欧珀移动通信有限公司 | 自动对焦方法、装置、存储介质及电子设备 |
CN107197152A (zh) * | 2017-06-16 | 2017-09-22 | 广东欧珀移动通信有限公司 | 对焦方法、装置、计算机可读存储介质和移动终端 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112672033A (zh) * | 2019-10-15 | 2021-04-16 | 中兴通讯股份有限公司 | 图像处理方法及装置、存储介质、电子装置 |
CN114697531A (zh) * | 2020-12-30 | 2022-07-01 | 深圳中科飞测科技股份有限公司 | 聚焦方法及系统、设备和存储介质 |
CN115037867A (zh) * | 2021-03-03 | 2022-09-09 | Oppo广东移动通信有限公司 | 拍摄方法、装置、计算机可读存储介质及电子设备 |
WO2022183876A1 (zh) * | 2021-03-03 | 2022-09-09 | Oppo广东移动通信有限公司 | 拍摄方法、装置、计算机可读存储介质及电子设备 |
CN115037867B (zh) * | 2021-03-03 | 2023-12-01 | Oppo广东移动通信有限公司 | 拍摄方法、装置、计算机可读存储介质及电子设备 |
CN115118853A (zh) * | 2022-06-24 | 2022-09-27 | 维沃移动通信有限公司 | 摄像模组、摄像装置、拍摄方法和装置、电子设备 |
CN115225819A (zh) * | 2022-07-20 | 2022-10-21 | 哲库科技(上海)有限公司 | 图像拍摄方法、装置、芯片、终端及存储介质 |
CN115379201A (zh) * | 2022-08-16 | 2022-11-22 | Oppo广东移动通信有限公司 | 测试方法和装置、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107613216B (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10897609B2 (en) | Systems and methods for multiscopic noise reduction and high-dynamic range | |
CN107613216B (zh) | 对焦方法、装置、计算机可读存储介质和电子设备 | |
CN107959778B (zh) | 基于双摄像头的成像方法和装置 | |
US8581992B2 (en) | Image capturing apparatus and camera shake correction method, and computer-readable medium | |
US20220138964A1 (en) | Frame processing and/or capture instruction systems and techniques | |
US10410061B2 (en) | Image capturing apparatus and method of operating the same | |
US9961272B2 (en) | Image capturing apparatus and method of controlling the same | |
CN107948500A (zh) | 图像处理方法和装置 | |
US20130021504A1 (en) | Multiple image processing | |
WO2015186605A1 (ja) | 画像処理装置、画像処理システム、撮像装置、および画像処理方法 | |
US20170105020A1 (en) | Depth-Based Video Compression | |
US20070177048A1 (en) | Long exposure images using electronic or rolling shutter | |
CN107465903B (zh) | 图像白平衡方法、装置和计算机可读存储介质 | |
CN107454322A (zh) | 拍照方法、装置、计算机可存储介质和移动终端 | |
US20100209009A1 (en) | Image capturing device, image capturing method, and storage medium having stored therein image capturing program | |
CN108024056A (zh) | 基于双摄像头的成像方法和装置 | |
CN107197152A (zh) | 对焦方法、装置、计算机可读存储介质和移动终端 | |
US20110052070A1 (en) | Image processing apparatus, image processing method and computer readable-medium | |
WO2023060921A1 (zh) | 图像处理方法与电子设备 | |
CN107464225B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
WO2019019890A1 (zh) | 图像处理方法、计算机设备和计算机可读存储介质 | |
CN110276730B (zh) | 图像处理方法、装置、电子设备 | |
CN107454318A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN116547985A (zh) | 用于图像处理的镜头失真校正 | |
JP2006148230A (ja) | 欠陥検出補正装置、撮像装置および欠陥検出補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: OPPO Guangdong Mobile Communications Co., Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: Guangdong OPPO Mobile Communications Co., Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |