CN111246092B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该方法应用于电子设备，该电子设备包括摄像头，该方法包括：利用该摄像头，获取拍摄主体成像清晰的第一图像；对该第一图像进行图像分割，分割得到主体图像，该主体图像为该第一图像中对应于该拍摄主体的图像区域；利用该摄像头，获取第二图像，该第二图像中该拍摄主体失焦；将该主体图像和该第二图像进行图像融合处理，得到目标图像。本申请可以提高图像的虚化效果。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请属于图像技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

图像处理技术中经常使用到图像虚化。例如，在进行图像处理时，电子设备可以对图像的背景进行虚化处理，从而可以得到突出拍摄主体的效果。主体突出、背景虚化的图像具有很强的表现力。

发明内容

本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以提高图像的虚化效果。

第一方面，本申请实施例提供一种图像处理方法，应用于电子设备，所述电子设备包括摄像头，所述方法包括：

利用所述摄像头，获取拍摄主体成像清晰的第一图像；

对所述第一图像进行图像分割，分割得到主体图像，所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域；

利用所述摄像头，获取第二图像，所述第二图像中所述拍摄主体失焦；

将所述主体图像和所述第二图像进行图像融合处理，得到目标图像。

第二方面，本申请实施例提供一种图像处理装置，应用于电子设备，所述电子设备包括摄像头，所述装置包括：

第一获取模块，用于利用所述摄像头，获取拍摄主体成像清晰的第一图像；

图像分割模块，用于对所述第一图像进行图像分割，分割得到主体图像，所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域；

第二获取模块，用于利用所述摄像头，获取第二图像，所述第二图像中所述拍摄主体失焦；

图像融合模块，用于将所述主体图像和所述第二图像进行图像融合处理，得到目标图像。

第三方面，本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的图像处理方法中的流程。

第四方面，本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的图像处理方法中的流程。

在本申请实施例中，由于用于进行融合的第二图像是拍摄主体失焦的图像，因此第二图像中的模糊虚化是真实的、自然的模糊虚化，而不是模拟生成的虚化。因此，相比于相关技术中直接在一张原图像上模拟生成虚化效果的方案，本申请实施例提供的图像处理方法可以得到具有真实虚化效果的图像，从而提高了图像的虚化效果和图像的成像质量。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。

图1是本申请实施例提供的图像处理方法的流程示意图。

图2是本申请实施例提供的图像处理方法的另一流程示意图。

图3至图5是本申请实施例提供的图像处理方法的场景示意图。

图6是本申请实施例提供的图像处理装置的结构示意图。

图7是本申请实施例提供的电子设备的结构示意图。

图8是本申请实施例提供的电子设备的另一结构示意图。

图9是本申请实施例提供的图像处理电路的结构示意图。

具体实施方式

请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等具有摄像头的电子设备。

请参阅图1，图1是本申请实施例提供的图像处理方法的流程示意图。该图像处理方法可以应用于电子设备中，该电子设备可以包括摄像头。该图像处理方法的流程可以包括：

101、利用摄像头，获取拍摄主体成像清晰的第一图像。

图像处理技术中经常使用到图像虚化。例如，在进行图像处理时，电子设备可以对图像的背景进行虚化处理，从而可以得到突出拍摄主体的效果。主体突出、背景虚化的图像具有很强的表现力。相关技术中，在人物拍摄、微距拍摄等拍摄场景下，经常需要使用到图像虚化处理。然而，相关技术中，图像虚化的效果较差。以背景虚化为例，在相关技术中，一般是拍摄一张图像，然后从该图像中分割出拍摄主体，并对拍摄主体以外的背景区域进行模糊虚化处理。因此，相关技术中的虚化处理是在原图像上模拟生成的，不够真实、自然，导致其虚化效果较差。

在本申请实施例中，比如，电子设备具有一摄像头，那么电子设备可以先利用该摄像头获取拍摄主体(如人物等)成像清晰的第一图像。即，在第一图像上拍摄主体是成像清晰的。

102、对第一图像进行图像分割，分割得到主体图像，该主体图像为该第一图像中对应于拍摄主体的图像区域。

比如，在拍摄得到第一图像后，电子设备可以从该第一图像中分割出主体图像，该主体图像即为第一图像中对应于拍摄主体的图像区域的图像。

例如，拍摄主体为人物，那么电子设备可以从第一图像中分割出人体的图像。

103、利用摄像头，获取第二图像，该第二图像中拍摄主体失焦。

比如，电子设备还可以利用其摄像头拍摄得到第二图像，其中在该第二图像中拍摄主体失焦。也即，在第二图像中拍摄主体是模糊的。

104、将主体图像和第二图像进行图像融合处理，得到目标图像。

比如，在从第一图像中分割出主体图像，并利用摄像头拍摄得到主体失焦的第二图像后，电子设备可以将该主体图像和该第二图像融合，从而得到目标图像。

可以理解的是，由于用于融合的主体图像是拍摄主体的清晰成像，因此目标图像中的拍摄主体也是成像清晰的。并且，由于第二图像中拍摄主体失焦导致拍摄主体外的其它区域也成像模糊，因此目标图像中除拍摄主体外的其它区域是呈模糊虚化状态的。

可以理解的是，在本申请实施例中，由于用于进行融合的第二图像是拍摄主体失焦的图像，因此第二图像中的模糊虚化是真实的、自然的模糊虚化，而不是模拟生成的虚化。因此，相比于相关技术中直接在一张原图像上模拟生成虚化效果的方案，本申请实施例提供的图像处理方法可以得到具有真实虚化效果的图像，从而提高了图像虚化效果和成像质量。

请参阅图2，图2为本申请实施例提供的图像处理方法的另一流程示意图。该图像处理方法可以应用于电子设备中，该电子设备可以包括摄像头。

当拍摄场景中存在灯光时，若对灯光所在的区域进行虚化处理，则灯光会变为光斑。光斑可以让图像具有朦胧感，从而使得图像具有更好的表现力。然而，相关技术中，一般都是拍摄一张图像，然后在这张图像上利用算法对灯光所在的非主体区域进行模糊虚化处理，从而生成光斑。因此，相关技术中，光斑都是在原始图像上模拟生成的，这种模拟生成的光斑其成像效果不真实、不自然。

本申请实施例提供的图像处理方法，可以得到真实、自然的光斑。本申请实施例提供的图像处理方法的流程可以包括：

201、电子设备利用摄像头获取拍摄主体成像清晰的第一图像，该第一图像对应的拍摄场景中存在灯光。

比如，电子设备可以利用摄像头获取拍摄主体具有清晰成像的第一图像。其中，该第一图像对应的拍摄场景中存在灯光。该灯光可以为灯，如照明灯或路灯等。

202、电子设备利用预设的图像分割算法对第一图像进行图像分割，分割得到主体图像，该主体图像为第一图像中对应于拍摄主体的图像区域。

比如，在拍摄得到拍摄主体具有清晰成像的第一图像后，电子设备可以利用预设的图像分割算法对第一图像进行图像分割，以从该第一图像中分割出主体图像。其中，该主体图像为第一图像中对应于拍摄主体的图像区域的图像。

需要说明的是，图像分割就是把图像分成若干个特定的、具有独特性质的区域。在一些实施方式中，本实施例可以采用如下方式来对图像进行分割：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。

203、电子设备将摄像头拍摄第一图像时该摄像头的镜头所在的位置确定为第一位置。

204、电子设备检测拍摄主体与摄像头的距离。

比如，203和204可以包括：

本实施例中，电子设备可以将摄像头拍摄第一图像时该摄像头的镜头所在的位置确定为第一位置。

之后，电子设备可以检测拍摄主体与摄像头的距离。

若拍摄主体与摄像头的距离小于预设阈值，那么可以认为拍摄主体在近处。此时，进入205的流程。

若拍摄主体与摄像头的距离大于或等于预设阈值，那么可以认为拍摄主体在远处。此时，进入207的流程。

在一种实施方式中，电子设备可以根据摄像头拍摄第一图像时该摄像头的镜头所在的第一位置来检测拍摄主体与摄像头的距离。

需要说明的是，电子设备中控制镜头对焦的器件为音圈马达(VCM)。音圈马达可以将电流转化为机械力，它的定位和力的控制都是由外部的控制器决定的。电子设备中的音圈马达有一对应的音圈马达驱动电路(VCM Driver IC)。音圈马达驱动电路可以精准的控制音圈马达内的线圈的移动距离和方向，从而带动镜头的移动以达到对焦效果。

音圈马达基于安培定理工作，即当音圈马达内的线圈导电时，其中的电流产生的作用力推动固定在载体上的镜头移动，从而改变对焦距离。可以看到，音圈马达对于对焦距离的控制实际上是通过对线圈中电流的控制来实现的。简单来说就是音圈马达驱动电路提供“电流”这个源动力，电流供给音圈马达的线圈后，利用音圈马达内的磁场，产生推动线圈(镜头)的力量。

音圈马达驱动电路实际上是一个带控制算法的DAC电路。它可以将I2C总线上传来的包含数字位置信息的DAC code值转换成对应的输出电流(DAC code值对应的输出电流)；再通过音圈马达器件将输出电流转化为对焦距离。不同的输出电流经过音圈电机形成回路，产生不同的安培力，该力推动音圈马达上面的镜头运动。因此，在对焦完成后摄像头会停留在对焦清晰的位置，该对焦清晰的位置有一个对应的数模转换代码值(DAC code)。

例如，如前所述，镜头被驱动到不同的位置时会对应不同的DAC code值。而当拍摄主体与摄像头的距离不同时，为了清晰成像，镜头会被驱动到不同的位置。因此，可以根据拍摄主体清晰成像时镜头所在的位置来检测拍摄主体与摄像头的距离。

例如，摄像头的DAC code值的取值范围为[S1，S3]，S2大于S1且小于S3。电子设备可以预先设定当DAC code值的当前数值位于[S1，S2]的范围内时，表示拍摄主体与摄像头的距离大于或等于预设阈值，即此时拍摄主体在远处。当DAC code值的当前数值位于(S2，S3]的范围内时，表示拍摄主体与摄像头的距离小于预设阈值，即此时拍摄主体在近处。

当然，电子设备还可以采用其它方式来检测拍摄主体与摄像头的距离，从而判断出拍摄主体在近处还是远处。例如，电子设备可以根据向外发出激光探测信号与接收到返回的激光信号的时间差来计算拍摄主体与摄像头的距离，从而判断拍摄主体在近处或远处，等等。

205、在拍摄主体与摄像头的距离小于预设阈值时，电子设备根据预设第一策略从多个镜头位置中选择对应的镜头位置作为该摄像头的镜头的第二位置，其中，在该摄像头的镜头在该第二位置处时与图像传感器的距离大于该摄像头的镜头在第一位置处时与图像传感器的距离。

206、电子设备将该摄像头的镜头驱动至第二位置，并拍摄第二图像，其中，该第二图像对应的拍摄场景中存在灯光。

比如，205和206可以包括：

电子设备检测到拍摄主体与摄像头的距离小于预设阈值，即拍摄主体在近处。在这种情况下，电子设备可以根据预设第一策略从多个镜头位置中选择对应的镜头位置作为该摄像头的镜头的第二位置，其中，在该摄像头的镜头在该第二位置处时镜头与图像传感器的距离大于该摄像头的镜头在第一位置处时镜头与图像传感器的距离。之后，电子设备可以将该摄像头的镜头驱动至第二位置，并当该摄像头的镜头移动至该第二位置时，电子设备可以拍摄第二图像。其中，该第二图像对应的拍摄场景中存在灯光。

在一些实施方式中，预设第一策略可以为随机地选择一个镜头位置作为摄像头的镜头的第二位置，只要在该摄像头的镜头在该第二位置处时镜头与图像传感器的距离大于该摄像头的镜头在第一位置处时镜头与图像传感器的距离即可。

需要说明的是，由于摄像头的镜头在第二位置时与(摄像头的)图像传感器的距离大于该摄像头的镜头在第一位置时与(摄像头的)图像传感器的距离，因此相比拍摄主体所在的位置，该摄像头的镜头在第二位置时拍摄的第二图像可以清晰成像更近处的景象，这样就可以使得该摄像头拍摄得到的第二图像中拍摄主体失焦，即拍摄主体是模糊的。同时，在第二图像中背景区域的景象也是模糊的。也即，此时第二图像属于远焦虚焦。此时，第二图像中可以形成拍摄场景中的灯光的光斑。该光斑由于是经过上述远焦虚焦而自然形成的，因此该光斑是真实生成的光斑。

在一种实施方式中，在摄像头的镜头在第二位置处时镜头与图像传感器的距离大于该摄像头的镜头在其它任一位置处时镜头与图像传感器的距离。即，在摄像头中上述第二位置与(摄像头的)图像传感器的距离可以大于其它任一镜头位置与(摄像头的)图像传感器的距离。即，第二位置为该摄像头的镜头被驱动到最外侧的位置。在这种情况下拍摄得到的第二图像中背景区域的物体的虚化效果最好。此时，拍摄场景中的灯光在第二图像中可以形成虚化效果最好的光斑。

207、在拍摄主体与摄像头的距离大于或等于预设阈值时，电子设备根据预设第二策略从多个镜头位置中选择对应的镜头位置作为该摄像头的镜头的第三位置，其中，在该摄像头的镜头在该第三位置处时与图像传感器的距离小于该摄像头的镜头在第一位置处时与图像传感器的距离。

208、电子设备将该摄像头的镜头驱动至第三位置，并拍摄第二图像，其中，该第二图像对应的拍摄场景中存在灯光。

比如，207和208可以包括：

电子设备检测到拍摄主体与摄像头的距离大于或等于预设阈值，即拍摄主体在远处。在这种情况下，电子设备可以根据预设第二策略从多个镜头位置中选择对应的镜头位置作为该摄像头的镜头的第三位置，其中，在该摄像头的镜头在该第三位置处时镜头与图像传感器的距离小于该摄像头的镜头在第一位置处时镜头与图像传感器的距离。之后，电子设备可以将摄像头的镜头驱动至第三位置，并当该摄像头的镜头移动至该第三位置时，电子设备可以拍摄第二图像。其中，该第二图像对应的拍摄场景中存在灯光。

在一些实施方式中，预设第二策略可以为随机地选择一个镜头位置作为该摄像头的镜头的第三位置，只要在该摄像头的镜头在该第三位置处时镜头与图像传感器的距离小于该摄像头的镜头在第一位置处时镜头与图像传感器的距离即可。

需要说明的是，由于摄像头的镜头位于第三位置时与(摄像头的)图像传感器的距离小于该摄像头的镜头位于第一位置时与(摄像头)图像传感器的距离，因此相比拍摄主体所在的位置，该摄像头的镜头在第三位置时拍摄的第二图像对焦到了更远处的景象，这样就可以使得该摄像头拍摄得到的第二图像中拍摄主体失焦，即拍摄主体是模糊的。同时，第二图像中的前景区域也是模糊的。也即，此时第二图像属于近焦虚焦。此时，第二图像中可以形成拍摄场景中的灯光的光斑，该光斑由于是经过上述近焦虚焦而自然形成的，因此该光斑是真实生成的光斑。

在一种实施方式中，在摄像头的镜头在第三位置处时镜头与图像传感器的距离小于该摄像头的镜头在其它任一位置处时镜头与图像传感器的距离。即，在摄像头中上述第三位置与(摄像头的)图像传感器的距离可以小于其它任一镜头位置与(摄像头的)图像传感器的距离。即，在第三位置时摄像头的镜头被驱动到最内侧的位置。在这种情况下拍摄得到的第二图像中前景区域的物体的虚化效果最好。此时，拍摄场景中的灯光在第二图像中可以形成虚化效果最好的光斑。

209、根据第一图像和第二图像，电子设备计算失焦系数。

210、根据失焦系数，电子设备调整第二图像的比例，得到调整比例后的第二图像。

比如，209和210可以包括：

在拍摄得到主体失焦的第二图像后，电子设备可以根据第一图像和第二图像计算失焦系数。

需要说明的是，本实施例中，失焦系数可以指第二图像中的物体相对于第一图像中的物体的放大(形变)倍数。由于第二图像中拍摄主体失焦，因此第二图像中的物体变模糊了，而模糊会使物体发生形变，即变大。因此，第二图像中的物体相对于第一图像中的物体被放大了。例如，第一图像中的某个灯光构成的区域的直径为15个像素，而第二图像中该灯光失焦后形成的光斑的直径为30个像素，那么表明第二图像中的物体相对于第一图像中的物体放大了2倍。

为了让第一图像和第二图像能够保持比例一致，从而利于图像融合。本实施例可以根据计算得到的失焦系数调整第二图像的比例，得到调整比例后的第二图像。例如，第二图像中的物体相对于第一图像中的物体放大了2倍，那么需要在图像融合前，需要把第二图像缩小至原来图像尺寸的二分之一。

211、电子设备将主体图像和调整比例后的第二图像进行图像融合处理，得到目标图像，该目标图像中的拍摄主体成像清晰且除该拍摄主体外的其它区域虚化。

比如，在得到调整比例后的第二图像后，电子设备可以将主体图像和调整比例后的第二图像进行图像融合处理，从而得到目标图像。其中，该目标图像中的拍摄主体成像清晰，并且该目标图像中除了该拍摄主体外的其它区域为虚化效果。

可以理解的是，本实施例可以生成真实自然的光斑，并将真实的光斑融合到目标图像中，因此，目标图像中的光斑也是真实自然的，从而提高了图像的成像质量。

可以理解的是，由于用于融合的主体图像是拍摄主体的清晰成像，因此目标图像中的拍摄主体也是成像清晰的。并且，由于第二图像中拍摄主体失焦导致拍摄主体外的其它区域成像模糊，因此目标图像中除拍摄主体外的其它区域是呈模糊虚化状态的。

可以理解的是，在本申请实施例中，由于用于进行融合的第二图像是拍摄主体失焦的图像，因此第二图像中的模糊虚化是真实的模糊虚化，而不是模拟生成的虚化。因此，相比于相关技术中直接在一张原图像上模拟生成虚化效果的方案，本申请实施例提供的图像处理方法可以得到具有真实虚化效果的图像，从而提高了图像虚化效果和成像质量。

在一些实施方式中，本实施例中，电子设备利用预设的图像分割算法对第一图像进行图像分割的流程，可以包括：

电子设备确定当前拍摄场景的类别；

根据预设的拍摄场景类别与图像分割算法的对应关系，电子设备获取与该当前拍摄场景的类别对应的目标图像分割算法；

利用该目标图像分割算法，电子设备对第一图像进行图像分割。

比如，在拍摄得到第一图像后，可以确定出当前拍摄场景的类别。在一些实施方式中，拍摄场景的类别可以包括如人像拍摄类别、风景拍摄类别、静态物体拍摄类别等等。其中，人像拍摄类别对应的拍摄场景可以是指拍摄人像照片的拍摄场景，而风景拍摄类别对应的拍摄可以是指拍摄风景照片的拍摄场景，静态物体拍摄类别可以是指拍摄静态物体(如拍摄车展上静态展示的汽车等)的拍摄场景。

在确定出当前拍摄场景的类别后，电子设备可以根据预设的拍摄场景类别与图像分割算法的对应关系，获取与该当前拍摄场景的类别对应的目标图像分割算法，再利用该目标图像分割算法对第一图像进行图像分割。

比如，预设的拍摄场景的类别与图像分割算法的对应关系中，人像拍摄类别对应的算法是A、风景拍摄类别对应的算法是B、静态物体拍摄类别对应的算法是C。

那么，在当前拍摄场景的类别为人像拍摄类别时，电子设备可以将算法A确定为目标图像分割算法，并利用算法A来对第一图像进行图像分割。或者，在当前拍摄场景的类别为人像拍摄类别时，电子设备可以将算法B确定为目标图像分割算法，并利用算法B来对第一图像进行图像分割，等等。

可以理解的是，由于不同的图像分割算法具有不同的优点，比如算法A适用于对人像照片中的人像进行分割，而算法B适用于对风景照片进行分割等。因此，本实施例可以在不同的拍摄场景类别下使用不同的图像分割算法来对第一图像进行图像分割，从而可以提高图像分割的灵活性和准确性。

在另一种实施方式中，电子设备也可以先检测拍摄场景中是否存在灯光，若拍摄场景中存在灯光，那么可以使用本申请提供的图像处理方法来得到具有真实光斑的图像。比如，电子设备可以通过场景识别的方式来检测拍摄场景中是否存在灯光。例如，这种场景识别的方式可以是基于人工智能技术实现的场景识别。

除了通过场景识别的方式来检测拍摄场景中是否存在灯光外，本实施例还可以通过如下方式来检测拍摄场景中是否存在灯光，并在检测到拍摄场景中存在灯光时，利用本实施例提供的图像处理方法来得到具有真实光斑的图像：例如电子设备可以先利用摄像头获取拍摄主体具有清晰成像的第一图像。之后，电子设备可以获取第一图像的亮度分布信息，并根据该第一图像的亮度分布信息来检测第一图像中亮度值大于预设亮度阈值的像素点数量是否大于预设数值。若检测到第一图像中亮度值大于预设亮度阈值的像素点数量大于预设数值，则可以认为第一图像中存在过曝区域，而该过曝区域很可能是灯或光形成的。在这种情况下，可以认为拍摄场景中存在灯光，并需要利用本实施例提供的图像处理方法来得到具有真实光斑的目标图像。

在一种实施方式中，第一图像的亮度分布信息可以是第一图像的亮度直方图。

请参阅图3至图5，图3至图5为本申请实施例提供的图像处理方法的场景示意图。

比如，电子设备包括一摄像头。当用户将摄像头对准拍摄场景，并按下拍照按钮后，电子设备可以利用摄像头拍摄一张拍摄主体成像清晰的第一图像。例如，第一图像可以如图3所示，图3中拍摄主体为自行车的座椅。

之后，电子设备可以获取摄像头拍摄第一图像时镜头所在的第一位置。并且，电子设备可以利用预设的图像分割算法对第一图像进行图像分割，从而从第一图像中分割得到主体图像(即自行车的座椅)。

之后，电子设备可以检测拍摄主体与摄像头的距离，即电子设备可以检测拍摄主体是在近处还是远处。例如，本实施例中，电子设备检测到拍摄主体(即自行车的座椅)在近处。

在这种情况下，电子设备可以从多个镜头位置中选择对应的镜头位置作为摄像头的镜头的第二位置，其中，在摄像头的镜头在该第二位置处时与图像传感器的距离大于该摄像头的镜头在第一位置处时与图像传感器的距离，即相对于第一位置，当镜头位于第二位置时其更远离图像传感器，即镜头向前伸了。并且，在摄像头的镜头在该第二位置时与图像传感器的距离大于该摄像头的镜头在其它任一位置时与图像传感器的距离，此时，镜头所在的第二位置为最远离图像传感器的位置。

然后，电子设备可以将摄像头的镜头驱动至第二位置。当摄像头的镜头移动至第二位置时，电子设备可以利用该摄像头拍摄第二图像。可以理解的是，第二图像为拍摄主体失焦的图像。例如，第二图像如图4所示，从图4中可以看出自行车座椅的图像模糊了，同时自行车周边的图像也模糊了。

在拍摄得到主体失焦的第二图像后，电子设备可以根据第一图像和第二图像计算失焦系数。之后，电子设备可以根据计算得到的失焦系数调整第二图像的比例，得到调整比例后的第二图像。

之后，电子设备可以将主体图像和调整比例后的第二图像进行图像融合处理，从而得到目标图像。其中，该目标图像中的拍摄主体成像清晰，并且该目标图像中除了该拍摄主体外的其它区域为虚化效果。例如，目标图像可以如图5所示，从图5可以看出，拍摄的主体自行车座椅成像清晰，并且除自行车座椅外其它区域呈虚化效果。

另外，从图3至图5可知，拍摄场景中，树叶、树枝之间有光亮，为了提高图像的表现力，这些光亮可以虚化成光斑。由于第二图像中光斑是在拍摄主体失焦时自然生成的真实光斑，因此图像融合后的图5中的光斑是真实自然的光斑，成像质量好。

可以理解的是，本申请实施例中，电子设备可以提供一种具有真实虚化，尤其是具有真实虚化生成的光斑的图像。相比于相关技术中利用算法来模拟生成光斑的技术，由于本实施例光斑是在拍摄主体失焦时由摄像头直接采集得到的，因此本实施例中的光斑是自然真实的。

另外，由于利用算法模拟生成光斑时需要耗费大量的时间和算力来进行光斑渲染。因此，本实施例通过由摄像头直接采集光斑的方式，还可以节省为生成光斑所需的渲染时间。

请参阅图6，图6为本申请实施例提供的图像处理装置的结构示意图。该图像处理装置可以应用于电子设备，该电子设备包括摄像头。图像处理装置300可以包括：第一获取模块301，图像分割模块302，第二获取模块303，图像融合模块304。

第一获取模块301，用于利用所述摄像头，获取拍摄主体成像清晰的第一图像。

图像分割模块302，用于对所述第一图像进行图像分割，分割得到主体图像，所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域。

第二获取模块303，用于利用所述摄像头，获取第二图像，所述第二图像中所述拍摄主体失焦。

图像融合模块304，用于将所述主体图像和所述第二图像进行图像融合处理，得到目标图像。

在一种实施方式中，所述第一图像和所述第二图像对应的拍摄场景中存在灯光。

在一种实施方式中，所述第二获取模块303可以用于：

将所述摄像头拍摄所述第一图像时，所述摄像头的镜头所在的位置确定为第一位置；

检测所述拍摄主体与所述摄像头的距离；

在所述拍摄主体与所述摄像头的距离小于预设阈值时，根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述摄像头的镜头的第二位置，其中，在所述摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述摄像头的镜头在所述第一位置处时与图像传感器的距离；

将所述摄像头的镜头驱动至所述第二位置，并拍摄第二图像。

在一种实施方式中，所述第二获取模块303还可以用于：

在所述拍摄主体与所述摄像头的距离大于或等于预设阈值时，根据预设第二策略从多个镜头位置中选择对应的镜头位置作为所述摄像头的镜头的第三位置，其中，在所述摄像头的镜头在所述第三位置处时与图像传感器的距离小于所述摄像头的镜头在所述第一位置处时与图像传感器的距离；

将所述摄像头的镜头驱动至所述第三位置，并拍摄第二图像。

在一种实施方式中，在所述摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述摄像头的镜头在其它任一位置处时与图像传感器的距离。

在一种实施方式中，在所述摄像头的镜头在所述第三位置处时与图像传感器的距离小于所述摄像头的镜头在其它任一位置处时与图像传感器的距离。

在一种实施方式中，所述图像融合模块304还可以用于：

根据所述第一图像和所述第二图像，计算失焦系数；

根据所述失焦系数，调整所述第二图像的比例，得到调整比例后的第二图像；

所述将所述主体图像和所述第二图像进行图像融合处理得到目标图像，包括：将所述主体图像和所述调整比例后的第二图像进行图像融合处理，得到目标图像。

在一种实施方式中，所述图像分割模块302可以用于：

利用预设的图像分割算法，对所述第一图像进行图像分割，分割得到主体图像。

在一种实施方式中，所述图像分割模块302可以用于：

确定当前拍摄场景的类别；

根据预设的拍摄场景类别与图像分割算法的对应关系，获取与所述当前拍摄场景的类别对应的目标图像分割算法；

利用所述目标图像分割算法，对所述第一图像进行图像分割。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的图像处理方法中的流程。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的图像处理方法中的流程。

例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图7，图7为本申请实施例提供的电子设备的结构示意图。

该电子设备400可以包括摄像头401、存储器402、处理器403等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

摄像头401可以包括镜头和图像传感器，其中图像传感器感应来自于镜头的光源信号，将其转换为数字化的原始图像数据，即RAW图像数据。RAW是未经处理、也未经压缩的格式，可以将其形象地称为“数字底片”。

存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。

处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：

利用所述摄像头，获取拍摄主体成像清晰的第一图像；

对所述第一图像进行图像分割，分割得到主体图像，所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域；

利用所述摄像头，获取第二图像，所述第二图像中所述拍摄主体失焦；

将所述主体图像和所述第二图像进行图像融合处理，得到目标图像。

请参阅图8，电子设备400可以包括摄像头401、存储器402、处理器403、触摸显示屏404、扬声器405、麦克风406等部件。

摄像头401可以是一个摄像模组，其包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括：摄像头、图像信号处理器(Image SignalProcessor，ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个镜头和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息，并提供可由图像信号处理器处理的一组原始图像数据。

图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。

图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像存储器的图像数据时，图像信号处理器可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器，以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，图像信号处理器的输出还可发送给图像存储器，且显示器可从图像存储器读取图像数据。在一种实施方式中，图像存储器可被配置为实现一个或多个帧缓冲器。

图像信号处理器确定的统计数据可发送给控制逻辑器。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。

控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据，确定摄像头的控制参数以及ISP控制参数。例如，摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵等。

请参阅图9，图9为本实施例中图像处理电路的结构示意图。如图9所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

例如图像处理电路可以包括：摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中，摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中，摄像头可为长焦摄像头或广角摄像头中的任一者。

摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数，从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外，第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。

此外，图中没有展示的，电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接，CPU用于实现全局控制。供电模块用于为各个模块供电。

存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。

处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

触摸显示屏404可以用于接收用户对电子设备的触摸控制操作。扬声器405可以播放声音信号。麦克风406可以用于拾取声音信号。

在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：

利用所述摄像头，获取拍摄主体成像清晰的第一图像；

对所述第一图像进行图像分割，分割得到主体图像，所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域；

利用所述摄像头，获取第二图像，所述第二图像中所述拍摄主体失焦；

将所述主体图像和所述第二图像进行图像融合处理，得到目标图像。

在一种实施方式中，所述第一图像和所述第二图像对应的拍摄场景中存在灯光。

在一种实施方式中，所述处理器403还可以执行：将所述摄像头拍摄所述第一图像时，所述摄像头的镜头所在的位置确定为第一位置；

那么，处理器403执行所述利用所述摄像头获取第二图像时，可以执行：检测所述拍摄主体与所述摄像头的距离；在所述拍摄主体与所述摄像头的距离小于预设阈值时，根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述摄像头的镜头的第二位置，其中，在所述摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述摄像头的镜头在所述第一位置处时与图像传感器的距离；将所述摄像头的镜头驱动至所述第二位置，并拍摄第二图像。

在一种实施方式中，所述处理器403执行所述利用所述摄像头获取第二图像时，可以执行：在所述拍摄主体与所述摄像头的距离大于或等于预设阈值时，根据预设第二策略从多个镜头位置中选择对应的镜头位置作为所述摄像头的镜头的第三位置，其中，在所述摄像头的镜头在所述第三位置处时与图像传感器的距离小于所述摄像头的镜头在所述第一位置处时与图像传感器的距离；将所述摄像头的镜头驱动至所述第三位置，并拍摄第二图像。

在一种实施方式中，在所述摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述摄像头的镜头在其它任一位置处时与图像传感器的距离。

在一种实施方式中，在所述摄像头的镜头在所述第三位置处时与图像传感器的距离小于所述摄像头的镜头在其它任一位置处时与图像传感器的距离。

在一种实施方式中，所述处理器403还可以执行：根据所述第一图像和所述第二图像，计算失焦系数；根据所述失焦系数，调整所述第二图像的比例，得到调整比例后的第二图像；

那么，处理器403执行所述将所述主体图像和所述第二图像进行图像融合处理得到目标图像时，可以执行：将所述主体图像和所述调整比例后的第二图像进行图像融合处理，得到目标图像。

在一种实施方式中，所述处理器403执行所述对所述第一图像进行图像分割，分割得到主体图像时，可以执行：利用预设的图像分割算法，对所述第一图像进行图像分割，分割得到主体图像。

在一种实施方式中，所述处理器403执行所述利用预设的图像分割算法对所述第一图像进行图像分割时，可以执行：确定当前拍摄场景的类别；根据预设的拍摄场景类别与图像分割算法的对应关系，获取与所述当前拍摄场景的类别对应的目标图像分割算法；利用所述目标图像分割算法，对所述第一图像进行图像分割。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像处理方法的详细描述，此处不再赘述。

本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思，在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法，其具体实现过程详见所述图像处理方法实施例，此处不再赘述。

需要说明的是，对本申请实施例所述图像处理方法而言，本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本申请实施例的所述图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括摄像头，所述方法包括：

利用所述摄像头，获取拍摄主体成像清晰的第一图像；

对所述第一图像进行图像分割，分割得到主体图像，所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域；

将所述摄像头拍摄所述第一图像时，所述摄像头的镜头所在的位置确定为第一位置；

通过所述摄像头在拍摄所述第一图像时的数模转换代码值的取值范围检测所述拍摄主体与所述摄像头的距离；

在所述拍摄主体与所述摄像头的距离小于预设阈值时，根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述摄像头的镜头的第二位置，其中，在所述摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述摄像头的镜头在所述第一位置处时与图像传感器的距离；将所述摄像头的镜头驱动至所述第二位置，并拍摄第二图像，所述第二图像中所述拍摄主体失焦；

在所述拍摄主体与所述摄像头的距离大于或等于预设阈值时，根据预设第二策略从多个镜头位置中选择对应的镜头位置作为所述摄像头的镜头的第三位置，其中，在所述摄像头的镜头在所述第三位置处时与图像传感器的距离小于所述摄像头的镜头在所述第一位置处时与图像传感器的距离；将所述摄像头的镜头驱动至所述第三位置，并拍摄第二图像，所述第二图像中所述拍摄主体失焦；

将所述主体图像和所述第二图像进行图像融合处理，得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述第一图像和所述第二图像对应的拍摄场景中存在灯光。

3.根据权利要求1所述的图像处理方法，其特征在于，在所述摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述摄像头的镜头在其它任一位置处时与图像传感器的距离。

4.根据权利要求1所述的图像处理方法，其特征在于，在所述摄像头的镜头在所述第三位置处时与图像传感器的距离小于所述摄像头的镜头在其它任一位置处时与图像传感器的距离。

5.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

根据所述第一图像和所述第二图像，计算失焦系数；

根据所述失焦系数，调整所述第二图像的比例，得到调整比例后的第二图像；

所述将所述主体图像和所述第二图像进行图像融合处理得到目标图像，包括：将所述主体图像和所述调整比例后的第二图像进行图像融合处理，得到目标图像。

6.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一图像进行图像分割，分割得到主体图像，包括：

利用预设的图像分割算法，对所述第一图像进行图像分割，分割得到主体图像。

7.根据权利要求6所述的图像处理方法，其特征在于，所述利用预设的图像分割算法对所述第一图像进行图像分割，包括：

确定当前拍摄场景的类别；

根据预设的拍摄场景类别与图像分割算法的对应关系，获取与所述当前拍摄场景的类别对应的目标图像分割算法；

利用所述目标图像分割算法，对所述第一图像进行图像分割。

8.一种图像处理装置，应用于电子设备，其特征在于，所述电子设备包括摄像头，所述装置包括：

第一获取模块，用于利用所述摄像头，获取拍摄主体成像清晰的第一图像；

图像分割模块，用于对所述第一图像进行图像分割，分割得到主体图像，所述主体图像为所述第一图像中对应于所述拍摄主体的图像区域；

第二获取模块，用于将所述摄像头拍摄所述第一图像时，所述摄像头的镜头所在的位置确定为第一位置；通过所述摄像头在拍摄所述第一图像时的数模转换代码值的取值范围检测所述拍摄主体与所述摄像头的距离；在所述拍摄主体与所述摄像头的距离小于预设阈值时，根据预设第一策略从多个镜头位置中选择对应的镜头位置作为所述摄像头的镜头的第二位置，其中，在所述摄像头的镜头在所述第二位置处时与图像传感器的距离大于所述摄像头的镜头在所述第一位置处时与图像传感器的距离；将所述摄像头的镜头驱动至所述第二位置，并拍摄第二图像，所述第二图像中所述拍摄主体失焦；在所述拍摄主体与所述摄像头的距离大于或等于预设阈值时，根据预设第二策略从多个镜头位置中选择对应的镜头位置作为所述摄像头的镜头的第三位置，其中，在所述摄像头的镜头在所述第三位置处时与图像传感器的距离小于所述摄像头的镜头在所述第一位置处时与图像传感器的距离；将所述摄像头的镜头驱动至所述第三位置，并拍摄第二图像，所述第二图像中所述拍摄主体失焦；

图像融合模块，用于将所述主体图像和所述第二图像进行图像融合处理，得到目标图像。

9.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求1至7中任一项所述的方法。

10.一种电子设备，包括存储器，处理器，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至7中任一项所述的方法。

Images