CN114418914A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，该方法包括：检测电子设备所处的拍摄场景；若检测到电子设备处于逆光拍摄场景，通过摄像头采集对焦于逆光区域的第一图像，以及通过摄像头采集对焦于非逆光区域的第二图像；分别对第一图像及第二图像进行增强处理；将增强处理后的第一图像和增强处理后的第二图像融合，得到第三图像。实施本申请实施例，能够提高在逆光拍摄场景下拍摄的图像的图像质量。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及影像技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着科学技术的进步及用户对电子设备的极致追求，对电子设备(例如手机等)拍摄图像的质量方面的要求越来越高，电子设备的拍摄功能也越来越丰富，但是在强光干扰或是逆光环境下拍摄还存在着曝光不足或者过曝的问题，拍摄的图像质量较低。

发明内容

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，能够提高在逆光拍摄场景下拍摄的图像的图像质量。

本申请实施例公开了一种图像处理方法，应用于电子设备，包括：

检测所述电子设备所处的拍摄场景；

若检测到所述电子设备处于逆光拍摄场景，通过所述摄像头采集对焦于逆光区域的第一图像，以及通过所述摄像头采集对焦于非逆光区域的第二图像；

分别对所述第一图像及所述第二图像进行增强处理；

将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像。

在一个实施例中，在所述将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像之前，所述方法还包括：

对增强处理后的第一图像和增强处理后的第二图像进行配准处理，从而使得所述增强处理后的第一图像的空间位置信息和所述增强处理后的第二图像的空间位置信息一致化；

所述将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像，包括：

将配准处理后的第一图像和配准处理后的第二图像进行融合，得到第三图像。

在一个实施例中，所述将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像，包括：

将增强处理后的第一图像分解为第一高频分量和第一低频分量，将增强处理后的第二图像分解为第二高频分量和第二低频分量；其中，所述第一高频分量对应所述增强处理后的第一图像中的第一高频区域，所述第一低频分量对应所述增强处理后的第一图像中的第一低频区域；所述第二高频分量对应所述增强处理后的第二图像中的第二高频区域，所述第二低频分量对应所述增强处理后的第二图像中的第二低频区域；

将所述第一高频分量和所述第二高频分量融合为第三高频分量，将所述第一低频分量和所述第二低频分量融合为第三低频分量；

将所述第三高频分量和所述第三低频分量进行融合，以得到第三图像。

在一个实施例中，所述将所述第一高频分量和所述第二高频分量融合为第三高频分量，包括：

计算所述第一高频分量对应的第一模值和所述第二高频分量对应的第二模值；

将所述第一模值与所述第二模值进行比较，并确定所述第一模值与所述第二模值中最大的模值，若所述最大的模值为所述第一模值，则将所述第一高频分量作为所述第三高频分量，若所述最大的模值为所述第二模值，则将所述第二高频分量作为所述第三高频分量。

在一个实施例中，所述将所述第一低频分量和所述第二低频分量融合为第三低频分量，包括：

根据所述第一低频分量和所述第二低频分量确定平均低频分量，将所述平均低频分量作为第三低频分量。

在一个实施例中，所述检测所述电子设备所处的拍摄场景，包括：

获取通过摄像头采集的预览图像，计算所述预览图像的灰度值；

若所述预览图像的灰度值大于预设灰度阈值，则确定所述电子设备处于逆光拍摄场景；

若所述预览图像的灰度值小于或等于所述预设灰度阈值，则确定所述电子设备不处于逆光拍摄场景。

在一个实施例中，所述分别对所述第一图像及所述第二图像进行增强处理，包括：

对所述第一图像进行第一增强处理，对所述第二图像进行第二增强处理；其中，所述第一增强处理包括多尺度视网膜增强算法，所述第二增强处理包括同态滤波算法。

本申请实施公开了一种图像处理装置，包括：

检测模块，用于检测所述电子设备所处的拍摄场景；

对焦采集模块，用于若检测到所述电子设备处于逆光拍摄场景，通过所述摄像头采集对焦于逆光区域的第一图像，以及通过所述摄像头采集对焦于非逆光区域的第二图像；

增强模块，用于分别对所述第一图像及所述第二图像进行增强处理；

融合模块，用于将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像。

本申请实施例公开了一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行上述任一实施例所述的方法。

本申请实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序在被处理器执行时，使得所述处理器执行上述任一实施例所述的方法。

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，电子设备能够检测当前所处的环境，在检测到电子设备处于逆光拍摄场景时，通过摄像头采集对焦于逆光区域的第一图像和对焦于非逆光区域的第二图像，而在逆光拍摄场景中曝光不足或者过曝的问题会使得第一图像和第二图像都会丢失部分的有效信息，通过将第一图像与第二图像增强处理后进行融合，能够将第一图像与第二图像中的有效信息进行互补，以及对第一图像与第二图像的增强处理能够提高第一图像与第二图像的清晰度及对比度，提高了在逆光拍摄场景下拍摄的图像的图像质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种电子设备处于逆光拍摄场景的场景示意图；

图2是本申请实施例公开的一种图像处理方法的流程示意图；

图3是本申请实施例公开的另一种图像处理方法的流程示意图；

图4是本申请实施例公开的一种将增强处理后的第一图像与增强处理后的第二图像进行融合的流程示意图；

图5是本申请实施例公开的一种图像处理装置的模块化示意图；

图6是本申请实施例公开的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像为第二图像，且类似地，可将第二图像称为第一图像。第一图像和第二图像两者都是图像，但其不是同一图像。

在相关技术中，解决逆光拍摄场景下拍摄的图像出现曝光不足或者过曝的问题包括两种方案。一种方案包括采用闪光灯进行曝光补偿，通过闪光灯进行主体亮度补偿，由于电子设备的闪光灯的亮度不足，所以只能对近距离拍摄的主体进行亮度补偿，当拍摄的主体力摄像头的距离越远时，该方案的效果越差。另一种方案是通过HDR(High-DynamicRange，高动态范围图像)方式增加图像的动态范围，减少摄像头采集的图像中的过亮或过暗区域，通过HDR方式增加图像动态范围，该方案由于只选取过曝、过暗和正常曝光度的图像进行融合，得到的图像的动态范围有限，并不能完全满足各种复杂的逆光环境，在一些复杂的逆光拍摄场景下，该方案的效果并不理想。

在使用电子设备处于逆光拍摄场景进行图像拍摄时，电子设备的摄像头会受到光源的直射或间接反射，在摄像头的对焦位置不同时摄像头采集的图像也不同，当焦点处于受强光干扰的区域时，即对焦逆光区域时，摄像头采集的图像存在高亮度区域，该高亮度区域掩盖了图像中的部分信息；当焦点处于不受强光干扰的区域时，即对焦非逆光区域时，摄像头采集的图像的整体亮度较暗，严重影响采集到拍摄的图像效果。

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，能够提高在逆光拍摄场景下拍摄的图像的图像质量。

以下将结合附图进行详细描述。

请参考图1，图1是本申请实施例公开的一种电子设备处于逆光拍摄场景的场景示意图，该场景下可以包括电子设备10，其中，电子设备10可包括但不限于手机、平板电脑、可穿戴设备、笔记本电脑、PC(Personal Computer，个人计算机)、摄像机等。此外，上述电子设备10的操作系统可包括但不限于Android(安卓)操作系统、IOS操作系统、Symbian(塞班)操作系统、Black Berry(黑莓)操作系统、Windows Phone8操作系统等等，本申请实施例不作限定。

电子设备10在检测到拍摄操作之后，可以通过摄像头进行图像采集，该摄像头可以是电子设备10的摄像头。可选的，电子设备10也可以通过与电子设备10建立通信连接的其它电子设备的摄像头进行采集图像，此处不作限定。电子设备10可以对摄像头采集到的图像进行分析，确定当前处于逆光拍摄场景，如图1所示，逆光拍摄场景可以为摄像头方向对着光源的场景，在该逆光拍摄场景下，电子设备10使用摄像头进行拍摄，采集到的图像会产生部分区域过曝和/或部分区域曝光不足的情况。

作为一种可选的实施方式，电子设备10可以在检测到拍摄操作之前，检测电子设备10当前所处的拍摄场景。其中，检测当前所处的拍摄场景的方法可包括但不限于通过光传感器检测、在打开摄像头之后以及在检测到拍摄操作之前对摄像头所采集到的图像进行检测等，此处不做限定。电子设备10可以通过光传感器检测当前的光线强度，根据光线强度确定当前所处的拍摄场景。例如，若光线强度大于强度阈值，则电子设备10确定当前所处的拍摄场景为逆光拍摄场景，若光线强度小于或等于强度阈值，则电子设备10确定当前不处于逆光拍摄场景。

在电子设备10检测到当前处于逆光拍摄场景时，可以自动切换为针对该逆光拍摄场景下所采集的图像进行处理的处理模式，也可以输出提示信息，提示用户进行切换为该处理模式所对应的切换操作，在检测到该切换操作后，电子设备10切换为针对逆光拍摄场景下所采集的图像进行处理的处理模式，其中，切换操作可包括但不限于点击操作、语音操作或者手势操作等。本申请实施例公开的图像处理方法的具体内容在下述实施例进行说明，此处不作过多解释。

如图2所示，图2为本申请实施例公开的一种图像处理方法的流程示意图，该图像处理方法可应用于上述的电子设备，可包括如下步骤：

步骤210，检测电子设备所处的拍摄场景。

在一个实施例中，电子设备在通过摄像头采集到预览图像后，可以根据该采集到的预览图像检测电子设备所处的拍摄场景，即检测电子设备是否处于逆光拍摄场景。其中，检测的方法可包括检测图像像素点的灰度值、检测图像像素点的RGB值等等，此处不作限定。

在一个实施例中，电子设备可以获取通过摄像头采集的预览图像，计算预览图像的灰度值，若灰度值大于预设灰度阈值，则确定电子设备处于逆光拍摄场景，电子设备可以继续执行步骤220～步骤240，若灰度值小于或等于预设灰度阈值，则确定电子设备不处于逆光拍摄场景，电子设备可以对采集到的图像进行图像增强处理和/或滤波处理。其中，图像增强处理可以包括对比度拉升、Gamma(γ，伽马)校正、直方图均衡化、直方图规定化、基于HSV空间的彩色图像增强方法等，滤波处理包括均值滤波、中值滤波、高斯滤波、双边滤波等，本申请实施例对此不做限定。

作为一种可选的实施方式，电子设备可以计算摄像头采集到的图像中的所有像素点的平均灰度值，将图像中的所有像素点的平均灰度值与预设灰度阈值进行比较。若平均灰度值大于预设灰度阈值，则确定电子设备处于逆光拍摄场景，若平均灰度值小于或等于预设灰度阈值，则确定电子设备不处于逆光拍摄场景。

作为一种可选的实施方式，电子设备可以计算摄像头采集到的图像中的每个像素点的灰度值，将图像中的每个像素点的灰度值与预设灰度阈值进行比较。计算灰度值大于预设灰度阈值的像素点个数，若像素点个数大于与预设数量阈值，则确定电子设备处于逆光拍摄场景，若像素点个数小于或等于预设数量阈值，则确定电子设备不处于逆光拍摄场景。

步骤220，若检测到电子设备处于逆光拍摄场景，通过摄像头采集对焦于逆光区域的第一图像，以及通过摄像头采集对焦于非逆光区域的第二图像。

电子设备若检测到电子设备处于逆光拍摄场景，通过摄像头采集对焦于逆光区域的第一图像，以及通过摄像头采集对焦于非逆光区域的第二图像，采集第一图像与第二图像之间不存在先后顺序关系，也可以同时执行。其中，逆光区域指的是受到光照影响导致出现逆光效果的区域，非逆光区域指的是未因光照影响出现逆光效果的区域。

在一个实施例中，电子设备可以根据预设的区域尺寸将预览图像划分为多个图像区域，例如每个图像区域包括64×64个像素，并计算出预览图像中每个图像区域的灰度值，分别对不同图像区域的灰度值与第一区域灰度阈值进行比较，从而将预览图像分为逆光区域和非逆光区域，逆光区域指的是预览图像中灰度值大于区域灰度阈值的区域，即会受到光照影响导致出现逆光效果的区域，非逆光区域指的是预览图像中灰度值小于或等于区域灰度阈值的区域，即未因光照影响出现逆光效果的区域。

作为一种可选的实施方式，电子设备可以在检测到电子设备处于逆光拍摄场景时，通过摄像头自动采集对焦于逆光区域的第一图像，以及通过摄像头采集对焦于非逆光区域的第二图像，不需要用户去寻找对焦区域，简化用户的操作，提高图像处理方法的便捷性。

作为一种可选的实施方式，电子设备可以在检测到电子设备处于逆光拍摄场景时，发出提示信息以提示用户手动选择对焦于逆光区域和非逆光区域，在检测到针对逆光区域的焦点选择操作时，根据该针对逆光区域的焦点选择操作，通过摄像头对焦逆光区域并采集第一图像，在检测到针对非逆光区域的焦点选择操作时，根据该针对非逆光区域的焦点选择操作，通过摄像头对焦非逆光区域并采集第二图像，可以根据用户的需求选择需要对焦的区域，再采集第一图像和第二图像，以提高采集到的图像对焦的准确性。

步骤230，分别对第一图像及第二图像进行增强处理。

由于摄像头在对焦于不同区所采集到的第一图像及第二图像的图像质量不够，电子设备可以分别对第一图像及第二图像进行增强处理，以提高第一图像及第二图像的图像质量。

在一个实施例中，可以对第一图像进行第一增强处理，对第二图像进行第二增强处理；其中，第一增强处理包括多尺度视网膜增强算法(MSR，Multi-Scale Retinex)，第二增强处理包括同态滤波算法。

第一图像为摄像头在对焦于逆光区域时采集的，而对焦于逆光区域会影响到第一图像的清晰度及对比度，因此，电子设备可以使用多尺度视网膜增强算法增强第一图像的对比度和清晰度，多尺度视网膜增强算法通过确定第一图像的多个尺度，对第一图像进行多个尺度下的高斯模糊，得到模糊后的多个模糊图像，根据第一图像和多个模糊图像得到增强后的第一图像，能够提升第一图像的图像质量。

第二图像为摄像头在对焦于非逆光区域时采集的，而对焦于非逆光区域会造成第二图像中的图像噪声较多，因此，电子设备可以使用同态滤波算法去除第二图像中的噪声，同态滤波算法通过对第二图像对应的照明-反射模型进行变换，再将变换的结果通过频域滤波器得到滤波的结果，将滤波的结果逆变换后得到增强后的第二图像，能够提升第二图像的图像质量。

步骤240，将增强处理后的第一图像和增强处理后的第二图像融合，得到第三图像。

电子设备可以将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像，该第三图像可以是最终呈现在显示屏上供用户察看的图像，也可以是保存在存储器中的图像。

作为一种可选的实施方式，电子设备可以根据像素点的数量将第一图像和第二图像划分为各个图像区域，例如每个图像区域包括64×64个像素，第一图像中的每个图像区域与第二图像中的每个图像区域之间为一一对应的关系，对于第一图像与第二图像中相对应的每两个图像区域，选择两个图像区域中的图像质量更高的图像区域，图像质量更高可以是图像的清晰度更高、图像的对比度更高、图像的噪点更少等，并将图像质量更高的图像区域，作为第三图像中相对应位置的图像区域，对其它图像区域也进行相同的操作，在完成所有区域的融合之后，得到第三图像。

在本申请实施例中，电子设备能够检测当前所处的环境，在检测到电子设备处于逆光拍摄场景时，通过摄像头采集对焦于逆光区域的第一图像和对焦于非逆光区域的第二图像，而在逆光拍摄场景中曝光不足或者过曝的问题会使得第一图像和第二图像都会丢失部分的有效信息，通过将第一图像与第二图像增强处理后进行融合，能够将第一图像与第二图像中的有效信息进行互补，以及对第一图像与第二图像的增强处理能够提高第一图像与第二图像的清晰度及对比度，提高了在逆光拍摄场景下拍摄的图像的图像质量。。

如图3所示，图3为本申请实施例公开的另一种图像处理方法的流程示意图，该图像处理方法也可应用于上述的电子设备，可包括如下步骤：

步骤310，检测电子设备所处的拍摄场景。

步骤320，若检测到电子设备处于逆光拍摄场景，通过摄像头采集对焦于逆光区域的第一图像，以及通过摄像头采集对焦于非逆光区域的第二图像。

步骤330，分别对第一图像及第二图像进行增强处理。

步骤340，对增强处理后的第一图像和增强处理后的第二图像进行配准处理，从而使得第一图像的空间位置信息和第二图像的空间位置信息一致化。

由于电子设备在采集第一图像与第二图像时可能产生移动，造成第一图像的空间位置信息与第二图像的空间位置信息存在差异。因此，电子设备可以对增强处理后的第一图像和增强处理后的第二图像进行配准处理，例如，通过增强处理后的第一图像和增强处理后的第二图像中的关键点进行配准、通过增强处理后的第一图像和增强处理后的第二图像中的图像特征进行配准等，从而使得增强处理后的第一图像的空间位置信息和增强处理后的第二图像的空间位置信息一致化，使得后续的图像融合步骤可以进行。

作为一种可选的实施方式，电子设备可以对增强处理后的第一图像和增强处理后的第二图像进行仿射变换配准，先以增强处理后的第一图像与增强处理后的第二图像之间的特征匹配作为数据得到预计仿射变换矩阵，根据预计仿射变换矩阵将增强处理后的第一图像与增强处理后的第二图像进行配准，从而使得增强处理后的第一图像的空间位置信息和增强处理后的第二图像的空间位置信息一致化。例如，电子设备可以进行增强处理后的第一图像与增强处理后的第二图像之间的特征匹配，得到增强处理后的第一图像变换为增强处理后的第二图像的预计放射变换矩阵，根据该预计仿射变换矩阵将增强处理后的第一图像进行变换，从而得到与增强处理后的第二图像完成配准的第一图像。

步骤350，将配准处理后的第一图像及配准处理后的第二图像进行融合，得到第三图像。

电子设备可以将配准处理后的第一图像及配准处理后的第二图像进行融合，得到第三图像。配准处理后的第一图像及配准处理后的第二图像是在增强处理后的第一图像及增强处理后的第二图像基础上进行配准处理后得到的，而步骤350中对配准处理后的第一图像及配准处理后的第二图像进行融合的方式，可与步骤240中对增强处理后的第一图像及增强处理后的第二图像进行融合的方法相同，此处不再赘述。

作为一种可选的实施方式，由于配准处理后的第一图像中的各个像素点与配准处理后的第二图像中的各个像素点之间存在一一对应的关系，电子设备可以对配准处理后的第一图像与配准处理后的第二图像中相对应的每两个像素点的像素值(如灰度值或RGB(Red、Green、Blue，红绿蓝)值等)进行加权和计算，得到对应的目标像素值，即将两个对应的像素点的像素值按照不同的权重系数分别相乘再相加，得到的目标像素值可作为第三图像中相对应位置的像素点的像素值，对配准处理后的第一图像和配准处理后的第二图像中所有对应的像素点均可进行上述融合操作，得到第三图像。

在本申请实施例，电子设备还可以将第一图像与第二图像进行配准处理，以便于第一图像与第二图像进行融合，提高图像融合的准确性。

如图4所示，图4是本申请实施例公开的一种将增强处理后的第一图像与增强处理后的第二图像进行融合的流程示意图，步骤将增强处理后的第一图像与增强处理后的第二图像进行融合，可以包括以下步骤：

步骤410，将增强处理后的第一图像分解为第一高频分量和第一低频分量，将增强处理后的第二图像分解为第二高频分量和第二低频分量；其中，所述第一高频分量对应增强处理后的第一图像中的第一高频区域，所述第一低频分量对应所述增强处理后的第一图像中的第一低频区域；所述第二高频分量对应所述增强处理后的第二图像中的第二高频区域，所述第二低频分量对应所述增强处理后的第二图像中的第二低频区域。

电子设备可以将增强处理后的第一图像分解为第一高频分量和第一低频分量，将增强处理后的第二图像分解为第二高频分量和第二低频分量。

其中，电子设备可以计算增强处理后的第一图像中各个像素点的灰度值，从而得到增强后的第一图像中各个像素点与周围像素点之间的灰度值变化速度，根据灰度值变化速度将增强处理后的第一图像分解为第一高频分量和第一低频分量，第一高频分量包括多个与增强处理后的第一图像的图像尺寸相同的图像，第一低频分量包括一个与增强处理后的第一图像的图像尺寸相同的图像。第一高频分量对应增强处理后的第一图像中的第一高频区域，即第一高频分量中的多个图像对应增强处理后的第一图像中不同的第一高频区域，第一高频区域为增强处理后的第一图像中灰度值变化速度大于第一变化速度阈值的图像区域，例如，第一高频分量可以对应增强处理后的第一图像的边缘区域，因为图像的边缘区域的灰度值变化速度通常大于中间区域的灰度值变化速度。第一低频分量对应增强处理后的第一图像中的第一低频区域，即第一低频分量中的图像对应增强处理后的第一图像中的第一低频区域，第一低频区域为增强处理后的第一图像中灰度值变化速度小于或等于第一变化速度阈值的图像区域，例如，第一低频分量可以对应增强处理后的第一图像的中间区域，因为图像的中间区域的灰度值变化速度通常小于边缘区域的灰度值变化速度。

电子设备可以计算增强处理后的第二图像中各个像素点的灰度值，从而得到增强处理后的第二图像中各个像素点与周围像素点之间的灰度值变化速度，根据灰度值变化速度将增强处理后的第二图像分解为第二高频分量和第二低频分量，第二高频分量包括多个与增强处理后的第二图像的图像尺寸相同的图像，第二低频分量包括一个与增强处理后的第二图像的图像尺寸相同的图像。第二高频分量对应增强处理后的第二图像中的第二高频区域，即第二高频分量中的多个图像对应增强处理后的第二图像中不同的第二高频区域，第二高频区域为增强处理后的第二图像中灰度值变化速度大于第二变化速度阈值的图像区域，例如，第二高频分量可以对应增强处理后的第二图像的边缘区域，因为图像的边缘区域的灰度值变化速度通常大于中间区域的灰度值变化速度。第二低频分量对应增强处理后的第二图像中的第二低频区域，即第二低频分量中的图像对应增强处理后的第二图像中的第二低频区域，第二低频区域为增强处理后的第二图像中灰度值变化速度小于或等于第二变化速度阈值的图像区域，例如，第二低频分量可以对应增强处理后的第二图像的中间区域，因为图像的中间区域的灰度值变化速度通常小于边缘区域的灰度值变化速度。其中，第一变化速度阈值与第二变化速度阈值可以是数值大小相等的，也可以是数值大小不相等的。

作为一种可选的实施方式，电子设备可以对增强处理后的第一图像进行NSCT(Nonsubsampled contourlet transform，非下采样轮廓波变换)正变换或FNSCT(FastNonsubsampled contourlet transform，快速非下采样轮廓波变换)正变换，从而得到第一高频分量和第一低频分量，以及第一高频分量对应的第一高频变换系数和第一低频分量对应的第一低频变换系数。电子设备将增强处理后的第一图像转换为第一频谱图，第一频谱图可以说明增强后的第一图像中各个像素点与周围像素点之间的灰度值变化速度，根据第一频谱图对增强处理后的第一图像进行多次NSP(NonsubsampledPyramid，非下采样塔式滤波器)分解，从而得到一个或多个第一带通子带图像和一个第一低通子带图像。第一带通子带图像的图像尺寸与增强处理后的第一图像的图像尺寸相同，每个第一带通子带图像对应增强后的第一图像中不同的第一高频区域。第一低通子带图像的图像尺寸与增强处理后的第一图像的图像尺寸相同，第一低通子带图像对应增强后的第一图像中的第一低频区域，可将第一低通子带图像作为第一低频分量。电子设备再对每个第一带通子带图像进行NSDFB(Nonsubsampleddirectional filter bank，非下采样方向滤波器组)分解，可将每个第一带通子带图像分解为多个第一多方向子带图像，第一多方向子带图像的图像尺寸与增强处理后的第一图像的图像尺寸相同，可将多个第一方向子带图像共同作为第一高频分量。

此外，在对增强处理后的第一图像进行NSP分解得到第一低通子带图像时，并获得第一低通子带图像对应的第一低频变换系数。在对第一带通子带图像进行NSDFB分解得到第一多方向子带图像时，并获得第一多方向子带图像对应的第一高频变换系数，由于可以得到多个第一多方向子带图像，即第一高频变换系数可以包括多个值，该多个值对应多个第一多方向子带图像。

电子设备也可以对增强处理后的第二图像进行NSCT(Nonsubsampled contourlettransform，非下采样轮廓波变换)正变换或FNSCT(FastNonsubsampled contourlettransform，快速非下采样轮廓波变换)正变换，从而得到第二高频分量和第二低频分量，以及第二高频分量对应的第二高频变换系数和第二低频分量对应的第二低频变换系数。电子设备将增强处理后的第二图像转换第二频谱图，第二频谱图可以说明增强后的第二图像中各个像素点与周围像素点之间的灰度值变化速度，根据第二频谱图对增强处理后的第二图像进行多次NSP(NonsubsampledPyramid，非下采样塔式滤波器)分解，从而得到一个或多个第二带通子带图像和一个第二低通子带图像。第二带通子带图像的图像尺寸与增强处理后的第二图像的图像尺寸相同，每个第二带通子带图像对应增强后的第二图像中不同的第二高频区域。第二低通子带图像的图像尺寸与增强处理后的第二图像的图像尺寸相同，第二低通子带图像对应增强后的第二图像中的第二低频区域，可将第二低通子带图像作为第二低频分量。电子设备再对每个第二带通子带图像进行NSDFB(Nonsubsampleddirectionalfilter bank，非下采样方向滤波器组)分解，可将每个第二带通子带图像分解为多个第二多方向子带图像，第二多方向子带图像的图像尺寸与增强处理后的第二图像的图像尺寸相同，可将多个第二方向子带图像共同作为第二高频分量。

此外，在对增强处理后的第二图像进行NSP分解得到第二低通子带图像时，并获得第二低通子带图像对应的第二低频变换系数。在对第二带通子带图像进行NSDFB分解得到第二多方向子带图像时，并获得第二多方向子带图像对应的第二高频变换系数，由于可以得到多个第二多方向子带图像，即第二高频变换系数可以包括多个值，该多个值对应多个第二多方向子带图像。

步骤420，将第一高频分量和第二高频分量融合为第三高频分量，将第一低频分量和第二低频分量融合为第三低频分量。

在一个实施例中，步骤将第一高频分量和第二高频分量融合为第三高频分量，可包括：计算第一高频分量对应的第一模值和第二高频分量对应的第二模值；将第一模值与第二模值进行比较，并确定第一模值与第二模值中最大的模值，若最大的模值为第一模值，则将第一高频分量作为第三高频分量，若最大的模值为第二模值，则将第二高频分量作为第三高频分量。

其中，由于第一高频分量中的多个图像可以对应增强处理后的第一图像中不同的第一高频区域，所以第一高频分量可对应多个第一模值，多个第一模值可分别与第一高频分量中的多个图像一一对应，由于第二高频分量中的多个图像可以对应增强处理后的第二图像中不同的第二高频区域，所以第二高频分量可对应多个第二模值，多个第二模值可分别与第二高频分量中的多个图像一一对应。因为第一图像中的第一高频区域与第二图像中的第二高频区域一一对应，所以第一高频分量对应的多个第一模值与第二高频分量对应的多个第二模值一一对应。电子设备将每两个对应的第一模值与第二模值进行比较，并确定每两个对应的第一模值与第二模值中最大的模值，若其中最大的模值为第一模值，则将第一模值对应的第一高频分量的图像融合到第三高频分量的图像，若最大的模值为第二模值，则将第二模值对应的第二高频分量的图像融合到第三高频分量的图像，将所有的第一模值与第二模值进行比较，即可以得到第三高频分量。

作为一种可选的实施方式，电子设备对增强处理后的第一图像和增强处理后的第二图像进行NSCT正变换或FNSCT正变换后可以得到第一高频变换系数和第二高频变换系数，因为第一高频变换系数可对应第一高频分量中的第一多方向子带图像，及第二高频变换系数可对应第二高频分量中的第二多方向子带图像，所以对第一高频变换系数和第二高频变换系数进行融合可以相当于将第一高频分量和第二高频分量进行融合，得到的第三高频变换系数对应第三高频分量。电子设备对第一高频变换系数中的多个值分别取绝对值，得到多个第一模值，对第二高频变换系数中的多个值分别取绝对值，得到多个第二模值，第一模值与第二模值之间存在一一对应关系，对每两个对应的第一模值与第二模值进行比较，并确定每两个对应的第一模值与第二模值中最大的模值，若其中最大的模值为第一模值，则将第一模值对应的第一高频变换系数的值作为第三高频分量变换系数的值，若最大的模值为第二模值，则将第二模值对应的第二高频变换系数的值作为第三高频分量变换系数的值，将所有的第一模值与第二模值进行比较，即可以得到第三高频分量变换系数，从而确定第三高频变换系数对应的第三高频分量。

在一个实施例中，步骤将第一低频分量和第二低频分量融合为第三低频分量，可包括：根据第一低频分量和第二低频分量确定平均低频分量，将平均低频分量作为第三低频分量。

其中，第一低频分量的图像区域和第二低频分量的图像区域之间存在对应关系，电子设备可以计算第一低频分量与第二低频分量中的平均低频分量，即计算第一低频分量对应的数据与第二低频分量对应的数据的均值，从而得到平均低频分量，并将平均低频分量作为第三低频分量。

作为一种可选的实施方式，电子设备对增强处理后的第一图像和增强处理后的第二图像进行NSCT正变换或FNSCT正变换后可以得到第一低频变换系数和第二低频变换系数，因为第一低频变换系数可对应第一低频分量中的第一低通子带图像，及第二低频变换系数可对应第二低频分量中的第二低通子带图像，所以对第一低频变换系数和第二低频变换系数进行融合可以相当于将第一低频分量和第二低频分量进行融合，得到的第三低频变换系数对应第三低频分量。电子设备可以对第一图像和第二图像NSCT正变换或FNSCT正变换后得到的代表第一低频分量的第一低频变换系数和代表第二低频分量的第二低频变换系数进行融合，以得到第三低频变换系数，将第三低频变换系数代表第三低频分量。电子设备计算第一低频变换系数与第二低频变换系数的均值，将该均值作为第三低频变换系数，从而确定第三低频变换系数对应的第三低频分量。

步骤430，将第三高频分量和第三低频分量融合为第三图像。

电子设备可以将由第一高频分量和第二高频分量融合得到的第三高频分量和由第一低频分量和第二低频分量融合得到的第三低频分量进行融合，得到第三图像。作为一种可选的实施方式，可以分别对第三高频分量和第三低频分量进行NSCT逆变换，得到的结果为第三图像。

在本申请实施例中，电子设备可以将增强处理后的第一图像分解为第一高频分量和第一低频分量，以及将增强处理后的第二图像分解为第二高频分量和第二低频分量，再将第一高频分量与第二高频分量进行融合得到第三高频分量，以及将第一低频分量与第二低频分量进行融合得到第三低频分量，最后将第三高频分量与第三低频分量进行融合得到第三图像，能够将增强处理后的第一图像与增强处理后的第二图像中的有效信息进行互补，从而解决逆光拍摄场景中曝光不足或过曝的问题。

如图5所示，图5为本申请实施例公开的一种图像处理装置的模块化示意图，该图像处理装置500包括检测模块510、对焦采集模块520、增强模块530、融合模块540，其中：

检测模块510，用于检测电子设备所处的拍摄场景。

对焦采集模块520，用于若检测到电子设备处于逆光拍摄场景，通过摄像头采集对焦于逆光区域的第一图像，以及通过摄像头采集对焦于非逆光区域的第二图像。

增强模块530，用于分别对第一图像及第二图像进行增强处理。

融合模块540，用于将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像。

在一个实施例中，图像处理装置500还包括对准模块，其中：

对准模块，用于对增强处理后的第一图像和增强处理后的第二图像进行配准处理，从而使得增强处理后的第一图像的空间位置信息和增强处理后的第二图像的空间位置信息一致化。

融合模块540，还用于将配准处理后的第一图像和配准处理后的第二图像进行融合，得到第三图像。在一个实施例中，融合模块540，还用于将增强处理后的第一图像分解为第一高频分量和第一低频分量，将增强处理后的第二图像分解为第二高频分量和第二低频分量；其中，第一高频分量对应增强处理后的第一图像中的第一高频区域，第一低频分量对应增强处理后的第一图像中的第一低频区域；第二高频分量对应增强处理后的第二图像中的第二高频区域，第二低频分量对应增强处理后的第二图像中的第二低频区域；将第一高频分量和第二高频分量融合为第三高频分量，将第一低频分量和第二低频分量融合为第三低频分量；将所述第三高频分量和所述第三低频分量进行融合，以得到第三图像。

在一个实施例中，融合模块540，还用于计算第一高频分量对应的第一模值和第二高频分量对应的第二模值；将第一模值与第二模值进行比较，并确定第一模值与第二模值中最大的模值，若最大的模值为第一模值，则将第一高频分量作为第三高频分量，若最大的模值为第二模值，则将第二高频分量作为第三高频分量。

在一个实施例中，融合模块540，还用于根据第一低频分量和第二低频分量确定平均低频分量，将平均低频分量作为第三低频分量。

在一个实施例中，检测模块510，还用于获取通过摄像头采集的预览图像，计算预览图像的灰度值；若预览图像的灰度值大于预设灰度阈值，则确定电子设备处于逆光拍摄场景；若预览图像的灰度值小于或等于预设灰度阈值，则确定电子设备不处于逆光拍摄场景。

在一个实施例中，增强模块530，还用于对第一图像进行第一增强处理，对第二图像进行第二增强处理；其中，第一增强处理包括多尺度视网膜增强算法，第二增强处理包括同态滤波算法。

在本申请实施例中，电子设备能够检测当前所处的环境，在检测到电子设备处于逆光拍摄场景时，通过摄像头采集对焦于逆光区域的第一图像和对焦于非逆光区域的第二图像，而在逆光拍摄场景中曝光不足或者过曝的问题会使得第一图像和第二图像都会丢失部分的有效信息，通过将第一图像与第二图像增强处理后进行融合，能够将第一图像与第二图像中的有效信息进行互补，以及对第一图像与第二图像的增强处理能够提高第一图像与第二图像的清晰度及对比度，提高了在逆光拍摄场景下拍摄的图像的图像质量。

如图6所示，在一个实施例中，提供一种电子设备，该电子设备可以包括：

存储有可执行程序代码的存储器610；

与存储器610耦合的处理器620；

处理器620调用存储器610中存储的可执行程序代码，可实现如上述各实施例中提供的应用于电子设备的图像处理方法。

存储器610可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器610可用于存储指令、程序、代码、代码集或指令集。存储器610可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备在使用中所创建的数据等。

处理器620可以包括一个或者多个处理核。处理器620利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器610内的指令、程序、代码集或指令集，以及调用存储在存储器610内的数据，执行电子设备的各种功能和处理数据。可选地，处理器620可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器620可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器620中，单独通过一块通信芯片进行实现。

可以理解地，电子设备可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、WiFi(Wireless Fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，还可在此不进行限定。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，计算机程序在被处理器执行时，使得处理器执行上述各实施例中所描述的方法。

此外，本申请实施例进一步公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机可以执行上述实施例所描述的任意一种图像处理方法中的全部或部分步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种图像处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，其特征在于，应用于电子设备，包括：

检测所述电子设备所处的拍摄场景；

若检测到所述电子设备处于逆光拍摄场景，通过所述摄像头采集对焦于逆光区域的第一图像，以及通过所述摄像头采集对焦于非逆光区域的第二图像；

分别对所述第一图像及所述第二图像进行增强处理；

将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像。

2.根据权利要求1所述的方法，其特征在于，在所述将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像之前，所述方法还包括：

对增强处理后的第一图像和增强处理后的第二图像进行配准处理，从而使得所述增强处理后的第一图像的空间位置信息和所述增强处理后的第二图像的空间位置信息一致化；

所述将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像，包括：

将配准处理后的第一图像和配准处理后的第二图像进行融合，得到第三图像。

3.根据权利要求1或2所述的方法，其特征在于，所述将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像，包括：

将增强处理后的第一图像分解为第一高频分量和第一低频分量，将增强处理后的第二图像分解为第二高频分量和第二低频分量；其中，所述第一高频分量对应所述增强处理后的第一图像中的第一高频区域，所述第一低频分量对应所述增强处理后的第一图像中的第一低频区域；所述第二高频分量对应所述增强处理后的第二图像中的第二高频区域，所述第二低频分量对应所述增强处理后的第二图像中的第二低频区域；

将所述第一高频分量和所述第二高频分量融合为第三高频分量，将所述第一低频分量和所述第二低频分量融合为第三低频分量；

将所述第三高频分量和所述第三低频分量进行融合，以得到第三图像。

4.根据权利要求3所述的方法，其特征在于，所述将所述第一高频分量和所述第二高频分量融合为第三高频分量，包括：

计算所述第一高频分量对应的第一模值和所述第二高频分量对应的第二模值；

将所述第一模值与所述第二模值进行比较，并确定所述第一模值与所述第二模值中最大的模值，若所述最大的模值为所述第一模值，则将所述第一高频分量作为所述第三高频分量，若所述最大的模值为所述第二模值，则将所述第二高频分量作为所述第三高频分量。

5.根据权利要求3所述的方法，其特征在于，所述将所述第一低频分量和所述第二低频分量融合为第三低频分量，包括：

根据所述第一低频分量和所述第二低频分量确定平均低频分量，将所述平均低频分量作为第三低频分量。

6.根据权利要求1所述的方法，其特征在于，所述检测所述电子设备所处的拍摄场景，包括：

获取通过摄像头采集的预览图像，计算所述预览图像的灰度值；

若所述预览图像的灰度值大于预设灰度阈值，则确定所述电子设备处于逆光拍摄场景；

若所述预览图像的灰度值小于或等于所述预设灰度阈值，则确定所述电子设备不处于逆光拍摄场景。

7.根据权利要求1所述的方法，其特征在于，所述分别对所述第一图像及所述第二图像进行增强处理，包括：

对所述第一图像进行第一增强处理，对所述第二图像进行第二增强处理；其中，所述第一增强处理包括多尺度视网膜增强算法，所述第二增强处理包括同态滤波算法。

8.一种图像处理装置，其特征在于，包括：

检测模块，用于检测所述电子设备所处的拍摄场景；

对焦采集模块，用于若检测到所述电子设备处于逆光拍摄场景，通过所述摄像头采集对焦于逆光区域的第一图像，以及通过所述摄像头采集对焦于非逆光区域的第二图像；

增强模块，用于分别对所述第一图像及所述第二图像进行增强处理；

融合模块，用于将增强处理后的第一图像和增强处理后的第二图像进行融合，得到第三图像。

9.一种电子设备，其特征在于，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序在被处理器执行时，使得所述处理器执行如权利要求1至7任一项所述的方法。

Images