CN111028189A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法包括：获取至少两帧图像，并从该至少两帧图像中确定出参考帧图像和非参考帧图像；对该参考帧图像进行图像分割，分割得到多个不同区域；判断每一该区域是否需要进行图像融合；将需要进行图像融合的区域确定为目标区域；在每一该目标区域，将该参考帧图像和该非参考帧图像进行图像配准和图像融合，得到目标图像。本申请实施例可以提高图像的成像质量。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请属于图像技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

随着电子设备的拍摄能力越来越强大，用户经常使用电子设备进行图像拍摄，如拍摄照片或录制视频等。因此，电子设备经常需要进行各种图像处理操作。在图像处理中，电子设备可以获取同一拍摄场景下拍摄得到的多帧图像，并对这多帧图像进行图像配准和图像融合，从而得到相应的图像。然后，相关技术中，图像的成像质量仍然较差。

发明内容

本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以提高图像的成像质量。

本申请实施例提供一种图像处理方法，包括：

获取至少两帧图像，并从所述至少两帧图像中确定出参考帧图像和非参考帧图像；

对所述参考帧图像进行图像分割，分割得到多个不同区域；

判断每一所述区域是否需要进行图像融合；

将需要进行图像融合的区域确定为目标区域；

在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到目标图像。

本申请实施例提供一种图像处理装置，包括：

获取模块，用于获取至少两帧图像，并从所述至少两帧图像中确定出参考帧图像；

分割模块，用于对所述参考帧图像进行图像分割，分割得到多个不同区域；

判断模块，用于判断每一所述区域是否需要进行图像融合；

确定模块，用于将需要进行图像融合的区域确定为目标区域；

融合模块，用于在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到目标图像。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的图像处理方法中的流程。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的图像处理方法中的流程。

本申请实施例中，电子设备可以先从至少两帧图像中确定出参考帧图像和非参考帧图像。然后，电子设备可以将参考帧图像分割为多个不同区域，并分别判断各区域是否需要进行图像融合。对于需要进行图像融合的区域，电子设备可以在每一需要进行图像融合的区域，将参考帧图像和非参考帧图像进行图像配准和图像融合，从而最终得到目标图像。即，本申请实施例中，电子设备可以有选择性地对多帧图像进行局部配准对齐和融合，对于不需要融合的区域则不做图像融合，从而可以有效避免因图像中发生移动的局部区域无法对齐导致的“鬼影”问题，从而提高图像的成像质量。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。

图1是本申请实施例提供的图像处理方法的流程示意图。

图2是本申请实施例提供的图像处理方法的另一流程示意图。

图3至图4是本申请实施例提供的图像处理方法的场景示意图。

图5是本申请实施例提供的图像处理装置的结构示意图。

图6本申请实施例提供的电子设备的结构示意图。

图7是本申请实施例提供的电子设备的另一结构示意图。

图8是本申请实施例提供的图像处理电路的结构示意图。

具体实施方式

请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。

请参阅图1，图1是本申请实施例提供的图像处理方法的流程示意图，流程可以包括：

101、获取至少两帧图像，并从该至少两帧图像中确定出参考帧图像和非参考帧图像。

随着电子设备的拍摄能力越来越强大，用户经常使用电子设备进行图像拍摄，如拍摄照片或录制视频等。因此，电子设备经常需要进行各种图像处理操作。在图像处理中，电子设备可以获取同一拍摄场景下拍摄得到的多帧图像，并对这多帧图像进行图像配准和图像融合，从而得到相应的图像。然后，相关技术中，图像的成像质量仍然较差。比如，相关技术中在对多帧图像进行图像配准时，都是先针对整幅图像计算基于全局的仿射变换矩阵，然后利用该基于全局的仿射变换矩阵将多帧图像进行配准并融合。然而，这种方式容易导致图像中某些局部区域(尤其是图像拍摄过程中有物体发生移动的区域)无法对齐，从而出现诸如“鬼影”的问题，即成像质量较差。

在本申请实施例中，比如，电子设备可以先获取至少两帧图像，并从这至少两帧图像中确定出参考帧图像和非参考帧图像。

102、对参考帧图像进行图像分割，分割得到多个不同区域。

比如，在确定出参考帧图像后，电子设备可以对该参考帧图像进行图像分割，从而将该参考帧图像分割为多个不同的区域。

例如，电子设备可以利用语义分割的方式对参考帧图像进行图像分割，从而将图像分割为多个不同的区域。例如，图像分割为人体、天空、建筑物等多个不同的局部区域。

103、判断每一区域是否需要进行图像融合。

比如，在将参考帧图像分割为多个不同区域后，电子设备可以判断每一区域是否需要进行图像融合。

104、将需要进行图像融合的区域确定为目标区域。

105、在每一目标区域，将参考帧图像和非参考帧图像进行图像配准和图像融合，得到目标图像。

比如，104和105可以包括：

电子设备可以将需要进行图像融合的区域确定为目标区域，在每一个目标区域，该电子设备可以将参考帧图像和非参考帧图像进行图像配准和图像融合，从而最终得到目标图像。

例如，以两帧图像为例。这两帧图像可以是同一拍摄场景下连续拍摄得到的两帧图像，例如分别为图像A和图像B。其中，电子设备将图像A确定为参考帧图像，则图像B为非参考帧图像。之后，电子设备可以对图像A进行图像分割，例如图像A被分割为人体、天空和建筑物三个局部区域。然后，电子设备可以分别判断人体、天空和建筑物这三个区域是否需要进行图像融合。例如，电子设备判断出人体区域不需要进行图像融合，而天空区域和建筑物区域均需要进行图像融合。那么，电子设备可以将天空区域和建筑物区域均确定为目标区域。

在将天空区域和建筑物区域均确定为目标区域后，在天空这一局部区域，电子设备可以将图像A和图像B进行图像配准和融合，即电子设备可以将图像A的天空区域和图像B的天空区域进行图像配准和图像融合。同样的，在建筑物这一区域，电子设备可以将图像A和图像B进行图像配准和融合，即电子设备可以将图像A的建筑物区域和图像B的建筑物区域进行图像配准和图像融合。而对图像A中的人体这一局部区域，电子设备则可以不做融合处理。在所有目标区域都完成图像融合后最终得到目标图像。

可以理解的是，本申请实施例中，电子设备可以先从至少两帧图像中确定出参考帧图像和非参考帧图像。然后，电子设备可以将参考帧图像分割为多个不同区域，并分别判断各区域是否需要进行图像融合。对于需要进行图像融合的区域，电子设备可以在每一需要进行图像融合的区域，将参考帧图像和非参考帧图像进行图像配准和图像融合，从而最终得到目标图像。即，本申请实施例中，电子设备可以有选择性地对多帧图像进行局部配准对齐和融合，对于不需要融合的区域则不做图像融合，从而可以有效避免因图像中发生移动的局部区域无法对齐导致的“鬼影”问题，从而提高图像的成像质量。

另外，由于本申请实施例可以有选择性地对多帧图像进行局部配准对齐和融合，而不是一概使用基于全局仿射变换矩阵进行的图像配准和图像融合，因此本申请实施例还可以提高图像处理的灵活性。

请参阅图2，图2为本申请实施例提供的图像处理方法的另一流程示意图，流程可以包括：

201、电子设备获取至少两帧图像，并从该至少两帧图像中确定出参考帧图像和非参考帧图像，该至少两帧图像具有不同的曝光度。

比如，本实施例以两帧图像A和B来说明本申请提供的图像处理方法。例如，电子设备可以先获取两帧图像，分别为图像A和图像B。其中，该图像A和图像B具有不同的曝光度。即，图像A和图像B是在不同的曝光参数下拍摄得到的图像。并且，该图像A和图像B是在间隔很短的时间(例如5毫秒或者10毫秒等等)快速拍摄得到的图像。由于拍摄间隔时间很短，因此可以认为图像A和图像B是在相同场景下拍摄得到的图像。

在获取到图像A和图像B后，电子设备可以从这两帧图像中确定出参考帧图像和非参考帧图像。例如，电子设备可以将图像A和B中清晰度较高的图像确定为参考帧图像，而将清晰度较低的那帧图像确定为非参考帧图像。例如，本实施例中电子设备将图像A确定为参考帧图像，则图像B为非参考帧图像。

在一些实施方式中，图像A和图像B可以是除了曝光时间不一样外，其它曝光参数均相同。例如，图像A的曝光时间为T1，图像B的曝光时间为T2，其中T1大于T2。例如，T1可以是一长曝光时间，而T2可以是一短曝光时间，从而使得图像A为长曝光图像，而图像B为短曝光图像。当然，在其它实施方式中，图像A也可以是长曝光图像，而图像B可以是正常曝光图像。或者，图像A为正常曝光图像，而图像B为短曝光图像，等等，本实施例对此不做具体限定。

在其它实施方式中，图像A和图像B也可以是所有的曝光参数均不同，只要使得图像A和图像B具有不同的曝光度即可，本实施例对此不做具体限定。

202、电子设备对参考帧图像进行图像分割，分割得到多个不同区域。

比如，在确定出参考帧图像和非参考帧图像后，电子设备可以对参考帧图像进行图像分割，从而将参考帧图像分割为多个不同的区域(至少两个区域)。

例如，参考帧图像为A。那么，电子设备可以对图像A进行图像分割，从而将图像A分割为多个不同的区域。

需要说明的是，图像分割就是把图像分成若干个特定的、具有独特性质的区域。在一些实施方式中，本实施例可以采用如下方式来对图像进行分割：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。

比如，电子设备可以利用语义分割的方式对参考帧图像进行图像分割，从而将图像分割为多个不同的区域。

例如，图像A被分割为人体、天空、建筑物等多个不同的局部区域。

203、对于每一区域，电子设备获取亮度分布信息，并根据亮度分布信息检测该区域中亮度值大于第一亮度阈值的像素数量是否大于预设第一阈值，或者所述区域中亮度值小于第二亮度阈值的像素数量是否大于预设第二阈值，其中该第一亮度阈值大于该第二亮度阈值；其中，若区域中亮度值大于第一亮度阈值的像素数量大于预设第一阈值，或者区域中亮度值小于第二亮度阈值的像素数量大于预设第二阈值，则电子设备判断出该区域需要进行HDR融合；若区域中亮度值大于第一亮度阈值的像素数量小于或等于预设第一阈值，并且该区域中亮度值小于第二亮度阈值的像素数量小于或等于预设第二阈值，则电子设备判断出所述区域不需要进行HDR融合。

比如，在将参考帧图像A分割为多个不同区域后，电子设备可以检测每一区域是否需要进行HDR融合。例如，电子设备可以获取每一区域的亮度分布信息，并根据该亮度分布信息来判断该区域是否需要进行HDR融合。例如，若一个区域的亮度分布信息显示该区域过曝或者欠曝，则该区域需要进行HDR融合。若一个区域的亮度分布信息显示该区域不会过曝或者欠曝，则该区域可以不进行HDR融合。

在本实施例中，对于每一区域，电子设备可以获取该区域的亮度分布信息，并根据亮度分布信息检测该区域中亮度值大于第一亮度阈值的像素数量是否大于预设第一阈值，或者所述区域中亮度值小于第二亮度阈值的像素数量是否大于预设第二阈值，其中该第一亮度阈值大于该第二亮度阈值。

其中，若该区域中亮度值大于第一亮度阈值的像素数量大于预设第一阈值，或者该区域中亮度值小于第二亮度阈值的像素数量大于预设第二阈值，则电子设备可以判断出该区域需要进行HDR融合。需要说明的是，当某一个区域中亮度值大于第一亮度阈值的像素数量大于预设第一阈值时，表明该区域中过曝的像素数量过多。当某一区域中亮度值小于第二亮度阈值的像素数量大于预设第二阈值时，表明该区域中欠曝的像素数量过多。当检测到某一区域中过曝的像素数量过多或者欠曝的像素数量过多时，电子设备可以判断出该区域需要进行HDR融合。否则，电子设备可以判断出该区域不需要进行HDR融合。即，若该区域中亮度值大于第一亮度阈值的像素数量小于或等于预设第一阈值，并且该区域中亮度值小于第二亮度阈值的像素数量小于或等于预设第二阈值，则电子设备可以判断出所述区域不需要进行HDR融合。需要说明的是，当某一个区域中亮度值大于第一亮度阈值的像素数量小于或等于预设第一阈值，并且该区域中亮度值小于第二亮度阈值的像素数量小于或等于预设第二阈值时，表明该区域中大部分的像素不会过曝或欠曝。在这种情况下，电子设备可以判断出该区域不需要进行HDR融合。

例如，本实施中，电子设备通过检测确定出图像A中的人体区域不需要进行HDR融合，而天空区域和建筑物区域需要进行HDR融合。

204、在每一区域，根据参考帧图像和非参考帧图像，电子设备检测是否存在零散分布的移动物体。

205、电子设备将需要进行HDR融合且不存在零散分布的移动物体的区域确定为目标区域。

比如，204和205可以包括：

在确定出需要进行HDR融合和不需要进行HDR融合的区域后，对于分割得到的每一区域，电子设备还可以根据参考帧图像和非参考帧图像，检测每一区域是否存在零散分布的移动物体。

在确定出每一区域是否存在零散分布的移动物体后，电子设备可以将需要进行HDR融合并且不存在零散分布的移动物体的区域确定为目标区域。

例如，电子设备可以将需要进行HDR融合且不存在零散分布的移动物体的天空区域和建筑物区域确定为目标区域。

在本实施例中，电子设备可以根据参考帧图像和非参考帧图像，检测每一区域内是否存在零散分布的移动物体。

需要说明的是，上述零散分布的移动物体可以是指诸如晃动的树叶、水波等物体。

需要说明的是，当某一区域存在零散分布的移动物体时，比如该区域存在晃动的树叶或者水波等情形，由于零散分布的移动物体(如水波等)容易导致图像配准时的特征点检测和匹配出错，并且这些情形下会使设备花费较多的时间和资源来检测特征点，因此为了避免图像配准错误以及特征点检测带来的额外算力开销，该存在零散分布的移动物体的区域不适宜进行图像配准和HDR融合。

例如，电子设备检测到参考帧图像A的天空区域和建筑物区域都不存在零散分布的移动物体，那么在天空区域，电子设备可以将图像B向图像A做图像配准和图像融合。同理，在建筑物区域，电子设备可以将图像B向图像A做图像配准和图像融合。在天空区域和建筑物区域进行的HDR融合可以是电子设备在参考帧图像A的基础上进行的HDR融合。

在一些实施方式中，电子设备可以通过如下方式来检测每一区域是否存在零散分布的移动物体：例如，对于每一区域，电子设备可以先将非参考帧图像和参考帧图像对齐，并对对齐后的两帧图像的各对应位置的像素值求差，然后电子设备可以确定出像素值差值大于预设差值阈值的像素点的位置，并检测这些像素点的位置分布或者由这些像素点构成的区域是否为零散分布(非连续分布)。若为零散分布，则电子设备确定出该区域存在零散分布的移动物体。

在另一种实施方式中，当检测出某一区域存在零散分布的移动物体时，电子设备还可以进一步检测零散分布的移动物体的数量是否大于或等于预设的数值，若大于或等于预设的数值，则可以确定出该区域不适宜进行图像配准和图像融合。

当然，在其它实施方式中，电子设备还可以通过其它方式来检测某一区域是否存在发生移动的物体，并检测发生移动的物体构成的区域是否是零散分布的。当检测出某一区域存在零散分布的移动物体时，电子设备还可以进一步检测零散分布的移动物体的数量是否大于或等于预设的数值，若大于或等于预设的数值，则可以确定出该区域不适宜进行图像配准和图像融合。

206、在每一目标区域，电子设备将参考帧图像和非参考帧图像进行图像配准和图像融合。

207、电子设备对判断出的需要进行图像融合且存在零散分布的移动物体的区域进行亮度调整。

208、在亮度调整完成后，电子设备得到目标图像。

比如，206、207和208可以包括：

对于需要进行图像配准和图像融合的目标区域，电子设备可以通过特征点检测、特征点匹配并基于匹配的特征点计算仿射变换矩阵，以及基于仿射变换矩阵在该目标区域将非参考帧图像向参考帧图像做图像配准，并在图像配准之后进行图像融合。

在目标区域的图像融合完成后，电子设备可以对判断出的需要进行HDR融合但存在零散分布的移动物体的区域进行亮度调整，并在亮度调整完成后，得到目标图像。

需要说明的是，由于判断出的需要进行HDR融合但存在零散分布的移动物体的区域本来是需要做图像融合的，但是由于这些区域中存在零散分布的移动物体，而零散分布的移动物体容易导致特征点检测、匹配出错并消耗过多的算力(即运算资源)，因此本实施例选择不对这些存在零散分布的移动物体的区域进行图像配准和图像融合。但由于这些区域的周边区域可能进行了HDR融合，因此本实施例可以对这些本来要进行HDR融合但没有进行HDR融合的区域进行亮度调整。例如，电子设备可以根据这些区域周边的、进行了HDR融合的区域(即判断出的需要进行HDR融合且不存在零散分布的移动物体的目标区域)的亮度调整这些没有进行HDR融合的区域的亮度，在亮度调整完成后，电子设备可以得到目标图像。

需要说明的是，亮度调整可能是将亮度调亮，也可以是将亮度调暗。

由于电子设备可以根据周边进行了HDR融合的区域的亮度来调整没有进行HDR融合的区域的亮度，因此电子设备得到的目标图像的成像质量更高。

在另一种实施方式中，当参考帧图像和非参考帧图像具有不同的曝光度，且图像融合为HDR融合时，电子设备还可以通过如下方式来判断每一分割得到的区域是否需要进行图像融合，包括：

对于每一区域，电子设备获取动态范围分数，并根据该动态范围分数判断该区域是否需要进行HDR融合，其中该动态范围分数为第一像素数量和第二像素数量之和与图像总像素数量的比例，该第一像素数量为图像中亮度值大于第一亮度阈值的像素点数量，该第二像素数量为图像中亮度值小于第二亮度阈值的像素点数量，第一亮度阈值大于第二亮度阈值；

其中，若所述区域的动态范围分数位于预设数值范围内，则判断出所述区域不需要进行HDR融合；

若所述区域的动态范围分数不位于所述预设数值范围内，则判断出所述区域需要进行HDR融合。

比如，在将参考帧图像分割为多个不同区域后，对于分割得到的每一区域，电子设备可以计算该区域的动态范围分数，其中，该动态范围分数为第一像素数量和第二像素数量之和与图像总像素数量的比例，该第一像素数量为图像中亮度值大于第一亮度阈值的像素点数量，该第二像素数量为图像中亮度值小于第二亮度阈值的像素点数量，第一亮度阈值大于第二亮度阈值。即，一个区域的动态范围分数为该区域内的过曝像素数量和欠曝像素数量之和与图像总像素数量的比例。若该区域的动态范围分数位于预设数值范围内，则表明该区域不会过曝也不会欠曝，此时可以判断出该区域不需要进行HDR融合。若该区域的动态范围分数不位于预设数值范围内，则表明该区域或者是过曝或者是欠曝，此时可以判断出该区域需要进行HDR融合。

在其他实施方式中，上述动态范围分数还可以仅是第一像素数量与图像总像素数量的比例，即当一个区域对应的图像中过曝的像素比例较多时可以判断出该区域需要进行HDR融合。或者，上述动态范围分数还可以仅是第二像素数量与图像总像素数量的比例，即当一个区域对应的图像中欠曝的像素比例较多时可以判断出该区域需要进行HDR融合。

在一种实施方式中，本实施例还可以包括如下流程：在将参考帧图像和非参考帧图像进行图像配准和图像融合后，电子设备可以得到融合图像，并对该融合图像中不同区域之间的过渡区域进行平滑处理，从而得到目标图像。

比如，在每一目标区域，电子设备将参考帧图像和非参考帧图像进行图像配准和图像融合，得到目标图像的流程，可以包括：在每一目标区域，电子设备将参考帧图像和非参考帧图像进行图像配准和图像融合，得到融合图像；对融合图像中不同区域之间的过渡区域进行平滑处理，得到目标图像。

需要说明的是，不同区域之间的过渡区域可以是不同区域之间的交接的边缘位置。在一些实施方式中，电子设备可以在不同区域之间的过渡区域使用双线性插值的方式来对过渡区域进行平滑处理。

在一种实施方式中，电子设备可以获取多个目标图像，并根据该多个目标图像得到目标视频。例如，每一目标图像由包含至少两帧图像的一组图像处理得到，并且每组图像由不同的图像构成。

请参阅图3至图4，图3至图4为本申请实施例提供的图像处理方法的场景示意图。

以电子设备在同一场景下拍摄了3张具有不同曝光度的图像为例来说明本申请实施例提供的图像处理方法。例如，这3张具有不同曝光度的图像分别为图像D、E、F。电子设备可以先获取图像D、E、F，并从图像D、E、F中确定出参考帧图像和非参考帧图像。例如，电子设备将清晰度最高的图像D确定为参考帧图像，则图像E和F为非参考帧图像。

之后，电子设备可以对参考帧图像D做图像分割，从而将图像D分割为多个不同区域。例如，图像D被分割为人体、天空、建筑物、湖面这四个区域，如图3所示。

然后，电子设备可以判断每一区域是否需要进行HDR融合。例如，对于每一区域，电子设备可以获取该区域的亮度分布信息，并根据该区域的亮度分布信息来判断该区域是否需要进行HDR融合。若该区域为过曝区域或者欠曝区域，则需要进行HDR融合。若该区域不是过曝区域也不是欠曝区域，那么该区域可以不做HDR融合。

例如，本实施例中，电子设备判断出人体区域不需要进行HDR融合，而天空区域、建筑物区域和湖面区域需要进行HDR融合。

之后，电子设备还可以根据参考帧图像和非参考帧图像检测每一区域是否存在零散分布的移动物体。对于存在零散分布的移动物体的区域，电子设备可以确定出该区域不适宜进行图像配准和图像融合。而对于判断出的需要进行HDR融合且不存在零散分布的移动物体的区域，电子设备可以将这些区域确定为目标区域。

例如，电子设备检测出天空区域和建筑物区域不存在零散分布的移动物体。而湖面区域存在零散分布的移动物体，例如湖面区域存在水波。

在这种情况下，电子设备可以将天空区域、建筑物区域确定为目标区域。

在这种情况下，电子设备可以计算图像D和图像E在天空区域的仿射变换矩阵，并基于该仿射变换矩阵在天空区域将图像D和E配准。此外，电子设备可以计算图像D和图像F在天空区域的仿射变换矩阵，并基于该仿射变换矩阵在天空区域将图像D和F配准。这样的话，在天空区域，图像D、E、F就完成了对齐。在图像对齐后，电子设备可以将图像D、E、F进行HDR融合。

同理，电子设备可以计算图像D和图像E在建筑物区域的仿射变换矩阵，并基于该仿射变换矩阵在建筑物区域将图像D和E配准。此外，电子设备可以计算图像D和图像F在建筑物区域的仿射变换矩阵，并基于该仿射变换矩阵在建筑物区域将图像D和F配准。这样的话，在建筑物区域，图像D、E、F就完成了对齐。在图像对齐后，电子设备可以将图像D、E、F进行HDR融合。

在本实施例中，例如湖面区域和天空区域以及建筑物区域均相接，那么在天空区域和建筑物区域完成HDR融合后，电子设备可以根据天空区域和建筑物区域的亮度对湖面区域的亮度进行调整。在亮度调整后，电子设备可以对不同区域之间的过渡区域进行平滑处理，从而得到目标图像，该目标图像具有高动态范围的效果，成像质量好。

本申请实施例提供的图像处理方法还可以应用于拍摄具有高动态范围效果的视频。例如，在相同场景下，电子设备按照预设帧率(例如每秒30帧或者每秒60帧等)交替进行长、短曝光。需要说明的是，这里交替进行的长、短曝光可以是除了曝光时间不同之外，其它曝光参数相同。曝光得到的图像可以缓存到一预设的图像缓存队列中，电子设备可以从该图像缓存队列中获取图像，并对获取到的图像进行HDR融合处理。

例如，对于当前拍摄场景，如图4所示，电子设备交替进行长短曝光依次得到图像L1、S1、L2、S2、L3、S3等图像。其中，L1、L2和L3为长曝光图像，它们具有相同的曝光时间T1。S1、S2和S3为短曝光图像，它们具有相同的曝光时间T2。其中，T1大于T2。

利用本实施提供的图像处理方法，电子设备可以对图像L1和S1进行HDR融合，得到目标图像P1。电子设备可以对图像S1和L2进行HDR融合，得到目标图像P2。电子设备可以对图像L2和S2进行HDR融合，得到目标图像P3。电子设备可以对图像S2和L3进行HDR融合，得到目标图像P4，等等，依次类推。

在依次得到目标图像P1、P2、P3和P4后，电子设备可以将目标图像P1、P2、P3和P4等图像依次保存为视频帧，那么由于目标图像P1、P2、P3和P4均为具有高动态范围效果的图像，因此拍摄得到的视频也具有高动态范围效果，即电子设备可以拍摄得到具有高动态范围效果的视频。

需要说明的是，本实施例得到的具有HDR效果的视频，由于是对用于生成视频帧的图像进行有选择性的局部对齐和融合，因此本实施例可以有效避免用于生成视频帧的图像是基于整幅图像计算的全局仿射变换矩阵做图像配准和融合而带来的时域上不连续的问题，即本实施例提供的具有HDR效果的视频的成像质量更好。

请参阅图5，图5为本申请实施例提供的图像处理装置的结构示意图。图像处理装置300可以包括：获取模块301，分割模块302，判断模块303，确定模块304，以及融合模块305。

获取模块301，用于获取至少两帧图像，并从所述至少两帧图像中确定出参考帧图像。

分割模块302，用于对所述参考帧图像进行图像分割，分割得到多个不同区域。

判断模块303，用于判断每一所述区域是否需要进行图像融合。

确定模块304，用于将需要进行图像融合的区域确定为目标区域。

融合模块305，用于在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到目标图像。

在一种实施方式中，所述至少两帧图像具有不同的曝光度，所述图像融合为HDR融合；

所述判断模块303可以用于：

对于每一所述区域，获取动态范围分数，并根据所述动态范围分数判断所述区域是否需要进行HDR融合，其中所述动态范围分数为第一像素数量和第二像素数量之和与图像总像素数量的比例，所述第一像素数量为图像中亮度值大于第一亮度阈值的像素点数量，所述第二像素数量为图像中亮度值小于第二亮度阈值的像素点数量，所述第一亮度阈值大于所述第二亮度阈值；

其中，若所述区域的动态范围分数位于预设数值范围内，则判断出所述区域不需要进行HDR融合；

若所述区域的动态范围分数不位于所述预设数值范围内，则判断出所述区域需要进行HDR融合。

在一种实施方式中，所述至少两帧图像具有不同的曝光度，所述图像融合为HDR融合；

所述判断模块303可以用于：对于每一所述区域，获取亮度分布信息，并根据所述亮度分布信息判断所述区域是否需要进行HDR融合。

在一种实施方式中，所述判断模块303可以用于：

根据所述亮度分布信息，检测所述区域中亮度值大于第一亮度阈值的像素数量是否大于预设第一阈值，或者所述区域中亮度值小于第二亮度阈值的像素数量是否大于预设第二阈值，其中所述第一亮度阈值大于所述第二亮度阈值；

若所述区域中亮度值大于第一亮度阈值的像素数量大于预设第一阈值，或者所述区域中亮度值小于第二亮度阈值的像素数量大于预设第二阈值，则判断出所述区域需要进行HDR融合；

若所述区域中亮度值大于第一亮度阈值的像素数量小于或等于预设第一阈值，并且所述区域中亮度值小于第二亮度阈值的像素数量小于或等于预设第二阈值，则判断出所述区域不需要进行HDR融合。

在一种实施方式中，所述判断模块303可以用于：在每一所述区域，根据所述参考帧图像和所述非参考帧图像，检测是否存在零散分布的移动物体。

那么，所述确定模块304可以用于：将需要进行图像融合且不存在零散分布的移动物体的区域确定为目标区域。

在一种实施方式中，所述融合模块305可以用于：对判断出的需要进行图像融合且存在零散分布的移动物体的区域进行亮度调整。

在一种实施方式中，所述融合模块305可以用于：

在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到融合图像；

对所述融合图像中不同区域之间的过渡区域进行平滑处理，得到目标图像。

在一种实施方式中，所述融合模块305还可以用于：

获取多个目标图像，并根据所述多个目标图像得到目标视频。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的图像处理方法中的流程。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的图像处理方法中的流程。

例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图6，图6为本申请实施例提供的电子设备的结构示意图。

该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解，图6中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

摄像模组401可以包括透镜和图像传感器，其中透镜用于采集外部的光源信号提供给图像传感器，图像传感器感应来自于透镜的光源信号，将其转换为数字化的原始图像数据，即RAW图像数据。RAW是未经处理、也未经压缩的格式，可以将其形象地称为“数字底片”。摄像模组401可以包括一个摄像头或者两个及以上的摄像头。

存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。

处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：

获取至少两帧图像，并从所述至少两帧图像中确定出参考帧图像和非参考帧图像；

对所述参考帧图像进行图像分割，分割得到多个不同区域；

判断每一所述区域是否需要进行图像融合；

将需要进行图像融合的区域确定为目标区域；

在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到目标图像。

请参阅图7，电子设备400可以包括摄像模组401、存储器402、处理器403、触摸显示屏404、扬声器405、麦克风406等部件。

摄像模组401可以包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括：摄像头、图像信号处理器(Image Signal Processor，ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息，并提供可由图像信号处理器处理的一组原始图像数据。

图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。

图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像存储器的图像数据时，图像信号处理器可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器，以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，图像信号处理器的输出还可发送给图像存储器，且显示器可从图像存储器读取图像数据。在一种实施方式中，图像存储器可被配置为实现一个或多个帧缓冲器。

图像信号处理器确定的统计数据可发送给控制逻辑器。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。

控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据，确定摄像头的控制参数以及ISP控制参数。例如，摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵等。

请参阅图8，图8为本实施例中图像处理电路的结构示意图。如图8所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

例如图像处理电路可以包括：摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中，摄像头可以包括一个或多个透镜和图像传感器。

摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数，从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外，第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。

此外，图中没有展示的，电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接，CPU用于实现全局控制。供电模块用于为各个模块供电。

存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。

处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

输入单元404可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

输出单元405可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。输出单元可包括显示面板。

在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：

获取至少两帧图像，并从所述至少两帧图像中确定出参考帧图像和非参考帧图像；

对所述参考帧图像进行图像分割，分割得到多个不同区域；

判断每一所述区域是否需要进行图像融合；

将需要进行图像融合的区域确定为目标区域；

在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到目标图像。

在一种实施方式中，所述至少两帧图像具有不同的曝光度，所述图像融合为HDR融合。

那么，处理器403执行所述判断每一所述区域是否需要进行图像融合时，可以执行：对于每一所述区域，获取动态范围分数，并根据所述动态范围分数判断所述区域是否需要进行HDR融合，其中所述动态范围分数为第一像素数量和第二像素数量之和与图像总像素数量的比例，所述第一像素数量为图像中亮度值大于第一亮度阈值的像素点数量，所述第二像素数量为图像中亮度值小于第二亮度阈值的像素点数量，所述第一亮度阈值大于所述第二亮度阈值；其中，若所述区域的动态范围分数位于预设数值范围内，则判断出所述区域不需要进行HDR融合；若所述区域的动态范围分数不位于所述预设数值范围内，则判断出所述区域需要进行HDR融合。

在一种实施方式中，所述至少两帧图像具有不同的曝光度，所述图像融合为HDR融合。

那么，处理器403执行所述判断每一所述区域是否需要进行图像融合时，可以执行：对于每一所述区域，获取亮度分布信息，并根据所述亮度分布信息判断所述区域是否需要进行HDR融合。

在一种实施方式中，处理器403执行所述根据所述亮度分布信息判断所述区域是否需要进行HDR融合时，可以执行：根据所述亮度分布信息，检测所述区域中亮度值大于第一亮度阈值的像素数量是否大于预设第一阈值，或者所述区域中亮度值小于第二亮度阈值的像素数量是否大于预设第二阈值，其中所述第一亮度阈值大于所述第二亮度阈值；若所述区域中亮度值大于第一亮度阈值的像素数量大于预设第一阈值，或者所述区域中亮度值小于第二亮度阈值的像素数量大于预设第二阈值，则判断出所述区域需要进行HDR融合；若所述区域中亮度值大于第一亮度阈值的像素数量小于或等于预设第一阈值，并且所述区域中亮度值小于第二亮度阈值的像素数量小于或等于预设第二阈值，则判断出所述区域不需要进行HDR融合。

在一种实施方式中，处理器403还可以执行：在每一所述区域，根据所述参考帧图像和所述非参考帧图像，检测是否存在零散分布的移动物体。

那么，处理器403执行所述将需要进行图像融合的区域确定为目标区域时，可以执行：将需要进行图像融合且不存在零散分布的移动物体的区域确定为目标区域。

在一种实施方式中，在所述目标区域的图像融合完成后，处理器403还可以执行：对判断出的需要进行图像融合且存在零散分布的移动物体的区域进行亮度调整。

在一种实施方式中，处理器403执行所述在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到目标图像时，可以执行：在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到融合图像；对所述融合图像中不同区域之间的过渡区域进行平滑处理，得到目标图像。

在一种实施方式中，处理器403还可以执行：获取多个目标图像，并根据所述多个目标图像得到目标视频。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像处理方法的详细描述，此处不再赘述。

本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思，在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法，其具体实现过程详见所述图像处理方法实施例，此处不再赘述。

需要说明的是，对本申请实施例所述图像处理方法而言，本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本申请实施例的所述图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

获取至少两帧图像，并从所述至少两帧图像中确定出参考帧图像和非参考帧图像；

对所述参考帧图像进行图像分割，分割得到多个不同区域；

判断每一所述区域是否需要进行图像融合；

将需要进行图像融合的区域确定为目标区域；

在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述至少两帧图像具有不同的曝光度，所述图像融合为HDR融合；

所述判断每一所述区域是否需要进行图像融合，包括：

对于每一所述区域，获取动态范围分数，并根据所述动态范围分数判断所述区域是否需要进行HDR融合，其中所述动态范围分数为第一像素数量和第二像素数量之和与图像总像素数量的比例，所述第一像素数量为图像中亮度值大于第一亮度阈值的像素点数量，所述第二像素数量为图像中亮度值小于第二亮度阈值的像素点数量，所述第一亮度阈值大于所述第二亮度阈值；

其中，若所述区域的动态范围分数位于预设数值范围内，则判断出所述区域不需要进行HDR融合；

若所述区域的动态范围分数不位于所述预设数值范围内，则判断出所述区域需要进行HDR融合。

3.根据权利要求1所述的图像处理方法，其特征在于，所述至少两帧图像具有不同的曝光度，所述图像融合为HDR融合；

所述判断每一所述区域是否需要进行图像融合，包括：

对于每一所述区域，获取亮度分布信息，并根据所述亮度分布信息判断所述区域是否需要进行HDR融合。

4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述亮度分布信息判断所述区域是否需要进行HDR融合，包括：

根据所述亮度分布信息，检测所述区域中亮度值大于第一亮度阈值的像素数量是否大于预设第一阈值，或者所述区域中亮度值小于第二亮度阈值的像素数量是否大于预设第二阈值，其中所述第一亮度阈值大于所述第二亮度阈值；

若所述区域中亮度值大于第一亮度阈值的像素数量大于预设第一阈值，或者所述区域中亮度值小于第二亮度阈值的像素数量大于预设第二阈值，则判断出所述区域需要进行HDR融合；

若所述区域中亮度值大于第一亮度阈值的像素数量小于或等于预设第一阈值，并且所述区域中亮度值小于第二亮度阈值的像素数量小于或等于预设第二阈值，则判断出所述区域不需要进行HDR融合。

5.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

在每一所述区域，根据所述参考帧图像和所述非参考帧图像，检测是否存在零散分布的移动物体；

所述将需要进行图像融合的区域确定为目标区域，包括：将需要进行图像融合且不存在零散分布的移动物体的区域确定为目标区域。

6.根据权利要求5所述的图像处理方法，其特征在于，在所述目标区域的图像融合完成后，所述方法还包括：

对判断出的需要进行图像融合且存在零散分布的移动物体的区域进行亮度调整。

7.根据权利要求1所述的图像处理方法，其特征在于，所述在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到目标图像，包括：

在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到融合图像；

对所述融合图像中不同区域之间的过渡区域进行平滑处理，得到目标图像。

8.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

获取多个目标图像，并根据所述多个目标图像得到目标视频。

9.一种图像处理装置，其特征在于，包括：

获取模块，用于获取至少两帧图像，并从所述至少两帧图像中确定出参考帧图像；

分割模块，用于对所述参考帧图像进行图像分割，分割得到多个不同区域；

判断模块，用于判断每一所述区域是否需要进行图像融合；

确定模块，用于将需要进行图像融合的区域确定为目标区域；

融合模块，用于在每一所述目标区域，将所述参考帧图像和所述非参考帧图像进行图像配准和图像融合，得到目标图像。

10.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求1至8中任一项所述的方法。

11.一种电子设备，包括存储器，处理器，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至8中任一项所述的方法。

Images