CN117437161A - 高动态范围图像的鬼影补偿方法、装置、设备及介质 - Google Patents

Abstract

本发明提供了一种高动态范围图像的鬼影补偿方法、装置、设备及介质，包括：获取同一拍摄场景下不同曝光程度的N帧图像；对N帧图像进行鬼影检测；N帧图像中未检测到鬼影，将N帧图像进行金字塔融合得到融合图像；N帧图像中检测到有鬼影，从所述N帧图像中确定M帧补偿帧；根据M帧补偿帧中鬼影连通域生成M张鬼影补偿掩膜图像，根据M张鬼影补偿掩膜图像调整N帧图像的金字塔融合权重图像，基于N帧图像的调整后金字塔融合权重图像进行金字塔融合得到补偿后图像。本发明根据信息量自适应选择补偿帧后根据不同的补偿帧采用不同的补偿策略，使HDR图像的鬼影补偿效果更自然。本发明计算复杂度低，可在低端性能的平台上使用。

Description

高动态范围图像的鬼影补偿方法、装置、设备及介质

技术领域

本发明涉及图像融合技术领域，尤其涉及一种高动态范围图像的鬼影补偿方法、装置、设备及介质。

背景技术

随着计算机技术、多媒体技术的发展，人们对数字图像品质的要求日益提升，而高动态范围图像技术的研究，能极大促进数字图像技术朝着更大信息量、更好视觉效果的方向发展。一般的图像生成和显示设备的动态范围都很小，不能满足高动态范围图像技术的要求。而高端的高动态范围图像生成和显示设备较为昂贵，无法在消费类电子及民用产品上普遍使用。目前，较为经济的解决思路是通过拍摄同一场景多帧不同曝光量的低动态范围图像，这些图像有着真实场景中不同区间的动态范围，通过图像处理算法将多帧图像合成一帧高动态范围图像，使其在一般显示设备上完整显示出来。然而，该方法仅适用于静态场景下拍摄的多帧图像，真实场景中，这种同一场景不同曝光度的图像取自不同的时刻，不可避免会出现运动物体如行人、车辆等，直接对这些图像进行融合就会在最终的图像中出现移动像素的叠加，表现为鬼影，极大的影响图像质量。

针对鬼影区域的补偿，较多做法是在检测出鬼影区域后用多帧中的某一帧来补偿，如采用欠曝帧，因为欠曝帧的拍摄时间较短，运动模糊更少，高光压制更好，但欠曝帧较暗，可能有一定的暗区信息丢失，提亮后的色彩恢复也有一定难度，甚至出现噪声和色彩分层，运动补偿时较难恢复出自然的视觉效果；或者采用参考帧，因为参考帧的亮度和色彩最符合最终高动态范围(High Dynamic Range，HDR)图像的效果，但参考帧往往会有过曝区，如果参考帧待补偿的鬼影区域正好有过曝，此处没有信息量，那直接用参考帧补偿将会出现发灰，与其他非鬼影区域差异较大而显得非常突兀；近年来，基于深度学习的去鬼影高动态图像生成方法较多，且效果很好，但基于深度学习的方法需要海量的数据集，且计算复杂度较高，部署时对硬件要求较高，不适合在低端性能的平台上使用。

因此，有必要提出一种高动态范围图像的鬼影补偿方法、装置、设备及介质以解决上述问题。

发明内容

本发明的目的在于提供一种高动态范围图像的鬼影补偿方法、装置、设备及介质，用以改善现有的鬼影补偿方法无法既达到自然的鬼影补偿效果，又适合在低端性能的平台上使用的问题。

第一方面，本发明提供了一种高动态范围图像的鬼影补偿方法，该方法包括：

步骤S101：获取同一拍摄场景下不同曝光程度的N帧图像，其中，所述N帧图像包括一帧参考帧、至少一帧欠曝帧和/或至少一帧过曝帧，N为大于等于2的正整数；

步骤S102：对所述N帧图像进行鬼影检测；

步骤S103：所述N帧图像中未检测到鬼影，将所述N帧图像进行金字塔融合得到融合图像，所述N帧图像中检测到有鬼影，从所述N帧图像中确定M帧补偿帧，根据M帧所述补偿帧中鬼影连通域生成M张鬼影补偿掩膜图像，根据M张所述鬼影补偿掩膜图像调整所述N帧图像的金字塔融合权重图像，基于所述N帧图像的调整后的金字塔融合权重图像进行金字塔融合，得到补偿后图像，其中，所述补偿帧与所述鬼影补偿掩膜图像一一对应，M为正整数。

在一种可能的实施例中，从所述N帧图像中确定M帧补偿帧，包括：

根据所述N帧图像中鬼影区域，生成一张鬼影掩膜图像；

针对所述鬼影掩膜图像的每个鬼影连通域分别统计所述N帧图像在各所述鬼影连通域内的信息量，选择每个所述鬼影连通域内信息量最丰富的一帧作为对应的所述鬼影连通域的补偿帧，得到M帧所述补偿帧。

在一种可能的实施例中，针对所述鬼影掩膜图像的每个鬼影连通域分别统计所述N帧图像在各所述鬼影连通域内的信息量，选择每个所述鬼影连通域内信息量最丰富的一帧作为对应的所述鬼影连通域的补偿帧，得到M帧所述补偿帧，包括：

计算所述N帧图像的高斯金字塔权重，得到所述N帧图像在各所述鬼影连通域内的金字塔权重，选择每个所述鬼影连通域的金字塔权重最大的一帧作为对应的所述鬼影连通域的补偿帧，得到M帧所述补偿帧；或，

分别统计所述N帧图像在各所述鬼影连通域内介于设定阈值范围内的像素数目，选择每个所述鬼影连通域的像素数目最大的一帧作为对应的所述鬼影连通域的补偿帧，得到M帧所述补偿帧，其中，所述设定阈值范围为大于等于设定暗区阈值且小于等于设定亮区阈值；或，

分别统计得到所述N帧图像在各所述鬼影连通域内像素的直方图，选择每个所述鬼影连通域的直方图最均匀的一帧作为对应的所述鬼影连通域的补偿帧，得到M帧所述补偿帧。

在一种可能的实施例中，根据M帧所述补偿帧中鬼影连通域生成M张鬼影补偿掩膜图像，包括：

根据M帧所述补偿帧中信息量最丰富的所述鬼影连通域，分别生成M张鬼影补偿掩膜图像。

在一种可能的实施例中，根据M张所述鬼影补偿掩膜图像调整所述N帧图像的金字塔融合权重图像，包括：

M等于1，保留所述补偿帧的金字塔融合权重图像，根据所述鬼影补偿掩膜图像，调整所述N帧图像中除所述补偿帧外的其他帧的金字塔融合权重图像，得到其他帧的调整后的金字塔融合权重图像；

M大于1且小于N，根据每帧所述补偿帧对应的非保留掩膜图像，对应地调整所述补偿帧的金字塔融合权重图像，得到M帧所述补偿帧的调整后的金字塔融合权重图像，根据M张所述鬼影补偿掩膜图像，调整所述N帧图像中除所述补偿帧外的其他帧的金字塔融合权重图像，得到其他帧的调整后的金字塔融合权重图像；

M等于N，根据每帧所述补偿帧对应的非保留掩膜图像，对应地调整所述补偿帧的金字塔融合权重图像，得到所述N帧图像的调整后的金字塔融合权重；

其中，所述补偿帧对应的非保留掩膜图像为所述补偿帧对应的所述鬼影补偿掩膜图像外的其他所述鬼影补偿掩膜图像。

在一种可能的实施例中，根据M张所述鬼影补偿掩膜图像调整所述N帧图像的金字塔融合权重图像之前，还包括：

存在所述补偿帧满足第一条件，将满足第一条件的补偿帧中对应的所述鬼影补偿掩膜图像区域确定为第一扩前连通域，将所述满足第一条件的补偿帧的过曝区中与所述第一扩前连通域连通的连通域确定为第一待并连通域，根据所述第一扩前连通域和所述第一待并连通域，得到所述满足第一条件的补偿帧的第一扩后补偿掩膜图像，将所述满足第一条件的补偿帧对应的所述鬼影补偿掩膜图像更新为对应的所述第一扩后补偿掩膜图像，其中，所述第一条件为所述补偿帧属于所述参考帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比大于第一阈值；和/或，

存在所述补偿帧满足第二条件，将满足第二条件的补偿帧中对应的所述鬼影补偿掩膜图像区域确定为第二扩前连通域，将所述满足第二条件的补偿帧的过曝区中与所述第二扩前连通域连通的连通域确定为第二待并连通域，根据所述第二扩前连通域和所述第二待并连通域，得到所述满足第二条件的补偿帧的第二扩后补偿掩膜图像，将所述满足第二条件的补偿帧对应的所述鬼影补偿掩膜图像更新为对应的所述第二扩后补偿掩膜图像，其中，所述第二条件为所述补偿帧属于所述过曝帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比大于第二阈值。

在一种可能的实施例中，基于所述N帧图像的调整后的金字塔融合权重图像进行金字塔融合，得到补偿后图像之后，还包括：

判断每帧所述补偿帧满足修复条件中哪一种类型，根据所述补偿帧满足的修复条件类型，得到M张鬼影修复图像，所述鬼影修复图像与所述补偿帧一一对应；

根据M张所述鬼影补偿掩膜图像，得到除鬼影区域外的其他区域掩膜图像，将每张所述鬼影修复图像采用对应的所述鬼影补偿掩膜图像作为权重，所述补偿后图像采用所述其他区域掩膜图像作为权重，对M张所述鬼影修复图像和所述补偿后图像进行金字塔融合，得到修复后图像。

在一种可能的实施例中，所述修复条件包括第三条件、第四条件、第五条件、第六条件、第七条件、第八条件；

判断每帧所述补偿帧满足修复条件中哪一种类型，根据所述补偿帧满足的修复条件类型，得到M张鬼影修复图像，包括：

存在所述补偿帧满足第三条件，将满足第三条件的补偿帧确定为所述满足第三条件的补偿帧对应的鬼影修复图像，其中，所述第三条件为所述补偿帧属于所述欠曝帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中欠曝区在对应的所述鬼影补偿掩膜图像整个区域的占比小于等于第三阈值；

存在所述补偿帧满足第四条件，将满足第四条件的补偿帧中对应的所述鬼影补偿掩膜图像区域进行单帧降噪和/或亮度调整处理，得到调整后补偿帧，将所述调整后补偿帧确定为所述满足第四条件的补偿帧对应的鬼影修复图像，其中，所述第四条件为所述补偿帧属于所述欠曝帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中欠曝区在对应的所述鬼影补偿掩膜图像整个区域的占比大于第三阈值；

存在所述补偿帧满足第五条件，将满足第五条件的补偿帧确定为所述满足第五条件的补偿帧对应的鬼影修复图像，其中，所述第五条件为所述补偿帧属于所述参考帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比小于等于第四阈值；

存在所述补偿帧满足第六条件，根据所述满足第六条件的补偿帧的像素值，得到所述满足第六条件的补偿帧中对应的所述鬼影补偿掩膜图像区域内过曝区的第一掩模图像，对所述满足第六条件的补偿帧对应的所述鬼影补偿掩膜图像进行膨胀操作得到第一膨胀掩模图像，根据所述满足第六条件的补偿帧的像素值，得到所述满足第六条件的补偿帧中对应的所述第一膨胀掩模图像区域内过曝区的第二掩模图像，统计得到所述补偿后图像中所述第二掩模图像区域内的第一U通道均值、第一V通道均值，将所述补偿后图像中所述第一掩模图像区域内的第一U通道更新为所述第一U通道均值、第一V通道更新为所述第一V通道均值，得到第一调整补偿图像，将所述第一调整补偿图像确定为所述满足第六条件的补偿帧对应的鬼影修复图像，其中，所述第六条件为所述补偿帧属于所述参考帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比大于第四阈值且小于等于所述第一阈值；

存在所述补偿帧满足第七条件，将满足第七条件的补偿帧确定为所述满足第七条件的补偿帧对应的鬼影修复图像，其中，所述第七条件为所述补偿帧属于所述过曝帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比小于等于第五阈值；

存在所述补偿帧满足第八条件，根据满足第八条件的补偿帧的像素值，得到所述满足第八条件的补偿帧中对应的所述鬼影补偿掩膜图像区域内过曝区的第三掩模图像，对所述满足第八条件的补偿帧对应的所述鬼影补偿掩膜图像进行膨胀操作得到第二膨胀掩模图像，根据所述满足第八条件的补偿帧的像素值，得到所述满足第八条件的补偿帧中对应的所述第二膨胀掩模图像区域内过曝区的第四掩模图像，统计得到所述补偿后图像中所述第四掩模图像区域内的第二U通道均值、第二V通道均值，将所述补偿后图像中所述第三掩模图像区域内的第二U通道更新为所述第二U通道均值、第二V通道更新为所述第二V通道均值，得到第二调整补偿图像，将所述第二调整补偿图像确定为所述满足第八条件的补偿帧对应的鬼影修复图像，其中，所述第八条件为所述补偿帧属于所述过曝帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比大于第五阈值且小于等于所述第二阈值。

第二方面，本发明还提了一种高动态范围图像的鬼影补偿装置，该装置包括执行上述第一方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器。其中，存储器用于存储一个或多个计算机程序；当存储器存储的一个或多个计算机程序被处理器执行时，使得该电子设备能够实现上述第一方面的任意一种可能的设计的方法。

第四方面，本发明实施例中还提供了一种计算机可读存储介质，计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行上述第一方面的任意一种可能的设计的方法。

第五方面，本发明实施例还提供了一种包含计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行上述任一方面的任意一种可能的设计的方法。

本发明提供的方法的有益效果在于：通过选择每个所述鬼影连通域内信息量最丰富的一帧作为对应的所述鬼影连通域的补偿帧，可以更清晰地反映该鬼影连通域内的真实运动情况，能够更好地补偿或抵消该鬼影连通域的运动或变化。根据M张所述鬼影补偿掩膜图像调整所述N帧图像的金字塔融合权重图像后，再进行金字塔融合得到补偿后图像，在融合过程中，将补偿帧对应的鬼影补偿掩膜图像作为权重，能够更准确地还原鬼影区域，达到更自然的鬼影补偿效果。而且，本发明计算量小且计算复杂度低，适合在低端性能的平台上使用。

附图说明

图1为本发明高动态范围图像的鬼影补偿方法的流程示意图。

图2为本发明高动态范围图像的鬼影补偿方法在一种具体实施例中流程图。

图3为本发明高动态范围图像的鬼影补偿装置的示意图。

图4为本发明电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

下面对本发明涉及到的技术术语进行解释说明。

HDR：High Dynamic Range(高动态范围)，用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。

鬼影：当拍摄场景存在运动物体时，采用多帧融合的方式实现HDR时就会带入每帧图像的像素，导致融合后的图像存在运动鬼影。

多帧融合：多张图像用各自的权重提取部分内容来合成一张图像；。

金字塔融合：一种多帧融合技术，基于拉普拉斯金字塔的多分辨率融合方法。对每幅输入图像进行拉普拉斯金字塔分解，然后利用对比度、饱和度和曝光度等构建输入图像的权重图，再以权重图的高斯金字塔为权重，对相应图像的金字塔系数进行加权融合，最后通过金字塔逆变换进行重构得到融合图像。

YUV：YUV是一种色彩编码方法，Y表示明亮度，就是灰度图。U和V代表色度(Choma)，作用是描述影像色彩及饱和度，用于指定像素的颜色；由RGB图像通过矩阵转换而来。

传统显示器显示的动态范围有限，与人眼感知的动态范围相差很大。图像在欠曝区域和过曝区域往往都会丢失一些信息。高动态范围(High Dynamic Range，HDR)图像通过融合一系列不同曝光度的低动态范围图像来扩大单一图像所能覆盖的动态范围和图像细节。现有的HDR技术通常把不同曝光度的低动态范围图像根据不同的权重进行融合，各自提取表现效果较好的部分来合成，实现更大的动态范围。然而，实际拍摄图像时场景中经常会有运动物体如行人、车辆等，简单的图像融合就会在最终的图像中出现移动像素的叠加表现为鬼影。现有的鬼影补偿方法无法既达到自然的鬼影补偿效果，又适合在低端性能的平台上使用。

针对上述技术存在的问题，本发明的实施例提供了一种高动态范围图像的鬼影补偿方法，应用于各类含有摄像头的智能手机和摄影设备等设备，该设备中需包含具有计算能力的芯片、芯片模组，参见图1，该方法包括：

步骤S101：获取同一拍摄场景下不同曝光程度的N帧图像，其中，N帧图像包括一帧参考帧、至少一帧欠曝帧和/或至少一帧过曝帧，N为大于等于2的正整数。较佳的，获取同一拍摄场景下不同曝光程度的N帧图像，包括：获取拍摄设备的摄像头在同一拍摄场景下不同曝光程度的N帧图像，拍摄设备可以通过手持或使用三脚架方式进行拍摄。参考帧一般为曝光值为0附近的图像。

步骤S102：对N帧图像进行鬼影检测。较佳的，鬼影检测方法可以为帧间差分法、相似性法等。

步骤S103：N帧图像中未检测到鬼影，将N帧图像进行金字塔融合得到融合图像；N帧图像中检测到有鬼影，从N帧图像中确定M帧补偿帧，根据M帧补偿帧中鬼影连通域生成M张鬼影补偿掩膜图像，根据M张鬼影补偿掩膜图像调整N帧图像的金字塔融合权重图像，基于N帧图像的调整后的金字塔融合权重图像进行金字塔融合，得到补偿后图像，其中，补偿帧与鬼影补偿掩膜图像一一对应，M为正整数。

在该实施例中，从N帧图像中确定出用于鬼影补偿的M帧补偿帧，根据M帧补偿帧中鬼影连通域生成M张鬼影补偿掩膜图像，以调整N帧图像的金字塔融合权重图像，再进行金字塔融合得到补偿后图像，可达到更自然的鬼影补偿效果。而且，本发明计算量小且计算复杂度低，适合在低端性能的平台上使用。

在一种较佳的实施例中，从N帧图像中确定M帧补偿帧，包括：根据N帧图像中鬼影区域，生成一张鬼影掩膜图像；针对鬼影掩膜图像的每个鬼影连通域分别统计N帧图像在各鬼影连通域内的信息量，选择每个鬼影连通域内信息量最丰富的一帧作为对应的鬼影连通域的补偿帧，得到M帧补偿帧。鬼影掩膜图像中的多个连通域，即从N帧图像中检测到的多个局部运动区域(局部鬼影区域)。

在一种较佳的实施例中，针对鬼影掩膜图像的每个鬼影连通域分别统计N帧图像在各鬼影连通域内的信息量，选择每个鬼影连通域内信息量最丰富的一帧作为对应的鬼影连通域的补偿帧，得到M帧补偿帧，包括：

计算N帧图像的高斯金字塔权重，得到N帧图像在各鬼影连通域内的金字塔权重，选择每个鬼影连通域的金字塔权重最大的一帧作为对应的鬼影连通域的补偿帧，得到M帧补偿帧。或，

分别统计N帧图像在各鬼影连通域内介于设定阈值范围内的像素数目，选择每个鬼影连通域的像素数目最大的一帧作为对应的鬼影连通域的补偿帧，得到M帧补偿帧，其中，设定阈值范围为大于等于设定暗区阈值且小于等于设定亮区阈值。较佳的，设定暗区阈值为7，设定亮区阈值为250。或，

分别统计得到N帧图像在各鬼影连通域内像素的直方图，选择每个鬼影连通域的直方图最均匀的一帧作为对应的鬼影连通域的补偿帧，得到M帧补偿帧，其中，直方图均匀的判断标准可以为直方图中的每个区间(bin)的像素数目与整个直方图像素数目均值的差值的绝对值，绝对值最小即为直方图最均匀。

在一种较佳的实施例中，根据M帧补偿帧中鬼影连通域生成M张鬼影补偿掩膜图像，包括：根据M帧补偿帧中信息量最丰富的鬼影连通域，分别生成M张鬼影补偿掩膜图像。

在本实施例中，本发明采用信息量作为判断标准，选择每个鬼影连通域内信息量最丰富的一帧作为补偿帧，确保了补偿帧中包含最多的细节和信息，更能反映鬼影连通域内的真实运动情况，在鬼影区域有更好的视觉效果。相较于现有技术中直接采用欠曝帧或参考帧进行融合，本发明将根据M帧补偿帧中信息量最丰富的鬼影连通域，分别生成M张鬼影补偿掩膜图像，即分别根据每个补偿帧中信息量最丰富的鬼影连通域，单独生成一张鬼影补偿掩膜图像，以为后续的金字塔融合使用，确保鬼影去除的效果更加准确和自然，从而提高了整体图像质量。本发明无需海量的数据集进行模型训练，由于不需要大量的深度学习计算，本发明对硬件性能要求不高，可以在低端性能的平台上使用。

在一种较佳的实施例中，参见图2，根据M张鬼影补偿掩膜图像调整N帧图像的金字塔融合权重图像，包括：

M等于1，保留补偿帧的金字塔融合权重图像，根据鬼影补偿掩膜图像，调整N帧图像中除补偿帧外的其他帧的金字塔融合权重图像，得到其他帧的调整后的金字塔融合权重图像。

以三帧图像(包括一帧欠曝帧IMG1、一帧参考帧IMG2、一帧过曝帧IMG3)为例，调整前N帧图像的金字塔融合权重图像包括：调整前欠曝帧的金字塔融合权重图像W1、调整前参考帧的金字塔融合权重图像W2、调整前过曝帧的金字塔融合权重图像W3，其中，W1、W2、W3均为0～1的值，为对比度、饱和度和曝光度等权重的乘积。

举例说明，若M等于1，即鬼影掩膜图像中有1个或多个鬼影连通域(局部鬼影区域)被分到1张鬼影补偿掩膜图像中，例如，多个局部鬼影区域经信息量判断后被分到欠曝帧IMG1对应的鬼影补偿掩膜图像ghostMap1中，则补偿帧为1个且采用欠曝帧IMG1。比如说，拍照时候人物的双手和头都在动，检测到三个局部鬼影区域，分别对这三个鬼影连通域进行信息量判断，得到这三个鬼影连通域内信息量最丰富的一帧都是欠曝帧IMG1，即欠曝帧IMG1作为补偿帧，将这三个鬼影连通域都分到鬼影补偿掩膜图像ghostMap1中。调整后N帧图像的金字塔融合权重图像满足如下计算公式：W4＝W1；W5＝W2*(1-ghostMap1)；W6＝W3*(1-ghostMap1)；其中，W1为调整前欠曝帧的金字塔融合权重图像，W2为调整前参考帧的金字塔融合权重图像，W3为调整前过曝帧的金字塔融合权重图像，W4为调整后欠曝帧的金字塔融合权重图像，W5为调整后参考帧的金字塔融合权重图像，W6为调整后过曝帧的金字塔融合权重图像，ghostMap1为欠曝帧对应的鬼影补偿掩膜图像。这样，欠曝帧IMG1的鬼影区域内容将被保留下来，参考帧IMG2和过曝帧IMG3的鬼影区域内容被去除。

举例说明，若M等于1，即鬼影掩膜图像中有1个或多个鬼影连通域(局部鬼影区域)被分到1张鬼影补偿掩膜图像中，例如，多个局部鬼影区域经信息量判断后被分到参考帧IMG2对应的鬼影补偿掩膜图像ghostMap2中，则补偿帧为1个且采用参考帧IMG2，调整后N帧图像的金字塔融合权重图像满足如下计算公式：W7＝W1*(1–ghostMap2)；W8＝W2；W9＝W3*(1–ghostMap2)；其中，W1为调整前欠曝帧的金字塔融合权重图像，W2为调整前参考帧的金字塔融合权重图像，W3为调整前过曝帧的金字塔融合权重图像，W7为调整后欠曝帧的金字塔融合权重图像，W8为调整后参考帧的金字塔融合权重图像，W9为调整后过曝帧的金字塔融合权重图像，ghostMap2为参考帧对应的鬼影补偿掩膜图像。这样，参考帧IMG2的鬼影区域内容将被保留下来，欠曝帧IMG1和过曝帧IMG3的鬼影区域内容被去除。

举例说明，若M等于1，即鬼影掩膜图像中有1个或多个鬼影连通域(局部鬼影区域)被分到1张鬼影补偿掩膜图像中，例如，多个局部鬼影区域经信息量判断后被分到过曝帧IMG3对应的鬼影补偿掩膜图像ghostMap3，则补偿帧为1个且采用过曝帧IMG3中，调整后N帧图像的金字塔融合权重图像满足如下计算公式：W10＝W1*(1–ghostMap3)；W11＝W2*(1–ghostMap3)；W12＝W3；其中，W1为调整前欠曝帧的金字塔融合权重图像，W2为调整前参考帧的金字塔融合权重图像，W3为调整前过曝帧的金字塔融合权重图像，W10为调整后欠曝帧的金字塔融合权重图像，W11为调整后参考帧的金字塔融合权重图像，W12为调整后过曝帧的金字塔融合权重图像，ghostMap3为过曝帧对应的鬼影补偿掩膜图像。这样，过曝帧IMG3的鬼影区域内容将被保留下来，欠曝帧IMG1和参考帧IMG2的鬼影区域内容被去除。

M大于1且小于N，根据每帧补偿帧对应的非保留掩膜图像，对应地调整补偿帧的金字塔融合权重图像，得到M帧补偿帧的调整后的金字塔融合权重图像，根据M张鬼影补偿掩膜图像，调整N帧图像中除补偿帧外的其他帧的金字塔融合权重图像，得到其他帧的调整后的金字塔融合权重图像，其中，补偿帧对应的非保留掩膜图像为补偿帧对应的鬼影补偿掩膜图像外的其他鬼影补偿掩膜图像。

举例说明，以三帧图像(包括一帧欠曝帧IMG1、一帧参考帧IMG2、一帧过曝帧IMG3)为例，若M等于2，即鬼影掩膜图像中多个鬼影连通域(局部鬼影区域)被分到2张鬼影补偿掩膜图像中，例如，多个局部鬼影区域经信息量判断后被分到欠曝帧IMG1对应的鬼影补偿掩膜图像ghostMap1以及参考帧IMG2对应的鬼影补偿掩膜图像ghostMap2中，则补偿帧为2个且采用欠曝帧IMG1和参考帧IMG2，调整后N帧图像的金字塔融合权重图像满足如下计算公式：W13＝W1*(1-ghostMap2)；W14＝W2*(1-ghostMap1)；

W15＝W3*(1-ghostMap1)*(1-ghostMap2)；其中，W1为调整前欠曝帧的金字塔融合权重图像，W2为调整前参考帧的金字塔融合权重图像，W3为调整前过曝帧的金字塔融合权重图像，W13为调整后欠曝帧的金字塔融合权重图像，W14为调整后参考帧的金字塔融合权重图像，W15为调整后过曝帧的金字塔融合权重图像，ghostMap1为欠曝帧对应的鬼影补偿掩膜图像，ghostMap2为参考帧对应的鬼影补偿掩膜图像。这样，欠曝帧IMG1和参考帧IMG2的鬼影区域内容将被保留下来，过曝帧IMG3的鬼影区域内容被去除。

M等于N，根据每帧补偿帧对应的非保留掩膜图像，对应地调整补偿帧的金字塔融合权重图像，得到N帧图像的调整后的金字塔融合权重。

举例说明，以三帧图像(包括一帧欠曝帧IMG1、一帧参考帧IMG2、一帧过曝帧IMG3)为例，若M等于3，即鬼影掩膜图像中有多个鬼影连通域(局部鬼影区域)被分到3张鬼影补偿掩膜图像中，例如，多个局部鬼影区域经信息量判断后被分到欠曝帧IMG1对应的鬼影补偿掩膜图像ghostMap1、参考帧IMG2对应的鬼影补偿掩膜图像ghostMap2以及过曝帧IMG3对应的鬼影补偿掩膜图像ghostMap3中，则补偿帧为3个且采用欠曝帧IMG1、参考帧IMG2以及过曝帧IMG3，调整后N帧图像的金字塔融合权重图像满足如下计算公式：

W16＝W1*(1-ghostMap2)*(1-ghostMap3)；

W17＝W2*(1-ghostMap1)*(1-ghostMap3)；

W18＝W3*(1-ghostMap1)*(1-ghostMap2)；

其中，W1为调整前欠曝帧的金字塔融合权重图像，W2为调整前参考帧的金字塔融合权重图像，W3为调整前过曝帧的金字塔融合权重图像，W16为调整后欠曝帧的金字塔融合权重图像，W17为调整后参考帧的金字塔融合权重图像，W18为调整后过曝帧的金字塔融合权重图像，ghostMap1为欠曝帧对应的鬼影补偿掩膜图像，ghostMap2为参考帧对应的鬼影补偿掩膜图像，ghostMap3为过曝帧IMG3对应的鬼影补偿掩膜图像。这样，欠曝帧IMG1、参考帧IMG2以及过曝帧IMG3的鬼影区域内容将分别被保留下来。

在该实施例中，本方案根据不同的鬼影补偿帧采用不同的融合策略，解决现有直接选取欠曝帧或参考帧进行融合导致的鬼影问题。每种不同的补偿帧都有特定的权重分配，以选择性地保留或去除对应的补偿帧中的鬼影区域，可以更灵活地处理不同情况下的鬼影问题，有助于提高鬼影补偿的效果，达到自然的鬼影补偿效果。

在一种较佳的实施例中，根据M张鬼影补偿掩膜图像调整N帧图像的金字塔融合权重图像之前，还包括：

存在补偿帧满足第一条件，将满足第一条件的补偿帧中对应的鬼影补偿掩膜图像区域确定为第一扩前连通域，将满足第一条件的补偿帧的过曝区中与第一扩前连通域连通的连通域确定为第一待并连通域，根据第一扩前连通域和第一待并连通域，得到满足第一条件的补偿帧的第一扩后补偿掩膜图像，将满足第一条件的补偿帧对应的鬼影补偿掩膜图像更新为对应的第一扩后补偿掩膜图像，其中，第一条件为补偿帧属于参考帧且补偿帧对应的鬼影补偿掩膜图像区域中过曝区在对应的鬼影补偿掩膜图像整个区域的占比大于第一阈值。较佳的，第一阈值为10％。和/或，

存在补偿帧满足第二条件，将满足第二条件的补偿帧中对应的鬼影补偿掩膜图像区域确定为第二扩前连通域，将满足第二条件的补偿帧的过曝区中与第二扩前连通域连通的连通域确定为第二待并连通域，根据第二扩前连通域和第二待并连通域，得到满足第二条件的补偿帧的第二扩后补偿掩膜图像，将满足第二条件的补偿帧对应的鬼影补偿掩膜图像更新为对应的第二扩后补偿掩膜图像，其中，第二条件为补偿帧属于过曝帧且补偿帧对应的鬼影补偿掩膜图像区域中过曝区在对应的鬼影补偿掩膜图像整个区域的占比大于第二阈值。较佳的，第二阈值为10％。

在该实施例中，针对补偿帧属于参考帧或过曝帧的情况，若补偿帧中对应的鬼影补偿掩膜图像区域内过曝区占比非常多，通过将过曝区域进行连通域扩展，将相连的过曝区域都当作鬼影区域进行处理，可以更自然地补偿过曝区域，避免出现不自然的现象，有助于在保持图像自然性的同时，对过曝区域进行更细致的、符合视觉感知的鬼影补偿。

在一种较佳的实施例中，参见图2，基于所述N帧图像的调整后的金字塔融合权重图像进行金字塔融合，得到补偿后图像之后，还包括：

判断每帧补偿帧满足修复条件中哪一种类型，根据补偿帧满足的修复条件类型，得到M张鬼影修复图像，鬼影修复图像与补偿帧一一对应。

根据M张鬼影补偿掩膜图像，得到除鬼影区域外的其他区域掩膜图像，将每张鬼影修复图像采用对应的鬼影补偿掩膜图像作为权重，补偿后图像采用其他区域掩膜图像作为权重，对M张鬼影修复图像和补偿后图像进行金字塔融合，得到修复后图像。

在该实施例中，经过鬼影补偿后图像在鬼影区域可能会产生如亮度分层、发灰等不自然问题。例如，若是欠曝帧较暗，则补偿结果鬼影区域会较暗，可能与非鬼影区域产生亮度、色彩和噪声的分层。若是参考帧的鬼影补偿区域含有过曝像素，则补偿结果鬼影区域会发灰，同样与非鬼影区域产生分层。若是过曝帧的鬼影补偿区域含有过曝像素，则补偿结果鬼影区域会发灰，同样与非鬼影区域产生分层。因此，本发明在鬼影补偿后，还提出了鬼影修复步骤，对鬼影进行修复，使鬼影补偿更自然。

在一种较佳的实施例中，参见图2，修复条件包括第三条件、第四条件、第五条件、第六条件、第七条件、第八条件。

判断每帧补偿帧满足修复条件中哪一种类型，根据补偿帧满足的修复条件类型，得到M张鬼影修复图像，包括：

存在补偿帧满足第三条件，将满足第三条件的补偿帧确定为满足第三条件的补偿帧对应的鬼影修复图像，其中，第三条件为补偿帧属于欠曝帧且补偿帧对应的鬼影补偿掩膜图像区域中欠曝区在对应的鬼影补偿掩膜图像整个区域的占比小于等于第三阈值。较佳的，第三阈值为10％。当欠曝帧IMG1对应的鬼影补偿掩膜图像ghostMap1区域中欠曝区内欠曝像素占比小于等于1％时，说明欠曝区占比较少，而补偿区域内非欠曝区的像素动态范围较好，可以直接用欠曝帧IMG1进行补偿。

存在补偿帧满足第四条件，将满足第四条件的补偿帧中对应的鬼影补偿掩膜图像区域进行单帧降噪和/或亮度调整处理，得到调整后补偿帧，将调整后补偿帧确定为满足第四条件的补偿帧对应的鬼影修复图像，其中，第四条件为补偿帧属于欠曝帧且补偿帧对应的鬼影补偿掩膜图像区域中欠曝区在对应的鬼影补偿掩膜图像整个区域的占比大于第三阈值。较佳的，当欠曝帧IMG1对应的鬼影补偿掩膜图像ghostMap1区域中欠曝区占比大于10％，说明暗区的数据较多，若简单提亮会产生较大噪声。此时，对欠曝帧ghostMap1区域做单帧降噪，再调整欠曝至参考帧的亮度，亮度调整方法包括对非过曝区统计直方图后的直方图匹配、伽马校正来调整图像亮度等提亮方法。

存在补偿帧满足第五条件，将满足第五条件的补偿帧确定为满足第五条件的补偿帧对应的鬼影修复图像，其中，第五条件为补偿帧属于参考帧且补偿帧对应的鬼影补偿掩膜图像区域中过曝区在对应的鬼影补偿掩膜图像整个区域的占比小于等于第四阈值。较佳的，第四阈值为1％。当参考帧IMG2对应的鬼影补偿掩膜图像ghostMap2区域中过曝区内过曝像素占比小于等于1％时，说明过曝区占比较少，而补偿区域内非过曝区的像素动态范围较好，可以直接用参考帧IMG2进行补偿。

存在补偿帧满足第六条件，根据满足第六条件的补偿帧的像素值，得到满足第六条件的补偿帧中对应的鬼影补偿掩膜图像区域内过曝区的第一掩模图像，对满足第六条件的补偿帧对应的鬼影补偿掩膜图像进行膨胀操作得到第一膨胀掩模图像，根据满足第六条件的补偿帧的像素值，得到满足第六条件的补偿帧中对应的第一膨胀掩模图像区域内过曝区的第二掩模图像，统计得到补偿后图像中第二掩模图像区域内的第一U通道均值、第一V通道均值，将补偿后图像中第一掩模图像区域内的第一U通道更新为第一U通道均值、第一V通道更新为第一V通道均值，得到第一调整补偿图像，将第一调整补偿图像确定为满足第六条件的补偿帧对应的鬼影修复图像，其中，第六条件为补偿帧属于参考帧且补偿帧对应的鬼影补偿掩膜图像区域中过曝区在对应的鬼影补偿掩膜图像整个区域的占比大于第四阈值且小于等于第一阈值。当参考帧IMG2对应的鬼影补偿掩膜图像ghostMap2区域中过曝区内过曝像素占比大于1％且小于等于10％时，说明过曝区占比较多，直接补偿会产生发灰的不自然现象。通过膨胀操作和U、V通道调整，使得第一调整补偿图像在过曝区域保持更自然的颜色和亮度，从而在过曝区域更自然，并具有更好的颜色平衡效果。

存在补偿帧满足第七条件，将满足第七条件的补偿帧确定为满足第七条件的补偿帧对应的鬼影修复图像，其中，第七条件为补偿帧属于过曝帧且补偿帧对应的鬼影补偿掩膜图像区域中过曝区在对应的鬼影补偿掩膜图像整个区域的占比小于等于第五阈值。较佳的，第五阈值为1％。当过曝帧IMG3对应的鬼影补偿掩膜图像ghostMap3区域中过曝区内过曝像素占比小于等于1％时，说明过曝区占比较少，而补偿区域内非过曝区的像素动态范围较好，可以直接用过曝帧IMG3进行补偿。

存在补偿帧满足第八条件，根据满足第八条件的补偿帧的像素值，得到满足第八条件的补偿帧中对应的鬼影补偿掩膜图像区域内过曝区的第三掩模图像，对满足第八条件的补偿帧对应的鬼影补偿掩膜图像进行膨胀操作得到第二膨胀掩模图像，根据满足第八条件的补偿帧的像素值，得到满足第八条件的补偿帧中对应的第二膨胀掩模图像区域内过曝区的第四掩模图像，统计得到补偿后图像中第四掩模图像区域内的第二U通道均值、第二V通道均值，将补偿后图像中第三掩模图像区域内的第二U通道更新为第二U通道均值、第二V通道更新为第二V通道均值，得到第二调整补偿图像，将第二调整补偿图像确定为满足第八条件的补偿帧对应的鬼影修复图像，其中，第八条件为补偿帧属于过曝帧且补偿帧对应的鬼影补偿掩膜图像区域中过曝区在对应的鬼影补偿掩膜图像整个区域的占比大于第五阈值且小于等于第二阈值。当过曝帧IMG3对应的鬼影补偿掩膜图像ghostMap3区域中过曝区内过曝像素占比大于1％且小于等于10％时，说明过曝区占比较多，直接补偿会产生发灰的不自然现象。通过膨胀操作和U、V通道调整，使得第二调整补偿图像在过曝区域保持更自然的颜色和亮度，从而在过曝区域更自然，并具有更好的颜色平衡效果。

在该实施例中，根据不同的补偿帧，生成不同的鬼影修复图像，可以更精准地根据补偿帧的亮度情况进行亮度调整，以达到自然、平衡的修复效果。

下面结合实际的例子对鬼影修复进行解释说明。参见图2，以三帧图像(包括一帧欠曝帧IMG1、一帧参考帧IMG2、一帧过曝帧IMG3)为例。

若M等于1，即鬼影掩膜图像中有1个或多个鬼影连通域(局部鬼影区域)被分到1张鬼影补偿掩膜图像中，例如，多个局部鬼影区域经信息量判断后被分到为欠曝帧IMG1对应的鬼影补偿掩膜图像ghostMap1，则补偿帧为1个且采用欠曝帧IMG1。当欠曝帧IMG1对应的鬼影补偿掩膜图像ghostMap1区域中欠曝区占比大于第三阈值，对欠曝帧IMG1对应的鬼影补偿掩膜图像ghostMap1区域进行单帧降噪和/或亮度调整处理，得到调整后补偿帧IMG6，将调整后补偿帧IMG6采用ghostMap1作为权重，补偿后图像IMG5采用(1-ghostMap1)作为权重，对调整后补偿帧IMG6和补偿后图像IMG5进行金字塔融合，得到修复后图像IMG7。

若M等于1，即鬼影掩膜图像中有1个或多个鬼影连通域(局部鬼影区域)被分到1张鬼影补偿掩膜图像中，例如，多个局部鬼影区域经信息量判断后被分到参考帧IMG2对应的鬼影补偿掩膜图像ghostMap2，则补偿帧为1个且采用参考帧IMG2。当参考帧IMG2对应的鬼影补偿掩膜图像ghostMap2区域中过曝区内过曝像素占比小于等于第四阈值时，直接用参考帧IMG2进行补偿，将参考帧IMG2采用ghostMap2作为权重，补偿后图像IMG5采用(1-ghostMap2)作为权重，对参考帧IMG2和补偿后图像IMG5进行金字塔融合，得到修复后图像IMG8。

若M等于1，即鬼影掩膜图像中有1个或多个鬼影连通域(局部鬼影区域)被分到1张鬼影补偿掩膜图像中，例如，多个局部鬼影区域经信息量判断后被分到参考帧IMG2对应的鬼影补偿掩膜图像ghostMap2，则补偿帧为1个且采用参考帧IMG2。当参考帧IMG2对应的鬼影补偿掩膜图像ghostMap2区域中过曝区内过曝像素占比大于第四阈值且小于等于第一阈值时，通过膨胀操作和U、V通道调整，得到第一调整补偿图像IMG9，将第一调整补偿图像IMG9采用ghostMap2作为权重，补偿后图像IMG5采用(1-ghostMap2)作为权重，对第一调整补偿图像IMG9和补偿后图像IMG5进行金字塔融合，得到修复后图像IMG10。

在一种较佳的实施例中，对M张鬼影修复图像和补偿后图像进行金字塔融合，得到修复后图像之后，还包括：对修复后图像进行后处理，得到后处理图像，其中，后处理包括可为提亮、人脸保护等。

本发明提出一种补偿效果较自然的鬼影补偿方法，具体技术效果如下：

1、通过信息量的自适应选择，确保了选定的补偿帧在鬼影区域包含更多的细节信息，从而提高了修复的准确性和自然性。

2、针对不同的鬼影补偿帧采用不同的补偿策略，灵活地选择最适合的融合方式，以确保使HDR图像在鬼影区域的表现更为自然，提高了HDR图像的质量。

3、采用不同的修复策略针对不同的补偿帧，可以最大程度地发挥每帧的优势。例如，在对欠曝帧的修复中，提亮策略有助于弥补欠曝区域的低亮度，而对欠曝帧中过曝区域的处理可以保证过曝部分的细节清晰可见。不同的修复策略使修复的鬼影更加自然，细节更加清晰，更符合人眼对于真实场景的感知。

另外，本发明还提了一种高动态范围图像的鬼影补偿装置，应用于各类含有摄像头的智能手机和摄影设备等设备，该设备中需包含具有计算能力的芯片、芯片模组，参见图3，该装置包括：获取单元301，用于获取同一拍摄场景下不同曝光程度的N帧图像，其中，N帧图像包括一帧参考帧、至少一帧欠曝帧和/或至少一帧过曝帧，N为大于等于2的正整数；检测单元302，用于对N帧图像进行鬼影检测；融合单元303，用于N帧图像中未检测到鬼影，将N帧图像进行金字塔融合得到融合图像；N帧图像中检测到有鬼影，从N帧图像中确定M帧补偿帧，根据M帧补偿帧中鬼影连通域生成M张鬼影补偿掩膜图像，根据M张鬼影补偿掩膜图像调整N帧图像的金字塔融合权重图像，基于N帧图像的调整后的金字塔融合权重图像进行金字塔融合，得到补偿后图像，其中，补偿帧与鬼影补偿掩膜图像一一对应，M为正整数。上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在本发明的另一些实施例中，本发明实施例公开了一种电子设备，参见图4，该电子设备可以包括：一个或多个处理器401；存储器402；显示器403；一个或多个应用程序(未示出)；以及一个或多个计算机程序404，上述各器件可以通过一个或多个通信总线405连接。其中该一个或多个计算机程序404被存储在上述存储器402中并被配置为被该一个或多个处理器401执行，该一个或多个计算机程序404包括指令，上述指令可以用于执行如图1和图3及相应实施例中的各个步骤。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (11)

1.一种高动态范围图像的鬼影补偿方法，其特征在于，所述方法包括：

步骤S101：获取同一拍摄场景下不同曝光程度的N帧图像，其中，所述N帧图像包括一帧参考帧、至少一帧欠曝帧和/或至少一帧过曝帧，N为大于等于2的正整数；

步骤S102：对所述N帧图像进行鬼影检测；

步骤S103：所述N帧图像中未检测到鬼影，将所述N帧图像进行金字塔融合得到融合图像，所述N帧图像中检测到有鬼影，从所述N帧图像中确定M帧补偿帧，根据M帧所述补偿帧中鬼影连通域生成M张鬼影补偿掩膜图像，根据M张所述鬼影补偿掩膜图像调整所述N帧图像的金字塔融合权重图像，基于所述N帧图像的调整后的金字塔融合权重图像进行金字塔融合，得到补偿后图像，其中，所述补偿帧与所述鬼影补偿掩膜图像一一对应，M为正整数。

2.根据权利要求1所述的方法，其特征在于，从所述N帧图像中确定M帧补偿帧，包括：

根据所述N帧图像中鬼影区域，生成一张鬼影掩膜图像；

针对所述鬼影掩膜图像的每个鬼影连通域分别统计所述N帧图像在各所述鬼影连通域内的信息量，选择每个所述鬼影连通域内信息量最丰富的一帧作为对应的所述鬼影连通域的补偿帧，得到M帧所述补偿帧。

3.根据权利要求2所述的方法，其特征在于，针对所述鬼影掩膜图像的每个鬼影连通域分别统计所述N帧图像在各所述鬼影连通域内的信息量，选择每个所述鬼影连通域内信息量最丰富的一帧作为对应的所述鬼影连通域的补偿帧，得到M帧所述补偿帧，包括：

计算所述N帧图像的高斯金字塔权重，得到所述N帧图像在各所述鬼影连通域内的金字塔权重，选择每个所述鬼影连通域的金字塔权重最大的一帧作为对应的所述鬼影连通域的补偿帧，得到M帧所述补偿帧；或，

分别统计所述N帧图像在各所述鬼影连通域内介于设定阈值范围内的像素数目，选择每个所述鬼影连通域的像素数目最大的一帧作为对应的所述鬼影连通域的补偿帧，得到M帧所述补偿帧，其中，所述设定阈值范围为大于等于设定暗区阈值且小于等于设定亮区阈值；或，

分别统计得到所述N帧图像在各所述鬼影连通域内像素的直方图，选择每个所述鬼影连通域的直方图最均匀的一帧作为对应的所述鬼影连通域的补偿帧，得到M帧所述补偿帧。

4.根据权利要求1所述的方法，其特征在于，根据M帧所述补偿帧中鬼影连通域生成M张鬼影补偿掩膜图像，包括：

根据M帧所述补偿帧中信息量最丰富的所述鬼影连通域，分别生成M张鬼影补偿掩膜图像。

5.根据权利要求1所述的方法，其特征在于，根据M张所述鬼影补偿掩膜图像调整所述N帧图像的金字塔融合权重图像，包括：

M等于1，保留所述补偿帧的金字塔融合权重图像，根据所述鬼影补偿掩膜图像，调整所述N帧图像中除所述补偿帧外的其他帧的金字塔融合权重图像，得到其他帧的调整后的金字塔融合权重图像；

M大于1且小于N，根据每帧所述补偿帧对应的非保留掩膜图像，对应地调整所述补偿帧的金字塔融合权重图像，得到M帧所述补偿帧的调整后的金字塔融合权重图像，根据M张所述鬼影补偿掩膜图像，调整所述N帧图像中除所述补偿帧外的其他帧的金字塔融合权重图像，得到其他帧的调整后的金字塔融合权重图像；

M等于N，根据每帧所述补偿帧对应的非保留掩膜图像，对应地调整所述补偿帧的金字塔融合权重图像，得到所述N帧图像的调整后的金字塔融合权重；

其中，所述补偿帧对应的非保留掩膜图像为所述补偿帧对应的所述鬼影补偿掩膜图像外的其他所述鬼影补偿掩膜图像。

6.根据权利要求1-5中任一项所述的方法，其特征在于，根据M张所述鬼影补偿掩膜图像调整所述N帧图像的金字塔融合权重图像之前，还包括：

存在所述补偿帧满足第一条件，将满足第一条件的补偿帧中对应的所述鬼影补偿掩膜图像区域确定为第一扩前连通域，将所述满足第一条件的补偿帧的过曝区中与所述第一扩前连通域连通的连通域确定为第一待并连通域，根据所述第一扩前连通域和所述第一待并连通域，得到所述满足第一条件的补偿帧的第一扩后补偿掩膜图像，将所述满足第一条件的补偿帧对应的所述鬼影补偿掩膜图像更新为对应的所述第一扩后补偿掩膜图像，其中，所述第一条件为所述补偿帧属于所述参考帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比大于第一阈值；和/或，

存在所述补偿帧满足第二条件，将满足第二条件的补偿帧中对应的所述鬼影补偿掩膜图像区域确定为第二扩前连通域，将所述满足第二条件的补偿帧的过曝区中与所述第二扩前连通域连通的连通域确定为第二待并连通域，根据所述第二扩前连通域和所述第二待并连通域，得到所述满足第二条件的补偿帧的第二扩后补偿掩膜图像，将所述满足第二条件的补偿帧对应的所述鬼影补偿掩膜图像更新为对应的所述第二扩后补偿掩膜图像，其中，所述第二条件为所述补偿帧属于所述过曝帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比大于第二阈值。

7.根据权利要求6所述的方法，其特征在于，基于所述N帧图像的调整后的金字塔融合权重图像进行金字塔融合，得到补偿后图像之后，还包括：

判断每帧所述补偿帧满足修复条件中哪一种类型，根据所述补偿帧满足的修复条件类型，得到M张鬼影修复图像，所述鬼影修复图像与所述补偿帧一一对应；

根据M张所述鬼影补偿掩膜图像，得到除鬼影区域外的其他区域掩膜图像，将每张所述鬼影修复图像采用对应的所述鬼影补偿掩膜图像作为权重，所述补偿后图像采用所述其他区域掩膜图像作为权重，对M张所述鬼影修复图像和所述补偿后图像进行金字塔融合，得到修复后图像。

8.根据权利要求7所述的方法，其特征在于，所述修复条件包括第三条件、第四条件、第五条件、第六条件、第七条件、第八条件；

判断每帧所述补偿帧满足修复条件中哪一种类型，根据所述补偿帧满足的修复条件类型，得到M张鬼影修复图像，包括：

存在所述补偿帧满足第三条件，将满足第三条件的补偿帧确定为所述满足第三条件的补偿帧对应的鬼影修复图像，其中，所述第三条件为所述补偿帧属于所述欠曝帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中欠曝区在对应的所述鬼影补偿掩膜图像整个区域的占比小于等于第三阈值；

存在所述补偿帧满足第四条件，将满足第四条件的补偿帧中对应的所述鬼影补偿掩膜图像区域进行单帧降噪和/或亮度调整处理，得到调整后补偿帧，将所述调整后补偿帧确定为所述满足第四条件的补偿帧对应的鬼影修复图像，其中，所述第四条件为所述补偿帧属于所述欠曝帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中欠曝区在对应的所述鬼影补偿掩膜图像整个区域的占比大于第三阈值；

存在所述补偿帧满足第五条件，将满足第五条件的补偿帧确定为所述满足第五条件的补偿帧对应的鬼影修复图像，其中，所述第五条件为所述补偿帧属于所述参考帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比小于等于第四阈值；

存在所述补偿帧满足第六条件，根据所述满足第六条件的补偿帧的像素值，得到所述满足第六条件的补偿帧中对应的所述鬼影补偿掩膜图像区域内过曝区的第一掩模图像，对所述满足第六条件的补偿帧对应的所述鬼影补偿掩膜图像进行膨胀操作得到第一膨胀掩模图像，根据所述满足第六条件的补偿帧的像素值，得到所述满足第六条件的补偿帧中对应的所述第一膨胀掩模图像区域内过曝区的第二掩模图像，统计得到所述补偿后图像中所述第二掩模图像区域内的第一U通道均值、第一V通道均值，将所述补偿后图像中所述第一掩模图像区域内的第一U通道更新为所述第一U通道均值、第一V通道更新为所述第一V通道均值，得到第一调整补偿图像，将所述第一调整补偿图像确定为所述满足第六条件的补偿帧对应的鬼影修复图像，其中，所述第六条件为所述补偿帧属于所述参考帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比大于第四阈值且小于等于所述第一阈值；

存在所述补偿帧满足第七条件，将满足第七条件的补偿帧确定为所述满足第七条件的补偿帧对应的鬼影修复图像，其中，所述第七条件为所述补偿帧属于所述过曝帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比小于等于第五阈值；

存在所述补偿帧满足第八条件，根据满足第八条件的补偿帧的像素值，得到所述满足第八条件的补偿帧中对应的所述鬼影补偿掩膜图像区域内过曝区的第三掩模图像，对所述满足第八条件的补偿帧对应的所述鬼影补偿掩膜图像进行膨胀操作得到第二膨胀掩模图像，根据所述满足第八条件的补偿帧的像素值，得到所述满足第八条件的补偿帧中对应的所述第二膨胀掩模图像区域内过曝区的第四掩模图像，统计得到所述补偿后图像中所述第四掩模图像区域内的第二U通道均值、第二V通道均值，将所述补偿后图像中所述第三掩模图像区域内的第二U通道更新为所述第二U通道均值、第二V通道更新为所述第二V通道均值，得到第二调整补偿图像，将所述第二调整补偿图像确定为所述满足第八条件的补偿帧对应的鬼影修复图像，其中，所述第八条件为所述补偿帧属于所述过曝帧且所述补偿帧对应的所述鬼影补偿掩膜图像区域中过曝区在对应的所述鬼影补偿掩膜图像整个区域的占比大于第五阈值且小于等于所述第二阈值。

9.一种高动态范围图像的鬼影补偿装置，其特征在于，所述装置包括：

获取单元，用于获取同一拍摄场景下不同曝光程度的N帧图像，其中，所述N帧图像包括一帧参考帧、至少一帧欠曝帧和/或至少一帧过曝帧，N为大于等于2的正整数；

检测单元，用于对所述N帧图像进行鬼影检测；

融合单元，用于所述N帧图像中未检测到鬼影，将所述N帧图像进行金字塔融合得到融合图像，所述N帧图像中检测到有鬼影，根据所述N帧图像中鬼影区域得到M帧所述补偿帧，根据M帧所述补偿帧生成M张鬼影补偿掩膜图像，根据M张所述鬼影补偿掩膜图像调整所述N帧图像的金字塔融合权重图像，基于所述N帧图像的调整后的金字塔融合权重图像进行金字塔融合，得到补偿后图像，其中，所述补偿帧与所述鬼影补偿掩膜图像一一对应，M为正整数。

10.一种电子设备，其特征在于，包括：处理器及存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行权利要求1至8中任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。