CN114331939A - 同态滤波的细节增强多曝光图像融合方法及可存储介质 - Google Patents

Abstract

本发明公开了一种基于同态滤波的细节增强多曝光图像融合方法及可存储介质，涉及图像处理领域。本发明包括以下步骤：获取图像序列；根据局部对比度权重算法、曝光量权重算法计算出图像序列中的各个像素的权重信息；将各个像素的权重信息结合，得到初始权重图；利用引导滤波器对初始权重图滤波和归一化得到权重图；利用权重图的高斯金字塔和图像序列的同态滤波细节增强的拉普拉斯金字塔重构金字塔得到融合图像。本发明能够产生高质量的融合图像，在具有原来输入图像的大部分细节的同时也保持了光影过渡的自然。

Description

同态滤波的细节增强多曝光图像融合方法及可存储介质

技术领域

本发明涉及图像处理领域，更具体的说是涉及一种同态滤波的细节增强多曝光图像融合方法及可存储介质。

背景技术

目前宽动态融合的方法主要有：高动态范围(HDR)成像和多曝光图像融合(MEF)。HDR成像需要通过反求相机响应函数(CRF)重构HDR图像，但是CRF估计需要相机的多个曝光参数和约束并且算法复杂实用性较低。多曝光图像融合的方法往往运算速度较慢，并且缺乏空间领域信息、明暗过渡不自然、颜色局部失真、纹理细节不清晰以及未对输入图像序列的整体亮度做好适配的问题。

高动态范围(HDR)成像方法

HDR成像通常包括两个主要步骤:HDR重建和色调映射。首先，在同一场景中拍摄多幅不同曝光级别的低动态范围(LDR)图像，然后通过反求相机响应函数(CRF)重构HDR图像。通过HDR成像方法生成的HDR图像不能直接显示在LDR常规设备上。因此，使用色调映射将HDR图像映射为低动态范围图像。然而，生成HDR图像需要源图像的参数，如曝光时间、曝光值和相机响应函数(CRF)等，和约束，例如，假设CRF的某些特定参数形式，但这些值通常是普通用户所不知道的。而且CRF的计算很复杂，色调映射非常耗时，所以该方法实用性较低。

多曝光图像融合(MEF)方法

多曝光图像融合(MEF)方法就是由普通的图像获取设备，采取不同的曝光拍摄同一场景所得到的一系列曝光级别不同的低动态范围的图像。利用这些图像可直接生成细节丰富，符合人眼感知特性的高质量图像。融合过程无需进行CRF估计、HDR图像重构和色调映射等步骤，算法简单高效，易于实现。现已有一些经典的多曝光图像融合算法，但仍然有许多问题及挑战尚未解决。

现有的MEF方法大多是通过对输入图像进行不同曝光水平的加权平均来生成融合图像，比如基于多分辨率的多曝光图像融合算法。该方法使用三种质量度量:对比度、饱和度和曝光率来估计权重图。然后将源图像和得到的权值图分别分解为拉普拉斯金字塔和高斯金字塔。然后，将多次曝光的图像混合，形成融合图像。该算法生成的图像具有良好的饱和度。然而，该方法的融合图像的明暗区域的细节会丢失，此外也不能消除运动物体伪影。由于拉普拉斯金字塔融合会丢失一些高频细节，最近一些细节增强的方法成为多曝光图像融合研究的重点。之后有研究者提出一种使用中值和递归滤波器的技术计算颜色相异度来去除伪影，但是该方法得到的图像的颜色外观很暗淡，颜色信息丢失。这些多曝光图像融合算法往往会出现细节丢失、明暗过渡不自然、颜色局部失真以及未对输入图像序列的整体亮度做好适配的问题。

如何解决现有方案存在的缺乏空间领域信息、明暗过渡不自然、颜色局部失真、细节模糊、未对输入图片序列的整体偏暗或者偏亮做好适配的问题，是本领域技术人员亟需解决的。

发明内容

有鉴于此，本发明提供了一种基于同态滤波的细节增强多曝光图像融合方法及可存储介质。首先，对输入的LDR图像序列利用本文中创新性地提出的局部对比度权重算法、曝光量权重算法、颜色相异度权重算法计算出每幅图片中每个像素的权重信息。接着，对静态图像序列和动态图像序列分别采用两种方法构建综合权重图，搭配快速引导滤波器对权重图进行去噪。最后利用去噪后权重图的高斯金字塔与本发明创新性改进的输入图像序列的拉普拉斯金字塔重构，融合得到最终融合图像。

为了实现上述目的，本发明采用如下技术方案：

一种基于同态滤波的细节增强多曝光图像融合方法，包括以下步骤：

获取图像序列；

根据局部对比度权重算法、曝光量权重算法计算出图像序列中的各个像素的权重信息；

将各个像素的权重信息结合，得到初始权重图；

利用引导滤波器对初始权重图滤波和归一化得到权重图；

利用权重图的高斯金字塔和图像序列的同态滤波细节增强的拉普拉斯金字塔重构金字塔得到融合图像。

可选的，还包括当图像序列为动态图像序列时，利用局部对比度权重算法、曝光量权重算法、颜色相异度权重算法计算出图像序列中的各个像素的权重信息；将各个像素的权重信息结合，得到初始权重图。

可选的，局部对比度权重算法具体如下：

对每个图像的灰度图应用Laplacian滤波器滤波，具体算法如下：

其中n的取值范围为1,2,…,N，N是输入图像序列数目，A_n(i,j)为第n张图片(i,j)位置的局部对比度值，|·|表示取绝对值计算，

表示第n张图像灰度图(i,j)位置的值，*代表卷积运算，h是Laplacian滤波核，h的取值如下：

采用所有图像中同一像素位置的最大值作为局部对比度权重W₁，具体算法如下：

其中

表示第n张图(i,j)位置的局部对比度权重值。

可选的，所述曝光权重算法如下：

首先对图像序列灰度图

归一化到[0,1]区间上，用阈值把每幅图像分成两部分分开计算曝光权重，阈值具体算法如下：

其中

表示第n张图像归一化后的灰度图(i,j)位置的值，mean{·}表示均值计算，T1的初始值为0.5，T0为一个很小的数，如果|T1-T2|<T0成立，那么T2为最优阈值，否则将T2的值赋给T1，重复上面步骤进行迭代，直到获取最优阈值T2；

按照最优阈值把图像划分为G1和G2两个部分，G1部分是由灰度值大于T2的像素组成，G2部分是由灰度值小于或等于T2的像素组成，分别计算G1和G2两个部分的均值，再分别计算总平均，自适应曝光量权重控制因子α_n和β_n，计算公式如下：

其中，T_n是第n张图像的最优阈值，α_n和β_n分别表示G₁和G₂部分的自适应曝光量权重控制因子；最后用高斯曲线分配曝光量权重，公式如下：

其中，

σ控制曲线的幅度。

可选的，所述颜色相异度权重算法具体如下：

其中I_n(i,j)为第n张输入图像位置(i,j)处的像素值，Ieq{·}表示直方图均衡化计算，

为直方图均衡化后的图像序列，median{·}表示中值滤波计算，I^med(i,j)为静态背景的参考图像；

通过计算直方图均衡化图像与静态背景图像之间的颜色相异度来检测运动目标，计算公式如下：

其中

为颜色相异度初始权重图，δ取值为0.1；

采用形态学算子对颜色相异度初始权重图细化以去除噪声估计：

其中,s₁和s₂分别表示半径为n₁和n₂的平坦型圆盘结构元素，

是膨胀运算，

是腐蚀运算；

为第n张图像位置(i,j)处的颜色相异度权重值。

可选的，利用权重图的高斯金字塔和图像序列的同态滤波细节增强的拉普拉斯金字塔重构金字塔得到融合图像，具体步骤如下：

利用引导滤波器来细化权重图并归一化，计算方法如下：

其中GF_r,ε(S,G)表示快速引导滤波，r代表滤波半径，ε管理滤波的模糊程度，S代表输入图像，G表示引导图像；

基于同态滤波细节增强的金字塔融合：分别用高斯金字塔和拉普拉斯金字塔对权重图和输入图像分解，其中拉普拉斯金字塔分解把输入图像分解为基层和细节层，最高一层为基层，其他层是细节层，对每个细节层用同态滤波进行增强，具体公式如下：

L{I_n(i,j)}^(l)＝homomorphic(L{I_n(i,j)}^(l))l＝1,2,…,L-1；

其中n＝1,2,…,N，floor(·)表示朝负无穷大四舍五入，r和c分别为输入图像的高度和宽度，min(·)表示取最小值函数，

表示第n张图像在第l层位置(i,j)处的像素值，upsample(·)为上采样运算，L{·}^(l)表示第l层的拉普拉斯金字塔图像，homomorphic(·)表示同态滤波运算；

得到增强后的图像序列的拉普拉斯金字塔后，用权重图的高斯金字塔和增强后的图像序列的拉普拉斯金字塔进行融合重构，得到最终的融合图像，公式如下：

L{F(i,j)}^(L-l)＝L{F(i,j)}^(L-l)+upsample(L{F(i,j)}^(L-l+1))l＝1,2,…,L-1

F(i,j)＝L{F(i,j)}⁽¹⁾；

其中G{·}^(l)表示第l层高斯金字塔图像，F(i，j)为融合图像位置(i,j)处的像素值，得到最终输出图像。

一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任意一项所述的一种基于同态滤波的细节增强多曝光图像融合方法的步骤。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于同态滤波的细节增强多曝光图像融合方法及可存储介质，考虑空间领域信息、明暗过渡更加自然、颜色不失真、适配了输入图片序列的整体偏暗或者偏亮的情况。创新性地采用了迭代分区计算曝光量权重，创新性地提出了自适应曝光量权重函数，配合局部对比度权重和颜色相异度权重的函数，综合计算出每个像素点的融合权重，最后创新性地使用同态滤波对金字塔细节层增强，产生高质量的融合图像，在具有原来输入图像的大部分细节的同时也保持了光影过渡的自然。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的流程示意图；

图2为本发明的高斯曲线图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于同态滤波的细节增强多曝光图像融合方法，如图1所示，包括以下步骤：

获取图像序列；

根据局部对比度权重算法、曝光量权重算法计算出图像序列中的各个像素的权重信息；

将各个像素的权重信息结合，得到初始权重图；

利用引导滤波器对初始权重图滤波和归一化得到权重图；

利用权重图的高斯金字塔和图像序列的同态滤波细节增强的拉普拉斯金字塔重构金字塔得到融合图像。

其中，局部对比度权重具体为：

对输入图像序列的局部对比度测量可以用来保留边缘和纹理等重要细节。这些边缘和纹理信息包含在梯度变化中，因此采用边缘检测良好的Laplacian滤波器进行局部对比度权重的计算，对每个图像的灰度图应用Laplacian滤波器，具体算法如下：

其中n的取值范围为1,2,…,N，N是输入图像序列数目，A_n(i,j)为第n张图片(i,j)位置的局部对比度值，|·|表示取绝对值计算，

表示第n张图像灰度图(i,j)位置的值，*代表卷积运算，h是Laplacian滤波核，h的取值如下：

采用所有图像中同一像素位置的最大值作为局部对比度权重W₁，具体算法如下：

其中

表示第n张图(i,j)位置的局部对比度权重值。

其中，曝光量权重具体为：

曝光量权重的目的是选择曝光较好的区域，避免融合图像出现曝光不足(值为0)和曝光过多(值为1)的区域。而高斯曲线的最大值为1，在过大和过小处的取值无限接近0，因此采用高斯曲线给曝光良好的区域分配较高的权重，对曝光不好的区域分配较低的权重。利用高斯曲线分配权重的算法如下：

一般地，μ的取值是0.5，σ取值0.2，如图2所示。

由于μ取值0.5适用于整体亮度中等的图像，对整体亮度值过高或过低的图像，这种取值方式分配的权重并不是最佳的。为了对于输入图像序列总体偏暗或总体偏亮的情况进行更好的适配，创新性地提出了自适应的曝光量权重算法，该算法的具体方法如下：

首先对图像序列灰度图

归一化到[0,1]区间上，由于一幅曝光良好的灰度图中颜色较深部分的灰度值偏低，颜色较浅部分的灰度值偏高，但也包含颜色和细节的信息，为了避免把颜色较深较浅的部分误认为是曝光不好，创新性的提出了迭代阈值算法，用阈值把每幅图像分成两部分分开计算曝光权重，阈值具体算法如下：

其中

表示第n张图像归一化后的灰度图(i,j)位置的值，mean{·}表示均值计算，T1的初始值为0.5，T0为一个很小的数，如果|T1-T2|<T0成立，那么T2为最优阈值，否则将T2的值赋给T1，重复上面步骤进行迭代，直到获取最优阈值T2。

然后按照最优阈值把图像划分为G1和G2两个部分，G1部分是由灰度值大于T2的像素组成，G2部分是由灰度值小于或等于T2的像素组成，分别求每张图像两个部分的均值，再分别求总平均，若一幅图像G1部分(或G2部分)的均值小于或等于它们相应部分的总平均，这部分图像在整个图像序列中亮度偏低，那么图像中亮度偏高的部分是曝光良好的部分，则需要对亮度偏高部分的权重适当增加，对亮度偏低部分的权重适当减少，同理若一幅图像G1部分(或G2部分)的均值大于它们相应部分的总平均，则需要对亮度偏低部分的权重适当增加，对亮度偏高部分的权重适当减少，因此创新性地提出了自适应曝光量权重控制因子α_n和β_n，该因子可以反映输入图像曝光量与0.5之间的偏移量，计算公式如下：

其中，T_n是第n张图像的最优阈值，α_n和β_n分别表示G₁和G₂部分的自适应曝光量权重控制因子。最后用高斯曲线分配曝光量权重，公式如下：

其中，

σ控制曲线的幅度。

其中，颜色相异度权重具体为：

多重曝光图像是在不同的时间拍摄的，期间可能不是所有物体都是不动的，如果权重图只考虑局部对比度和曝光量，这可能会导致融合图像中的重影伪影。因此，对于动态图像，在估计权重图时，还必须考虑移动对象的影响。使用颜色相异度来度量源图像像素和静态背景像素之间的颜色相异。具体算法如下：

首先，计算出一幅静态背景作为参考图像。对每个输入图像执行直方图均衡化，以将输入图像的颜色分布转换为相似的颜色分布，再用中值滤波选出参考图像，具体算法公式如下：

其中I_n(i,j)为第n张输入图像位置(i,j)处的像素值，Ieq{·}表示直方图均衡化计算，

为直方图均衡化后的图像序列，median{·}表示中值滤波计算，I^med(i,j)为静态背景的参考图像。然后，通过计算直方图均衡化图像与静态背景图像之间的颜色相异度来检测运动目标，计算公式如下：

其中

为颜色相异度初始权重图，δ取值为0.1。最后，采用形态学算子对颜色相异度初始权重图细化以去除噪声估计：

其中,s₁和s₂分别表示半径为n₁和n₂的平坦型圆盘结构元素，

是膨胀运算，

是腐蚀运算。

为第n张图像位置(i,j)处的颜色相异度权重值，其优点是不需要用户指定参考图像。

其中，基于同态滤波细节增强的金字塔融合具体为：

由计算得到的三个指标构建初始权重图，得到的初始权重图是有噪声的、不连续的。因此，在使用这些权重图进行融合处理之前，对初始权值图进行细化是至关重要的。边缘保持滤波器可以用来细化权值映射，将输入图像作为引导图像或联合图像，以保证来自相似对象的像素具有可比较的权重。其中快速引导滤波器更有效，它产生的融合图像有更好的颜色。因此，选择了引导滤波器来细化权重图并归一化。

其中GF_r,ε(S,G)表示快速引导滤波，r代表滤波半径，ε管理滤波的模糊程度，S代表输入图像，G表示引导图像。用传统的加权融合得到的输出图像包含接缝，这是由于不同的权重和过渡像素导致最终结果的接缝和模糊。基于金字塔的多分辨率方法可以解决这一问题，但金字塔融合会模糊一些纹理细节和颜色，为了保留图像的细节和颜色信息，需要对细节增强，很多细节增强算法在增强高频细节时损失掉一些低频信号，而同态滤波在增强细节的同时也能保留低频信号，因此创新性地提出了基于同态滤波细节增强的金字塔融合：分别用高斯金字塔和拉普拉斯金字塔对权重图和输入图像分解，其中拉普拉斯金字塔分解把输入图像分解为基层和细节层，最高一层为基层，其他层是细节层，对每个细节层用同态滤波进行增强。具体公式如下：

L{I_n(i,j)}^(l)＝homomorphic(L{I_n(i,j)}^(l))l＝1,2,…,L-1；

其中n＝1,2,…,N，floor(·)表示朝负无穷大四舍五入，r和c分别为输入图像的高度和宽度，min(·)表示取最小值函数，

表示第n张图像在第l层位置(i,j)处的像素值，upsample(·)为上采样运算，L{·}^(l)表示第l层的拉普拉斯金字塔图像，homomorphic(·)表示同态滤波运算。得到增强后的图像序列的拉普拉斯金字塔后，用权重图的高斯金字塔和增强后的图像序列的拉普拉斯金字塔进行融合重构，得到最终的融合图像，公式如下：

L{F(i,j)}^(L-l)＝L{F(i,j)}^(L-l)+upsample(L{F(i,j)}^(L-l+1))l＝1,2,…,L-1

F(i,j)＝L{F(i,j)}⁽¹⁾；

其中G{·}^(l)表示第l层高斯金字塔图像，F(i，j)为融合图像位置(i,j)处的像素值，即最终输出图像。

还公开了一种计算机存储介质，计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现任意一项的一种基于同态滤波的细节增强多曝光图像融合方法的步骤。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于同态滤波的细节增强多曝光图像融合方法，其特征在于，包括以下步骤：

获取图像序列；

根据局部对比度权重算法、曝光量权重算法计算出图像序列中的各个像素的权重信息；

将各个像素的权重信息结合，得到初始权重图；

利用引导滤波器对初始权重图滤波和归一化得到权重图；

利用权重图的高斯金字塔和图像序列的同态滤波细节增强的拉普拉斯金字塔重构金字塔得到融合图像。

2.根据权利要求1所述的一种基于同态滤波的细节增强多曝光图像融合方法，其特征在于，还包括当图像序列为动态图像序列时，利用局部对比度权重算法、曝光量权重算法、颜色相异度权重算法计算出图像序列中的各个像素的权重信息；将各个像素的权重信息结合，得到初始权重图。

3.根据权利要求1所述的一种基于同态滤波的细节增强多曝光图像融合方法，其特征在于，局部对比度权重算法具体如下：

对每个图像的灰度图应用Laplacian滤波器滤波，具体算法如下：

其中n的取值范围为1,2,…,N，N是输入图像序列数目，A_n(i,j)为第n张图片(i,j)位置的局部对比度值，|·|表示取绝对值计算，

表示第n张图像灰度图(i,j)位置的值，*代表卷积运算，h是Laplacian滤波核，h的取值如下：

采用所有图像中同一像素位置的最大值作为局部对比度权重W₁，具体算法如下：

其中

表示第n张图(i,j)位置的局部对比度权重值。

4.根据权利要求1所述的一种基于同态滤波的细节增强多曝光图像融合方法，其特征在于，所述曝光权重算法如下：

首先对图像序列灰度图

归一化到[0,1]区间上，用阈值把每幅图像分成两部分分开计算曝光权重，阈值具体算法如下：

其中

表示第n张图像归一化后的灰度图(i,j)位置的值，mean{·}表示均值计算，T1的初始值为0.5，T0为自定义数值，|T1-T2|<T0成立，则T2为最优阈值，否则将T2的值赋给T1，重复上面步骤进行迭代，直到获取最优阈值T2；

按照最优阈值把图像划分为G1和G2两个部分，G1部分是由灰度值大于T2的像素组成，G2部分是由灰度值小于或等于T2的像素组成，分别计算G1和G2两个部分的均值，再分别计算总平均，自适应曝光量权重控制因子α_n和β_n，计算公式如下：

其中，T_n是第n张图像的最优阈值，α_n和β_n分别表示G₁和G₂部分的自适应曝光量权重控制因子；最后用高斯曲线分配曝光量权重，公式如下：

其中，

σ控制曲线的幅度。

5.根据权利要求2所述的一种基于同态滤波的细节增强多曝光图像融合方法，其特征在于，所述颜色相异度权重算法具体如下：

其中I_n(i,j)为第n张输入图像位置(i,j)处的像素值，Ieq{·}表示直方图均衡化计算，

为直方图均衡化后的图像序列，median{·}表示中值滤波计算，I^med(i,j)为静态背景的参考图像；

通过计算直方图均衡化图像与静态背景图像之间的颜色相异度来检测运动目标，计算公式如下：

其中

为颜色相异度初始权重图，δ取值为0.1；

采用形态学算子对颜色相异度初始权重图细化以去除噪声估计：

其中,s₁和s₂分别表示半径为n₁和n₂的平坦型圆盘结构元素，

是膨胀运算，

是腐蚀运算；

为第n张图像位置(i,j)处的颜色相异度权重值。

6.根据权利要求2所述的一种基于同态滤波的细节增强多曝光图像融合方法，其特征在于，利用权重图的高斯金字塔和图像序列的同态滤波细节增强的拉普拉斯金字塔重构金字塔得到融合图像，具体步骤如下：

利用引导滤波器来细化权重图并归一化，计算方法如下：

其中GF_r,ε(S,G)表示快速引导滤波，r代表滤波半径，ε管理滤波的模糊程度，S代表输入图像，G表示引导图像；

基于同态滤波细节增强的金字塔融合：分别用高斯金字塔和拉普拉斯金字塔对权重图和输入图像分解，其中拉普拉斯金字塔分解把输入图像分解为基层和细节层，最高一层为基层，其他层是细节层，对每个细节层用同态滤波进行增强，具体公式如下：

L＝floor(log₂ min(r,c))-2；

L{I_n(i,j)}^(l)＝homomorphic(L{I_n(i,j)}^(l))l＝1,2,…,L-1；

其中n＝1,2,…,N，floor(·)表示朝负无穷大四舍五入，r和c分别为输入图像的高度和宽度，min(·)表示取最小值函数，

表示第n张图像在第l层位置(i,j)处的像素值，upsample(·)为上采样运算，L{·}^(l)表示第l层的拉普拉斯金字塔图像，homomorphic(·)表示同态滤波运算；

得到增强后的图像序列的拉普拉斯金字塔后，用权重图的高斯金字塔和增强后的图像序列的拉普拉斯金字塔进行融合重构，得到最终的融合图像，公式如下：

L{F(i,j)}^(L-l)＝L{F(i,j)}^(L-l)+upsample(L{F(i,j)}^(L-l+1))l＝1,2,…,L-1F(i,j)＝L{F(i,j)}⁽¹⁾；

其中G{·}^(l)表示第l层高斯金字塔图像，F(i，j)为融合图像位置(i,j)处的像素值，得到最终输出图像。

7.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的一种基于同态滤波的细节增强多曝光图像融合方法的步骤。

Images