CN109754377A - 一种多曝光图像融合方法 - Google Patents

Abstract

本发明涉及一种多曝光图像融合方法，解决细节信息保留不完整和鬼影消除不彻底的技术问题，通过采用步骤一，使用多曝光图像序列的曝光亮度和色度信息构建初始权重图；步骤二，首先，对低动态图像序列进行运动物体检测，计算出运动区域，然后使用基于超像素分割的鬼影消除方法消除鬼影；步骤三，完成对步骤一的初始权重图进行鬼影修正；步骤四，对步骤三鬼影修正后的权重图进行归一化处理；步骤五，根据步骤四中的权重图构造权重的高斯金字塔，构造低动态图像序列的拉普拉斯金字塔，定义细节增益项，计算融合金字塔，根据融合金字塔进行图像重构得出融合图像HDR的技术方案，较好的解决了该问题，可用于图像处理中。

Description

一种多曝光图像融合方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种多曝光图像融合方法。

背景技术

普通数码相机的动态表示范围远远低于自然场景的动态范围，拍摄的图像往往出现“过亮”或者“过暗”区域，无法满足人们的视觉体验，高动态范围(high dynamic range,HDR)成像技术旨在解决这个问题。多曝光图像融合是实现图像高动态范围展示的一种有效方式。与基于色调映射的HDR方法不同的是，基于多曝光图像融合的方法跳过了获取HDR图像数据的步骤，因此，实现HDR成像所耗费的时间通常少于基于色调映射的方法。

近年来，不少专家学者对多曝光图像相关算法进行了深入的研究。Mertens T.等首次提出了基于Laplacian金字塔的多曝光图像融合算法，以对比度、饱和度和曝光适中度为权重衡量因子，但容易丢失局部细节信息。Shen R.等提出一种基于概率模型的广义随机游走多曝光图像融合方法，易导致局部细节丢失。Li S.等提出了基于引导滤波的多曝光图像融合算法，将图像分为全局层和细节层，采用引导滤波分别构造全局层和细节层权重，该方法能够较好的保留局部细节信息，但造成全局亮度分布不均匀。

现有的方法适用于静态图像融合，当LDR图像序列中存在运动物体时，上述多曝光融合方法则会产生鬼影现象。近年来，Li S.等提出基于迭代滤波的多曝光融合算法，并利用直方图均衡和中值滤波消除鬼影，但无法完全消除鬼影。

为了解决细节信息保留不完整和鬼影消除不完整的技术问题，本发明提供一种新的多曝光图像融合方法。

发明内容

本发明所要解决的技术问题是现有技术中存在的细节信息保留不完整和鬼影消除不完整的技术问题。提供一种新的多曝光图像融合方法，该多曝光图像融合方法具有细节信息保留完整和鬼影消除完整的特点。

为解决上述技术问题，采用的技术方案如下：

一种多曝光图像融合方法，所述多曝光图像融合方法包括：

步骤一，使用LDR图像序列的曝光亮度和色度信息构建初始权重图；

其中，为第k幅输入图像的曝光亮度，为第k幅输入图像的色度信息，θ₁为的指数参数，θ₂为的指数参数；

步骤二，对LDR多曝光图像序列进行运动物体检测，计算出运动区域，使用超像素分割的鬼影消除方法消除鬼影，完成对步骤一的初始权重图进行鬼影修正；

其中，为鬼影消除项，运动区域权重为零；

步骤三，对步骤三鬼影修正后的权重图进行归一化处理，得到：

其中，N为输入图像的幅数；ε为不为0的常数；

步骤四，根据步骤三的归一化的权重图计算出权重的高斯金字塔，定义LDR图像序列的Laplacian金字塔以及细节增益项，计算出融合金字塔，根据融合金字塔进行图像重构得出融合图像HDR。

本发明的工作原理：本发明首先分别以曝光亮度和色度信息设计权重衡量指标；然后利用超像素分割的方法检测并消除动态鬼影区域；最后基于Laplacian金字塔进行图像融合，并增强金字塔高频信息层，突出局部细节。解决了现有技术中存在的细节信息保留不完整和鬼影消除不完整的技术问题。消除了容易造成局部细节信息丢失，容易产生光晕现象，容易产生鬼影现象或鬼影消除不彻底。人类的视觉系统观察物体时与像素的曝光亮度有直接的关系，过暗或者过亮的区域都将使人眼无法获取到场景的细节信息，因此本发明将图像曝光亮度作为权重融合衡量的指标之一。色彩是衡量图像质量的重要因子，也是人眼感知外界必不可少的因素，也作为权重融合衡量的指标之一。通过图像差分方法能够消除在一定程度上运动物体所导致的鬼影现象，但是不能完全消除。为了完全消除鬼影，本发明采用了基于超像素分割方法检测运动物体。传统的直接加权融合方法往往会出现融合图像产生不连续区域与缝隙现象，基于金字塔的图像融合能较好的解决这个问题，但基于传统的Laplacian金字塔融合往往不能很好的保留图像的细节信息。本发明改进细节增强的Laplacian金字塔方法，融合多曝光图像序列，使图像细节更清晰。

上述方案中，为优化，进一步地，所述步骤一包括：

步骤1.1，将LDR图像序列转换到YIQ颜色空间；

步骤1.2，根据YIQ颜色空间的亮度值计算曝光亮度，根据YIQ颜色空间的色度值计算色度信息；

步骤1.3，根据LDR图像序列的曝光亮度和色度信息构成初始权重图。

进一步地，计算曝光亮度包括：

步骤1.2.1，排除LDR图像序列中曝光过暗区域或者过亮区域的干扰影响，定义第k幅输入图像的曝光亮度为：

其中，为第k幅输入图像的亮度信息；T为亮度阈值；

步骤1.2.2，建立曝光适中度根据像素值的高斯分布，对曝光越好的像素值分配越高的融合权重；对曝光较越差的像素值分配越小的融合权重；定义亮度值范围内中间的亮度值为最佳曝光值，归一化计算第k幅输入图像的曝光适中度为：

其中，为第k幅输入图像的亮度信息；

步骤1.2.3，计算出LDR图像序列的曝光亮度为：

进一步地，计算色度信息包括：

步骤1.2.4，定义欧几里德距离衡量色彩信息：

其中，和分别为第k幅输入图像在YIQ颜色空间下坐标为(x,y)的I值和Q值，I值和Q值为像素的色度信息；

步骤1.2.5，色度信息衡量指标为保留输入图像中的表现较好的色彩信息，色度信息为：

进一步地，步骤二包括：

步骤2.1，预设表征曝光度相似的误差值阀值，定义参考图像，将每幅图像的曝光度基于参考图像调整到曝光度小于误差值阀值内，得到：

其中，IMF(·)为强度映射函数，..为曝光调整后的图像集，I^ref为参考图像；

步骤2.2，计算中每幅图像与参考图像I^ref的差分图

步骤2.3，检测运动状态的物体：

其中，T1为判断运动像素的阈值，C_k(x,y)＝0为该像素为运动物体，C_k(x,y)＝0则为该像素为非运动物体；

步骤2.4，对参考图像进行超像素分割，得到超像素集合S＝{S₁,S₂,···,S_n}，计算出超像素类别数n为：

n＝floor(r*c/ω²)

其中，floor(·)定义为向下取整的函数；r输入图像的高度的像素个数，c为输入图像宽度的像素个数；

使用超像素方法进行修正，得到：

其中，S_i为类别为i(1≤i≤n)的超像素区域；为C_k位于超像素区域S_i中为0的像素数；|S_i|为超像素区域S_i的像素数；T2为判断超像素S_i是否为运动目标的阈值。

进一步地，步骤四中Laplacian金字塔以及细节增益项的过程为计算出：

其中，为第j层融合金字塔；L^j _Ik为第k幅输入图像的第j层Laplacian金字塔；为第k幅权重图的第j层高斯金字塔；α_k为细节增益项；m_k为第k幅输入图像的真实平均亮度；

J为金字塔的层数，r为输入图像的高度的像素个数，c为输入图像的宽度的像素个数；

是第k幅图像的亮度信息；M为像素数；Ω为第k幅图像的空间域坐标，Ω取值位于0.1～0.9之间的像素点。

使用YIQ颜色空间中的曝光亮度和色度信息来测量重量图。当捕获的场景对于移动对象是动态的时，基于图像差异和超像素分割来细化权重图可以去除重影伪像。改进的拉普拉斯金字塔融合框架，可以实现细节增强的图像融合。

本发明的有益效果：本发明能够保留更多的图像细节，使融合后的图像更清晰。本发明能够有效消除运动物体产生的鬼影现象。本发明可以广泛应用于各类场景的高动态成像。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1，实施例1的方法流程框架示意图。

图2，构造初始权重示意图。

图3，鬼影检测流程示意图。

图4，细节增强的图像融合框架示意图。

图5，图像集“Belgium House”的输入序列示意图。

图6，图像集“Belgium House”的实验对比示意图。

图7，图像集“Belgium House”的细节对比示意图。

图8，图像集“ArchSequence”的输入序列示意图。

图9，图像集“ArchSequence”的实验对比示意图。

图10，图像集“Horse”的输入序列示意图。

图11，图像集“Horse”的实验对比示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

本实施例提供一种多曝光图像融合方法，如图1，所述多曝光图像融合方法包括：

步骤一，使用LDR图像序列的曝光亮度和色度信息构建初始权重图；

其中，为第k幅输入图像的曝光亮度，为第k幅输入图像的色度信息，θ₁为的指数参数，θ₂为的指数参数；

步骤二，对LDR图像序列进行运动物体检测出运动区域，使用超像素分割的鬼影消除方法消除鬼影，完成对步骤一的初始权重图进行鬼影修正；

其中，为鬼影消除项，运动区域权重为零；

步骤三，对步骤三鬼影修正后的权重图进行归一化处理，得到：

其中，N为输入图像的幅数；ε为不为0的常数；

步骤四，根据步骤三的归一化的权重图计算出权重的高斯金字塔，定义LDR图像序列的Laplacian金字塔以及细节增益项，计算出融合金字塔，根据融合金字塔进行图像重构得出融合图像HDR。

具体地，静态场景的权重项根据曝光亮度、色度信息得到，如图2，所述步骤一包括：

步骤1.1，将LDR图像序列转换到YIQ颜色空间；

步骤1.2，根据YIQ颜色空间的亮度值计算曝光亮度，根据YIQ颜色空间的色度值计算色度信息；

步骤1.3，根据LDR图像序列的曝光亮度和色度信息构成初始权重图。

人类的视觉系统观察物体时与像素的曝光亮度有直接的关系，过暗或者过亮的区域都将使人眼无法获取到场景的细节信息，因此本实施例将图像曝光亮度作为权重融合衡量的指标之一。

具体地，计算曝光亮度包括：

步骤1.2.1，排除LDR图像序列中曝光过暗区域或者过亮区域的干扰影响，定义第k幅输入图像的曝光亮度为：

其中，为第k幅输入图像的亮度信息；T为亮度阈值，本实施例取0.05，也可取其他值；

步骤1.2.2，对于符合曝光要求的像素点，根据曝光适中度进行权重的分配，建立曝光适中度根据像素值的高斯分布，对曝光越好的像素值分配越高的融合权重；对曝光较越差的像素值分配越小的融合权重；定义亮度值范围内中间的亮度值为最佳曝光值，归一化计算第k幅输入图像的曝光适中度为：

其中，为第k幅输入图像的亮度信息；设定“最佳曝光值”为整个亮度表示范围的中值，在归一化处理后，本实施例取该值为0.5，当然也可根据需要取其他值；σ在此取0.2，当然也可根据需要取其他值；

步骤1.2.3，计算出LDR图像序列的曝光亮度为：

具体地，计算色度信息包括：

步骤1.2.4，定义欧几里德距离衡量色彩信息：

其中，和分别为第k幅输入图像在YIQ颜色空间下坐标为(x,y)的I值和Q值，I值和Q值为像素的色度信息；此处θ₁＝θ₂＝1，当然也可根据需要取其他值；

步骤1.2.5，色度信息衡量指标为保留输入图像中的表现较好的色彩信息，色度信息为：

色彩是衡量图像质量的重要因子，也是人眼感知外界必不可少的因素。对于图像色度信息的度量，本实施例在YIQ颜色空间进行计算。

具体地，如图3，步骤二包括：

步骤2.1，预设表征曝光度相似的误差值阀值，定义参考图像，将每幅图像的曝光度基于参考图像调整到曝光度小于误差值阀值内，得到：

其中，IMF(·)为强度映射函数，为曝光调整后的图像集，I^ref为参考图像；

步骤2.2，计算中每幅图像与参考图像I^ref的差分图

步骤2.3，检测运动状态的物体：

其中，T1为判断运动像素的阈值，C_k(x,y)＝0为该像素为运动物体，C_k(x,y)＝1则为该像素为非运动物体；

步骤2.4，对参考图像进行超像素分割，得到超像素集合S＝{S₁,S₂,···,S_n}，计算出超像素类别数n为：

n＝floor(r*c/ω²)

其中，floor(·)定义为向下取整的函数；r输入图像的高度的像素个数，c为输入图像宽度的像素个数；

使用超像素方法进行修正，得到：

其中，S_i为类别为i(1≤i≤n)的超像素区域；为C_k位于超像素区域S_i中为0的像素数；|S_i|为超像素区域S_i的像素数；T2为判断超像素S_i是否为运动目标的阈值，本实施例中T2＝0.05，当然也可根据需要取其他值。

具体地，如图4，步骤四中Laplacian金字塔以及细节增益项的过程可以是计算出：

其中，为第j层融合金字塔；为第k幅输入图像的第j层Laplacian金字塔；为第k幅权重图的第j层高斯金字塔；α_k为细节增益项；m_k为第k幅输入图像的真实平均亮度；

J为金字塔的层数，r为输入图像的高度的像素个数，c为输入图像的宽度的像素个数；

是第k幅图像的亮度信息；M为像素数；Ω为第k幅图像的空间域坐标，Ω取值位于0.1～0.9之间的像素点。

为了验证本实施例可以实现在细节增强和鬼影消除，本发明进行了实验的对比分析，实验结果如图5-11所示。

从图5-图7的对比及细节放大可以看出，本发明能够保留更多的图像细节，使融合后的图像更清晰。从图9-图11可以看出，本发明能够有效消除运动物体产生的鬼影现象。本发明可以广泛应用于各类场景的高动态成像。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员能够理解本发明，但是本发明不仅限于具体实施方式的范围，对本技术领域的普通技术人员而言，只要各种变化只要在所附的权利要求限定和确定的本发明精神和范围内，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种多曝光图像融合方法，其特征在于：所述多曝光图像融合方法包括：

步骤一，使用LDR图像序列的曝光亮度和色度信息构建初始权重图；

其中，为第k幅输入图像的曝光亮度，为第k幅输入图像的色度信息，θ₁为的指数参数，θ₂为的指数参数；

步骤二，对LDR多曝光图像序列进行运动物体检测，计算出运动区域，使用超像素分割的鬼影消除方法消除鬼影，完成对步骤一的初始权重图进行鬼影修正；

其中，为鬼影消除项，运动区域权重为零；

步骤三，对步骤三鬼影修正后的权重图进行归一化处理，得到：

其中，N为LDR图像序列的数量；ε为不为0的常数；

步骤四，根据步骤三的归一化的权重图计算出权重的高斯金字塔，定义LDR图像序列的Laplacian金字塔以及细节增益项，计算出融合金字塔，根据融合金字塔进行图像重构得出融合图像HDR。

2.根据权利要求1所述的多曝光图像融合方法，其特征在于：所述步骤一包括：

步骤1.1，将LDR多曝光图像序列转换到YIQ颜色空间；

步骤1.2，根据YIQ颜色空间的亮度值计算曝光亮度，根据YIQ颜色空间的色度值计算色度信息；

步骤1.3，根据LDR图像序列的曝光亮度和色度信息构成初始权重图。

3.根据权利要求2所述的多曝光图像融合方法，其特征在于：计算曝光亮度包括：

步骤1.2.1，排除LDR图像序列中曝光过暗区域或者过亮区域的干扰影响，定义第k幅输入图像的曝光亮度为：

其中，为第k幅输入图像的亮度信息；T为亮度阈值；

步骤1.2.2，建立曝光适中度根据像素值的高斯分布，对曝光越好的像素值分配越高的融合权重；对曝光较越差的像素值分配越小的融合权重；定义亮度值范围内中间的亮度值为最佳曝光值，归一化计算第k幅输入图像的曝光适中度为：

其中，为第k幅输入图像的亮度信息；

步骤1.2.3，计算出LDR图像序列的曝光亮度为：

4.根据权利要求2所述的多曝光图像融合方法，其特征在于：计算色度信息包括：

步骤1.2.4，定义欧几里德距离衡量色彩信息：

其中，和分别为第k幅输入图像在YIQ颜色空间下坐标为(x,y)的I值和Q值，I值和Q值为像素的色度信息；

步骤1.2.5，色度信息衡量指标为保留输入图像中的表现较好的色彩信息，色度信息归一化为：

5.根据权利要求4所述的多曝光图像融合方法，其特征在于：步骤二包括：

步骤2.1，预设表征曝光度相似的误差值阀值，定义参考图像，将每幅图像的曝光度基于参考图像调整到曝光度小于误差值阀值内，得到：

其中，IMF为强度映射函数，为曝光调整后的图像集，I^ref为参考图像；

步骤2.2，计算中每幅图像与参考图像I^ref的差分图

步骤2.3，检测运动状态的物体：

其中，T1为判断运动像素的阈值，C_k(x,y)＝0为该像素为运动物体，C_k(x,y)＝1则为该像素为非运动物体；

步骤2.4，对参考图像进行超像素分割，得到超像素集合S＝{S₁,S₂,···,S_n}，计算出超像素类别数n为：

n＝floor(r*c/ω²)

其中，floor(·)定义为向下取整的函数；r输入图像的高度的像素个数，c为输入图像宽度的像素个数；

使用超像素方法进行修正，得到：

其中，S_i为类别为i(1≤i≤n)的超像素区域；为C_k位于超像素区域S_i中为0的像素数；|S_i|为超像素区域S_i的像素数；T2为判断超像素S_i是否为运动目标的阈值。

6.根据权利要求5所述的多曝光图像融合方法，其特征在于：步骤四中Laplacian金字塔以及细节增益项的过程为计算出：

其中，为第j层融合金字塔；为第k幅输入图像的第j层Laplacian金字塔；为第k幅权重图的第j层高斯金字塔；α_k为细节增益项；m_k为第k幅输入图像的真实平均亮度；

J为金字塔的层数，r为输入图像的高度的像素个数，c为输入图像的宽度的像素个数；

是第k幅图像的亮度信息；M为像素数；Ω为第k幅图像的空间域坐标，Ω取值位于0.1～0.9之间的像素点。