CN108876740B - 一种基于鬼影去除的多曝光配准方法 - Google Patents

Abstract

本发明涉及一种基于鬼影去除的多曝光配准方法，解决的是动态场景下融合后图像存在的鬼影现象的技术问题，通过采用包括采用图像配准得到配准后的图像序列，以及根据配准图像序列进行图像融合完成多曝光配准；所述图像融合采用三尺度图像分解得到基础层，中间层及细节层，以及采用构造权重图计算出基础层权重图，中间层权重图及细节层权重图后通过加权融合完成图像融合的技术方案，较好的解决了该问题，可用于图像融合中。

Description

一种基于鬼影去除的多曝光配准方法

技术领域

本发明涉及图像融合领域，具体涉及一种基于鬼影去除的多曝光配准方法。

背景技术

数码相机捕捉真实世界场景时，单张照片由于其有限的动态范围，往往无法准确捕获现实场景丰富的亮度，色彩，强度等诸多图像信息，并且在曝光不足和过度曝光的情况下往往会丢失一些细节。

现在可通过使用多个成像设备或者特殊传感器设备来解决此问题，使捕获的图像与真实场景更为相近，但这些设备价格昂贵并不受大众的欢迎。包括采用高动态范围成像技术(简称HDR)。基于软件的HDR成像技术是通过合并由传统的LDR成像设备(如数码相机)拍摄的一系列不同曝光度的低动态范围(LDR)图像。现有的HDR成像方法可以进一步分为两类：基于色调映射(TM)的方法和基于图像融合(IF)方法。但常规的简单的融合方法可以在静态场景下拍摄多幅LDR图像融合成视觉效果较好的图像。

但当场景是动态，即拍摄场景中存在行走的人，飘动的树叶或者当人手持相机发生抖动的情况下，现有的这些融合方法可能会导致融合图像出现严重的伪影现象。因此提供一种能够解决上述问题的基于鬼影去除的多曝光配准方法就很有必要。

发明内容

本发明所要解决的技术问题是现有技术中存在动态场景下融合后图像存在的鬼影现象的技术问题。提供一种新的基于鬼影去除的多曝光配准方法，该基于鬼影去除的多曝光配准方法具有能够去除鬼影、增强细节的特点。

为解决上述技术问题，采用的技术方案如下：

一种基于鬼影去除的多曝光配准方法，所述方法包括采用图像配准得到配准后的图像序列，以及根据配准图像序列进行图像融合完成多曝光融合；所述图像融合采用三尺度图像分解得到基础层，中间层及细节层，以及采用权重项计算出基础层权重图，中间层权重图及细节层权重图后通过加权融合完成图像融合。

本发明由于对图像进行三尺度分解，因此在增强细节的基础上，达到了去除鬼影的目的。

上述方案中，为优化，进一步地，三尺度图像分解包括：

步骤1，将采用图像映射函数将配准后的图像序列的进行曝光度调整，得到图像集

其中，IMF(·)表征强度映射函数；

表征曝光调整后的第k幅图像，I^ref表征参考图像；

步骤2，将步骤1中曝光度调整后的图像集

进行三尺度分解，首先分解出基础层为：

其中B_k是第k副图像的基础层，Z为均值滤波；

用配准后调整过曝光的图像减去基础层得到中间层：

其中

是第k副图像的中间层；

细节层为

进一步地，所述构造权重图包括：

步骤A1，采用拉普拉斯滤波器获得每个

的显著性图像

其中g是高斯低通滤波器；

步骤A2，采用竞争学习策略求得确定权重图的第一个权重因子

步骤A3，引入第二个权重因子，得到曝光质量

步骤A4，通过计算到初始权重图

根据导向滤波G_r,θ，分别计算出基础层最终的权重图；

中间层最终的权重图

以及细节层最终的权重图

步骤A5，经过加权融合求得融合后的图像：

进一步地，所述图像配准包括：

步骤1，将所有原始图像S按照曝光程度排序，将曝光程度居中的图像S_t定义为参考图像R，然后将图像S_t-1和图像S_t+1分别向参考图像R配准，得到配准后的图像S'_t-1和图像S'_t+1；

步骤2，将配准后的图像S'_t-1定义为参考图像R重复步骤3,将配准后的图像S'_t+1定义为参考图像R重复步骤3。

进一步地，所述配准包括：

步骤B1，通过强度梯度对色调映射函数进行初始化，得到颜色映射初始化函数τ，根据参考图像R并用颜色映射初始化函数τ对配准图像L进行初始化，颜色映射初始化函数τ随配准图像L的更新而更新；

步骤B2，运用配准算法将配准图像L与原始图像S进行匹配，获配准图像L和图像S之间的密集的对应关系，使配准图像L和原图像S具有一致的曝光度，和参考图像R具有一致的几何特征。

进一步地，步骤B2包括：

(1)定义辐照一致性为

其中，Ω是图像域，对于图像域中的每一个像素点i，提取六个通道：R，G，B通道以及相应的R，G，B梯度，即

(2)定义纹理一致性：

其中，P_i ^S是原始图像S中以i为中心的p×p图像块，u(i)映射从L到S相应图像块的位置关系；

(3)合并辐照一致性能量数和纹理一致性能量函数，得到配准图像L：

本发明的有益效果：本发明通过采用三尺度分解，增强融合图像的细节，达到了去除鬼影的目的。引入了第二权重因子使过曝光和欠曝光的像素点不参与最终的图像融合。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1，实施例1中的配准原理图。

图2，图像序列示意图。

图3，现有的基于Dense-SIFT算法的多曝光融合算法的结果示意图。

图4，本实施例中的结果示意图。

图5，图像序列示意图。

图6，本实施例中的结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

本实施例提供一种基于鬼影去除的多曝光配准方法，所述方法包括采用图像配准得到配准后的图像序列，以及根据配准图像序列进行图像融合完成多曝光融合；所述图像融合采用三尺度图像分解得到基础层，中间层及细节层，以及采用权重项计算出基础层权重图，中间层权重图及细节层权重图后通过加权融合完成图像融合。

本实施中：对于图像序列中的原图像S，经过相应的配准算法得到一系列曝光与自身一致，几何特征与参考图像一致的图像。配准算法可采用现有的一般配准算法，也可采用如下配准算法：选取适度曝光像素点最多的图像作为参考图像R。例如：存在5幅不同曝光的图像序列如图2，按照曝光程度排序为图像1,图像2,图像3,图像4,图像5。首先将图像3作为参考图像R，然后将图像2和图像4分别向参考图像R配准，得到配准后的图像，最后将配准后的图像2和配准后的图像4分别作为图像1和图像的参考图像，依此类推。

配准详细地是通过强度梯度对色调映射函数进行初始化，得到初始化后的颜色映射函数τ，采用τ根据参考图像R对配准图像L进行初始化，τ随L的更新而更新。

然后，运用如PatchMatch算法等配准算法将配准图像L与原图像S进行匹配，获图像L和图像S之间的密集的对应关系，如图1。

具体地，图像配准包括：

步骤1，将所有原始图像S按照曝光程度排序，将曝光程度居中的图像S_t定义为参考图像R，然后将图像S_t-1和图像S_t+1分别向参考图像R配准，得到配准后的图像S'_t-1和图像S'_t+1；

步骤2，将配准后的图像S'_t-1定义为参考图像R重复步骤1,将配准后的图像S'_t+1定义为参考图像R重复步骤1。

其中，步骤1-步骤2中的配准包括：

步骤B1，通过强度梯度对色调映射函数进行初始化，得到颜色映射初始化函数τ，根据参考图像R并用颜色映射初始化函数τ对配准图像L进行初始化，颜色映射初始化函数τ随配准图像L的更新而更新；

步骤B2，运用配准算法将配准图像L与原始图像S进行匹配，获配准图像L和图像S之间的密集的对应关系，使配准图像L和原图像S具有一致的曝光度，和参考图像R具有一致的几何特征，步骤B2包括：

(1)定义辐照一致性为

其中，Ω是图像域，对于图像域中的每一个像素点i，提取六个通道：R，G，B通道以及相应的R，G，B梯度，即

(2)定义纹理一致性：

其中，P_i ^S是原始图像S中以i为中心的p×p图像块，u(i)映射从配准图像L到原始图像S相应图像块的位置关系；

(3)合并辐照一致性能量数和纹理一致性能量函数，得到配准图像L：

具体地，本实施例中的三尺度图像分解过程包括：

步骤1，将采用图像映射函数将配准后的图像序列的进行曝光度调整，得到图像集

其中，IMF(·)表征强度映射函数；

表征曝光调整后的第k幅图像，I^ref表征参考图像；

步骤2，将步骤1中曝光度调整后的图像集

进行三尺度分解，首先分解出基础层为：

其中B_k是第k副图像的基础层，Z为均值滤波；用配准后调整过曝光的图像减去基础层得到中间层：

其中

是第k副图像的中间层；

细节层为：

具体地，本实施例中的构造权重图包括：

步骤A1，采用拉普拉斯滤波器获得每个

的显著性图像

其中g是高斯低通滤波器

步骤A2，采用竞争学习策略求得确定权重图的第一个权重因子

步骤A3，引入第二个权重因子，得到曝光质量

步骤A4，通过计算到初始权重图

根据导向滤波G_r,θ，分别计算出基础层最终的权重图

中间层最终的权重图

以及细节层最终的权重图

步骤A5，经过加权融合求得融合后的图像：

采用如基于Dense-SIFT算法的多曝光融合算法的结果如图3，可以看出，在运动物体位移较大的情况下会产生严重的鬼影现象，结果中的标识区域所示并且在细节方面不太突出。

图5是另一幅图像序列示意图，图中的图像1-图3也是曝光程度的排序。对应地，本实施例的结果如图4，如图6，细节方面突出，已经解决了出现鬼影的问题。特别说明的是，因为本实施例是针对图像融合，需要采用彩色图片作为说明书附图，因此本实施例的图采用的彩色并未黑白处理。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员能够理解本发明，但是本发明不仅限于具体实施方式的范围，对本技术领域的普通技术人员而言，只要各种变化只要在所附的权利要求限定和确定的本发明精神和范围内，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于鬼影去除的多曝光配准方法，其特征在于：所述方法包括采用图像配准得到配准后的图像序列，以及根据配准图像序列进行图像融合完成多曝光配准；

所述图像融合采用三尺度图像分解得到基础层，中间层及细节层，以及采用构造权重图计算出基础层权重图，中间层权重图及细节层权重图后通过加权融合完成图像融合；

所述构造权重图包括：

步骤A1，采用拉普拉斯滤波器获得每个

的显著性图像

其中g是高斯低通滤波器；

步骤A2，采用竞争学习策略求得确定权重图的第一个权重因子

步骤A3，引入第二个权重因子，得到曝光质量

步骤A4，通过计算到初始权重图

根据导向滤波G_r，θ，分别计算出基础层最终的权重图

中间层最终的权重图

以及细节层最终的权重图

步骤A5，经过加权融合求得融合后的图像：

2.根据权利要求1所述的基于鬼影去除的多曝光配准方法，其特征在于：所述三尺度图像分解包括：

步骤1，将采用图像映射函数将配准后的图像序列的进行曝光度调整，得到图像集

其中，IMF(·)表征强度映射函数；

表征曝光调整后的第k幅图像，I^ref表征参考图像；

步骤2，将步骤1中曝光度调整后的图像集

进行三尺度分解，首先分解出基础层为：

其中B_k是第k副图像的基础层，Z为均值滤波；用配准后调整过曝光的图像减去基础层得到中间层：

其中

是第k副图像的中间层；

细节层为

3.根据权利要求1所述的基于鬼影去除的多曝光配准方法，其特征在于：所述图像配准包括：

步骤1，将所有原始图像S按照曝光程度排序，将曝光程度居中的图像S_t定义为参考图像R，然后将图像S_t-1和图像S_t+1分别向参考图像R配准，得到配准后的图像S′_t-1和图像S′_t+1；

步骤2，将配准后的图像S′_t-1定义为参考图像R重复步骤1，将配准后的图像S′_t+1定义为参考图像R重复步骤1。

4.根据权利要求3所述的基于鬼影去除的多曝光配准方法，其特征在于：所述配准包括：

步骤B1，通过强度梯度对色调映射函数进行初始化，得到颜色映射初始化函数τ，根据参考图像R并用颜色映射初始化函数τ对配准图像L进行初始化，颜色映射初始化函数τ随配准图像L的更新而更新；

步骤B2，运用配准算法将配准图像L与原始图像S进行匹配，获配准图像L和图像S之间的密集的对应关系，使配准图像L和原图像S具有一致的曝光度，和参考图像R具有一致的几何特征。

5.根据权利要求4所述的基于鬼影去除的多曝光配准方法，其特征在于：步骤B2包括：

(1)定义辐照一致性为

其中，Ω是图像域，对于图像域中的每一个像素点i，提取六个通道：R，G，B通道以及相应的R，G，B梯度，即

(2)定义纹理一致性：

其中，P_i ^S是原始图像S中以i为中心的p×p图像块，u(i)映射从L到S相应图像块的位置关系；

(3)合并辐照一致性能量数和纹理一致性能量函数，得到配准图像L：

Images