CN104978722A - 基于背景建模的多曝光图像融合鬼影去除方法 - Google Patents

Abstract

本发明涉及数字图像处理，高动态范围图像处理。为检测并纠正图像融合过程中产生的鬼影，本发明采取的技术方案是，基于背景建模的多曝光图像融合鬼影去除方法，包括下列步骤：先将图像转化为灰度图，对一系列不同曝光度图像进行直方图均衡化，使图像灰度归一化到0—255范围内且分布均匀；然后将移动物体看成是奇异点，利用中值滤波得到去除移动物体的背景图的建模结果；分别用含有移动物体的图像与背景图作差相减，得到去除背景后只含有移动物体的图像；通过包括腐蚀膨胀的形态学操作将移动物体图像精确化，所得结果作为权重图，然后依照权重图对图像进行融合。本发明主要应用于数字图像处理。

Description

基于背景建模的多曝光图像融合鬼影去除方法

技术领域

本发明涉及数字图像处理，高动态范围图像处理，特别涉及基于背景建模的多曝光图像融合鬼影去除算法。

背景技术

现代数码相机单次曝光不能覆盖自然场景的整个动态范围。这在数字图像重建的过程中会产生一个问题，传统的低动态范围(Low Dynamic Range,LDR)图像在过曝光和欠曝光区域不能包含所有的细节。高动态范围(High Dynamic Range,HDR)图像通过融合一系列不同曝光度的低动态范围图像来扩大单一图像所能覆盖的动态范围和增强图像细节。现有的融合技术为了确保能得到不含鬼影的融合图像必须要求不同曝光度的待融合图像背景必须完全静止。然而，现实场景中获得的图像大多含有移动物体等动态元素。这在一定程度上限制了HDR的应用。

为了避免合成图像中出现运动目标的错位和叠加现象，现有的去鬼影的HDR图像融合方法大致分为三种：一是用单一曝光度的单幅图像来改正产生鬼影的地方，二是用多重曝光度的多幅图像来改正产生鬼影的地方，三是直接修改导致鬼影产生的源图像在融合过程中的权重。

对于第一种方法,fabrizio等[1]用中值阈值位图法来检测像素的变化，然后在融合的过程中进行图像配准并将变化较大的像素排除在外。Wei Zhang等[2]在梯度域利用梯度方向对曝光度不敏感特性来检测移动物体，在融合的过程中对移动物体赋予较小的权重来去除鬼影的影响。Jacob[3]提出一种基于局部像素熵值变化来检测移动物体的方法。用熵值作为测度因子是因为熵值不会受到像素值强度变化的影响。然而，基于熵值的方法容易在动态范围大的地方出现较大的误差。

第二种方法采用了用不同曝光度的图像来修正出现鬼影区域的方法。Gallo[4]提出一种测量场景中像素正确曝光度的方法。对于场景的每一区域像素值，计算同一曝光度下基于另一场景区域的偏差。最终，本算法通过用不同曝光度的区域来合成一幅无鬼影的HDR图像。E.Reinhard[5]基于像素局部方差分割出由运动目标造成的“鬼影”区域，然后通过直方图找到最佳曝光的参考图像去替代“鬼影”区域，最终得到合成后的高动态图像。这种算法的优点在于想法直观，运算简单；缺点是基于方差检测运动目标的过程中容易将其它静止目标的边界检测出来，出现误检。Grosch提出依据残差图像(the error map)[6]检测出运动目标。首先选取一幅曝光良好的图像作为参考，估计出相机的响应函数，依据相机响应曲线计算其他输入图像的估计图像，然后计算残差图像(the error map)，残差图像中像素值大的点就认定为运动目标。但这种算法受相机响应函数和图像噪声的影响较大。

第三种方法中，Khan[7]提出一种不需要移动物体检测和运动估计的方法。本方法通过迭代方法直接反复的修改权重使得可见的鬼影部分的权重足够小以得到无鬼影的HDR图像。算法通过一个无参数的静态场景模型来计算像素每一像素值属于同一集群的概率。这主要是基于静态背景像素比动态移动物体像素出现时间长的假设。这种方法可以得到效果非常好的结果，但计算量大且耗时。Kang[8]提出一种基于光流法检测移动物体的方法。算法主要依据光流法来配准相邻帧以达到融合后无鬼影的效果。然而，这种方法结果的好坏主要依据运动估计是否准确，很难得到正确的结果。

可以看出，现有的多曝光图像融合去鬼影算法往往需要复杂的计算来求得相机的响应曲线，或者需要设置参考图像。因此，本发明提出一种简便的多曝光图像融合去鬼影方法，利用背景建模的帧差法来检测移动物体，修改移动物体在融合过程中所对应的权重来去除鬼影的影响。

参考文献

[1]Pece F,Kautz J.Bitmap movement detection:HDR for dynamic scenes[C]//VisualMedia Production(CVMP),2010Conference on.IEEE,2010:1-8.

[2]Zhang W,Cham W K.Gradient-directed composition of multi-exposureimages[C]//Computer Vision and Pattern Recognition(CVPR),2010IEEE Conference on.IEEE,2010:530-536.

[3]Jacobs K,Loscos C,Ward G.Automatic high-dynamic range image generation fordynamic scenes[J].IEEE Computer Graphics and Applications,2008(2):84-93.

[4]Gallo O,Gelfand N,Chen W C,et al.Artifact-free high dynamic rangeimaging[C]//Computational Photography(ICCP),2009IEEE International Conference on.IEEE,2009:1-7.

[5]Reinhard E,Heidrich W,Debevec P,et al.High dynamic range imaging:acquisition,display,and image-based lighting[M].Morgan Kaufmann,2010.

[6]Grosch T.Fast and robust high dynamic range image generation with camera andobject movement[C]//Vision,Modeling and Visualization.2006:277-284.

[7]Khan E A,Akyiiz A O,Reinhard E.Ghost removal in high dynamic rangeimages[C]//Image Processing,2006IEEE International Conference on.IEEE,2006:2005-2008.

[8]Kang S B,Uyttendaele M,Winder S,et al.High dynamic range video[J].ACMTransactions on Graphics(TOG),2003,22(3):319-325.

[9]Mertens T,Kautz J,Van Reeth F.Exposure fusion[C]//Computer Graphics andApplications,2007.PG'07.15th Pacific Conference on.IEEE,2007:382-390.

[10]Li S,Kang X.Fast multi-exposure image fusion with median filter and recursivefilter[J].Consumer Electronics,IEEE Transactions on,2012,58(2):626-632.

发明内容

为克服技术的不足，本发明旨在检测并纠正图像融合过程中产生的鬼影。为此，本发明采取的技术方案是，基于背景建模的多曝光图像融合鬼影去除方法，包括下列步骤：先将图像转化为灰度图，对一系列不同曝光度图像进行直方图均衡化，使图像灰度归一化到0—255范围内且分布均匀；然后将移动物体看成是奇异点，利用中值滤波得到去除移动物体的背景图的建模结果；分别用含有移动物体的图像与背景图作差相减，得到去除背景后只含有移动物体的图像；通过包括腐蚀膨胀的形态学操作将移动物体图像精确化，所得结果作为权重图，然后依照权重图对图像进行融合。

对直方图均衡化后的图像序列在时域上进行中值滤波操作，得到静态背景图：

$\begin{array}{cc}{I}^M(x,y)=median\left\{I_n^E(x,y)\right\}& n=1,2,...,N\end{array}---\left(1\right)$

是指第n幅直方图均衡化后的图像，I^M是指中值滤波后所得的背景图像，median是指中值滤波操作。

分别用含有移动物体的图像与背景图作差相减具体步骤是，在窗口函数内，分别用直方图均衡化后的输入图像与静态背景图做差，将窗口内像素对应的差值的均值作为融合过程中权重的测度因子：

$d_{ij(x,y)}=\frac{{\mathrm{\Σ}}_{k=-l}^l|I_n^E(x,y)-I_n^M(x,y)|}{{(2l+1)}^2}---\left(2\right)$

$D^i(x,y)=\underset{j=1}{\overset{N}{\Σ}}\exp \left(\frac{-d_{ij}{(x,y)}^2}{2{\mathrm{\δ}}_s^2}\right)---\left(3\right).$

窗函数的大小是(2l+1)×(2l+1),是指第n幅直方图均衡化后的图像的灰度值，I^M是指中值滤波后所得的背景图像像素的灰度值，d_ij(x,y)是指窗口内两幅图像对应位置处差值的平均值。是标准差，Dⁱ(x,y)指移动物体检测的结果。

通过包括腐蚀膨胀的形态学操作将移动物体图像精确化具体步骤是，在提取出运动目标的轮廓后，使用形态学处理，用图像腐蚀去除杂点，图像膨胀填补轮廓中的断裂部分，然后对其内部进行填充，即可得到当前检测到的运动物体区

C_n＝(D_n⊕s₁)Θs₂    (4)

⊕代表形态学操作膨胀，Θ代表形态学操作腐蚀，S₁、S₂分别表示膨胀和腐蚀操作的结构元的半径，D_n指的是移动物体检测后的权重图，C_n指经过形态学操作后的权重图结果。

依照权重图对图像进行融合具体是，对多曝光图像进行加权融合，使用权重测度因子的最终处理结果C_n作为权重，采用基于拉普拉斯金字塔分解的图像融合方法进行融合，得到最终的无鬼影HDR图：

$F(x,y)=\underset{i=1}{\overset{N}{\Σ}}{W}_i(x,y)\×I_i(x,y)---\left(5\right)$

I_i(x,y)表示输入的第i幅图像的灰度图，W_i(x,y)表示输入的第i幅图像的权重图。F(x,y)表示融合后的图像。

与已有技术相比，本发明的技术特点与效果：

采用本发明的技术方案得到的融合图像从主观上看有很明显的去鬼影效果，且最终图像还原度好，无明显的残留和痕迹。本发明算法思路简单，计算复杂度低，去除鬼影效果无残留痕迹，这说明本发明算法在细节信息的提取和处理等方面均优于其他几种算法。

附图说明

图1移动物体检测部分流程图。

图2基于移动物体检测的背景建模的结果。

图3single People序列对比评价。

图4walking people序列对比评价。

图中：

(a)本文方法对single People序列融合的结果(b)Shutao Li等对single People序列递归滤波器去鬼影融合的结果

(c)Mertens等对single People序列融合的结果(d)Wei Zhang等对single People序列基于梯度方向去鬼影融合的结果

(a’)，(b’)，(c’)，(d’)分别对应single People序列(a)，(b)，(c)，(d)框图的细节放大。

(A)本文方法对walking people序列融合的结果(B)Shutao Li等对walking people序列递归滤波器去鬼影融合的结果

(C)Mertens等对walking people序列融合的结果(D)Wei Zhang等对walking people序列基于梯度方向去鬼影融合的结果

(A’)，(B’)，(C’)，(D’)分别对应walking people序列(A)，(B)，(C)，(D)框图的细节放大。

具体实施方式

本发明旨在检测并纠正图像融合过程中产生的鬼影。本文算法的主要思想如下：首先，需要检测多曝光图像中的移动物体，然后在融合的过程中对检测到的移动物体部分赋予极小的权重。其他部分赋予较大的权重。具体步骤如下，为了减小运算量，先将图像转化为灰度图，对一系列不同曝光度图像进行直方图均衡化，使图像灰度归一化到0—255范围内且分布均匀。然后将移动物体看成是奇异点，利用中值滤波得到去除移动物体的背景图的建模结果。分别用含有移动物体的图像与背景图作差相减，得到去除背景后只含有移动物体的图像。通过腐蚀膨胀等形态学操作将移动物体图像精确化，所得结果作为权重图，然后依照权重图对图像进行融合。通过大量实验证明，本文提出的算法对于去除鬼影的图像融合具有良好的效果，而且计算简单。

本发明主要基于移动物体检测和拉普拉斯金字塔图像融合。其中移动物体检测采用的是基于中值滤波的背景差分法来背景建模。图像融合过程中检测到的移动物体部分赋较小的权重，其权重图主要基于灰度一致性测度因子来得到。流程图如图1所示：

1、灰度一致性(移动物体检测)

在多曝光模式下，想要有效的检测出运动目标所在区域将变得困难。其原因在于场景的动态范围过大，每张输入图像中都有大量的场景信息丢失。对于任意一幅输入图像，在场景中不存在运动物体时，例如在曝光度升高时，灰度会整体性的变大，暗处将出现更多的信息，而亮处更多的出现饱和，适度曝光区域根据像素点对应的场景空间位置上照度的不同，部分像素的灰度值会上升到饱和。由于场景本身的高动态范围特性，各个区域都有着比较大的区域，此时将图像与曝光度变化前相比，各个区域都会出现很大的差异，无法简单的通过判断像素强度变化来提取运动区域。事实上，即便此时场景中并不存在运动物体，也会有大量区域由于灰度变化很大而被提取出来，并且密集的聚集在几块区域。这是因为场景不变时，像素灰度值随曝光度的变化情况与其对应的场景照度有关。二维平面上场景的照度一般在局部具有较高的相似性。

为了合理的评价待融合的灰度图中的信息，本文采用灰度一致性信息测度因子来从不同的角度描述输入图像对结果的贡献，以保证所得的融合图像的保持细节和无鬼影。当融合含有移动物体的不同动态范围的图像的时候，必须考虑移动物体对权重的影响。我们首先对图像灰度进行归一化处理，即通过直方图均衡来去除不同曝光度对图像灰度的影响，使灰度统一均匀分布到0—255范围内。然后利用时域中值滤波来去掉灰度奇异部分(移动物体灰度部分)得到背景建模的结果(去除移动物体后的静态背景)，然后通过待融合图像源图像与场景静态背景图像像素之间灰度偏移度来表示权重。将场景中移动物体部分权重赋予较小的值，其他部分权重赋予较大的值，在融合过程中使能产生鬼影的移动物体部分的权重贡献度尽量小，最终可以得到一幅无鬼影的效果良好的HDR图像。

多曝光图像序列融合去鬼影算法步骤如下：

对输入的每幅彩色多曝光图像，转化为灰度图。

对灰度图进行直方图均衡操作，使图像灰度分布均匀。

对直方图均衡化后的图像序列在时域上进行中值滤波操作，得到静态背景图：

$\begin{array}{cc}{I}^M(x,y)=median\left\{I_n^E(x,y)\right\}& n=1,2,...,N\end{array}---\left(1\right)$

是指第n幅直方图均衡化后的图像，I^M是指中值滤波后所得的背景图像，median是指中值滤波操作。

窗口函数内，分别用直方图均衡化后的输入图像与静态背景图做差，将窗口内像素对应的差值的均值作为融合过程中权重的测度因子。

$d_{ij(x,y)}=\frac{{\mathrm{\Σ}}_{k=-l}^l|I_n^E(x,y)-I_n^M(x,y)|}{{(2l+1)}^2}---\left(2\right)$

$D^i(x,y)=\underset{j=1}{\overset{N}{\Σ}}\exp \left(\frac{-d_{ij}{(x,y)}^2}{2{\mathrm{\δ}}_s^2}\right)---\left(3\right)$

窗函数的大小是(2l+1)×(2l+1),是指第n幅直方图均衡化后的图像的灰度值，I^M是指中值滤波后所得的背景图像像素的灰度值，d_ij(x,y)是指窗口内两幅图像对应位置处差值的平均值。是标准差，实验中一般设定为0.2，Dⁱ(x,y)指移动物体检测的结果。

在提取出运动目标的轮廓后，使用形态学处理，用图像腐蚀去除杂点，图像膨胀填补轮廓中的断裂部分，然后对其内部进行填充，即可得到当前检测到的运动物体区

C_n＝(D_n⊕s₁)Θs₂    (4)

⊕代表形态学操作膨胀，Θ代表形态学操作腐蚀，S₁、S₂分别表示膨胀和腐蚀操作的结构元的半径，D_n指的是移动物体检测后的权重图，C_n指经过形态学操作后的权重图结果。

对多曝光图像进行加权融合，使用权重测度因子的最终处理结果C_n作为权重，采用基于拉普拉斯金字塔分解的图像融合方法进行融合，得到最终的无鬼影HDR图。

$F(x,y)=\underset{i=1}{\overset{N}{\Σ}}{W}_i(x,y)\×I_i(x,y)---\left(5\right)$

I_i(x,y)表示输入的第i幅图像的灰度图，W_i(x,y)表示输入的第i幅图像的权重图。F(x,y)表示融合后的图像。

为验证算法效果，应用如上所述的算法对多曝光图像序列进行融合并在融合过程中进行去鬼影。对于彩色图像，在融合时对R、G、B三个通道分别进行计算，为了比较算法的效果，将本文算法的结果与Mertens等人的算法[9]、Wei Zhang等人的算法[2]、Shutao Li等人算法[10]做比较。

“single People图像序列”、“single People图像序列”的实验结果如图3、4所示。

从“single People”和“single People”图像序列的实验结果可以看出，Mertens等人算法对本实验图片去除鬼影效果不明显，而且保留了较多的色度信息。Wei Zhang等人的算法较好的效果，能够去除大部分鬼影信息，但是去除不完整，有较明显的残留和淡淡的痕迹。采用本发明的技术方案得到的融合图像从主观上看有很明显的去鬼影效果，且最终图像还原度好，无明显的残留和痕迹。本发明算法思路简单，计算复杂度低，去除鬼影效果无残留痕迹，这说明本发明算法在细节信息的提取和处理等方面均优于其他几种算法。

下面结合附图和具体实施例进一步详细说明本发明。

移动物体检测部分流程图如图1所示

图1基于背景建模的移动物体检测的流程图。

为了减小计算量，首先将一系列不同曝光度的待融合源图像分别转化为灰度图，然后对每一幅灰度图进行直方图均衡化操作，使每一幅待输入图像的灰度分布归一化到0—255之间且分布均匀。然后，将归一化后的一系列待融合图像排成一列，分别取每一幅图像上相同位置处的像素值组成一个N维向量，在这个N维向量上进行中值滤波操作，将最终的滤波结果组合在一起就可以得到去除移动物体后的场景静态背景图。图像中的移动物体检测过程如图2所示

图2左上是原始的LDR序列。左下是直方图均衡化后的原始序列。右端是时域中值滤波后所得的背景建模的结果。

在实际应用中，为了得到最佳的融合结果，通过大量实验对比，对本发明算法中涉及的参数进行如下设置：窗口的大小设置为11*11时，融合结果具有良好的效果。对于腐蚀和膨胀的形态学操作，se1设置为3，se2设置为20。本参数具有较好的通用性。以多曝光图像序列为实验对象，采用本发明中描述的步骤，按上述参数值设置，可以得到视觉效果较好的融合去鬼影图像。实验结果表明，本发明算法在主观视觉和客观定量指标等方面均有较好的效果。

Claims (5)

1.一种基于背景建模的多曝光图像融合鬼影去除方法，其特征是，包括下列步骤：先将图像转化为灰度图，对一系列不同曝光度图像进行直方图均衡化，使图像灰度归一化到0—255范围内且分布均匀；然后将移动物体看成是奇异点，利用中值滤波得到去除移动物体的背景图的建模结果；分别用含有移动物体的图像与背景图作差相减，得到去除背景后只含有移动物体的图像；通过包括腐蚀膨胀的形态学操作将移动物体图像精确化，所得结果作为权重图，然后依照权重图对图像进行融合。

2.如权利要求1所述的基于背景建模的多曝光图像融合鬼影去除方法，其特征是，对直方图均衡化后的图像序列在时域上进行中值滤波操作，得到静态背景图：

$I^M(x,y)=median\left\{I_n^E(x,y)\right\}$    n＝1,2,…,N(1)

是指第n幅直方图均衡化后的图像，I^M是指中值滤波后所得的背景图像，median是指中值滤波操作。

3.如权利要求1所述的基于背景建模的多曝光图像融合鬼影去除方法，其特征是，分别用含有移动物体的图像与背景图作差相减具体步骤是，在窗口函数内，分别用直方图均衡化后的输入图像与静态背景图做差，将窗口内像素对应的差值的均值作为融合过程中权重的测度因子：

$d_{ij(x,y)}=\frac{{\mathrm{\Σ}}_{k=-l}^l|I_n^E(x,y)-I_n^M(x,y)|}{{(2l+1)}^2}---\left(2\right)$

$D^i(x,y)=\underset{j=1}{\overset{N}{\Σ}}\exp \left(\frac{-d_{ij}{(x,y)}^2}{2{\mathrm{\δ}}_s^2}\right)---\left(3\right)$

窗函数的大小是(2l+1)×(2l+1),是指第n幅直方图均衡化后的图像的灰度值，I^M是指中值滤波后所得的背景图像像素的灰度值，d_ij(x,y)是指窗口内两幅图像对应位置处差值的平均值，是标准差，Dⁱ(x,y)指移动物体检测的结果。

4.如权利要求1所述的基于背景建模的多曝光图像融合鬼影去除方法，其特征是，通过包括腐蚀膨胀的形态学操作将移动物体图像精确化具体步骤是，在提取出运动目标的轮廓后，使用形态学处理，用图像腐蚀去除杂点，图像膨胀填补轮廓中的断裂部分，然后对其内部进行填充，即可得到当前检测到的运动物体区：

C_n＝(D_n⊕s₁)Θs₂   (4)

⊕代表形态学操作膨胀，Θ代表形态学操作腐蚀，S₁、S₂分别表示膨胀和腐蚀操作的结构元的半径，D_n指的是移动物体检测后的权重图，C_n指经过形态学操作后的权重图结果。

5.如权利要求1所述的基于背景建模的多曝光图像融合鬼影去除方法，其特征是，依照权重图对图像进行融合具体是，对多曝光图像进行加权融合，使用权重测度因子的最终处理结果C_n作为权重，采用基于拉普拉斯金字塔分解的图像融合方法进行融合，得到最终的无鬼影HDR图：

$F(x,y)=\underset{i=1}{\overset{N}{\Σ}}{W}_i(x,y)\×I_i(x,y)---\left(5\right)$

I_i(x,y)表示输入的第i幅图像的灰度图，W_i(x,y)表示输入的第i幅图像的权重图，F(x,y)表示融合后的图像。