CN103325098A - 基于多尺度处理的高动态红外图像增强方法 - Google Patents

Abstract

本发明公开了一种基于多尺度处理的高动态红外图像增强方法，首先是应用加权最小二乘滤波器对原始图像进行边缘保留式的图像多尺度分层操作，然后分别对得到的多层细节图像和残留模糊图像进行处理，使细节得到适当的放大，而残留层得到压缩，最后再把多个细节层和残留层合并，得到最终用于显示的低动态范围图像。本发明可以很好的保留红外图像细节，同时避免或削弱由细节分离操作所带来的合成图像中的光晕和梯度反转现象。

Description

基于多尺度处理的高动态红外图像增强方法

技术领域

本发明属于红外图像处理技术领域，特别是一种基于多尺度的高动态红外图像增强方法。

背景技术

不同于可见光图像，红外图像的形成来主要自于场景中目标和背景的热辐射，一般呈现低对比度和低信噪比的特点，为了更好的保留细节，红外图像的量化精度通常达到14比特或者更高。而常规的显示设备一般只能显示256级灰度，而且人眼对灰度的分辨能力也十分有限。因此必须结合红外图像的特点，对原始红外图像进行动态范围压缩(DRC)，以匹配“高动态”和“可视化”之间的矛盾。

对此，通常的解决办法是全局直方图均衡化(GHE)处理，通过对输入图像直方图的统计和累积，重新映射输入图像的灰度值，使输出图像呈现全灰度区间内的均匀分布。然而这种方法的缺点十分明显，因为红外图像通常是背景辐射占优，经过直方图处理后，结果通常是背景对比度得到提升，而目标对比度下降，同时背景噪声得到凸显，并不总能得到令人满意的效果。因此必须对红外图像的背景进行抑制，以此为出发点，出现了很多新的改进算法，如平台直方图算法(PE)，通过限制图像中任意灰度级的最大统计个数，来限制背景的过分增强；对比度受限的自适应直方图算法(CLAHE)，通过局部处理的方法，限制局部平坦区域的对比度增强，最后再通过双线性插值的方法消除边界效应。这些算法都能在一定条件下改善红外图像的可视化效果，但是容易出现过度增强和细节丢失的现象。

为此，出现了很多基于分层处理框架的算法，如BF&DRP算法(Branchitta Francesco, Diani Marco, Corsini Giovanni, Romagnoli Marco. New technique for the visualization of highdynamic range infrared images[J]. Optical Engineering, 2009, 48(9): 096401.)和BF&DDE算(Chao Zuo, Qian Chen,Ning Liu et al. Display and detail enhancement forhigh-dynamic-range infrared images[J]. Optical Engineering, 2011, 50(12):127401(9).)，其主要思想是将图像分成细节层和残留层，然后分别处理，最终再合并输出。但是该类方法对图像的噪声水平要求较高，并且容易出现光晕和梯度反转现象。

发明内容

本发明的目的在于提供一种基于多尺度的高动态范围红外图像的增强方法，使得经过处理的红外图像具有显著增强的可视细节。

实现本发明目的的技术解决方案为：一种基于多尺度处理的高动态红外图像的增强方法，步骤如下：

第一步，多尺度分层，使用最二乘滤波器对原始红外图像进行滤波处理，使用不同的滤波器参数，控制得到多个尺度递增的细节层和对应的残留层。

第二步，细节层处理，根据噪声在不同尺度的细节层的分布特点，给不同的细节层以不同的增益系数，并采用归一化的梯度模板对细节层进行卷积滤波处理，以抑制噪声增强。

第三步，残留层处理，使用平台直方图结合非线性压缩的方法，压缩残留层的动态范围，并提升其局部对比度。

第四步，合并输出，将经过上述步骤处理得到的多个细节层和残留层进行合并，并调整其输出范围，得到最终的输出图像。

本发明与现有技术相比，其显著优点：(1)多尺度细节分层处理过程，根据噪声在不同细节层尺度的分布特点，使得不同尺度的细节具有不同的增益系数，从而在细节增强的同时抑制噪声的增强。(2)使用归一化的梯度模板，对细节层进行卷积滤波操作，可以进一步抑制细节层中的噪声。(3)对残留层的处理，采用了平台直方图结合非线性压缩的方法，可以有效的压缩残留层的动态范围，提升局部对比度。(4) 更好的保留图像细节，同时避免或削弱了该类算法中常见的光晕和梯度反转现象。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于多尺度的高动态红外图像细节增强的整体流程图。

图2是光晕和梯度翻转效应演示：(a)光晕现象(b)梯度翻转现象。

图3是使用不同滤波器参数得到的对应不同尺度的细节图像。

图4是细节层噪声抑制:(a)原始细节层(b)噪声抑制后的细节层。

图5是结果比较: (a)直方图均衡算法(b) BF&DRP算法(c) BF&DDE算法(d)本发明方法。

图6是结果比较: (a)直方图均衡算法(b)BF&DDE算法(c)本发明方法(d)局部放大对比。

图7是图6(d)中局部列投影演示。

具体实施方式

结合图1，本发明基于多尺度的高动态红外图像增强方法，步骤如下：

第一步，多尺度分层，使用最小二乘滤波器对原始红外图像进行滤波处理，使用不同的滤波器参数，控制得到多个尺度递增的细节层和对应的残留层。定义用于提取图像细节的最小二乘滤波器，简称wls滤波器，使用多个并行的不同参数的该滤波器对原始图像进行细节分离，对于多尺度细节分离（滤波处理）而言，假设输入图像为m，使用合适的λ和α参数(如图2所示，可以控制其中一个参数保持不变，单调调整另一个参数的取值，(a) α保持不变，随着λ的递增，得到的细节尺度逐渐减小；(b) λ保持不变，随着α的递增，得到的细节尺度逐渐增大，具体需根据实验情况选取)，根据细节层的数量（即滤波器的个数），应用前面引入的wls滤波器，控制使输出图像n_i的平滑程度逐级增大，即越来越多的细节被平滑掉:

n_i=wls(λ_i,α_i,m)  (n₀=m)(2.1)

获取相应的细节层:

d_i=n_i-1-n_i(i=1,2…t)                    (2.2)

那么d₁,d₂,…d_t 表示尺度递增的细节层，n_t 表示残留层，t是滤波器的个数。细节尺度的直观定义为细节的粗细程度，越精细的细节表示其尺度越小。通过使用边缘保留型的加权最小二乘滤波器，扩展图像分层的尺度，可以更好的保留图像细节，改善光晕和梯度反转现象，图3使用一维信号，演示了光晕和梯度反转现象产生的原因。(a)原始信号的强边缘被滤波器平滑，当细节层被增强之后再叠加到残留层上，将导致得到的合成信号中出现光晕；(b)相反，如果原始信号的强边缘被过度锐化，将导致产生梯度反转现象。

其中用于细节提取的最小二乘滤波器定义：

给定一幅输入图像m，构造一幅滤波图像n，它既要与输入图像足够的相似，又要在平坦区域尽可能的处处平滑。满足这种要求的图像n可以用(1.1)式来表示:

${\mathrm{\ϵ}}_{\mathrm{wls}}\left\{n\right\}={(n-m)}^T(n-m)+\mathrm{\λ}(n^T{D}_x^T{W}_x{D}_{x}n+n^T{D}_n^T{W}_y{D}_{y}n)---\left(1.1\right)$

其中ε_wls{n}表示n是使右边和式取得最小值时的n值。D_x和D_y是一阶倒数运算符，决定输出图像的平滑程度，λ可以调整相似性和平滑性的比重，从而调节输出图像的平滑程度。W_x和W_y是包含权重系数的对角阵，可以通过(1.2)式，经过矩阵对角化来构造，目的是使得在输入图像中较为平坦的区域产生一个较大的权重，在边缘附近产生一个较小的权重，α可以用来控制细节的尺度：

$\left\{\begin{array}{c}{w}_{x,i}={({\left|\frac{\∂l}{\∂x}\left(i\right)\right|}^{\mathrm{\α}}+\mathrm{\ϵ})}^{-1}\\ w_{y,i}={({\left|\frac{\∂l}{\∂y}\left(i\right)\right|}^{\mathrm{\α}}+\mathrm{\ϵ})}^{-1}\end{array}\right.---\left(1.2\right)$

对于红外图像来说l取输入图像本身即可，ε是一个非常小的常数(如0.001-0.0001)

为了寻找使上式取的最小值的n，取最陡下降路径：

$\frac{\∂{\mathrm{\ϵ}}_{\mathrm{wls}}\left\{n\right\}}{\∂n}=(n-m)+\mathrm{\λ}(D_x^T{W}_x{D}_x+D_y^T{W}_y{D}_y)n---\left(1.3\right)$

所以满足(1.1)式取的最小值的n，等同于(1.4)所表示的线性方程组的解，求解该方程组，即得到满足边缘保留特征的滤波图像：

$(I+\mathrm{\λ}(D_x^T{W}_x{D}_x+D_y^T{W}_y{D}_y))n=m---\left(1.4\right)$

简称该滤波器为wls滤波器，滤波分离以后得到的细节图像表示如下：

m_detail=m-wls(m)                        (1.5)

第二步，细节层处理，根据噪声在不同尺度的细节层的分布特点，给不同的细节层以不同的增益系数，使得细节层满足，其增益系数随着细节尺度的递增而递增。并采用归一化的梯度模板对细节层进行卷积滤波处理，以抑制噪声增强。首先根据细节层的尺度递增，对应的增益系数满足w_i＜w_i+1。另一方面使用wls滤波器中图像梯度的归一化值来作为这种权重模板(mask)，对细节层进行卷积滤波操作，抑制平坦区域的随机噪声。D_i 表示经过滤波处理后的细节层：

$D_i=\mathrm{mask}\⊗d_i---\left(3.1\right)$

第三步，残留层处理，使用平台直方图结合非线性压缩的方法，压缩残留层的动态范围，并提升其局部对比度。设定一个阈值T (0＜T＜N_t)，N_t表示图像的总像素个数，当T=N_t时算法退化成直方图均衡化，应用中一般取值在N_t的20%~30%范围内，在直方图的统计过程中，如果某一灰度级k的个数p(k)大于T，那么p(k)被截断成T，否则不改变p(k)的值。

$P_T\left(k\right)=\left\{\begin{array}{cc}P\left(k\right)& P\left(k\right)\≤T\\ T& P\left(k\right)>T\end{array}\right.---\left(4.1\right)$

其直方图累积可以表示成:

$F_T\left(k\right)=\underset{j=0}{\overset{k}{\mathrm{\Σ}}}{P}_T\left(j\right)---\left(4.2\right)$

图像输出经过伽马校正以进一步提升图像的对比度，其中γ值为对比度调整参数，η为线性压缩比，控制残留层图像在最后合并输出时所占得比例，N_T(k)是增强后的输出，

$N_T\left(k\right)=\mathrm{\η}\×255\×{\left(\frac{F_T\left(k\right)}{F_T\left(255\right)}\right)}^{\mathrm{\γ}}---\left(4.3\right)$

第四步，合并输出，经过上述步骤的处理，将得到的残留层N_T和多个细节层D_i相加合并，并调整输出范围，即可以得到最终的增强输出图像m_enhanced， 表示对超出显示动态范围的像素值进行截取。

实施例

下面结合附图，进一步说明本发明的实施过程。本实施例中的实验图像数据采集自一只8～14μm的ＨgCdTe红外焦平面探测器，有效数据动态范围为14bit，分辨率为320×256。具体处理过程如下：

第一步，使用公式(2.1)、(2.2)获取细节层和残留层。本实施例中取k=3，即得到三个细节层d₁,d₂,d₃ 和一个残留层n₃ 。λ和α参数的参考取值为：

α₁=1.0,λ₁=0.7;α₂=1.5,λ₂=0.7;α₃=2.0,λ₃=0.7;

第二步，使用公式(3.1)对细节层进行基于区域指导的降噪处理。从图2中可以观察到越是小尺度的细节，越是包含相对较大的噪声，所以增益系数满足w_i＜w_i+1，为了避免增强后的图像因为溢出而扭曲，限定增益的取值范围满足

，表示对应细节层的图像均值。如参考取值: w₁=3,w₂=7,w₃=9。

第三步，使用公式(4.1)、(4.2)、(4.3)对第一步中滤波得到的残留层n₃进行动态范围压缩，并提升其局部对比度。 其中(4.3)中的常数255表示输出级为8bit的动态范围。γ的参考取值为0.95。

第四步，经过上面的处理，将经过处理得到的残留层N₃和多个细节层D_i相加合并，并调整输出范围，即可以得到最终的输出图像。图5，6为两组算法效果对比。对于图5，(a)可以发现单一的直方图处理使得图像上部出现了高温饱和，细节丢失。(b) BF&DRP算法中仅使用了伽马曲线调整，细节增强不够明显，但已经使得细节隐约可见。对比(c)和(d)，效果十分接近，其中BF&DDE参考算法因为梯度反转的原因，较细的边缘要表现更为锐利。对于图6，比较(b)和(c)，可以看出BF&DDE算法处理后，具有非常明显的光晕现象，在(d)中可以看到，原本光滑的电线杆的边缘出现了白色线条，在另一侧则出现了黑色线条。为了更为清楚的表现这一点，取图6中(a)、(b)和(c)的第20行，第45到第60列，作一维列投影，得到如图7所示的一维信号。可以很明显的看到两处位于强边缘处的光晕现象。这种光晕现象，会在一定程度上影响视觉效果，而本算法则很好的避免了这种现象。而且从图6下方的箭头指示处可以看出本算法更好的保留了图像的细节。

Claims (4)

1.一种基于多尺度处理的高动态红外图像增强方法，其特征在于步骤如下：

第一步，多尺度分层，使用最小二乘滤波器对原始红外图像进行滤波处理，使用不同的滤波器参数，控制得到多个尺度递增的细节层和对应的残留层；

第二步，细节层处理，根据噪声在不同尺度的细节层的分布特点，给不同的细节层以不同的增益系数，并采用归一化的梯度模板对细节层进行卷积滤波处理，以抑制噪声增强；

第三步，残留层处理，使用平台直方图结合非线性压缩的方法，压缩残留层的动态范围，并提升其局部对比度；

第四步，合并输出，将经过上述步骤处理得到的残留层N_T和多个细节层D_i相加合并，并调整输出范围，即得到增强后的输出图像：

 ，  表示对超出显示动态范围的像素值进行截取。

2.根据权利要求1所述的基于多尺度处理的高动态红外图像增强方法，其特征在于第一步中，定义用于提取图像细节的最小二乘滤波器，简称wls滤波器，使用多个并行的不同参数的该滤波器对原始图像进行细节分离：

n_i=wls(λ_i,α_i,m),n₀=m                        (2.1)

d_i=n_i-1-n_i,i=1,2…t                         (2.2)

其中, m为输入图像，n_i为使用不同滤波器参数得到的滤波后的图像，d₁,d₂,…表示尺度递增的细节层，n_t 表示残留层，t是滤波器的个数。

3.根据权利要求2所述的基于多尺度处理的高动态红外图像增强方法，其特征在于用于细节提取的最小二乘滤波器定义：给定一幅输入图像m，构造一幅滤波图像n，它既要与输入图像足够的相似，又要在平坦区域尽可能的处处平滑，满足这种要求的图像n用(1.1)式来表示:

其中ε_wls{n}表示n是使右边和式取得最小值时的n值，D_x和D_y是一阶倒数运算符，决定输出图像的平滑程度，λ调整相似性和平滑性的比重，从而调节输出图 像的平滑程度；W_x和W_y是包含权重系数的对角阵，通过(1.2)式，再经过矩阵对角化来构造，使得在输入图像中较为平坦的区域产生一个大的权重，在边缘附近产生一个小的权重，α用来控制细节的尺度：

对于红外图像来说l取输入图像本身即可，ε取值为0.001-0.0001；

为了寻找使上式取的最小值的n，取最陡下降路径：

所以满足(1.1)式取的最小值的n，等同于(1.4)所表示的线性方程组的解，求解该方程组，即得到满足边缘保留特征的滤波图像：

简称该滤波器为wls滤波器，滤波分离以后得到的细节图像表示如下：

m_detail=m-wls(m)                       (1.5)。

4.根据权利要求1所述的基于多尺度处理的高动态红外图像增强方法，其特征在于第三步的残留层处理为：给定一个阈值T，在直方图的统计过程中，如果某一灰度级k的个数p(k)大于T，那么p(k)被截断成T，否则不改变p(k)的值，P_T(k)表示统计直方图：

其累积直方图表示成:

图像输出经过伽马校正以进一步提升图像的对比度，其中γ值为对比度调整参 数，η为线性压缩比，控制残留层图像在最后合并输出时所占得比例，N_T(k)是增强后的输出，

。

Images