CN109308691A - 基于图像增强与nsct的红外和可见光图像融合方法 - Google Patents

Abstract

本发明公开了一种基于图像增强与NSCT的红外与和见光图像融合方法。该方法步骤如下：首先，利用均值滤波的方法获得红外图像透射率的粗估计，通过图像统计信息实现粗透射率的细化，依据大气散射物理模型实现红外图像的增强；然后，采用非下采样轮廓波变换对增强后的红外和可见光图像分别进行多尺度、多方向的分解，利用基于局部能量的规则融合低频系数，对高频系数采用系数值选大与局部均方差相结合的融合规则；最后，将得到的系数进行NSCT逆变换得到最终的融合图像。本发明不仅能凸显红外图像的目标信息，还能尽可能多的保留可见光图像丰富的细节信息，具有显著的视觉效果和较高的客观质量评价指标。

Description

基于图像增强与NSCT的红外和可见光图像融合方法

技术领域

本发明属于多源图像融合技术领域，特别是一种基于去雾模型的红外图像增强技术并利用非下采样轮廓波变换(Non-subsampled Contourlet Transform，NSCT)与局部区域融合规则相结合的红外和可见光图像融合方法。

背景技术

图像融合的目的是整合多源数据，使融合后的图像拥有比单一传感器获得的信息更全面、更准确。图像融合是机器视觉领域的研究热点，已被广泛应用于军事、遥感、生物医学、航空航天等领域。目前最为常见的是红外和可见光图像的融合，利用融合技术将红外和可见光图像进行融合，既可改善红外图像对比度低、背景模糊的特点，又能改善可见光对光照强度的强依赖性。

传统的图像增强方法有直方图均衡化方法(HE)、在(HE)基础上改进的平台直方图均衡化方法(PHE)，HE算法根据图像累加直方图进行图像重新分配，在提高背景和噪声对比度的同时降低了目标的对比度，而PHE算法需要对灰度值设置阈值，阈值选择不当易造成增强后的图像质量下降。

传统的融合方法有基于主成分分析法(PCA method，PCA)、拉普拉斯金字塔法(Laplacian Pyramid，LP)、低通比率金字塔法(Ratio Pyramid，RP)、Haar小波变换法(DWTwith Harr，DWH)、形态学金字塔法(Morphology Pyramid，MP)等，基于PCA重构后的图像往往容易丢失图像的对比度信息，造成图像对比度低，不利于人眼观察；LP算法中，由于量化或者阈值等操作容易引入噪声，造成图像清晰度低，效果不理想；RP算法容易造成融合后的图像出现失真，干扰人眼视线；DWT算法存在大的冗余度，容易丢失细节信息；MP算法是运用二值腐蚀和膨胀、二值开闭运算来达到图像处理的目的，但是其融合图像往往会有边缘伪影的出现，融合效果不理想。

发明内容

本发明的目的在于提供一种视觉效果显著、客观质量评价指标较高的基于图像增强与NSCT的红外与和见光图像融合方法，不仅能凸显红外图像的目标信息，还能尽可能多的保留可见光图像丰富的细节信息。

实现本发明目的的技术解决方案为：一种基于图像增强与NSCT的红外与和见光图像融合方法，利用红外图像和可见光雾化图像之间的相似性，对红外图像进行基于去雾模型的图像增强，然后采用基于非下采样轮廓波变换与局部区域融合规则相结合的红外与可见光图像融合方法，具体步骤如下：

步骤1、基于红外热成像原理建立大气对红外辐射的总衰减模型；

步骤2、运用经典的大气散射物理模型描述可见光图像的雾化过程，并建立红外图像的雾化模型；

步骤3、对红外图像I(x)进行r×r的均值滤波，获取初始的透射率估计通过图像统计信息实现粗透射率估计的细化，得到最终的透射率估计；

步骤4、求得环境光值A，恢复出对比度增强的红外图像R(x)；

步骤5、分别对红外图像R(x)、可见光图像V(x)进行NSCT变换，得到各自分解后的低频低通系数和高频带通系数：(1≤k≤K,1≤i≤I_k)和(1≤k≤K,1≤i≤I_k)，I_k表示K级分解上第k层的方向分解数量，C₀表示低频低通系数，G_k,i表示高频带通系数；

步骤6、对低频低通系数采用基于局部能量的融合规则；

步骤7、对高频带通系数采用基于系数选大与局部均方差相结合的融合规则；

步骤8、对融合后的图像系数进行逆NSCT变换，重构出融合图像F。

进一步地，所述大气对红外辐射的总衰减模型，公式为：

其中，τ_a为总衰减量，分别表示水、二氧化碳对红外辐射的吸收系数，μ_s(λ)为大气分子与气溶胶的散射系数，μ_s、μ_r分别表示雨、雪天气造成的衰减系数，L表示红外辐射的等效路程，令则总衰减量τ_a表达式为：

τ_a(λ)＝exp[-βL] (2)

。

进一步地，步骤2中所述运用经典的大气散射物理模型描述可见光图像的雾化过程，并建立红外图像的雾化模型，其中经典大气散射物理模型描述的可见光图像雾化模型为：

I(x)＝J(x)·exp[-βd]+A[1-exp[-βd]] (3)

其中，I(x)表示观测到的有雾图像，J(x)表示待恢复的无雾图像，exp[-βd]表示大气透射率，A表示大气光强度，β表示大气衰减系数，d表示场景到摄像位置距离；

大气透射率t(x)表示为：

t(x)＝exp[-βd] (4)

将雾化图像表示为：

I(x)＝R(x)·t(x)+A[1-t(x)] (5)

其中，I(x)表示观察到的红外图像即雾化图像，R(x)为增强后的红外图像，t(x)为大气透射率，A表示大气光强度。

进一步地，步骤3中所述对红外图像I(x)进行r×r的均值滤波，获取初始的透射率估计通过图像统计信息实现粗透射率估计的细化，得到最终的透射率估计，具体如下：

对红外图像I(x)进行r＝5的均值滤波得到I_aver(x)，初始的透射率估计表达式为：

其中，ω∈[0,1]为景深调整量，代表选取多大比例的均值滤波结果估计透射率；

利用图像统计信息来自适应确定ω，先统计灰度级强度小于正常像素的阈值T的像素点数N_T，以及灰度级小于图像均值的像素点数N_Mean，依据N_T和N_Mean的比值估计图像雾气浓度ω，设置为：

阈值T由如下公式获得：

T＝iMean+δ·L_max (8)

其中，iMean为图像所有像素点的均值，L_max为所有像素点中最大值，δ根据实际情况取值，范围为0.015～0.02；

将ω的下限设置为0.35，即：

最终的透射率估计表示为：

。

进一步地，步骤4中所述环境光值A的表达式为：

其中，H_T(i)是红外图像受雾气影响像素点直方图，i∈(T,l-1)，l为红外图像最大灰度级个数，i_T表示H_T(i)从灰度级最大值(l-1)开始算，累计像素点达到全部受雾气影响像素点1％对应的灰度级；

已知I(x)、t(x)、A，根据式(3)恢复出对比度增强的红外图像R(x)。

进一步地，步骤5中所述NSCT变换分为非下采样塔式滤波器NSPFB和非下采样方向滤波器组NSDFB，非下采样塔式滤波器组中的分解滤波器{H₀(z),H₁(z)}和合成滤波器{G₀(z),G₁(z)}必须满足如下恒等式：

H₀(z)G₀(z)+H₁(z)G₁(z)＝1 (12)

经过K级非下采样塔式分解，得到K+1个与源图像相同尺寸的子带图像，即1个低通子带图像q₀和K个带通子带图像{q₁,q₂,...,q_k,...,q_K,1≤k≤K}，NSPFB滤波器的数学表达式为：

其中，每一级分解中所采用的低通滤波器带通滤波器都是对前一级分解中使用的分解滤波器进行上2采样构成的，采样矩阵为

非下采样方向滤波器将每一尺度上的带通图像再进行i级分解，得到2ⁱ个与原始图像具有相同尺寸的方向子带图像，因此，图像经过K级NSCT分解后得到子图像个数P：

其中，i_k为k尺度下的方向分解级数，K为图像经NSCT分解的总级数。

进一步地，步骤6所述对低通系数采用基于局部能量的融合规则，具体为：从局部区域能量角度出发，分别求取红外图像和可见光图像的低频系数的区域能量则窗口的局部区域能量表示为：

其中，为3×3的窗口掩模，融合后的低频子带系数表示为：

进一步地，步骤7所述对带通系数采用基于系数选大与局部均方差相结合的融合规则，具体为：最高分解尺度K层的高频带通子带融合系数采用系数值选大法，具体表示为：

其中，分别表示红外和可见光图像在第K层第i方向上对应的高频带通子带系数；

分解尺度K以外的其他K-1层的高频带通子带融合系数采用基于局部均方差的融合方法，具体表示为：

其中，分别为红外和可见光图像在第k层第i方向上对应的高频带通子带系数的均方差，表达式为：

其中，M×N为各层高频带通子带系数的个数，分别为红外和可见光图像在第k层第i方向上对应的高频带通子带系数的均值，表达式为：

最后，对各融合后的图像系数进行NSCT逆变换，重构出融合图像F。

本发明与现有技术相比，其显著优点为：(1)采用了NSCT的平移不变性，对增强后的红外和可见光图像分别进行多尺度、多方向的分解，利用基于局部能量的规则融合低频系数，对高频系数采用系数值选大与局部均方差相结合的融合规则；最后将得到的系数进行NSCT逆变换得到最终的融合图像；(2)不仅能凸显红外图像的目标信息，还能尽可能多的保留可见光图像丰富的细节信息，具有更好的视觉效果和更高的客观质量评价指标。

附图说明

图1为本发明基于图像增强与NSCT的红外和可见光图像融合方法流程图。

图2为本发明基于图像增强与NSCT的红外和可见光图像融合方法NSCT分解结构图。

图3为本发明基于图像增强与NSCT的红外和可见光图像融合方法非下采样塔形滤波器组结构图。

图4为本发明基于图像增强与NSCT的红外和可见光图像融合方法非下采样方向滤波器组结构图。

图5为本发明基于图像增强与NSCT的红外和可见光图像融合方法红外与可见光图像融合效果图，其中(a)为红外图，(b)为可见光图，(c)为PCA为方法融合效果图，(d)为拉普拉斯金字塔方法融合效果图，(e)为比率金字塔方法融合效果图，(g)为形态学金字塔方法融合效果图，(h)为本发明方法融合效果图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细说明。

本发明基于图像增强与NSCT的红外和可见光图像融合方法，利用红外图像和可见光雾化图像之间的相似性，对红外图像进行基于去雾模型的图像增强，然后采用基于非下采样轮廓波变换与局部区域融合规则相结合的红外与可见光图像融合方法。首先，利用均值滤波的方法获得红外图像透射率的粗估计，通过图像统计信息实现粗透射率的细化，依据大气散射物理模型实现红外图像的增强。然后采用非下采样轮廓波变换(Non-subsampled Contourlet Transform，NSCT)对增强后的红外和可见光图像分别进行多尺度、多方向的分解，利用基于局部能量的规则融合低频系数，对高频系数采用系数值选大与局部均方差相结合的融合规则；最后将得到的系数进行NSCT逆变换得到最终的融合图像。按图1所示，具体实施步骤如下：

步骤1、基于红外热成像原理建立大气对红外辐射的总衰减模型；

所述大气对红外辐射的总衰减模型，公式为：

其中，τ_a为总衰减量，分别表示水、二氧化碳对红外辐射的吸收系数，μ_s(λ)为大气分子与气溶胶的散射系数，μ_s、μ_r分别表示雨、雪天气造成的衰减系数，L表示红外辐射的等效路程，令则总衰减量τ_a表达式为：

τ_a(λ)＝exp[-βL] (2)

步骤2、运用经典的大气散射物理模型描述可见光图像的雾化过程，并建立红外图像的雾化模型；

经典大气散射物理模型描述的可见光图像雾化模型为：

I(x)＝J(x)·exp[-βd]+A[1-exp[-βd]] (3)

其中，I(x)表示观测到的有雾图像，J(x)表示待恢复的无雾图像，exp[-βd]表示大气透射率，A表示大气光强度，β表示大气衰减系数，d表示场景到摄像位置距离。

大气透射率t(x)表示为：

t(x)＝exp[-βd] (4)

将雾化图像表示为：

I(x)＝R(x)·t(x)+A[1-t(x)] (5)

其中，I(x)表示观察到的红外图像即雾化图像，R(x)为增强后的红外图像，t(x)为大气透射率，A表示大气光强度。

步骤3、对红外图像I(x)进行r×r的均值滤波，获取初始的透射率估计通过图像统计信息实现粗透射率估计的细化，得到最终的透射率估计，具体如下：

对红外图像I(x)进行r＝5的均值滤波得到I_aver(x)，初始的透射率估计表达式为：

其中，ω∈[0,1]为景深调整量，代表选取多大比例的均值滤波结果估计透射率；

利用图像统计信息来自适应确定ω，先统计灰度级强度小于正常像素的阈值T的像素点数N_T，以及灰度级小于图像均值的像素点数N_Mean，依据N_T和N_Mean的比值估计图像雾气浓度ω，设置为：

阈值T由如下公式获得：

T＝iMean+δ·L_max (8)

其中，iMean为图像所有像素点的均值，L_max为所有像素点中最大值，δ根据实际情况取值，范围为0.015～0.02。

需要注意的是，透射率较大时，会导致图像整体太暗，需要对ω的下限进行设置，一般取0.35效果最好。将ω的下限设置为0.35，即：

最终的透射率估计表示为：

步骤4、求得环境光值A，恢复出对比度增强的红外图像R(x)；

A的表达式为：

其中，H_T(i)是红外图像受雾气影响像素点直方图，i∈(T,l-1)，l为红外图像最大灰度级个数，i_T表示H_T(i)从灰度级最大值(l-1)开始算，累计像素点达到全部受雾气影响像素点1％对应的灰度级。

已知I(x)、t(x)、A，根据式(3)恢复出对比度增强的红外图像R(x)。

步骤5、分别对红外图像R(x)、可见光图像V(x)进行NSCT变换，得到各自分解后的低频低通系数和高频带通系数：(1≤k≤K,1≤i≤I_k)和(1≤k≤K,1≤i≤I_k)，I_k表示K级分解上第k层的方向分解数量，C₀表示低频低通系数，G_k,i表示高频带通系数；

NSCT先由非下采样塔式滤波器组(Non-subsampled Pyramid Filter bank，NSPFB)进行多尺度分解，再由非下采样方向滤波器组(Non-subsampled DirectionalFilter bank，NSDFB)进行多方向变换，其分解结构如图2所示。

所述NSCT变换分为非下采样塔式滤波器NSPFB和非下采样方向滤波器组NSDFB，NSPFB为双通道非下采样塔形结构，其分解结构如图3所示，非下采样塔式滤波器组中的分解滤波器{H₀(z),H₁(z)}和合成滤波器{G₀(z),G₁(z)}必须满足如下恒等式：

H₀(z)G₀(z)+H₁(z)G₁(z)＝1 (12)

经过K级非下采样塔式分解，得到K+1个与源图像相同尺寸的子带图像，即1个低通子带图像q₀和K个带通子带图像{q₁,q₂,...,q_k,...,q_K,1≤k≤K}，NSPFB滤波器的数学表达式为：

其中，每一级分解中所采用的低通滤波器带通滤波器都是对前一级分解中使用的分解滤波器进行上2采样构成的，采样矩阵为

NSDFB为双通道非下采样塔形结构，其分解结构如图4所示，非下采样方向滤波器将每一尺度上的带通图像再进行i级分解，得到2ⁱ个与原始图像具有相同尺寸的方向子带图像，因此，图像经过K级NSCT分解后得到子图像个数P：

其中，其中，i_k为k尺度下的方向分解级数，K为图像经NSCT分解的总级数。

步骤6、对低频低通系数采用基于局部能量的融合规则，具体为：从局部区域能量角度出发，分别求取红外图像和可见光图像的低频系数的区域能量则窗口的局部区域能量表示为：

其中，为3×3的窗口掩模，融合后的低频子带系数表示为：

步骤7、对高频带通系数采用基于系数选大与局部均方差相结合的融合规则，具体为：最高分解尺度K层的高频带通子带融合系数采用系数值选大法，具体表示为：

其中，分别表示红外和可见光图像在第K层第i方向上对应的高频带通子带系数；

分解尺度K以外的其他K-1层的高频带通子带融合系数采用基于局部均方差的融合方法，具体表示为：

其中，分别为红外和可见光图像在第k层第i方向上对应的高频带通子带系数的均方差，表达式为：

其中，M×N为各层高频带通子带系数的个数，分别为红外和可见光图像在第k层第i方向上对应的高频带通子带系数的均值，表达式为：

步骤8、对融合后的图像系数进行逆NSCT变换，重构出融合图像F。

下面举一实例说明，如图5所示，该实例通过Matlab软件仿真。例子中红外图像背景模糊、信噪比低，可见光图像保留了丰富的背景信息，但同时埋没了目标等信息，为了说明本发明的优越性，将本发明提出的方法与传统算法进行对比分析。分别为基于主成分分析的识别算法(PCA method)、拉普拉斯金字塔算法(Laplacian Pyramid)、低通比率金字塔算法(Ratio Pyramid)、Harr小波变换算法(DWT with Harr)、形态学金字塔算法(Morphology Pyramid)。图5中，(a)为红外图，(b)为可见光图，(c)为PCA为方法融合效果图，(d)为拉普拉斯金字塔方法融合效果图，(e)为比率金字塔方法融合效果图，(g)为形态学金字塔方法融合效果图，(h)为本发明方法融合效果图。

由图5可见，本发明所提方法优于其它五种传统方法，不仅突出了红外图像中的目标信息，又能够保留丰富的可将光背景信息，视觉效果良好。

Claims (8)

1.一种基于图像增强与NSCT的红外与和见光图像融合方法，其特征在于，利用红外图像和可见光雾化图像之间的相似性，对红外图像进行基于去雾模型的图像增强，然后采用基于非下采样轮廓波变换与局部区域融合规则相结合的红外与可见光图像融合方法，具体步骤如下：

步骤1、基于红外热成像原理建立大气对红外辐射的总衰减模型；

步骤2、运用经典的大气散射物理模型描述可见光图像的雾化过程，并建立红外图像的雾化模型；

步骤3、对红外图像I(x)进行r×r的均值滤波，获取初始的透射率估计通过图像统计信息实现粗透射率估计的细化，得到最终的透射率估计；

步骤4、求得环境光值A，恢复出对比度增强的红外图像R(x)；

步骤5、分别对红外图像R(x)、可见光图像V(x)进行NSCT变换，得到各自分解后的低频低通系数和高频带通系数：和I_k表示K级分解上第k层的方向分解数量，C₀表示低频低通系数，G_k,i表示高频带通系数；

步骤6、对低频低通系数采用基于局部能量的融合规则；

步骤7、对高频带通系数采用基于系数选大与局部均方差相结合的融合规则；

步骤8、对融合后的图像系数进行逆NSCT变换，重构出融合图像F。

2.根据权利要求1所述的基于图像增强与NSCT的红外和可见光图像融合方法，步骤1所述大气对红外辐射的总衰减模型，公式为：

其中，τ_a为总衰减量，分别表示水、二氧化碳对红外辐射的吸收系数，μ_s(λ)为大气分子与气溶胶的散射系数，μ_s、μ_r分别表示雨、雪天气造成的衰减系数，L表示红外辐射的等效路程，令则总衰减量τ_a表达式为：

τ_a(λ)＝exp[-βL] (2)。

3.根据权利要求1所述的基于图像增强与NSCT的红外和可见光图像融合方法，其特征在于，步骤2中所述运用经典的大气散射物理模型描述可见光图像的雾化过程，并建立红外图像的雾化模型，其中经典大气散射物理模型描述的可见光图像雾化模型为：

I(x)＝J(x)·exp[-βd]+A[1-exp[-βd]] (3)

其中，I(x)表示观测到的有雾图像，J(x)表示待恢复的无雾图像，exp[-βd]表示大气透射率，A表示大气光强度，β表示大气衰减系数，d表示场景到摄像位置距离；

大气透射率t(x)表示为：

t(x)＝exp[-βd] (4)

将雾化图像表示为：

I(x)＝R(x)·t(x)+A[1-t(x)] (5)

其中，I(x)表示观察到的红外图像即雾化图像，R(x)为增强后的红外图像，t(x)为大气透射率，A表示大气光强度。

4.根据权利要求1所述的基于图像增强与NSCT的红外和可见光图像融合方法，其特征在于，步骤3中所述对红外图像I(x)进行r×r的均值滤波，获取初始的透射率估计通过图像统计信息实现粗透射率估计的细化，得到最终的透射率估计，具体如下：

对红外图像I(x)进行r＝5的均值滤波得到I_aver(x)，初始的透射率估计表达式为：

其中，ω∈[0,1]为景深调整量，代表选取多大比例的均值滤波结果估计透射率；

利用图像统计信息来自适应确定ω，先统计灰度级强度小于正常像素的阈值T的像素点数N_T，以及灰度级小于图像均值的像素点数N_Mean，依据N_T和N_Mean的比值估计图像雾气浓度ω，设置为：

阈值T由如下公式获得：

T＝iMean+δ·L_max (8)

其中，iMean为图像所有像素点的均值，L_max为所有像素点中最大值，δ根据实际情况取值，范围为0.015～0.02；

将ω的下限设置为0.35，即：

最终的透射率估计表示为：

5.根据权利要求1所述的基于图像增强与NSCT的红外和可见光图像融合方法，其特征在于，步骤4中所述环境光值A的表达式为：

其中，H_T(i)是红外图像受雾气影响像素点直方图，i∈(T,l-1)，l为红外图像最大灰度级个数，i_T表示H_T(i)从灰度级最大值(l-1)开始算，累计像素点达到全部受雾气影响像素点1％对应的灰度级；

已知I(x)、t(x)、A，根据式(3)恢复出对比度增强的红外图像R(x)。

6.根据权利要求1所述的基于图像增强与NSCT的红外和可见光图像融合方法，其特征在于，步骤5中所述NSCT变换分为非下采样塔式滤波器NSPFB和非下采样方向滤波器组NSDFB，非下采样塔式滤波器组中的分解滤波器{H₀(z),H₁(z)}和合成滤波器{G₀(z),G₁(z)}必须满足如下恒等式：

H₀(z)G₀(z)+H₁(z)G₁(z)＝1 (12)

经过K级非下采样塔式分解，得到K+1个与源图像相同尺寸的子带图像，即1个低通子带图像q₀和K个带通子带图像{q₁,q₂,...,q_k,...,q_K,1≤k≤K}，NSPFB滤波器的数学表达式为：

其中，每一级分解中所采用的低通滤波器带通滤波器都是对前一级分解中使用的分解滤波器进行上2采样构成的，采样矩阵为

非下采样方向滤波器将每一尺度上的带通图像再进行i级分解，得到2ⁱ个与原始图像具有相同尺寸的方向子带图像，因此，图像经过K级NSCT分解后得到子图像个数P：

其中，i_k为k尺度下的方向分解级数，K为图像经NSCT分解的总级数。

7.根据权利要求1所述的基于图像增强与NSCT的红外和可见光图像融合方法，其特征在于，步骤6所述对低通系数采用基于局部能量的融合规则，具体为：从局部区域能量角度出发，分别求取红外图像和可见光图像的低频系数的区域能量则窗口的局部区域能量表示为：

其中，为3×3的窗口掩模，融合后的低频子带系数表示为：

8.根据权利要求1所述的基于图像增强与NSCT的红外和可见光图像融合方法，其特征在于，步骤7所述对带通系数采用基于系数选大与局部均方差相结合的融合规则，具体为：最高分解尺度K层的高频带通子带融合系数采用系数值选大法，具体表示为：

其中，分别表示红外和可见光图像在第K层第i方向上对应的高频带通子带系数；

分解尺度K以外的其他K-1层的高频带通子带融合系数采用基于局部均方差的融合方法，具体表示为：

其中，分别为红外和可见光图像在第k层第i方向上对应的高频带通子带系数的均方差，表达式为：

其中，M×N为各层高频带通子带系数的个数，分别为红外和可见光图像在第k层第i方向上对应的高频带通子带系数的均值，表达式为：

最后，对各融合后的图像系数进行NSCT逆变换，重构出融合图像F。