CN106960428A - 可见光和红外双波段图像融合增强方法 - Google Patents

Abstract

本发明提供一种可见光和红外双波段的图像融合增强方法，包括如下步骤：(a)针对同一目标场景，利用可见光传感器和红外探测器分别采集原始可见光图像和原始红外图像；(b)对采集到的原始可见光图像和原始红外图像分别进行预处理；(c)对预处理后的可见光图像和红外图像进行配准，以使可见光传感器和红外探测器的成像视场趋于一致；(d)利用基于拉普拉斯金字塔分解的融合方法对配准后的图像进行图像融合。本发明的优点在于，补偿探测器分辨率不足对输出图像视觉质量的影响，简化图像融合规则，在保证融合图像质量的基础上，较大程度地提高融合速度。

Description

可见光和红外双波段图像融合增强方法

技术领域

本发明涉及图像融合增强领域，尤其涉及一种应用于低分辨率手持式红外热成像设备的基于可见光和红外双波段的图像融合增强方法。

背景技术

随着传感器技术的发展，用于成像的传感器种类日益增多。由于成像机理、工作波段和工作环境等因素的不同，不同类型的传感器对同一目标或场景进行成像时，其获取到的目标或场景信息存在差异。对于用户来说，这些差异性信息往往都是有益的。红外探测器和CCD可见光传感器是应用最为广泛的两类成像传感器。红外探测器主要通过接收场景中目标向外辐射或者反射出来的红外辐射进行成像，其对烟雾具有一定程度的穿透能力，且在光照条件较差情况下仍具有较好的目标探测能力，但其所成的红外图像对比度低，细节表现能力较差；CCD可见光传感器主要利用物体的反射特性成像，其获得的可见光图像内容丰富，细节纹理清晰，空间分辨率较高，但在光照条件差时，其成像质量将受到严重影响。对于低分辨率手持式红外热成像设备，探测器的像元数有限，其输出的红外图像常常存在边缘模糊，细节难以分辨问题，这严重制约了红外热成像技术在军事和民用领域的应用，限制了红外热成像设备向着高性能便携化方向发展。可见光和红外双波段图像融合技术综合了两种图像的特征数据，实现信息互补，并通过最终的合成图像得到关于目标或场景更加可靠，更加准确，更加全面的描述。现有图像融合技术多使用基于小波变换、轮廓波变换、多分辨率分解等理论的方法，其原理复杂，很难在实际的硬件平台上加以实现，且实现以后的实时化问题也需多加考虑。

发明内容

本发明所要解决的技术问题是，提供一种可见光和红外双波段的图像融合增强方法，其能够补偿探测器分辨率不足对输出图像视觉质量的影响，简化图像融合规则，在保证融合图像质量的基础上，较大程度地提高融合速度。

为了解决上述问题，本发明提供了一种可见光和红外双波段的图像融合增强方法，包括如下步骤：(a)针对同一目标场景，利用可见光传感器和红外探测器分别采集原始可见光图像和原始红外图像；(b)对采集到的原始可见光图像和原始红外图像分别进行预处理；(c)对预处理后的可见光图像和红外图像进行配准；(d)利用基于拉普拉斯金字塔分解的融合方法对配准后的图像进行图像融合。

进一步，在步骤(b)中，所述原始红外图像预处理包括两点校正、盲元补偿和中值滤波。

进一步，对于两点校正后的输出图像，逐一判断其每一像元的灰度值与该像元邻域像素灰度值均值的差值是否大于预先设定的阈值，差值大于预先设定的阈值的像元定为盲元，盲元位置确定后，通过5×5窗口大小的中值滤波方式实现盲元替换。

进一步，在步骤(b)后，进一步包括一对预处理后的红外图像采用平台直方图均衡化方法进行增强的步骤。

进一步，在增强步骤后，进一步包括使用最大最小值线性映射法，将红外图像像素值从14bits数据转换成8bits数据。

进一步，在增强步骤后，使用双线性插值算法将可见光图像与红外图像的尺寸大小设置成一致。

进一步，在步骤(d)中，图像融合包括如下步骤：(d1)提取可见光图像的细节；(d2)红外图像的拉普拉斯金字塔多尺度分解；(d3)将红外图像拉普拉斯金字塔的底层图像与可见光图像的细节图像进行融合；(d4)重构融合图像。

进一步，在步骤(d)之后，包括一对可见光图像和红外图像融合后的图像做伪彩色处理的步骤。

进一步，所述伪彩色处理采用的是灰度级—彩色变换法，通过建立灰度图像的灰度级与彩色空间中各种色彩之间的映射关系，将灰度图像转化成彩色图像。

本发明的一优点在于，构建一种应用于低分辨率手持式红外热成像设备的基于可见光和红外双波段图像融合增强DSE(Double Spetral bandsEnhancement)方法，可见光图像和红外图像进行融合，综合两种图像的特征数据，实现信息互补，补偿探测器分辨率不足对输出图像视觉质量的影响。

本发明的另一优点在于，采用三层拉普拉斯金字塔对红外图像进行塔式分解，并将底层的高频细节图像与从可见光图像中提取出的细节图像进行融合，在保留细节信息的同时，简化融合规则，在保证融合图像质量的基础上，可以较大幅度缩短融合处理时间，提高图像融合速度。

本发明的另一优点在于，本发明中提供的可见光和红外双波段图像融合增强方法，不仅能得到较高质量的融合图像，还具有较快的融合速度，有助于低分辨率手持式红外热成像设备在军事和民用领域的应用，有利于便携化高性能红外热成像设备发展。

附图说明

图1是本发明可见光和红外双波段的图像融合增强方法的步骤示意图；

图2是利用基于拉普拉斯金字塔分解的融合方法对配准后的图像进行图像融合的步骤示意图；

图3是利用基于拉普拉斯金字塔分解的融合方法对配准后的图像进行图像融合的步骤示意图；

图4是细节提取方法的步骤示意图。

具体实施方式

下面结合附图对本发明提供的可见光和红外双波段的图像融合增强方法的具体实施方式做详细说明。

图1是本发明可见光和红外双波段的图像融合增强方法的步骤示意图。参见图1，本发明可见光和红外双波段的图像融合增强方法包括如下步骤。

步骤S10，针对同一目标场景，利用可见光传感器和红外探测器分别采集原始可见光图像和原始红外图像。所述可见光传感器可以为CCD传感器，所述红外探测器可以为红外焦平面阵列IRFPA探测器。在本具体实施方式中，针对同一目标场景，利用可见光CCD传感器和红外焦平面阵列IRFPA探测器采集YUV格式原始可见光图像和14bits原始红外图像。

步骤S11，对采集到的原始可见光图像和原始红外图像分别进行预处理。

原始可见光图像预处理过程主要涉及平滑降噪。这里，使用的是形态学滤波方法。

假定可见光图像记为f，其尺寸大小为R×C，用3×3的十字形结构元素A对输入可见光图像f反复进行开运算和闭运算，以平滑图像降低噪声,降噪输出图像记为f_blur。根据可见光图像的噪声特征,分以下两种情况:

(Ⅰ)对于椒盐噪声图像，降噪输出图像记为f_ps，则有

f_ps＝f·AοA

(Ⅱ)对于高斯噪声图像，降噪输出图像记为f_g,则有

f_g＝fοA·A

其中，ο和·分别表示形态学开运算和闭运算。

将f_ps和f_g分别乘上一个权重系数加和计算降噪后的图像f_blur，即

f_blur＝λ₁f_ps+λ₂f_g

权重系数λ₁和λ₂依据权重与对应图像和原图像差值成反比的原则确定。数学表述为，

其中，k为调整系数且满足k≥0。

原始红外图像预处理包括两点校正、盲元补偿和中值滤波。两点校正采用的是通用算法，这里不再赘述。对于两点校正后的输出图像，逐一判断其每一像元的灰度值与该像元邻域像素灰度值均值的差值是否大于预先设定的阈值，差值大于预设阈值的像元定为盲元，盲元位置确定后，通过5×5窗口大小的中值滤波方式实现盲元替换。

为了提高红外图像的对比度，预处理结束后，使用平台直方图均衡化方法对其进行增强。平台直方图均衡化方法采用的是通用算法，这里不再赘述。增强处理完成后再使用最大最小值线性映射法，将红外图像像素值从14bits数据转换成8bits数据。

假定在像素值转换步骤中，经平台直方图均衡化方法增强处理后的14bits红外图像灰度范围为[r_min,r_max]，8bits输出图像的动态范围为[s_min,s_max]，则r到s的线性变换公式为：

由于映射关系中用到了r_min和r_max，即输入图像灰度的最大值和最小值，因此该方法被称为最大最小值线性映射法。对于8bits输出数据，s_min和s_max分别对应0和255，这样，灰度变换的增益和偏置参数计算式为：

最后的变换公式为：

s＝Gain·r+Offset

由于可见光图像和红外图像尺寸大小存在差异，在红外图像和可见光图像预处理完成后，使用双线性插值算法将它们的尺寸大小设置成一致的。实际处理过程中，针对可见光图像的处理只在Y分量(即亮度分量)上进行，以下步骤同理。

步骤S12，对预处理后的可见光图像和红外图像进行配准。

图像配准是图像融合的必要环节，其直接影响最终融合图像的质量。本发明中可见光图像和红外图像采用粗配准的配准方式。通过光学和结构设计做出的保证，使得可见光CCD传感器和红外焦平面阵列IRFPA探测器的成像视场接近一致，即完成可见光图像和红外图像的粗配准。

步骤S13，利用基于拉普拉斯金字塔分解的融合方法对配准后的图像进行图像融合。

图2及图3是利用基于拉普拉斯金字塔分解的融合方法对配准后的图像进行图像融合的步骤示意图，参见图2及图3，步骤S13的具体方法包括如下步骤：

步骤S21，提取可见光图像的细节。

由于成像机理方面的差异，相比于可见光图像，红外图像通常具有较低的对比度。对于低分辨率的手持式红外热成像设备，其输出的红外图像在视觉感观上常常表现得较为模糊，边缘细节部分尤其严重。为了提高融合图像在细节方面的表现能力，在对可见光图像和红外图像进行融合之前，先提取可见光图像的细节，形成细节图。假定可见光图像记为f，其尺寸大小为R×C，图4给出了细节提取方法的步骤示意图，参见图4，提取可见光图像的细节的具体实现步骤如下：

步骤S40，形态学滤波降噪。

用3×3的十字形结构元素A对输入可见光图像f反复进行开运算和闭运算，以平滑图像降低噪声,降噪输出图像记为f_blur。根据可见光图像的噪声特征,分以下两种情况:

(Ⅰ)对于椒盐噪声图像，降噪输出图像记为f_ps，则有

f_ps＝f·AοA

(Ⅱ)对于高斯噪声图像，降噪输出图像记为f_g,则有

f_g＝fοA·A

其中，ο和·分别表示形态学开运算和闭运算。

将f_ps和f_g分别乘上一个权重系数加和计算降噪后的图像f_blur，即

f_blur＝λ₁f_ps+λ₂f_g

权重系数λ₁和λ₂依据权重与对应图像和原图像差值成反比的原则确定。数学表述为，

其中，k为调整系数且满足k≥0。

步骤S41，计算形态学梯度。

由于结构元素对与其同方向的细节信息较为敏感，而与其方向不同的细节信息则会被平滑掉，因此本发明采用不同走向的结构元素来检测多个方向的边缘细节。将结构元素B分解成4个含有方向信息的结构元素，即B＝B₁∪B₂∪B₃∪B₄。其中，

定义一种具有方向估计的形态学梯度G_m，其幅值g_m和方向θ计算式如下，

其中，(i＝1,2,3,4)为对应于结构元素B_i的膨胀腐蚀型梯度，和分别为形态学膨胀和腐蚀运算表示符，ω_i为加权系数且满足

步骤S42，阈值比较及非极大值抑制。

阈值Th根据形态学梯度的均值进行选取，数学公式描述为，

式中，α为固定常数。

为了确定边缘细节，必须保留局部梯度极大值点，因此沿着形态学梯度方向对梯度幅值进行非极大值抑制。即当g_m(x,y)＞Th时，则(x,y)处像素点为边缘点，反之，则为非边缘点。

步骤S43，输出细节图像。

经阈值比较和非极大值抑制后的边缘图像即为可见光图像的细节图，记为f_detail。

步骤S22，红外图像的拉普拉斯金字塔多尺度分解。

金字塔分解是多尺度分析常用的方法。拉普拉斯金字塔是在高斯金字塔的基础上构建的。令G₀表示原始图像，它位于金字塔的最底层(第0层)。高斯金字塔的第l层表示为G_l，将第l-1层图像与窗口函数ω卷积后的图像再做隔行隔列下采样处理，即可以得到第l层图像。层间运算用函数REDUCE表示，数学公式具体表述为，

G_l＝REDUCE(G_l-1)

其中，ω是一个二维的5×5的窗口函数，作高斯加权处理，其具有低通特性；1≤l≤N，0≤i＜R_l，0≤j＜C_l，N为分解出的金字塔总的层数，R_l，C_l分别为高斯金字塔第l层图像的行数和列数。

拉普拉斯金字塔可以通过对上述高斯金字塔作进一步的处理获得。将高斯金字塔的第l层图像G_l进行内插放大，得到图像其与第l-1层图像G_l-1在尺寸大小上保持一致，这个处理过程用函数EXPAND表示，即

假设LP_l表示拉普拉斯金字塔的第l层图像，则LP_l为高斯金字塔的第l层图像G_l减去其上一层图像G_l+1经内插放大后的图像有

依据上式，可以由高斯金字塔得到拉普拉斯金字塔的每一层图像。根据拉普拉斯金字塔的构建过程可知，原始图像经过逐层分解后，形成多层的高频细节图像和顶层的低频逼近图像，且处在金字塔的层数越高，相应层图像包含的高频分量越少。

用拉普拉斯金字塔分解法来对红外图像进行多尺度分解，分解出的金字塔形图像共3层,从下到上，依次记为底层图像LP_bottom、中层图像LP_middle和顶层图像LP_top。

步骤S23，将红外图像拉普拉斯金字塔的底层图像与可见光图像的细节图像进行融合。

由于红外图像经拉普拉斯金字塔多尺度分解后的底层图像LP_bottom多为高频细节信息，因此将其与可见光图像的细节图像f_detail进行融合，以在最后的融合图像中尽可能的保留可见光图像和红外图像当中的细节信息。本发明选用简单加权法作为融合规则，即可见光图像的细节图和红外图像拉普拉斯金字塔分解出的底层图像融合后的图像为VIR_detail，则有，

VIR_detail＝LP_bottom+α·f_detail

其中，α表示权重，实际融合过程中α值取2。

步骤S24，重构融合图像。

拉普拉斯金字塔可完全表示源图像，从拉普拉斯金字塔的构建过程，逆向可重构出源图，且重构出的源图是唯一的。从分解的拉普拉斯金字塔图像重构出源图像的过程数学描述如下，

其中，分解出的金字塔总的层数N取2。记重构的融合图像为VIR_fusion，由上式，G₂＝LP_top，对G₂执行内插放大，即EXPAND操作，得到图像。将图像与LP_middle图像相加，可得G₁图像，对G₁图像执行EXPAND操作，得到图像。将图像与VIR_detail图像相加，得到的图像即为重构出的融合图像VIR_fusion。逆拉普拉斯金字塔分解进行图像重构过程中，用VIR_detail替代LP_bottom参与运算，充分利用了可见光和红外双波段的成像特性，可以更好地体现场景中的高频细节信息。

在步骤S13之后，进一步包括一步骤S14，对可见光图像和红外图像融合后的图像做伪彩色处理。

鉴于人眼能够区分的灰度等级只有几十种，能分辨的色彩却多达几千种，本发明对可见光图像和红外图像融合后的图像再做伪彩色处理，进一步地增强其视觉效果。伪彩色处理采用的是灰度级—彩色变换法，通过建立灰度图像的灰度级与彩色空间中各种色彩之间的映射关系，将灰度图像转化成彩色图像。

根据色度学原理，红绿蓝三基色按照适当的比例可以合成任何一种色彩。令f(x,y)表示灰度图像的灰度值，R(x,y)、G(x,y)、B(x,y)分别为伪彩色图像的红、绿、蓝三色分量的数值。灰度级—彩色变换法可表述为，

R(x,y)＝T_R{f(x,y)}

G(x,y)＝T_G{f(x,y)}

B(x,y)＝T_B{f(x,y)}

其中，T_R{f(x,y)}、T_G{f(x,y)}、T_B{f(x,y)}分别表示红绿蓝三色分量值与灰度值之间的变换关系。为了加快处理速度，具体操作过程中，通过查找颜色色表的方式完成灰度值到颜色值的变换。

本发明一实施例采用本发明可见光和红外双波段图像融合增强方法对水杯进行了处理。可以看出，由于融合了可见光图像当中的细节信息，采用本发明图像融合增强方法处理后的水杯图像细节更加清晰，相反，仅采用红外图像加伪彩色处理后的水杯图像的水杯的边缘部分显得较为模糊，水杯后的栏杆甚至无法分辨。本发明中的可见光和红外双波段图像融合增强方法，可以大大改善红外图像的视觉效果。对于低分辨率的手持式红外热成像设备，该方法可以看作是对探测器分辨率不足做的一个补偿。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种可见光和红外双波段的图像融合增强方法，其特征在于，包括如下步骤：

(a)针对同一目标场景，利用可见光传感器和红外探测器分别采集原始可见光图像和原始红外图像；

(b)对采集到的原始可见光图像和原始红外图像分别进行预处理；

(c)对预处理后的可见光图像和红外图像进行配准，以使可见光传感器和红外探测器的成像视场趋于一致；

(d)利用基于拉普拉斯金字塔分解的融合方法对配准后的图像进行图像融合。

2.根据权利要求1所述的可见光和红外双波段的图像融合增强方法，其特征在于，在步骤(b)中，所述原始红外图像预处理包括两点校正、盲元补偿和中值滤波。

3.根据权利要求2所述的可见光和红外双波段的图像融合增强方法，其特征在于，对于两点校正后的输出图像，逐一判断其每一像元的灰度值与该像元邻域像素灰度值均值的差值是否大于预先设定的阈值，差值大于预先设定的阈值的像元定为盲元，盲元位置确定后，通过5×5窗口大小的中值滤波方式实现盲元替换。

4.根据权利要求1所述的可见光和红外双波段的图像融合增强方法，其特征在于，在步骤(b)后，进一步包括一对预处理后的红外图像采用平台直方图均衡化方法进行增强的步骤。

5.根据权利要求4所述的可见光和红外双波段的图像融合增强方法，其特征在于，在增强步骤后，进一步包括使用最大最小值线性映射法，将红外图像像素值从14bits数据转换成8bits数据。

6.根据权利要求4所述的可见光和红外双波段的图像融合增强方法，其特征在于，在增强步骤后，使用双线性插值算法将可见光图像与红外图像的尺寸大小设置成一致。

7.根据权利要求1所述的可见光和红外双波段的图像融合增强方法，其特征在于，在步骤(d)中，图像融合包括如下步骤：

(d1)提取可见光图像的细节；

(d2)红外图像的拉普拉斯金字塔多尺度分解；

(d3)将红外图像拉普拉斯金字塔的底层图像与可见光图像的细节图像进行融合；

(d4)重构融合图像。

8.根据权利要求1所述的可见光和红外双波段的图像融合增强方法，其特征在于，在步骤(d)之后，进一步包括一对可见光图像和红外图像融合后的图像做伪彩色处理的步骤。

9.根据权利要求8所述的可见光和红外双波段的图像融合增强方法，其特征在于，所述伪彩色处理采用的是灰度级—彩色变换法，通过建立灰度图像的灰度级与彩色空间中各种色彩之间的映射关系，将灰度图像转化成彩色图像。