CN106204510A - 一种基于结构相似度约束的红外偏振与光强图像融合方法 - Google Patents

Abstract

本发明公开了一种基于结构相似度约束的红外偏振与光强图像融合方法。本发明公开了一种采用结构相似度的多尺度红外偏振与光强图像融合方法，属于红外图像融合领域，本方法利用多尺度高斯滤波器获得红外偏振低频图像，滤波前后的图像相减获得红外偏振图像高频特征，分解时加入结构相似度指标评判低频图像与原红外偏振图像相似度，当相似低于阈值时，完成红外偏振高频特征提取停止分解，保证了红外偏振图像的边缘和纹理等特征最大限度得以提取，最大程度减少高频信息损失；将分解的红外偏振图像的高频特征图像叠加至红外光强图像。该方法克服了现有方法在融合中容易造成亮度、轮廓、边缘和纹理等特征丢失过多问题，完整的保留红外光强图像特征和较完整地保留了红外偏振图像特征，方法简单且有效。

Description

一种基于结构相似度约束的红外偏振与光强图像融合方法

技术领域

本发明属于红外图像融合领域，尤其为一种解决目前红外偏振与光强图像融合方法容易过多损失两类图像的亮度、轮廓、边缘和纹理等特征的方法，具体为一种基于结构相似度约束的红外偏振与光强图像融合方法。

背景技术

红外光强成像利用物体间的热辐射不同进行成像，探测时能够克服云雾等不利的环境因素，探测到遮蔽物候的目标，具有较强的环境适应能力，但是当物体间的温度差异较小或温度相同时，物体间的热辐射差异减小或者消失，会出现探测不到目标的情况。红外偏振成像利用红外线的偏振属性对目标进行探测，可以明显增强伪装、暗弱等目标与背景的差异，提高目标探测与识别能力。红外偏振与光强图像具有很强的互补性，两类图像融合能够丰富目标信息，更有利于后期决策和识别处理，满足实用要求，成为新型红外探测技术的关键，在伪装目标检测、预警、海面救援以及防灾救灾领域有着重要应用。

目前红外偏振与光强图像融合方法主要采用多尺度多分辨率方法，如：非下采样轮廓波变换(NSCT)和非下采样剪切波变换(NSST)等，这些融合方法在保留两类图像特征上取得了一定的效果。但是这些融合方法存在以下问题：(1)低频信息损失较多，高频特征提取时是利用不同的基函数提取特征，只有当基函数与图像特征匹配较好时，特征提取效果较好，同原图像误差较小；(2)分解层数主要依靠于经验，不同图像分解层数基本相同，分解层数同样关系到特征提取的好坏，不同图像融合时应有区别；(3)不同频带子带图像融合主要采取局部能量、方差、剃度和视觉显著性等特征值取大或者加权和的融合规则，融合时侧重某一图像的特征，会进一步损失原图像信息。因此当前红外偏振与光强图像融合方法容易造成融合图像在亮度、边缘以及纹理特征上损失较大。红外偏振与光强成像机理不同，两类图像分别反映了目标的低频和高频特征，低频特征保证了目标的基本信息，高频特征是对目标信息的进一步丰富，只有尽可能完整的保留两类图像的特征，才有利于后续目标的观测、定位和识别等，满足实际需求。

发明内容

本发明为解决现有融合方法难以较好的保留两类图像的亮度、轮廓、边缘和纹理等特征的问题，提出了一种完全保留红外光强图像特征和最大限度保留红外偏振图像特征的新融合方法。通过将红外光强图像作为融合的基图像，完整保留红外图像亮度、轮廓等特征，保证融合图像具有很好的低频特征；通过多尺度高斯滤波器对红外偏振图像进行滤波，获得红外偏振低频特征图像，将滤波前后的图像作差提取红外偏振图像的边缘和纹理等特征，通过结构相似度指标作为分解层数的约束，保证红外偏振图像特征损失最小，保证融合图像具有较丰富的细节信息，最大程度保留红外偏振图像的高频特征；通过基图与多尺度特征图像叠加获得最终融合图像，确保融合图像具有较好的亮度、轮廓、边缘和纹理特征，得到较好的融合效果，同时相对于NSST和NSCT分解简单易实现，有利于实际应用。

本发明是采用如下的技术方案实现的：一种采用结构相似度约束的红外偏振与光强图像融合方法，包括以下步骤：

S1：利用红外热像仪拍摄红外光强图像，再利用红外热像仪和步进旋转偏振片搭建红外偏振相机，拍摄不同角度的红外偏振图像；

S2：将S1中得到不同角度的红外偏振图像，采用斯托克斯方程解算出红外偏振度图像；

S3：通过结构相似度约束的多尺度分解方法获得红外偏振度图像边缘和纹理特征，具体过程为：通过改变高斯滤波器的方差和模板尺寸获得多尺度高斯滤波器，高斯滤波器与红外偏振度图像进行卷积，得到红外偏振低频特征图像，将滤波前图像与红外偏振低频特征图像相减，得到红外偏振高频特征图像；

S4：将红外光强图像与和红外偏振高频特征图像叠加，获得最终融合图像。

上述的一种采用结构相似度约束的红外偏振与光强图像融合方法，S3所述的多尺度分解方法中加入结构相似度指标判定红外偏振低频特征图像同红外偏振度图像相似度，当相似度低于设定阈值时说明红外偏振度图像高频特征提取完毕，保证红外偏振度图像特征被最大限度提取，最大程度减少高频信息损失。

本发明与现有技术相比具有以下优点：

1.本发明同现有融合方法相比，通过将红外光强图像作为融合基图，完整保留了红外光强图像的低频特征，融合图像具有较好的亮度和轮廓等特征以及较好的视觉特征，解决了融合中低频特征丢失的问题。

2.本发明提出结构相似度约束的多尺度红外偏振图像特征提取方法。利用类似拉普拉斯金字塔方法提取红外偏振图像高频特征，在多尺度分解中加入结构相似度指标，用来判别低频图像与原红外偏振图像相似度，当相似度指标小于阈值的时候，停止分解，图像中高频特征得以最大限度提取，实际参与融合的图像不同分解层次不同，同现有融合方法相比，本发明确保红外偏振图像的高频特征得以最大限度地保留，减少高频信息的损失，保证融合图像具有较好的边缘和纹理特征，同时本发明方法没有复杂的变换简单易于实现。

附图说明

图1为本发明的流程图。

图2为采集到的第一组不同角度的红外偏振图像，(a)为0°偏振图像，(b)为45°偏振图像，(c)为90°偏振图像，(d)为135°偏振图像。

图3为采集到的第二组不同角度的红外偏振图像，(a)为0°偏振图像，(b)为45°偏振图像，(c)为90°偏振图像，(d)为135°偏振图像。

图4为第一组解算出的红外偏振度图像和红外光强图像，(a)为红外偏振图像，(b)为红外光强图像。

图5为第二组解算出的红外偏振度图像和红外光强图像，(a)为红外偏振图像，(b)为红外光强图像。

图6为第一组红外偏振与光强融合图像，分别采用NSCT、NSST融合方法和本发明的融合方法，(a)为NSCT融合图像，(b)为NSST融合图像，(c)为本发明融合图像。

图7为第二组红外偏振与光强融合图像，分别采用NSCT、NSST融合方法和本发明的融合方法，(a)为NSCT融合图像，(b)为NSST融合图像，(c)为本发明融合图像。

图8为第一组不同融合图像与原红外偏振与光强图像的差值图，(c)为原红外偏振图像，(c1)为NSCT融合图像与(c)差值图，(c2)为NSST融合图像与(c)差值图，(c3)为本发明融合图像与(c)差值图，(d)为原红外光强图像，(d1)为NSCT融合图像与(d)差值图，(d2)为NSST融合图像与(d)差值图，(d3)为本发明融合图像与(d)差值图。

图9为第二组不同融合图像与原红外偏振与光强图像的差值图，(c)为原红外偏振图像，(c1)为NSCT融合图像与(c)差值图，(c2)为NSST融合图像与(c)差值图，(c3)为本发明融合图像与(c)差值图，(d)为原红外光强图像，(d1)为NSCT融合图像与(d)差值图，(d2)为NSST融合图像与(d)差值图，(d3)为本发明融合图像与(d)差值图。

具体实施方式

参照图1的流程图，以图4和图5所示红外偏振与光强图像为研究对象，进行实验。

一种采用结构相似度约束的红外偏振与光强图像融合方法，包括以下步骤：

S1：利用红外热像仪拍摄红外光强图像，采用步进旋转偏振片与红外热像仪搭建红外偏振相机，通过旋转偏振片，获得0°、45°、90°和135°四个角度的红外偏振图像，拍摄时，相机与拍摄物体处于同一水平；

S2：利用S1中拍摄的0°、45°、90°和135°四个角度的红外偏振图像，通过斯托克斯方程解算出红外偏振度图像，即融合时所采用的红外偏振图像，公式如下：

$S=\left[\begin{array}{c}{S}_0\\ S_1\\ S_2\\ S_3\end{array}\right]=\left[\begin{array}{c}{I}_0+I_{90}\\ I_0-I_{90}\\ I_{45}-I_{135}\\ I_R-I_L\end{array}\right]---\left(1\right)$

$DOP=\frac{\sqrt{S_1^2+S_2^2}}{S_0}---\left(2\right)$

式中S_n为斯托克斯矢量，n＝0、1、2、3，I_m为不同角度的红外偏振图像，m＝0°、45°、90°、135°，DOP为红外偏振度图像，I_R为右旋圆偏振，I_L为左旋圆偏振。

S3：将红外光强图像作为基图，融合中完整保留红外光强图像的低频特征；

S4：通过多尺度高斯滤波器和残差提取红外偏振度图像特征，最大限度保留红外偏振度图像特征，具体步骤如下；

S41：改变高斯滤波器的方差和改变模板大小获得不同尺度的高斯滤波器，改变方差和模板的尺寸，模板尺寸大小每次加2，方差大小每次也增加2，通过多尺度高斯滤波器与红外偏振度图像进行卷积，对红外偏振度图像进行不低通滤波，获得不同尺度的红外偏振低频特征图像，公式如下：

$g(x,y,\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}e-\frac{(x^2+y^2)}{2{\mathrm{\σ}}^2}---\left(3\right)$

l^k(i,j)＝l^k-1*g(x,y,σ_k) (4)

式中g(x,y,σ)为高斯滤波器，x与y为坐标，σ为方差，作为尺度因子；l^k为第k层红外偏振低频特征子带图像，i,j为像素在图像中的位置，k＝1·2…N，l°为红外偏振度图像，初始尺度σ＝3，初始模板为3×3。

S42：将滤波前的红外偏振度图像与滤波后的红外偏振低频特征子带图像做差，获得不同尺度下的红外偏振高频子带图像，公式如下：

h^k(i,j)＝l^k-1-l^k (5)

h^k为第k层高频子带图像，k＝1、2…N。

S5：通过结构相似度约束红外偏振图像分解层数，步骤如下：

S51:利用结构相似度测量不同尺度红外偏振低频特征图像与红外偏振度图像间的相似度，公式如下：

(6)

(7)

式中S(X,Y)为全局结构相似度指标，X,Y为输入图像，X为红外偏振低频特征图像，Y为红外偏振度图像，SSIM(x_i,y_i)为第i个局部窗口两幅图像的结构相似度，w_i(x_i,y_i)为窗口权重系数，w_i(x_i,y_i)为高斯窗，固定大小为11×11，方差固定为1.5，SSIM(x,y)为局部窗口图像结构相似度计算公式，x为红外偏振低频特征图像局部窗口图像，y为红外偏振度图像局部窗口图像，μ_x和μ_y为窗口图像的均值，σ_x和σ_y为窗口内图像的标准差，σ_xy为窗口图像的互标准差，C1、C2为固定值，防止分母为0，C₁＝(K₁L)²,C₂＝(K₂L)²,K₁<<1，K₂<<1,L＝255。

S52:设置阈值T，当结构相似度指标S(X,Y)小于T时，停止对红外偏振度图像分解，不同的红外偏振度图像分解层数不同，确保红外偏振度图像特征尽可能完整的提取，如下式：

(8)i＝i+1 if S(X,Y)>T

T通过实验，取0.15～0.35,i为分解层数，初始值i＝0。

S6：将红外光强图像与不同尺度的红外偏振高频特征图像叠加获得融合图像，将融合结果输出或保存，图6(c)和图7(c)为本发明融合图像，公式入下：

$F=I_{IR}+\underset{i=1}{\overset{M}{\&Sigma;}}{h}^j---\left(9\right)$

式中hⁱ为第i层红外偏振高频子带图像，I_IR为红外光强图像，F为融合图像，i＝12…M。

由图6(c)可以看出本发明方法融合图像中的亮度、纹理和边缘等特征都比NSCT和NSST融合方法融合图像清晰，较好的继承了两类图像间的差异特征，例如车辆的前车窗、车门、侧车窗以及建筑物；图7(c)可以看出本发明方法融合图像相对于NSCT和NSST两种融合方法，图像的边缘和轮廓都更清晰，例如屋顶天线上各部件的轮廓以及建筑物、窗户以及屋顶附属物的边缘。因此本发明融合图像相对于NSCT和NSST融合方法融合图像，清晰度更高，纹理、边缘等信息保持的更好，图像更清晰，视觉效果更好。

为了更加直观的说明本文融合方法较其他两种方法在保留原图像信息上的优势，将融合后的图像与原图像做差，从图8和图9中可以看出NSCT和NSST方法融合图像与红外偏振图像的差异图与原红外光强图像相比在亮度、纹理上存在明显差异，如车辆融合图像与红外偏振图像差异图的前车窗、建筑物融合图像与红外偏振图像差图中的窗户，而本发明方法将红外光强图像作为基图，其完全保留原红外光强图像信息；NSCT和NSST方法融合图像与红外光强图像差异图同原红外光强图像相比差异更为明显，而本发明方法融合结果与红外光强图像差异图与红外偏振图像相比特征损失少，基本与原图特征保持一致。如车辆融合图像与红外光强图像差图中车的前车窗没有很好融合原偏振图像特征，红建筑物融合图像与红外光强图像差图中的窗户、屋顶附属物边缘特征等都没有很好融合。

本发明用用灰度均值、标准差、空间频率和相关性差异和(SCD)作为不同融合方法评价标准，灰度均值反映了图像亮度的大小，灰度平均值越大说明图像越亮，标准差和空间频率反映了图像信息的丰富程度和清晰度，越大说明图像信息量越丰富和清晰度越高，SCD反映了图像间的相似程度，值越大说明图像越相似。从表1和表2可以看出本发明融合方法比NSCT和NSST融合方法在均值、方差、行频率、列频率、空间频率、相关性差异平均提高了：6％、2％、11.6％和40.3％，说明本发明较好的保留了红外光强图像亮度和轮廓特征以及红外偏振图像的边缘与纹理特征，信息损失小，视觉效果小，有利于后续人员观察、识别和决策。

表1图6中融合图像客观评价指标

表2图7中融合图像客观评价指标

图像	灰度均值	标准差	空间频率	相关性差异和
					红外光强图像	129.68	22.6044	3.4412	1
红外偏振图像	2.9518	3.9595	2.9787	1
					本文方法融合图像	130.16	23.043	4.823	1.9376
NSST融合图像	129.59	22.653	4.0063	1.6854
					NSCT融合图像	129.59	22.655	4.0007	1.6999

Claims (2)

1.一种采用结构相似度约束的红外偏振与光强图像融合方法，其特征在于包括以下步骤：

S1：利用红外热像仪拍摄红外光强图像，再利用红外热像仪和步进旋转偏振片搭建红外偏振相机，拍摄不同角度的红外偏振图像；

S2：将S1中得到不同角度的红外偏振图像，采用斯托克斯方程解算出红外偏振度图像；

S3：通过结构相似度约束的多尺度分解方法获得红外偏振度图像边缘和纹理特征，具体过程为：通过改变高斯滤波器的方差和模板尺寸获得多尺度高斯滤波器，多尺度高斯滤波器与红外偏振度图像进行卷积，得到红外偏振低频特征图像，将滤波前图像与红外偏振低频特征图像相减，得到红外偏振高频特征图像；

S4：将红外光强图像与和红外偏振高频特征图像叠加，获得最终融合图像。

2.根据权利要求1所述的一种采用结构相似度约束的红外偏振与光强图像融合方法，其特征在于S3所述的多尺度分解方法中加入结构相似度指标判定红外偏振低频特征图像同红外偏振度图像相似度，当相似度低于设定阈值时说明红外偏振度图像高频特征提取完毕，保证红外偏振度图像特征被最大限度提取，最大程度减少高频信息损失。