CN103093448B - 双色中波红外图像变换域多规则融合方法 - Google Patents

Abstract

本发明涉及图像融合技术，具体为双色中波红外图像变换域多规则融合方法。解决现有的双色中波红外图象融合方法因采用单一融合规则不能适应探测动态变化的需要和不能直接在双色中波成像仪中实现的问题。把红外中波分为3.4~4.1μm、4.5~5.3μm两个波段，然后按如下步骤进行：对两个细分波段图像分别进行支持度变换，得到低频图像和支持度序列图像；对最后一层低频图像用单一规则合成、在对合成图像用模糊隶属函数融合；对支持度序列图像先用单一规则合成在用模糊隶属函数合成图像再次合成；对合成的低频图像和合成的支持度图像采用支持度变换法进行融合。该方法在FPGA和DSP芯片或单一的FPGA芯片上实现，芯片可容易地嵌入双色中波成像仪中。

Description

双色中波红外图像变换域多规则融合方法

技术领域

本发明涉及图像融合技术，具体为双色中波红外图像变换域多规则融合方法。

背景技术

不同波段的红外图像在描述目标或者场景信息时有不同的优势，所以，对多波段（多色）图像进行合成可以提高最终成像质量。有代表性的研究包括可见光图像与红外图像融合、长波图像与中波图像的融合、中波图像与中波图像的融合，也有一些文献提及紫外光图像研究的。其中红外中波（波长为3~5μm）可以进一步分为更细的波段3.4~4.1μm和4.5~5.3μm，在这两个不同细分波段上光谱透过率、对应的峰值温度探测范围、受太阳辐射的影响不同，加上目标或者场景的辐射特性和红外探测器的响应特性不同，所以两个细分波段上的成像特性也不同，研究表明二者具有一定的互补性。利用这种互补性实现双色中波红外成像，可以减少大气辐射衰减的影响，获得更好的成像效果，同时还可以利用目标或者场景在不同细分波段的辐射特性和各个细分波段的特点分别成像，获得各自信噪比高的信号，再通过后处理获取比没有细分的中波段成像效果更好的图像。因此，研究细分中波段图像融合，对提高中波图像质量和目标识别具有重要意义。多分辨率变换是图像融合中行之有效的一类方法，如金字塔算法、小波包变换、支持度变换等多分辨率变换在双色中波红外图像融合中均取得较好效果。但是这些变换在进行图像融合时，对变换域系数多采用单一的合成规则，而不同合成规则具有不同的优缺点，适合于不同特征的图像融合。红外探测器实际探测中，随着场景、条件的变化，图像的特征也在变化，所以，单一的合成规则无法满足探测的动态性需求，就使得现有的图像融合方法不能得到理想的效果。另外，红外成像是由红外成像仪来完成的，红外成像仪通常由热成像镜头、红外探测器、放大器和信号处理与显示部分组成。融合图像时，红外成像仪输出两细分波段图像到PC机中，两细分波段图像在MATLAB（矩阵实验室）等软件上通过编程运行相关算法完成图像融合，才能得到高质量的图像。虽然有较多的研究内容涉及红外成像仪材料的研制、红外成像仪的制冷、红外成像仪向更长波段发展、红外成像仪焦平面阵列器件的研制和红外成像仪与数据处理设备的结合等方面，这些技术的发展确实极大地提高了红外图像的质量，但是一个不容忽视的事实是：红外成像仪输出的图像还不能直接用于识别与决策，不具有实用价值，还必须通过PC机进行图像融合得到高质量的图像才有实用价值。在实际使用中红外成像仪和PC机通常是分离分体的，有时甚至距离很远，图像处理的实时性难以保证；另一方面，红外成像仪需要对初步预处理后的图像进行视频编码才能输出视频图像，输入计算机后又需要视频解码才能进行图像融合，使融合过程繁琐，但这种重复工作对于融合结果本身意义并不大。

综合考虑以上两方面情况可以看出，需要有一种方法来既专门用于红外中波细分波段上高质量的图像融合，又能直接在双色成像仪中实现，使得红外成像仪可以直接输出融合后的中波图像，这样才能提高双色中波红外成像的实时性、实用性，保证方便快捷地完成中波图像的采集与融合。

发明内容

本发明为了解决双色中波红外图象融合方法因合成规则单一，对动态探测图像合成效果不甚理想的问题和不能直接在双色成像仪中实现成像的问题，提供了一种双色中波红外图像变换域多规则融合方法。

本发明是采用如下的技术方案实现的：双色中波红外图像变换域多规则融合方法，包括以下步骤：

两细分波段图像用支持度变换进行预处理，每个细分波段图像分别得到低频图像和支持度序列图像；

两低频图像的最后一层分别用下列规则合成提取中波特征：规则一：基于区域的标准差最大的中心像素值取大法，先初步合成，为了保证合成图像像素取值的区域一致性，再进一步合成，，规则二：区域加权平均法， $P_{\mathrm{Fr}2}(x,y)=\frac{{\mathrm{\σ}}_{1r}(x,y)P_{1r}(x,y)+{\mathrm{\σ}}_{2r}(x,y)P_{2r}(x,y)}{{\mathrm{\σ}}_{1r}(x,y)+{\mathrm{\σ}}_{2r}(x,y)}$ ，规则三：像素值最大法， ，式中，P_1r(x,y)、P_2r(x,y)分别表示两低频图像的最后一层在 (x,y)处的像素值，σ_1γ(x,y)、σ_2γ(x,y)分别表示两低频图像的区域标准差，l表示规则一中先合成后的图像的区域窗口中像素值P_1r(x,y)的个数，th为阈值，一般取值为(0.5M²,M²)，M²为规则一中先合成后的图像的区域窗口的大小；

单一规则合成后的低频图像利用梯形模糊隶属度函数融合，  ，式中P_Fri(x,y)为通过第i种规则合成后的图像在(x,y)处的像素值，μ_Pi是第i种规则的梯形模糊隶属度函数；

两支持度序列图像分别用下列规则合成提取中波特征：规则一：像素能量最大法，，规则二：区域加权平均法，  $S_{\mathrm{Fj}2}(x,y)=\frac{{\mathrm{f\σ}}_{1j}(x,y)S_{1j}(x,y)+{\mathrm{f\σ}}_{2j}(x,y)S_{2j}(x,y)}{{\mathrm{f\σ}}_{1j}(x,y)+{\mathrm{f\σ}}_{2j}(x,y)}$ ，式中，S_1j(x,y)、S_2j(x,y)分别表示两支持度序列图像的第j层的在(x,y)处的像素值，f_1j(x,y)、f_2j(x,y)分别表示两支持度序列图像的第j层的在(x,y)处差异能量特征值；

单一规则合成后的支持度序列图像利用梯形模糊隶属度函数融合，S_Fj(x,y)=μ_s1S_Fj1(x,y)+μ_s2S_Fj2(x,y)，S_Fj1(x,y)、S_Fj2(x,y)分别表示通过像素能量最大法合成后的图像的第j层在(x,y)处的像素值和通过区域加权平均法合成后的图像的第j层在(x,y)处的像素值，对应的梯形隶属度函数分别是μ_S1、μ_S2；

利用梯形模糊隶属度函数合成后的图像进行支持度逆变换。

本方法优选了支持度变换对图像进行支持预处理，利用了支持度变换速度快，算法简单的特点，便于硬件实现；本方法将单一规则合成后的图像用梯形模糊隶属度函数再次合成，利用了不同规则适合于不同特征的场景的特点，红外探测仪能探测于不同场景，满足了探测的动态性需求，达到了理想的探测效果；本方法也容易在FPGA（现场可编程门阵列）和DSP（数字信号处理）芯片或单一的FPGA芯片上实现，若本方法在FPGA和DSP芯片上实现时，该方法的第一、二、四步在FPGA芯片上完成，第三、五、六步在DSP芯片上完成，使用FPGA和DSP芯片的组合更有利于发挥两种芯片各自的长处，两芯片组合形成了双色中波红外图象融合器，该融合器可容易地嵌入红外成像仪中，该融合器嵌入在红外成像仪的红外焦平面之后，完成双色中波图像的预处理、特征提取、合成，然后再输出到显示器或PC机上，这样就保证了图像合成的实时性，不用再通过PC机来实现图像的合成。

本发明创新性地解决了单一合成规则不能满足探测动态性需要的问题，使得探测图像的变化时，合成规则可以相应调整，从而确保融合效果；采用支持度变换法进行融合，使融合方法的运算简单、便于硬件实现，特别是便于在FPGA、DSP等芯片上实现，实现融合方法的硬件可容易地嵌入红外成像仪中，直接在红外成像仪中实现图像融合，使得红外成像仪可以直接输出融合后的中波图像，从而提高了双色中波红外成像的实时性、实用性，保证方便快捷地完成中波图像的采集与融合。

附图说明

图1为图像融合的流程图。

图2为梯形模糊隶属度函数μ_Pi的函数图。

图3为梯形模糊隶属度函数的μ_S1、μ_S2的函数图。

具体实施方式

双色中波红外图像变换域多规则融合方法，包括以下步骤：

两细分波段图像用支持度变换进行预处理，每个细分波段图像分别得到低频图像和支持度序列图像；

两低频图像的最后一层分别用下列规则合成提取中波特征：规则一：基于区域的标准差最大的中心像素值取大法，先初步合成，为了保证合成图像像素取值的区域一致性，再进一步合成，，规则二：区域加权平均法， $P_{\mathrm{Fr}2}(x,y)=\frac{{\mathrm{\σ}}_{1r}(x,y)P_{1r}(x,y)+{\mathrm{\σ}}_{2r}(x,y)P_{2r}(x,y)}{{\mathrm{\σ}}_{1r}(x,y)+{\mathrm{\σ}}_{2r}(x,y)}$ ，规则三：像素值最大法， ，式中，P_1r(x,y)、P_2r(x,y)分别表示两低频图像的最后一层在(x,y)处的像素值，σ_1γ(x,y)、σ_1γ(x,y)分别表示两低频图像的区域标准差，l表示规则一中先合成后的图像的区域窗口中像素值P_1r(x,y)的个数，th为阈值，一般取值为(0.5M²,M²)，M²为规则一中先合成后的图像的区域窗口的大小；

单一规则合成后的低频图像利用梯形模糊隶属度函数融合，  ，式中P_Fri(x,y)为通过第i种规则合成后的图像在(x,y)处的像素值，μ_Pi是第i种规则的梯形模糊隶属度函数；

两支持度序列图像分别用下列规则合成提取中波特征：规则一：像素能量最大法，，规则二：区域加权平均法，  $S_{\mathrm{Fj}2}(x,y)=\frac{{\mathrm{f\σ}}_{1j}(x,y)S_{1j}(x,y)+{\mathrm{f\σ}}_{2j}(x,y)S_{2j}(x,y)}{{\mathrm{f\σ}}_{1j}(x,y)+{\mathrm{f\σ}}_{2j}(x,y)}$ ，式中，S_1j(x,y)、S_2j(x,y)分别表示两支持度序列图像的第j层的在(x,y)处的像素值，f_1j(x,y)、f_2j(x,y)分别表示两支持度序列图像的第j层的在(x,y)处差异能量特征值；

单一规则合成后的支持度序列图像利用梯形模糊隶属度函数融合，S_Fj(x,y)=μ_s1S_Fj1(x,y)+μ_s2S_Fj2(x,y)，S_Fj1(x,y)、S_Fj2(x,y)分别表示通过像素能量最大法合成后的图像的第j层在(x,y)处的像素值和通过区域加权平均法合成后的图像的第j层在(x,y)处的像素值，对应的梯形隶属度函数分别是μ_S1、μ_S2；

利用梯形模糊隶属度函数合成后的图像进行支持度逆变换。

具体实施时，梯形模糊隶属度函数μ_Pi对应的论域为[0,T]， ${\mathrm{\μ}}_{p1}=\left\{\begin{array}{cc}1& t_p\∈[0,T_1]\\ \frac{t_p-T_2}{T_1-T_2}& t_p\∈(T_1,T_2]\end{array}\right.$ ， ${\mathrm{\μ}}_{p2}=\left\{\begin{array}{cc}\frac{t_p-T_1}{T_2-T_1}& t_p\∈[T_1,T_2]\\ 1& t_p\∈[T_2,T_3]\\ \frac{t_p-T_4}{T_3-T_4}& t_p\∈[T_3,T_4]\end{array}\right.$ ， ${\mathrm{\μ}}_{p3}=\left\{\begin{array}{cc}\frac{t_p-T_3}{T_4-T_3}& t_p\∈[T_3,T_4]\\ 1& t_p\∈[T_4,T]\end{array}\right.$ ，t_P∈[0,T]表示两个低频图像的低频差异特征量， $t_P(x,y)=\max \{\frac{1-E_{\mathrm{\σ}}(x,y)}{2},\frac{E_P(x,y)}{2}+\frac{1}{2}\}$ ，其中E_P(x,y)是两个低频图像的最后一层在(x,y)处的像素值P_1r(x,y)、P_2r(x,y)的相似度， $E_P^{*}(x,y)=|P_{1r}{(x,y)}_1-P_{2r}(x,y)|\×(P_{1r}(x,y)+P_{2r}(x,y))$ ， $E_P(x,y)=\frac{E_P^{*}(x,y)}{\max \left(E_P^{*}(x,y)\right)}$ ，E_σ(x,y)是两低频图像的区域标准差_γ(x,y)、σ_2γ(x,y)的相似度，，M_E为E_P(x,y)、E_σ(x,y)的均值M_EP、M_Eσ的平均值，，图2中对应的参数T₁，T₂，T₃，T₄可通过下式来确定，其中，M_t、σ_t为t_P(x,y)的均值、方差，T₁=M_t-2σ_t，T₂=M_t-1.5σ_t，T₃=M_t-1.5σ_t，T₄=M_t-2σ_t；梯形模糊隶属度函数μ_S1、μ_S2对应的论域为[0,K]， ${\mathrm{\μ}}_{S1}=\left\{\begin{array}{cc}1& t_s\∈[0,K_1]\\ \frac{t_S-K_2}{K_1-K_2}& t_s\∈(K_1,K_2]\end{array}\right.$ ， ${\mathrm{\μ}}_{S2}=\left\{\begin{array}{cc}\frac{t_S-K_1}{K_2-K_1}& t_s\∈[K_1,K_2]\\ 1& t_s\∈[K_2,K]\end{array}\right.$ ，t_S=[0,K]表示两个支持度序列图像的支持度差异特征量，，图3中对应的参数K₁，K₂可通过下式来确定，其中，M^* _t、σ^* _t为t_S(x,y)的均值、方差，K₁=M^* _t-0.5σ^* _t，K₂=M^* _t+0.5σ^* _t；表示支持度序列图像的第j层的在(x,y)处差异能量特征值，式中(2N+1)²表示窗口的大小，f_j(x,y)表示窗口中心的像素值，f_j(m,n)表示窗口中在(m,n)处的像素值。

梯形模糊隶属度函数是本领域技术人员公知的函数，函数表达式可在相应的教科书或者技术文献中查阅到，差异能量特征值也是本领域的技术人员公知的概念，其表达式也可在在相应的教科书或者技术文献中查阅到。

Claims (1)

1.双色中波红外图像变换域多规则融合方法，包括以下步骤：

两细分波段图像用支持度变换进行预处理，每个细分波段图像分别得到低频图像和支持度序列图像；

其特征在于还包括以下步骤：

两低频图像的最后一层分别用下列规则一、规则二和规则三合成提取中波特征：规则一：基于区域的标准差最大的中心像素值取大法，先初步合成为了保证合成图像像素取值的区域一致性，再进一步合成，

规则二：区域加权平均法，

$P_{\mathrm{Fr}2}(x,y)=\frac{{\mathrm{\σ}}_{1r}(x,y)P_{1r}(x,y)+{\mathrm{\σ}}_{2r}(x,y)P_{2r}(x,y)}{{\mathrm{\σ}}_{1r}(x,y)+{\mathrm{\σ}}_{2r}(x,y)},$ 规则三：像素值最大法，

式中，P_1r(x,y)、P_2r(x,y)分别表示两低频图像的最后一层在(x,y)处的像素值，分别表示两低频图像的区域标准差，l表示规则一中先合成后的图像的区域窗口中像素值P_1r(x,y)的个数，th为阈值，取值为(0.5M²,M²)，M²为规则一中先合成后的图像的区域窗口的大小；

单一规则合成后的低频图像利用梯形模糊隶属度函数融合，式中P_Fri(x,y)为通过第i种规则合成后的图像在(x,y)处的像素值，μ_Pi是第i种规则的梯形模糊隶属度函数；

两支持度序列图像分别用下列规则一和规则二合成提取中波特征：规则一：像素能量最大法，规则二：区域加权平均法， $S_{\mathrm{Fj}2}(x,y)=\frac{f_{1j}(x,y)S_{1j}(x,y)+f_{2j}(x,y)S_{2j}(x,y)}{f_{1j}(x,y)+f_{2j}(x,y)},$ 式中，S_1j(x,y)、S_2j(x,y)分别表示两支持度序列图像的第j层的在(x,y)处的像素值，f_1j(x,y)、f_2j(x,y)分别表示两支持度序列图像的第j层的在(x,y)处差异能量特征值；

单一规则合成后的支持度序列图像利用梯形模糊隶属度函数融合，S_Fj(x,y)＝μ_s1S_Fj1(x,y)+μ_s2S_Fj2(x,y)，S_Fj1(x,y)、S_Fj2(x,y)分别表示通过像素能量最大法合成后的图像的第j层在(x,y)处的像素值和通过区域加权平均法合成后的图像的第j层在(x,y)处的像素值，对应的梯形隶属度函数分别是μ_S1、μ_S2；

利用梯形模糊隶属度函数合成后的图像进行支持度逆变换。