CN104978724A - 基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法 - Google Patents

Abstract

本发明是基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法，包括以下步骤：1】通过斯托克斯矢量表示法得到成像区域的偏振信息；解算出成像区域的斯托克斯矢量S＝(I,Q,U,V)^T；2】根据成像区域的偏振信息求解偏振度图像I_DP和偏振角图像I_AP；3】利用NSCT算法对归一化后的偏振角图像和偏振度图像进行融合，得到复合偏振图像I_P；本发明基于非下采样Conterlet变换(Non-Subsampled Conterlet Tranformation，NSCT)和自适应脉冲耦合神经网络算法(Adaptive Pulse Coupled Neural Network，APCNN)算法实现偏振图和红外辐射强度图像的二次融合。其中，NSCT算法将偏振图像细节在各个方向上得到了保护，而APCNN算法提高了异类图像融合的质量。

Description

基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法

技术领域

本发明公开了一种基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法，它主要用于红外辐射强度图像和偏振图像的融合。

背景技术

与传统的红外成像(红外辐射强度图像)相比，红外偏振成像技术既能探测目标景物的红外辐射强度信息，又能同时获取目标景物的红外辐射量在不同的偏振方向上的对比值，不仅保留了原有的辐射强度信息，并且增加了偏振信息，从而显著提高目标和自然背景之间的对比度，突显现出目标轮廓和细节，增强红外系统的探测识别能力。凭借其具有的优点，红外偏振成像技术将在海面油污检测、地物背景辨别、人造目标监测、医疗诊断、军事伪装目标辨识等方面具有很大的应用前景。而对红外偏振成像技术来说，红外辐射图像和偏振图像的融合方法对成像结果至关重要。

在一般的图像融合中，基于多尺度变换的图像融合方法被证明是一类行之有效的方法，这类方法主要有基于金字塔变换、小波变换、支持度变换、曲波(Curvelet)变换、轮廓波(Contourlet)变换的融合方法等。基于多尺度变换的图像融合算法主要原理是：首先利用多尺度变换方法对待融合的图像进行多尺度分解，然后再基于融合规则对各尺度上的分解图像进行融合，再将融合的分解图像进行重构，最终得到多尺度融合图像。

在现有的红外偏振图像融合方法中，主要是利用傅里叶变换、小波变换、支持度变换、拉普拉斯金字塔变换等对红外辐射图像和红外偏振图像进行融合。研究表明现有的红外偏振融合算法存在固有的边缘区域失真、对比度低的问题。这主要是因为，以小波变换代表的多尺度变换方法(包括金字塔变换)在分析图像的点状瞬态特征的奇异性时是最优的，但是在表示图像结构的线状或曲面奇异性时却不是最优 的。因此，基于小波变换的图像融合不能充分地体现出图像中的方向边缘细节信息，容易导致融合后的图像产生细节成分模糊现象。偏振图像最大的价值在于它能表达出目标的边缘和纹理细节信息，因此在对红外偏振图像进行融合时，应该选择具有保护图像细节信息的多尺度变换算法，比如非下采样Contourlet变换(Non-Subsample Contourlet Transform，NSCT)算法，该算法不仅能捕获图像在各方向上的纹理细节信息，而且具有平移不变形，能有效降低配准误差对融合性能的影响，同时图像NSCT分解后得到的各子带图像与源图像具有相同的尺寸大小，从而有利于融合规则的制定和融合运算的实现，因此NSCT算法特别适合红外偏振图像的融合。

在基于多尺度分解的图像融合算法中，融合规则是另外一个至关重要的因素，直接决定着融合图像的性能，在现有的融合算法中，常规的融合规则可以分为三类：基于像素选取的融合规则、基于邻域窗口的融合规则和基于区域的融合规则。这些规则在同类图像的融合中表现出了良好的应用效果，然而应用于异类传感信息融合时却面临着许多困难，最主要的困难是目前尚没有统一的数学工具与方法可应用于异类传感信息融合。红外偏振图像和红外辐射图像由于成像机理不同，从本质上说属于异类图像，它们的融合属于异类图像融合，因此采用常规的融合规则对红外偏振图像进行融合并不合适。

异类图像融合时，不应该直接选取两幅图像的像素值进行融合，而应该根据某种评价函数对偏振图像和红外辐射图像待融合的像素点进行评价，依据图像评价结果进行融合处理。脉冲耦合神经网络(Pulse Coupled Neural Network，PCNN)模型，是通过模拟猫的大脑视觉皮层中同步脉冲发放现象建立起来的一个简化模型，在该模型中，相互连接的神经元之间存在着能量的传播，正是这种传播使得神经元能够以相似性集群，从而产生同步脉冲发放。在受到图像信号激励时，PCNN的输出脉冲序列(也叫做点火图)中包含有图像的特征信息，利用这些脉冲输出通常比使用原始图像更容易实现对图像的判断，因此利用图像的PCNN输出作为图像的评价将是一个很好的选择。然而，在PCNN模型中，很多参数需要根据经验设定，这就需要对其进 行改进，提高PCNN模型的自适应能力。

发明内容

针对现有红外偏振融合算法存在的不足，本发明基于非下采样Conterlet变换(Non-Subsampled Conterlet Tranformation，NSCT)和自适应脉冲耦合神经网络算法(Adaptive Pulse Coupled Neural Network，APCNN)算法实现偏振图和红外辐射强度图像的二次融合。其中，NSCT算法将偏振图像细节在各个方向上得到了保护，而APCNN算法提高了异类图像融合的质量。第一次融合实现偏振角图像和偏振度图像的融合，得到复合偏振图像。第二次融合是将复合偏振图像与红外辐射图像进行融合，得到红外偏振融合图像。

本发明的技术解决方案是：基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法，其特征在于：所述方法包括以下步骤：

1】通过斯托克斯矢量表示法得到成像区域的偏振信息；

当红外偏振系统中偏振片分别旋转到0°、45°、90°和135°等4个不同位置时，获得4个不同偏振方向的辐射强度图I′(0°)、I′(45°)、I′(90°)和I′(135°)；解算出成像区域的斯托克斯矢量S＝(I,Q,U,V)^T；

其中，I代表辐射强度，Q表示0°与90°线偏振光分量之差，U表示45°与135°线偏振光分量之差，V代表右旋与左旋圆偏振光分量之差；

2】根据成像区域的偏振信息求解偏振度图像I_DP和偏振角图像I_AP；

3】利用NSCT算法对归一化后的偏振角图像和偏振度图像进行融合，得到复合偏振图像I_P，实现第一次融合；

3.1】将原DoP图像和原AoP图像进行NSCT分解，分别得到分解系数图和

3.2】设融合图像后的复合偏振图像为I_P，其对应的NSCT分解系数为其中aX(X＝I_DP、I_AP、I_P)表示图像X的低频子带图像，CX^s,l(X＝I_DP、I_AP、I_P)表示图像X在第s层、第l个方向子带上的高频系数；

3.3】根据传统的像素级图像融合准则，由和得到融合 系数

4】利用NSCT算法对复合偏振图像I_P和红外强度图像I分别进行多尺度分解，得到相应的不同尺度，不同方向上的NSCT分解系数图；

4.1】将复合偏振图像I_P和红外强度图像I分别进行NSCT分解，分别得到分解系数图和{aI,CI^s,l}；

4.2】设融合图像后的复合偏振图像为I_F，其对应的NSCT分解系数为其中aX(X＝I_P，I，I_F)表示图像X的低频子带图像，CX^s,l(X＝I_P，I，I_F)表示图像X在第s层、第l个方向子带上的高频系数；

5】利用APCNN算法分别得到各尺度各方向上NSCT系数图的点火图；

6】对复合偏振图像I_P和红外强度图像I的NSCT子带系数和{aI,CI^s,l}进行融合；

6.1】基于像素平均的原则，根据NSCT低频子带系数aI_P和aI求解融合系数aI_F；

6.2】基于点火图融合原则，根据NSCT高频子带系数和{CI^s,l}求解融合系数

6.3】对所有尺度方向上的融合系数进行NSCT逆变换，得到红外偏振融合图像，实现第二次融合。

上述步骤1】斯托克斯矢量S＝(I,Q,U,V)^T的具体解算方法：

Q＝I′(0°)-I′(90°)

U＝I′(45°)-I′(135°)。

上述步骤2】中求解具体步骤是：

偏振度图像I_DP表示为：

$I_{\mathrm{DP}}^{*}=\frac{\sqrt{(Q^2+U^2)}}{I}$

进行归一化处理后得到：

$I_{\mathrm{DP}}=\frac{I_{\mathrm{DP}}^{*}(i,j)-\min \left(I_{\mathrm{DP}}^{*}(i,j)\right)}{\max \left(I_{\mathrm{DP}}^{*}(i,j)\right)-\min \left(I_{\mathrm{DP}}^{*}(i,j)\right)}$

偏振角图像I_AP表示为

$I_{\mathrm{AP}}^{*}=\frac{1}{2}{\tan }^{-1}\frac{U}{Q}$

归一化处理后得到：

$I_{\mathrm{AP}}=\frac{I_{\mathrm{AP}}^{*}(i,j)-\min \left(I_{\mathrm{AP}}^{*}(i,j)\right)}{\max \left(I_{\mathrm{AP}}^{*}(i,j)\right)-\min \left(I_{\mathrm{AP}}^{*}(i,j)\right)}.$

上述步骤5】的具体步骤是：

5.1】根据主成分分析法计算复合偏振图像和红外辐射强度图像各个高频子带系数对应的外界激励矩阵：

SX＝PCA(X)

其中：CI^s,l；

5.2】将外界激励矩阵输入到APCNN模型中，激发神经元，最终得到各系数图的点火图 $\mathrm{KX}(X={\mathrm{CI}}_P^{s,l},{\mathrm{CI}}^{s,l}).$

步骤5】神经元模型迭代计算过程如下：

$\left\{\begin{array}{c}{\mathrm{FX}}_{\mathrm{ij}}\left(n\right)=e^{-{\mathrm{\α}}_F}{\mathrm{FX}}_{\mathrm{ij}}(n-1)+V_F\underset{k,l}{\mathrm{\Σ}}{M}_{\mathrm{ijkl}}{\mathrm{KX}}_{\mathrm{kl}}(n-1)+{\mathrm{SX}}_{\mathrm{ij}}\\ {\mathrm{LX}}_{\mathrm{ij}}\left(n\right)=e^{-{\mathrm{\α}}_L}{\mathrm{LX}}_{\mathrm{ij}}(n-1)+V_L\underset{k,l}{\mathrm{\Σ}}{W}_{\mathrm{ij},\mathrm{kl}}{\mathrm{KX}}_{\mathrm{kl}}(n-1)\\ {\mathrm{UX}}_{\mathrm{ij}}\left(n\right)={\mathrm{FX}}_{\mathrm{ij}}\left(n\right)[1+\mathrm{\β}{\mathrm{LX}}_{\mathrm{ij}}\left(n\right)]\\ {\mathrm{KX}}_{\mathrm{ij}}\left(n\right)=\left\{\begin{array}{cc}1,& U_{\mathrm{ij}}\left(n\right)>{\mathrm{\θ}}_{\mathrm{ij}}(n-1)\\ 0,& U_{\mathrm{ij}}\left(n\right)\≤{\mathrm{\θ}}_{\mathrm{ij}}(n-1)\end{array}\right.\\ \mathrm{\θ}{X}_{\mathrm{ij}}\left(n\right)=e^{-{\mathrm{\α}}_{\mathrm{\θ}}}\mathrm{\θ}{X}_{\mathrm{ij}}(n-1)+V_{\mathrm{\θ}}{\mathrm{KX}}_{\mathrm{ij}}\left(n\right)\\ {\mathrm{KX}}_{\mathrm{ij}}=\underset{n}{\mathrm{\Σ}}{\mathrm{KX}}_{\mathrm{ij}}\left(n\right)\end{array}\right.$

神经元激发过程中，各变量的含义及参数的取值：

为第n次迭代时反馈输入图中位于(i,j)处的反馈输入；

KX_ij(n)为第n次迭代时点火图中位于(i,j)处的点火状态，1表示第n次迭代时位于(i,j)处点火发生，0表示第n次迭代时位于(i,j)处点火没有发生；

KX表示经过n次迭代得到的点火图，当点火图中任意位于(i,j)处的点火值都大于1时，即KX_ij≥1,(i＝1:M,j＝1:N)，停止迭代；

LX_ij(n)为第n次迭代时线性连接输入部分中位于(i,j)处的连接输入值；

UX_ij(n)为第n次迭代时神经元的内部活动项位于(i,j)处的值，当UX_ij(n)的值大于动态阈值θX_ij(n)时，神经元点火，脉冲发生输出；

参数α_F、α_L和α_θ分别表示反馈输入FX_ij(n)、线性连接输入LX_ij(n)和动态阈值θX_ij(n)的衰减时间常数，且通常有α_F<α_θ<α_L，V_F、V_L和V_θ分别为反馈放大系数，连接放大系数和阈值放大系数，通常取V_F＝V_L＝1；

位置(k,l)以(i,j)为中心，在大小为(2u+1)×(2v+1)的局部邻域中，(2u+1)×(2v+1)被称为APCNN的连接范围，u,v＝1,2…；

自适应权值矩阵的选择：

$M_{\mathrm{ij},\mathrm{kl}}=W_{\mathrm{ij},\mathrm{kl}}=\frac{g({\mathrm{FX}}_{\mathrm{ij}}\left(n\right),{\mathrm{FX}}_{\mathrm{kl}}\left(n\right))}{{(i-k)}^2+{(j-l)}^2}$

其中：g(FX_ij(n),FX_kl(n))函数表示中心点FX_ij(n)处的像素与FX_kl(n)处像素值的差异度量，当FX_ij(n)与FX_kl(n)一样大时，令g(FX_ij(n),FX_kl(n))→0；当FX_ij(n)与FX_kl(n)差异比较大时，令g(FX_ij(n),FX_kl(n))→1；g(FX_ij(n),FX_kl(n))选择如下的表达方式：

$g({\mathrm{FX}}_{\mathrm{ij}}\left(n\right),{\mathrm{FX}}_{\mathrm{kl}}\left(n\right))=1-\exp (-\frac{{({\mathrm{FX}}_{\mathrm{ij}}\left(n\right)-{\mathrm{FX}}_{\mathrm{kl}}\left(n\right))}^2}{{\mathrm{\&sigma;}}_{\mathrm{ij}}})$

其中：

${\mathrm{\&sigma;}}_{\mathrm{ij}}={\left(\frac{1}{8}\underset{u=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{v=-1}{\overset{1}{\mathrm{\&Sigma;}}}{({\mathrm{FX}}_{i+u,j+v}\left(n\right)-\stackrel{\&OverBar;}{F}{\stackrel{\&OverBar;}{X}}_{\mathrm{ij}}\left(n\right))}^2\right)}^{\frac{1}{2}}$

$\stackrel{\&OverBar;}{F}{\stackrel{\&OverBar;}{X}}_{\mathrm{ij}}\left(n\right)=\frac{1}{9}\underset{u=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{v=-1}{\overset{1}{\mathrm{\&Sigma;}}}{\mathrm{FX}}_{i+u,j+v}\left(n\right)$

自适应神经元连接强度：

${\mathrm{\&beta;}}_{\mathrm{ij}}=1-\exp (-\frac{|{\mathrm{FX}}_{\mathrm{ij}}\left(n\right)-\stackrel{\&OverBar;}{F}{\stackrel{\&OverBar;}{X}}_{\mathrm{ij}}\left(n\right)|}{{\mathrm{\&sigma;}}_{\mathrm{ij}}})$

其中：和σ_ij的计算同上。 

本发明的有益效果是：

本发明通过对PCNN改进，得到自适应能力更强的APCNN模型，然后利用APCNN模型分别对经过多尺度分解(基于NSCT算法)后的偏振图像和红外辐射图像进行处理，得到各不同尺度不同方向上子带系数的点火图，点火图相当于两类子带系数在视觉系统中的反映，即评价图，再次利用点火图实现这两类图像在各子带系数上的融合，最后将融合后的子带系数进行重构得到红外偏振融合图像。

本发明实现了红外辐射图像和偏振图像的融合，利用NSCT算法将偏振度图像和偏振角图像细节在各个方向上得到了保护，使得相似的偏振信息得到增强；通过外界刺激矩阵、加权矩阵、神经元连接强度以及迭代次数的设计等一系列措施对PCNN算法进行改进，得到了可以自适应能力更强的APCNN算法，提高了偏振图像和红外辐射图像融合的质量，使得异类信息得到了保护。从而保证了红外偏振融合图像不仅具有丰富的辐射强度信息，而且包含了突出的场景偏振信息，解决了红外偏振融合图像中存在的边缘区域失真、轮廓模糊，目标与背景对比度低等问题，可以应用于各种红外辐射图像与偏振图像的融合，具有广阔的应用前景。

附图说明

图1是本发明基于多尺度分解与APCNN算法的红外偏振图像融合方法的框图；

图2是本发明基于NSCT算法的偏振角图像和偏振度图像融合算法框图；

图3是本发明APCNN模型中单个神经元迭代示意图；

具体实施方式

下面结合附图和具体实施方式对本发明作进行一步详细说明。

参见图1，基于多尺度分解与APCNN算法的红外偏振图像融合方法包括以下步骤：

步骤1：通过斯托克斯矢量表示法得到成像区域的偏振信息。

斯托克斯矢量表示法是目前最常用的偏振表示方法，它既可以将关于偏振的所有信息很好的表示出来，也易于测量。斯托克斯指出，一束光的偏振状态可以由斯托克斯矢量S＝(I,Q,U,V)^T完全描述，其中，I代表辐射强度，Q表示0°与90°线偏振光分量之差，U表示45°与135°线偏振光分量之差，V代表右旋与左旋圆偏振光分量之差，一般工程探测和计算中认为其值为0。当斯托克斯矢量描述的辐射通过金属光栅偏振片时，出射辐射的强度为：

$I^{\&prime;}\left(\mathrm{\&alpha;}\right)=\frac{1}{2}(I+Q\cos 2\mathrm{\&alpha;}+U\sin 2\mathrm{\&alpha;})---\left(9\right)$

其中，α为偏振片的透光轴相对水平的夹角。

当偏振片分别旋转到0°、45°、90°和135°等4个不同位置时，就可以获得4个不同偏振方向的辐射强度图。进而可以解算出成像区域的斯托克斯矢量，具体解算方法如下所示：

Q＝I′(0°)-I′(90°)            (11) 

U＝I′(45°)-I′(135°)           (12) 

步骤2：根据偏振信息求解偏振度图像和偏振角图像。

偏振度(Degree of Polarization，DoP)表示完全偏振光强度在整个光强中所占比例，可以利用它来表示偏振光辐射强度的大小。偏振度图像可以表示为：

$I_{\mathrm{DP}}^{*}=\frac{\sqrt{(Q^2+U^2)}}{I}---\left(13\right)$

进行归一化处理后得到：

$I_{\mathrm{DP}}=\frac{I_{\mathrm{DP}}^{*}(i,j)-\min \left(I_{\mathrm{DP}}^{*}(i,j)\right)}{\max \left(I_{\mathrm{DP}}^{*}(i,j)\right)-\min \left(I_{\mathrm{DP}}^{*}(i,j)\right)}---\left(14\right)$

DoP图像偏含有许多物体的偏振信息，因此偏振度图像能较好地突出不同物体之间的对比度。

偏振角(Angle of Polarization，AoP)表示偏振光振动的方向与所选的参考方向间的夹角。偏振角图像可表示为

$I_{\mathrm{AP}}^{*}=\frac{1}{2}{\tan }^{-1}\frac{U}{Q}---\left(15\right)$

归一化处理后得到：

$I_{\mathrm{AP}}=\frac{I_{\mathrm{AP}}^{*}(i,j)-\min \left(I_{\mathrm{AP}}^{*}(i,j)\right)}{\max \left(I_{\mathrm{AP}}^{*}(i,j)\right)-\min \left(I_{\mathrm{AP}}^{*}(i,j)\right)}---\left(16\right)$

AoP图像体现了物体的表面边缘信息，是从自然背景中较好地突显出人造目标特征的方法。

步骤3：利用NSCT算法对归一化后的偏振角图像和偏振度图像进行融合，得到复合偏振图像，实现第一次融合。其原理如图2所示。

(1)将原DoP图像和原AoP图像进行NSCT分解，分别得到分解系数图和设融合图像后的复合偏振图像为I_P，其对应的NSCT分解系数为 其中aX(X＝I_DP、I_AP、I_P)表示图像X的低频子带图像，CX^s,l(X＝I_DP、I_AP、I_P)表示图像X在第s层、第l个方向子带上的高频系数。

(2)由根据传统的像素级图像融合准则得到融合系数 比如：

低频部分：取两幅图像的经过多分辨率分解后的低频系数的平均值作为融合后的系数。

$a{I}_P(i,j)=\frac{1}{2}[a{I}_{\mathrm{DP}}(i,j)+a{I}_{\mathrm{AP}}(i,j)]---\left(17\right)$

高频部分：取两幅图像的经过多分辨率分解后的高频系数的加权平均值作为融合后的系数。

${\mathrm{CI}}_P^{s,l(i,j)}={\mathrm{\&omega;}}_D{\mathrm{CI}}_{\mathrm{DP}}^{s,l}(i,j)+{\mathrm{\&omega;}}_A{\mathrm{CI}}_{\mathrm{AP}}^{s,l}(i,j)---\left(18\right)$

其中：

$\left\{\begin{array}{c}{\mathrm{\&omega;}}_D=\frac{{\mathrm{CI}}_{\mathrm{DP}}^{s,l}(i,j)}{{\mathrm{CI}}_{\mathrm{DP}}^{s,l}(i,j)+{\mathrm{CI}}_{\mathrm{AP}}^{s,l}(i,j)}\\ {\mathrm{\&omega;}}_A=\frac{{\mathrm{CI}}_{\mathrm{AP}}^{s,l}(i,j)}{{\mathrm{CI}}_{\mathrm{DP}}^{s,l}(i,j)+{\mathrm{CI}}_{\mathrm{AP}}^{s,l}(i,j)}\end{array}\right.---\left(19\right)$

步骤4：利用NSCT算法对复合偏振图像I_P和红外强度图像I分别进行多尺度分 解，得到相应的不同尺度，不同方向上的NSCT分解系数图。 

将复合偏振图像I_P和红外强度图像I分别进行NSCT分解，分别得到分解系数图 和{aI,CI^s,l}。设融合图像后的复合偏振图像为I_F，其对应的NSCT分解系数为其中aX(X＝I_P，I，I_F)表示图像X的低频子带图像，CX^s,l(X＝I_P，I，I_F)表示图像X在第s层、第l个方向子带上的高频系数。

步骤5：利用APCNN算法分别计算高频子带系数各尺度各方向上NSCT系数图的点火图。

5.1】根据主成分分析法计算复合偏振图像和红外辐射强度图像各个高频子带系数对应的外界激励矩阵：

SX＝PCA(X)

其中：CI^s,l；

5.2】将外界激励矩阵输入到APCNN模型中，激发神经元，最终得到各系数图的点火图 $\mathrm{KX}(X={\mathrm{CI}}_P^{s,l},{\mathrm{CI}}^{s,l}).$

神经元模型框如图3所示，迭代计算过程如下：

$\{\begin{array}{c}{\mathrm{FX}}_{ij}\left(n\right)=e^{-{\mathrm{\&alpha;}}_F}{\mathrm{FX}}_{ij}\left(n-1\right)+V_F\underset{k,l}{\mathrm{\&Sigma;}}{M}_{ijkl}{\mathrm{KX}}_{kl}\left(n-1\right)+{\mathrm{SX}}_{ij}\\ {\mathrm{LX}}_{ij}\left(n\right)=e^{-{\mathrm{\&alpha;}}_L}{\mathrm{LX}}_{ij}\left(n-1\right)+V_L\underset{k,l}{\mathrm{\&Sigma;}}{W}_{ij,kl}{\mathrm{KX}}_{kl}\left(n-1\right)\\ {\mathrm{UX}}_{ij}\left(n\right)={\mathrm{FX}}_{ij}\left(n\right)\&lsqb;1+{\mathrm{\&beta;LX}}_{ij}\left(n\right)\&rsqb;\\ {\mathrm{KX}}_{ij}\left(n\right)=\left\{\begin{array}{cc}1,& U_{ij}\left(n\right)>{\mathrm{\&theta;}}_{ij}\left(n-1\right)\\ 0,& U_{ij}\left(n\right)\&le;{\mathrm{\&theta;}}_{ij}\left(n-1\right)\end{array}\right.\\ {\mathrm{\&theta;X}}_{ij}\left(n\right)=e^{-{\mathrm{\&alpha;}}_{\mathrm{\&theta;}}}{\mathrm{\&theta;X}}_{ij}\left(n-1\right)+V_{\mathrm{\&theta;}}{\mathrm{KX}}_{ij}\left(n\right)\\ {\mathrm{KX}}_{ij}=\underset{n}{\mathrm{\&Sigma;}}{\mathrm{KX}}_{ij}\left(n\right)\end{array}---\left(20\right)$

神经元激发过程中，各变量的含义及参数的取值如下所述：

1)为第n次迭代时反馈输入图中位于(i,j)处的反馈输入；

2)KX_ij(n)为第n次迭代时点火图中位于(i,j)处的点火状态，1表示第n次迭 代时位于(i,j)处点火发生，0表示第n次迭代时位于(i,j)处点火没有发生。

3)KX表示经过n次迭代得到的点火图，当点火图中任意位于(i,j)处的点火值都大于1时，即KX_ij≥1,(i＝1:M,j＝1:N)，停止迭代。

4)LX_ij(n)为第n次迭代时线性连接输入部分中位于(i,j)处的连接输入值；

5)UX_ij(n)为第n次迭代时神经元的内部活动项位于(i,j)处的值，当UX_ij(n)的值大于动态阈值θX_ij(n)时，神经元点火，脉冲发生输出。

6)参数α_F、α_L和α_θ分别表示反馈输入FX_ij(n)、线性连接输入LX_ij(n)和动态阈值θX_ij(n)的衰减时间常数，且通常有α_F<α_θ<α_L，V_F、V_L和V_θ分别为反馈放大系数，连接放大系数和阈值放大系数，通常取V_F＝V_L＝1，同时由于V_θ决定了神经元点火时刻阈值的提升程度，对神经元点火周期起着重要调节作用，因此通常取值较大。

7)位置(k,l)以(i,j)为中心，在大小为(2u+1)×(2v+1)的局部邻域中，(2u+1)×(2v+1)则被称为APCNN的连接范围，u,v＝1,2…。

8)自适应权值矩阵的选择：

$M_{ij,kl}=W_{ij,kl}=\frac{g\left({\mathrm{FX}}_{ij}\left(n\right),{\mathrm{FX}}_{kl}\left(n\right)\right)}{{\left(i-k\right)}^2+{\left(j-l\right)}^2}---\left(21\right)$

其中：g(FX_ij(n),FX_kl(n))函数表示中心点FX_ij(n)处的像素与FX_kl(n)处像素值的差异度量，当FX_ij(n)与FX_kl(n)一样大时，令g(FX_ij(n),FX_kl(n))→0；当FX_ij(n)与FX_kl(n)差异比较大时，令g(FX_ij(n),FX_kl(n))→1；g(FX_ij(n),FX_kl(n))可以选择如下的表达方式。

$g\left({\mathrm{FX}}_{ij}\left(n\right),{\mathrm{FX}}_{kl}\left(n\right)\right)=1-\exp \left(-\frac{{\left({\mathrm{FX}}_{ij}\left(n\right)-{\mathrm{FX}}_{kl}\left(n\right)\right)}^2}{{\mathrm{\&sigma;}}_{ij}}\right)---\left(22\right)$

其中：

${\mathrm{\&sigma;}}_{ij}={\left(\frac{1}{8}\underset{u=-1}{\overset{1}{\&Sigma;}}\underset{v=-1}{\overset{1}{\&Sigma;}}{({\mathrm{FX}}_{i+u,j+v}\left(n\right)-\stackrel{\&OverBar;}{F}{\stackrel{\&OverBar;}{X}}_{ij}(n\left)\right)}^2\right)}^{\frac{1}{2}}---\left(23\right)$

$\stackrel{\&OverBar;}{F}{\stackrel{\&OverBar;}{X}}_{ij}\left(n\right)=\frac{1}{9}\underset{u=-1}{\overset{1}{\&Sigma;}}\underset{v=-1}{\overset{1}{\&Sigma;}}{\mathrm{FX}}_{i+u,j+v}\left(n\right)---\left(24\right)$

9)自适应神经元连接强度：

${\mathrm{\&beta;}}_{ij}=1-\exp \left(-\frac{|{\mathrm{FX}}_{ij}\left(n\right)-\stackrel{\&OverBar;}{F}{\stackrel{\&OverBar;}{X}}_{ij}\left(n\right)|}{{\mathrm{\&sigma;}}_{ij}}\right)---\left(25\right)$

其中：和σ_ij的计算同上。

步骤6：对复合偏振图像I_P和红外强度图像I的NSCT子带系数和{aI,CI^s,l}进行融合：基于像素平均的原则，根据NSCT低频子带系数aI_P和aI求解融合系数aI_F；基于点火图融合原则，根据NSCT高频子带系数和{CI^s,l}求解融合系数然后对所有尺度方向上的融合系数进行NSCT逆变换，得到红外偏振融合图像，实现第二次融合。

低频部分： 

${\mathrm{aI}}_F(i,j)=\frac{1}{2}({\mathrm{aI}}_P(i,j)+aI(i,j))---\left(26\right)$

高频部分：

${\mathrm{CI}}_F^{s,l}={\mathrm{\&omega;}}_P{\mathrm{CI}}_P^{s,l}+{\mathrm{\&omega;}}_I{\mathrm{CI}}^{s,l}---\left(27\right)$

其中：

$\left\{\begin{array}{c}{\mathrm{\&omega;}}_P=\frac{{\mathrm{KCI}}_P^{s,l}\left(i,j\right)}{{\mathrm{KCI}}_P^{s,l}\left(i,j\right)+{\mathrm{KCI}}^{s,l}\left(i,j\right)}\\ {\mathrm{\&omega;}}_I=\frac{{\mathrm{KCI}}^{s,l}\left(i,j\right)}{{\mathrm{KCI}}_P^{s,l}\left(i,j\right)+{\mathrm{KCI}}^{s,l}\left(i,j\right)}\end{array}\right.---\left(28\right)$

融合系数经过NSCT逆变换后，可以得到重构的融合图像I_F，最终实现第二次融合。

Claims (6)

1.基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法，其特征在于：所述方法包括以下步骤：

1】通过斯托克斯矢量表示法得到成像区域的偏振信息；

当红外偏振系统中偏振片分别旋转到0°、45°、90°和135°等4个不同位置时，获得4个不同偏振方向的辐射强度图I′(0°)、I′(45°)、I′(90°)和I′(135°)；解算出成像区域的斯托克斯矢量S＝(I,Q,U,V)^T；

其中，I代表辐射强度，Q表示0°与90°线偏振光分量之差，U表示45°与135°线偏振光分量之差，V代表右旋与左旋圆偏振光分量之差；

2】根据成像区域的偏振信息求解偏振度图像I_DP和偏振角图像I_AP；

3】利用NSCT算法对归一化后的偏振角图像和偏振度图像进行融合，得到复合偏振图像I_P，实现第一次融合；

3.1】将原DoP图像和原AoP图像进行NSCT分解，分别得到分解系数图和

3.2】设融合图像后的复合偏振图像为I_P，其对应的NSCT分解系数为其中aX(X＝I_DP、I_AP、I_P)表示图像X的低频子带图像，CX^s,l(X＝I_DP、I_AP、I_P)表示图像X在第s层、第l个方向子带上的高频系数；

3.3】根据传统的像素级图像融合准则，由和得到融合系数

4】利用NSCT算法对复合偏振图像I_P和红外强度图像I分别进行多尺度分解，得到相应的不同尺度，不同方向上的NSCT分解系数图；

4.1】将复合偏振图像I_P和红外强度图像I分别进行NSCT分解，分别得到分解系数图和

4.2】设融合图像后的复合偏振图像为I_F，其对应的NSCT分解系数为其中aX(X＝I_P，I，I_F)表示图像X的低频子带图像，CX^s,l(X＝I_P，I，I_F)表示图像X在第s层、第l个方向子带上的高频系数；

5】利用APCNN算法分别得到各尺度各方向上NSCT系数图的点火图；

6】对复合偏振图像I_P和红外强度图像I的NSCT子带系数和{aI,CI^s,l}进行融合；

6.1】基于像素平均的原则，根据NSCT低频子带系数aI_P和aI求解融合系数aI_F；

6.2】基于点火图融合原则，根据NSCT高频子带系数和{CI^s,l}求解融合系数

6.3】对所有尺度方向上的融合系数进行NSCT逆变换，得到红外偏振融合图像，实现第二次融合。

2.根据权利要求1所述的基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法，其特征在于：所述步骤1】斯托克斯矢量S＝(I,Q,U,V)^T的具体解算方法：

Q＝I′(0°)-I′(90°)

U＝I′(45°)-I′(135°)。

3.根据权利要求2所述的基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法，其特征在于：所述步骤2】中求解具体步骤是：

偏振度图像I_DP表示为：

$I_{\mathrm{DP}}^{*}=\frac{\sqrt{(Q^2+U^2)}}{I}$

进行归一化处理后得到：

$I_{\mathrm{DP}}=\frac{I_{\mathrm{DP}}^{*}(i,j)-\min \left(I_{\mathrm{DP}}^{*}(i,j)\right)}{\max \left(I_{\mathrm{DP}}^{*}(i,j)\right)-\min \left(I_{\mathrm{DP}}^{*}(i,j)\right)}$

偏振角图像I_AP表示为

$I_{\mathrm{AP}}^{*}=\frac{1}{2}{\tan }^{-1}\frac{U}{Q}$

归一化处理后得到：

$I_{\mathrm{AP}}=\frac{I_{\mathrm{AP}}^{*}(i,j)-\min \left(I_{\mathrm{AP}}^{*}(i,j)\right)}{\max \left(I_{\mathrm{AP}}^{*}(i,j)\right)-\min \left(I_{\mathrm{AP}}^{*}(i,j)\right)}.$

4.根据权利要求3所述的基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法，其特征在于：所述步骤5】的具体步骤是：

5.1】根据主成分分析法计算复合偏振图像和红外辐射强度图像各个高频子带系数对应的外界激励矩阵：

SX＝PCA(X)

其中： $X={\mathrm{CI}}_P^{s,l},{\mathrm{CI}}^{s,l};$

5.2】将外界激励矩阵输入到APCNN模型中，激发神经元，最终得到各系数图的点火图 $\mathrm{KX}(X={\mathrm{CI}}_P^{s,l},{\mathrm{CI}}^{s,l}).$

5.根据权利要求4所述的基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法，其特征在于：步骤5】神经元模型迭代计算过程如下：

$\left\{\begin{array}{c}{\mathrm{FX}}_{\mathrm{ij}}\left(n\right)=e^{-{\mathrm{\&alpha;}}_F}{\mathrm{FX}}_{\mathrm{ij}}(n-1)+V_F\underset{k,l}{\mathrm{\&Sigma;}}{M}_{\mathrm{ijkl}}{\mathrm{KX}}_{\mathrm{kl}}(n-1)+{\mathrm{SX}}_{\mathrm{ij}}\\ {\mathrm{LX}}_{\mathrm{ij}}\left(n\right)=e^{-{\mathrm{\&alpha;}}_L}{\mathrm{LX}}_{\mathrm{ij}}(n-1)+V_L\underset{k,l}{\mathrm{\&Sigma;}}{W}_{\mathrm{ij},\mathrm{kl}}{\mathrm{KX}}_{\mathrm{kl}}(n-1)\\ {\mathrm{UX}}_{\mathrm{ij}}\left(n\right)={\mathrm{FX}}_{\mathrm{ij}}\left(n\right)[1+\mathrm{\&beta;}{\mathrm{LX}}_{\mathrm{ij}}\left(n\right)]\\ {\mathrm{KX}}_{\mathrm{ij}}\left(n\right)=\left\{\begin{array}{cc}1,& U_{\mathrm{ij}}\left(n\right)>{\mathrm{\&theta;}}_{\mathrm{ij}}(n-1)\\ 0,& U_{\mathrm{ij}}\left(n\right)\&le;{\mathrm{\&theta;}}_{\mathrm{ij}}(n-1)\end{array}\right.\\ \mathrm{\&theta;}{X}_{\mathrm{ij}}\left(n\right)=e^{-{\mathrm{\&alpha;}}_{\mathrm{\&theta;}}}\mathrm{\&theta;}{X}_{\mathrm{ij}}(n-1)+V_{\mathrm{\&theta;}}{\mathrm{KX}}_{\mathrm{ij}}\left(n\right)\\ {\mathrm{KX}}_{\mathrm{ij}}=\underset{n}{\mathrm{\&Sigma;}}{\mathrm{KX}}_{\mathrm{ij}}\left(n\right)\end{array}\right.$

神经元激发过程中，各变量的含义及参数的取值：

为第n次迭代时反馈输入图中位于(i,j)处的反馈输入；

KX_ij(n)为第n次迭代时点火图中位于(i,j)处的点火状态，1表示第n次迭代时位于(i,j)处点火发生，0表示第n次迭代时位于(i,j)处点火没有发生；

KX表示经过n次迭代得到的点火图，当点火图中任意位于(i,j)处的点火值都大于1时，即KX_ij≥1,(i＝1:M,j＝1:N)，停止迭代；

LX_ij(n)为第n次迭代时线性连接输入部分中位于(i,j)处的连接输入值；

UX_ij(n)为第n次迭代时神经元的内部活动项位于(i,j)处的值，当UX_ij(n)的值大于动态阈值θX_ij(n)时，神经元点火，脉冲发生输出；

参数α_F、α_L和α_θ分别表示反馈输入FX_ij(n)、线性连接输入LX_ij(n)和动态阈值θX_ij(n)的衰减时间常数，且通常有α_F<α_θ<α_L，V_F、V_L和V_θ分别为反馈放大系数，连接放大系数和阈值放大系数，通常取V_F＝V_L＝1；

位置(k,l)以(i,j)为中心，在大小为(2u+1)×(2v+1)的局部邻域中，(2u+1)×(2v+1)被称为APCNN的连接范围，u,v＝1,2…。

6.根据权利要求5所述的基于多尺度变换与脉冲耦合神经网络的红外偏振融合方法，其特征在于：

自适应权值矩阵的选择：

$M_{\mathrm{ij},\mathrm{kl}}=W_{\mathrm{ij},\mathrm{kl}}=\frac{g({\mathrm{FX}}_{\mathrm{ij}}\left(n\right),{\mathrm{FX}}_{\mathrm{kl}}\left(n\right))}{{(i-k)}^2+{(j-l)}^2}$

其中：g(FX_ij(n),FX_kl(n))函数表示中心点FX_ij(n)处的像素与FX_kl(n)处像素值的差异度量，当FX_ij(n)与FX_kl(n)一样大时，令g(FX_ij(n),FX_kl(n))→0；当FX_ij(n)与FX_kl(n)差异比较大时，令g(FX_ij(n),FX_kl(n))→1；g(FX_ij(n),FX_kl(n))选择如下的表达方式：

$g({\mathrm{FX}}_{\mathrm{ij}}\left(n\right),{\mathrm{FX}}_{\mathrm{kl}}\left(n\right))=1-\exp (-\frac{{({\mathrm{FX}}_{\mathrm{ij}}\left(n\right)-{\mathrm{FX}}_{\mathrm{kl}}\left(n\right))}^2}{{\mathrm{\&sigma;}}_{\mathrm{ij}}})$

其中：

${\mathrm{\&sigma;}}_{\mathrm{ij}}={\left(\frac{1}{8}\underset{u=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{v=-1}{\overset{1}{\mathrm{\&Sigma;}}}{({\mathrm{FX}}_{i+u,j+v}\left(n\right)-\stackrel{\&OverBar;}{F}{\stackrel{\&OverBar;}{X}}_{\mathrm{ij}}\left(n\right))}^2\right)}^{\frac{1}{2}}$

$\stackrel{\&OverBar;}{F}{\stackrel{\&OverBar;}{X}}_{\mathrm{ij}}\left(n\right)=\frac{1}{9}\underset{u=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{v=-1}{\overset{1}{\mathrm{\&Sigma;}}}{\mathrm{FX}}_{i+u,j+v}\left(n\right)$

自适应神经元连接强度：

${\mathrm{\&beta;}}_{\mathrm{ij}}=1-\exp (-\frac{|{\mathrm{FX}}_{\mathrm{ij}}\left(n\right)-\stackrel{\&OverBar;}{F}{\stackrel{\&OverBar;}{X}}_{\mathrm{ij}}\left(n\right)|}{{\mathrm{\&sigma;}}_{\mathrm{ij}}})$

${\mathrm{\&sigma;}}_{\mathrm{ij}}={\left(\frac{1}{8}\underset{u=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{v=-1}{\overset{1}{\mathrm{\&Sigma;}}}{({\mathrm{FX}}_{i+u,j+v}\left(n\right)-\stackrel{\&OverBar;}{F}{\stackrel{\&OverBar;}{X}}_{\mathrm{ij}}\left(n\right))}^2\right)}^{\frac{1}{2}}$

$\stackrel{\&OverBar;}{F}{\stackrel{\&OverBar;}{X}}_{\mathrm{ij}}\left(n\right)=\frac{1}{9}\underset{u=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{v=-1}{\overset{1}{\mathrm{\&Sigma;}}}{\mathrm{FX}}_{i+u,j+v}\left(n\right)).$