CN111754447A - 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 - Google Patents

Abstract

本发明公开了基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，主要解决红外和可见光图像融合时细节丢失和对比度不高的问题。其实现步骤是：1)对待融合图像进行NSST变换，得到低频和高频子带；2)低频子带采用区域能量差异度的加权融合规则；3)高频子带设计了上下文隶属度，并建立MCHMM，根据多状态统计特征设计融合规则；4)融合后的高、低频系数执行NSST逆变换获得融合图像。本发明充分考虑了系数之间的相关性，精确地表示源图像的纹理、细节等特征，充分提取红外图像的目标信息，增强图像的对比度，改善视觉效果，相比传统的融合方法极大地提高了融合图像的质量。

Description

基于多状态上下文隐马尔科夫模型的红外和可见光图像融合 方法

技术领域

本发明涉及一种基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，是红外和可见光图像处理技术领域的一项融合方法。

背景技术

图像融合是对源图像的信息进行综合处理并加以整合,最终得到一幅更精确、更丰富和全面的融合图像。红外与可见光图像融合是图像融合领域中一个重要的研究方向。可见光图像可以反映真实环境情况，具有较好的颜色等信息，但受云雨、雾等气象条件影响很大。红外图像反映的是景物温度差或辐射差，细节表现不明显，对比度低，其可视性不是很理想。根据图像各自独有的特性进行优势互补，得到一副既保持可见光图像精细的视觉信息，又包含红外图像中目标信息的融合图像。在安全监控、雾天驾驶、资源检测和军事作战等领域有着极为广泛的应用价值。

目前，多尺度分解MSD(Multi-scale Decomposition)是进行图像融合的重要手段。MSD工具的选择和融合规则的设计是多尺度几何分析融合方法的关键因素。各种MSD工具已经被广泛应用，例如离散小波变换，曲波变换，轮廓波变换等等。然而，上述多尺度变换均包含下采样，且容易在奇异点附近出现伪吉布斯现象。随着对小波变换的深入研究，Easley等人于2008年提出非下采样剪切波变换NSST(Non-subsampled ShearletTransform)，由于用卷积替换了下采样，所以其具有平移不变性，从而可以有效地抑制伪吉布斯现象。此外，NSST具有分解速度快，方向敏感的优点。因此，本发明选用NSST作为MSD工具。

NSST域分解系数在尺度间、方向间和空间邻域内存在极强的统计相关性，利用统计模型可以更准确地表示源图像。基于上下文的隐马尔可夫模型CHMM(Contextual HiddenMarkov Model)能够对系数的分布进行准确的描述，同时利用上下文信息(ContextInformation)有效地捕获NSST域高频方向子带系数在尺度间、方向间和空间邻域内的相关性。但是，传统的上下文变量定义为二值离散变量来反映系数的上下文细节性，这种定义不够准确。同时CHMM仅从两个状态对图像高频系数进行区分，将图像分为边缘(大)状态和平滑(小)状态，对图像的细节捕捉不够准确，得到的统计参数精度不够，导致融合图像质量不高。因此，本发明设计上下文细节隶属度用来精确的描述系数的细节性，并采用多状态上下文隐马尔可夫模型MCHMM对红外和可见光图像高频方向子带进行统计建模。

为了提高融合图像的性能，融合规则的选取同样至关重要。通常，低频融合采用简单的取平均或绝对值取大的融合策略，本发明中选用基于区域能量差异度的加权融合规则，更好地保持了图像的对比度，突出目标信息。高频系数融合通常采用绝对值取大或基于区域特征取大的融合策略。本发明提出的上下文细节隶属度可以精确的反映图像在尺度间、方向间和邻域内的依赖性，在此基础上构建MCHMM捕捉图像在各状态下的细节性，根据系数的多状态细节度和上下文细节隶属度得到系数的活动测度。该活动测度能够更准确的解释图像，从而提高融合图像的质量。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，以有效的捕获图像的细节并突出图像的目标信息，增强图像对比度，改善其视觉效果，提高融合图像的质量。

本发明解决其技术问题所采用的技术方案如下：

一种基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，对低频子带采用基于区域能量差异度的融合方法，对高频子带系数设计上下文细节隶属度，并构建多状态上下文隐马尔科夫模型，然后提取多状态统计特征用于度量图像细节性，最后采用基于多状态统计特征的融合规则得到高频融合子带，具体包括以下步骤：

1)对表征图像近似信息的低频子带，采用基于区域能量差异度的加权融合策略进行融合；

2)对表征图像细节特征的高频子带，通过综合多状态统计特征用于度量图像的细节性，采用基于多状态统计特征的融合规则进行融合；

2.1)根据上下文相关性定义系数的上下文细节隶属度；

2.2)在高频方向子带构建多状态上下文隐马尔科夫模型MCHMM，利用期望最大化EM算法分初始化和迭代训练两步来估计模型参数；

2.3)基于每个系数在各状态下的概率和方差计算系数的细节性，结合上下文隶属度得到系数的活动测度，通过取大的融合规则得到高频融合子带。

作为一种优选方案，所述步骤1)包括如下步骤：

a)计算低频系数在W₁×W₂邻域内的区域能量：

其中，I代表红外图像A或可见光图像B，

表示图像在(x,y)位置处的低频子带系数，W₁×W₂表示窗口邻域；

b)对低频子带的区域能量进行归一化处理：

VLE^I(x,y)＝(LE^I(x,y)-min(LE^I))/(max(LE^I)-min(LE^I)),I＝A,B

其中，max(·)表示取最大值，min(·)表示取最小值；

c)根据低频子带区域能量的差异度确定权重w(x,y)，得到融合后的低频子带系数

具体公式如下：

w(x,y)＝0.5+(VLE^A(x,y)-VLE^B(x,y))/2，

作为一种优选方案，所述步骤2.1)包括如下步骤：

首先，根据系数的相关性构建上下文子带，用NA_t、NB_t分别表示当前系数的4个直接邻居和4个对角邻居，t＝1,2,3,4，PX表示父系数，CX₁、CX₂表示两个相邻的表兄弟系数，那么一个系数的上下文定义如下：

其中，ω₀,ω₁,ω₂,ω₃表示权重系数。

然后，计算系数的上下文细节隶属度值：

其中，σ表示当前子带的上下文context的标准差，E，E_P，

分别表示当前子带、父子带和两个相邻兄弟子带的平均能量，定义如下：

其中，E_*代表4个平均能量

中的一个，N表示当前子带的系数总个数，C²表示当前子带系数的平方。

作为一种优选方案，所述步骤2.2)包括如下步骤：

首先，利用多状态、零均值的高斯混合模型GMM来刻画高频方向子带系数的非高斯分布特性，每个系数都与一个上下文细节隶属度和一个隐状态相关联，接着进行MCHMM统计建模，

其中，n是大于2的正整数，表示MCHMM的状态数，隐状态m的取值是从0到n-1的自然数，C_j,k,x,y表示在j尺度k方向(x,y)位置的高频子带系数，V_j,k,x,y为系数的上下文细节隶属度，S_j,k,x,y为系数的隐状态变量，

是隐状态为m时的概率，

是系数的上下文细节隶属度的值为v的条件下系数隐状态为m的概率，

表示当前系数在上下文细节隶属度为v时的概率密度函数，g(C_j,k,x,y；0,σ² _j,k,x,y,m)表示系数在给定隐状态为m的条件下的均值为零，σ² _j,k,x,y,m为方差的高斯条件概率密度函数，其均值为零，σ² _j,k,x,y,m为以j尺度k方向(x,y)位置为中心的局部窗体的方差；

MCHMM模型参数集定义为：

利用期望最大化EM算法来估计模型参数，分为初始化参数和迭代训练两步，具体步骤如下：

A)初始化参数；

a)设置初始参数，MCHMM的初始参数设置与状态数有关，每个隐状态的初始概率均等，各状态下的方差在最大方差2δ² _j,k-σ² _η和最小方差σ² _η之间平均划分，

其中，

和σ² _j,k,m分别表示j尺度k方向高频子带的隐状态为m的概率和方差，σ² _η为已知噪声方差，δ² _j,k为j尺度k方向高频子带的平均能量；

b)期望E步骤，根据贝叶斯定理，对每一个系数C_j,k,x,y计算隐状态为m的概率：

c)最大化M步骤，根据期望E步骤中获得的概率，设置参数如下所示，

其中，M_j,k和N_j,k分别是j尺度k方向高频子带的行数和列数；

d)若参数收敛或达到预设的最大迭代次数，则进入下一步，否则迭代次数加1，并返回期望E步骤；

e)设置大小为(2W_j+1)×(2W_j+1)的窗口，并使用以下各式完成参数初始化，同时将模型训练次数设置为零，

其中，

v表示局部窗口中每个系数的上下文细节隶属度，c是当前系数上下文细节隶属度，σ²是局部窗口中上下文细节隶属度的方差，ε代表一个很小的数，以避免分母为零；

B)迭代EM训练

a)期望E步骤，对每个系数计算以下概率：

b)最大化M步骤，通过下式更新模型的各个参数：

此处的计算都是在(2W_j+1)×(2W_j+1)窗口上进行，该窗口位于j尺度k方向子带以(x,y)为中心局部开窗，设置训练次数加1，并返回期望E步骤，直到参数收敛或达到预设的最大迭代次数。

作为一种优选方案，所述步骤2.3)包括如下步骤：

a)首先计算系数在各状态下细节含量，

其中，I代表红外图像A或可见光图像B，

表示隐状态为m时，j尺度k方向高频子带在(x,y)位置上的方差，C_j,k,x,y表示高频子带系数，V_j,k,x,y表示系数的上下文细节变量，

表示在当前系数和上下文细节隶属度为v时，隐状态为m的概率；

b)根据系数在各状态下的细节含量的差异度，计算对应系数在各状态下的细节权重，

其中，mean(·)表示求平均值；

c)然后，计算系数的多状态细节度，并将其归一化，

d)将系数的多状态细节度与上下文细节隶属度相结合，得到系数的活动测度，

其中，α是调节多状态细节度与上下文细节隶属度重要性的权重因子；

e)最后，通过基于系数的活动测度取大的融合规则得到融合后的高频子带系数，

本发明相对比现有红外和可见光图像融合方法具有如下的优点：

1、本发明的红外和可见光图像融合方法对低频近似子带系数，采用基于区域能量差异度的加权融合规则，能保持图像的目标信息，增强图像的对比度，改善整体视觉效果。

2、本发明的红外和可见光图像融合方法对于高频方向子带系数，设计了一个新的上下文方案，采用上下文细节隶属度可以精确的描述NSST系数在尺度间、方向间和空间邻域内的统计相关性。

3、本发明的红外和可见光图像融合方法构建了多状态上下文隐马尔可夫模型来充分捕获NSST系数分布，进而根据模型统计参数估计细节信息含量，利用系数的多状态细节性和上下文细节隶属度来计算系数的活动测度，可以精确的解释图像，得到纹理丰富，细节突出的融合图像。

附图说明

图1是本发明基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法的框架图。

图2是本发明NSST域系数相关性示意图。

图3是本发明上下文细节隶属度的函数图。

图4是本发明实施例的待融合图像及融合结果示意图，其中，(a)是本发明一个实施例的待融合红外图像。(b)是本发明一个实施例的待融合可见光图像。(c)是基于卷积神经网络(CNN)的融合图像；(d)是基于密集块(DenseFuse)的融合图像；(e)是基于GAN网络的融合算法(FusionGAN)的融合图像；(f)是基于梯度转移融合方法(GTF)的融合图像；(g)是基于VGG-19和基于多层融合策略的方法(VggML)的融合图像；(h)是基于ResNet50和零相位分量分析融合框架(ResNet ZCA)的融合图像；(i)是本发明方法的融合图像。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。如图1所示，包括如下步骤：

步骤1，准备待融合的两幅M×N(本实施例中M＝256，N＝256)红外图像A和可见光图像B，利用NSST分别将两幅图像分解为低频子带

与高频子带系数

其中，j表示高频方向分解尺度，k表示高频的方向子带，j₀表示低频子带。NSST采用的滤波器为“maxflat”，分解2个尺度，高频方向子带数目为4，8，A,B分别代表红外图像和可见光图像。

步骤2，对表征图像近似信息的低频子带，采用基于区域能量差异度的加权融合策略进行融合；

1)计算低频系数在W₁×W₂邻域内的区域能量：

其中，I代表红外图像A或可见光图像B，

表示图像在(x,y)位置处的低频子带系数，W₁×W₂表示窗口邻域，这里取W₁＝W₂＝3；

2)对低频子带的区域能量进行归一化处理：

VLE^I(x,y)＝(LE^I(x,y)-min(LE^I))/(max(LE^I)-min(LE^I)),I＝A,B

其中，max(·)表示取最大值，min(·)表示取最小值；

3)根据低频子带区域能量的差异度确定权重w(x,y)，得到融合后的低频子带系数

具体公式如下：

w(x,y)＝0.5+(VLE^A(x,y)-VLE^B(x,y))/2，

步骤3，对表征图像细节特征的高频方向子带，通过综合多状态统计特征用于度量图像的细节性，采用基于多状态统计特征的融合规则进行融合；

1)根据上下文相关性定义系数的上下文细节隶属度；

首先，根据系数的相关性构建上下文子带，用NA_t、NB_t分别表示当前系数的4个直接邻居和4个对角邻居，t＝1,2,3,4，PX表示父系数，CX₁，CX₂表示两个相邻的表兄弟系数，那么一个系数的上下文定义如下：

其中，ω₀,ω₁,ω₂,ω₃表示权重系数，反映对应空间领域内，尺度间和方向间的相关性在上下文设计方案中所占比重。通过对多组经验值比较，本实施例中权值因子最终选取ω₀＝0.8,ω₁＝0.6,ω₂＝0.2,ω₃＝0.4。新的上下文细节隶属度如图3所示，横坐标代表系数的上下文值context，纵坐标代表系数的上下文细节隶属度V，范围在[0,1]之间。然后计算系数的上下文细节隶属度值：

其中，σ表示当前子带的上下文context的标准差，E，E_P，

分别表示当前子带、父子带和两个相邻兄弟子带的平均能量，定义如下：

其中，E_*代表4个平均能量

中的一个，N表示当前子带的系数总个数，C²表示当前子带系数的平方。

2)在高频方向子带构建多状态上下文隐马尔科夫模型MCHMM，利用期望最大化EM算法分初始化和迭代训练两步来估计模型参数；

首先，利用多状态、零均值的高斯混合模型GMM来刻画高频方向子带系数的非高斯分布特性，每个系数都与一个上下文细节隶属度和一个隐状态相关联，接着进行MCHMM统计建模，本发明中采用状态数n＝4的MCHMM对NSST域高频方向子带建模，

其中，n是大于2的正整数，表示MCHMM的状态数，隐状态m的取值是从0到n-1的自然数，C_j,k,x,y表示在j尺度k方向(x,y)位置的高频子带系数，V_j,k,x,y为系数的上下文细节隶属度，S_j,k,x,y为系数的隐状态变量，

是隐状态为m时的概率，

是系数的上下文细节隶属度的值为v的条件下系数隐状态为m的概率，

表示当前系数在上下文细节隶属度为v时的概率密度函数，g(C_j,k,x,y；0,σ² _j,k,x,y,m)表示系数在给定隐状态为m的条件下的均值为零，σ² _j,k,x,y,m为方差的高斯条件概率密度函数，其均值为零，σ² _j,k,x,y,m为以j尺度k方向(x,y)位置为中心的局部窗体的方差；

MCHMM模型参数集定义为：

利用期望最大化EM算法来估计模型参数，分为初始化参数和迭代训练两步，具体步骤如下：

A)初始化参数；

a)设置初始参数，MCHMM的初始参数设置与状态数有关，每个隐状态的初始概率均等，各状态下的方差在最大方差2δ² _j,k-σ² _η和最小方差σ² _η之间平均划分，

其中，

和σ² _j,k,m分别表示j尺度k方向高频子带的隐状态为m的概率和方差，σ² _η为已知噪声方差，δ² _j,k为j尺度k方向高频子带的平均能量；

b)期望E步骤，根据贝叶斯定理，对每一个系数C_j,k,x,y计算隐状态为m的概率：

c)最大化M步骤，根据期望E步骤中获得的概率，设置参数如下所示，

其中，M_j,k和N_j,k分别是j尺度k方向高频子带的行数和列数；

d)若参数收敛或达到预设的最大迭代次数，则进入下一步，否则迭代次数加1，并返回期望E步骤；

e)设置大小为(2W_j+1)×(2W_j+1)的窗口，并使用以下各式完成参数初始化，同时将模型训练次数设置为零，

其中，

v表示局部窗口中每个系数的上下文细节隶属度，c是当前系数上下文细节隶属度，σ²是局部窗口中上下文细节隶属度的方差，ε代表一个很小的数，以避免分母为零；

B)迭代EM训练

a)期望E步骤，对每个系数计算以下概率：

b)最大化M步骤，通过下式更新模型的各个参数：

此处的计算都是在(2W_j+1)×(2W_j+1)窗口上进行，该窗口位于j尺度k方向子带以(x,y)为中心局部开窗，设置训练次数加1，并返回期望E步骤，直到参数收敛或达到预设的最大迭代次数。

3)基于每个系数在各状态下的概率和方差计算系数的细节性，结合上下文隶属度得到系数的活动测度，通过取大的融合规则得到高频融合子带。

3.1)首先计算系数在各状态下细节含量，

其中，I代表红外图像A或可见光图像B，

表示隐状态为m时，j尺度k方向高频子带在(x,y)位置上的方差，C_j,k,x,y表示高频子带系数，V_j,k,x,y表示系数的上下文细节变量，

表示在当前系数和上下文细节隶属度为v时，隐状态为m的概率；

3.2)根据系数在各状态下的细节含量的差异度，计算对应系数在各状态下的细节权重，

其中，mean(·)表示求平均值；

3.3)然后，计算系数的多状态细节度，并将其归一化，

3.4)将系数的多状态细节度与上下文细节隶属度相结合，得到系数的活动测度，

其中，α是调节多状态细节度与上下文细节隶属度重要性的权重因子，设置为0.5；

3.5)最后，通过基于系数的活动测度取大的融合规则得到融合后的高频子带系数，

步骤4，对融合后的高、低频系数进行NSST逆变换获得最终的融合图像

仿真实验

为了验证本发明的可行性和有效性，采用两幅红外和可见光图像，大小为256×256，如图4中的(a)和(b)所示，根据本发明方法进行融合实验。

综上所述，通过图4的融合结果比较可以看出：本发明方法所得融合图像最大程度地忠于原始信息，更好地保持了待融合图像中的边缘轮廓、纹理等特征，拥有丰富的细节信息和突出的目标，因而图像的对比度和清晰度更高，主观视觉效果最好，即融合结果更理想。

表1给出了采用各种融合方法所得融合结果的客观评价指标。其中，数据加粗表明对应的多模态医学图像融合方法所得评价指标取值最优。

表1基于各种融合方法的融合性能比较

表1中通过Qabf，FMI_W，SCD，MS_SSIM，Q，QW，QE来衡量融合图像的质量，进而验证本发明融合方法的可行性和有效性。

由表1数据可知，本发明方法所获得的融合图像在Qabf，SCD，MS_SSIM，Q，QW，QE等客观评价指标上要优于其它融合方法。Qabf反映了输入图像融合所获得的视觉信息的质量，FMI_W计算了小波特征提取方法所获得的快速互信息，SCD计算了基于差相关和的图像质量度量值，MS-SSIM计算只关注结构信息的修正结构相似性，Q、Qw和Qe是Piella度量，分别代表融合质量指数，加权融合质量指数、边缘相关融合质量指数。这些度量值越大，融合效果越好。

Claims (6)

1.基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，其特征在于，对低频子带采用基于区域能量差异度的融合方法，对高频子带系数设计上下文细节隶属度，并构建多状态上下文隐马尔科夫模型，然后提取多状态统计特征用于度量图像细节性，最后采用基于多状态统计特征的融合规则得到高频融合子带。

2.根据权利要求1所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，其特征在于，包括以下具体步骤：

1)对表征图像近似信息的低频子带，采用基于区域能量差异度的加权融合策略进行融合；

2)对表征图像细节特征的高频子带，通过综合多状态统计特征用于度量图像的细节性，采用基于多状态统计特征的融合规则进行融合；

2.1)根据上下文相关性定义系数的上下文细节隶属度；

2.2)在高频方向子带构建多状态上下文隐马尔科夫模型MCHMM，利用期望最大化EM算法分初始化和迭代训练两步来估计模型参数；

2.3)基于每个系数在各状态下的概率和方差计算系数的细节性，结合上下文隶属度得到系数的活动测度，通过取大的融合规则得到高频融合子带。

3.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，其特征在于，所述步骤1)包括如下步骤：

1)计算低频系数在W₁×W₂邻域内的区域能量：

其中，I代表红外图像A或可见光图像B，

表示图像在(x，y)位置处的低频子带系数，W₁×W₂表示窗口邻域；

2)对低频子带的区域能量进行归一化处理：

VLE^I(x，y)＝(LE^I(x，y)-min(LE^I))/(max(LE^I)-min(LE^I))，I＝A，B

其中，max(·)表示取最大值，min(·)表示取最小值；

3)根据低频子带区域能量的差异度确定权重w(x，y)，得到融合后的低频子带系数

具体公式如下：

w(x，y)＝0.5+(VLE^A(x，y)-VLE^B(x，y))/2，

4.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，其特征在于，所述步骤2.1)包括如下步骤：

首先，根据系数的相关性构建上下文子带，用NA_t、NB_t分别表示当前系数的4个直接邻居和4个对角邻居，t＝1，2，3，4，PX表示父系数，CX₁、CX₂表示两个相邻的表兄弟系数，那么一个系数的上下文定义如下：

其中，ω₀，ω₁，ω₂，ω₃表示权重系数；

然后，计算系数的上下文细节隶属度值：

其中，σ表示当前子带的上下文context的标准差，E，E_P，

分别表示当前子带、父子带和两个相邻兄弟子带的平均能量，定义如下：

其中，E_*代表4个平均能量

中的一个，N表示当前子带的系数总个数，C²表示当前子带系数的平方。

5.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，其特征在于，所述步骤2.2)包括如下步骤：

首先，利用多状态、零均值的高斯混合模型GMM来刻画高频方向子带系数的非高斯分布特性，每个系数都与一个上下文细节隶属度和一个隐状态相关联，接着进行MCHMM统计建模，

其中，n是大于2的正整数，表示MCHMM的状态数，隐状态m的取值是从0到n-1的自然数，C_{j，k，x，y}表示在j尺度k方向(x，y)位置的高频子带系数，V_{j，k，x，y}为系数的上下文细节隶属度，S_{j，k，x，y}为系数的隐状态变量，

是隐状态为m时的概率，

是系数的上下文细节隶属度的值为v的条件下系数隐状态为m的概率，

表示当前系数在上下文细节隶属度为v时的概率密度函数，g(C_{j，k，x，y}；0，σ² _{j，k，x，y，m})表示系数在给定隐状态为m的条件下的均值为零，σ² _{j，k，x，y，m}为方差的高斯条件概率密度函数，其均值为零，σ² _{j，k，x，y，m}为以j尺度k方向(x，y)位置为中心的局部窗体的方差；

MCHMM模型参数集定义为：

利用期望最大化EM算法来估计模型参数，分为初始化参数和迭代训练两步，具体步骤如下：

一)初始化参数；

A)设置初始参数，MCHMM的初始参数设置与状态数有关，每个隐状态的初始概率均等，各状态下的方差在最大方差2δ² _j，k-σ² _η和最小方差σ² _η之间平均划分，

其中，

和σ² _j，k，m分别表示j尺度k方向高频子带的隐状态为m的概率和方差，σ² _η为已知噪声方差，δ² _j，k为j尺度k方向高频子带的平均能量；

B)期望E步骤，根据贝叶斯定理，对每一个系数C_{j，k，x，y}计算隐状态为m的概率：

C)最大化M步骤，根据期望E步骤中获得的概率，设置参数如下所示，

其中，M_j，k和N_j，k分别是j尺度k方向高频子带的行数和列数；

D)若参数收敛或达到预设的最大迭代次数，则进入下一步，否则迭代次数加1，并返回期望E步骤；

E)设置大小为(2W_j+1)×(2W_j+1)的窗口，并使用以下各式完成参数初始化，同时将模型训练次数设置为零，

其中，

v表示局部窗口中每个系数的上下文细节隶属度，c是当前系数上下文细节隶属度，σ²是局部窗口中上下文细节隶属度的方差，ε代表一个很小的数，以避免分母为零；

二)迭代EM训练

F)期望E步骤，对每个系数计算以下概率：

G)最大化M步骤，通过下式更新模型的各个参数：

此处的计算都是在(2W_j+1)×(2W_j+1)窗口上进行，该窗口位于j尺度k方向子带以(x，y)为中心局部开窗，设置训练次数加1，并返回期望E步骤，直到参数收敛或达到预设的最大迭代次数。

6.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法，其特征在于，所述步骤2.3)包括如下步骤：

a)首先计算系数在各状态下细节含量，

其中，I代表红外图像A或可见光图像B，

表示隐状态为m时，j尺度k方向高频子带在(x，y)位置上的方差，C_{j，k，x，y}表示高频子带系数，V_{j，k，x，y}表示系数的上下文细节变量，

表示在当前系数和上下文细节隶属度为v时，隐状态为m的概率；

b)根据系数在各状态下的细节含量的差异度，计算对应系数在各状态下的细节权重，

其中，mean(·)表示求平均值；

c)计算系数的多状态细节度，并将其归一化，

d)将系数的多状态细节度与上下文细节隶属度相结合，得到系数的活动测度，

其中，α是调节多状态细节度与上下文细节隶属度重要性的权重因子；

e)通过基于系数的活动测度取大的融合规则得到融合后的高频子带系数，

Images