CN111754447A - 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 - Google Patents

基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 Download PDF

Info

Publication number
CN111754447A
CN111754447A CN202010638215.1A CN202010638215A CN111754447A CN 111754447 A CN111754447 A CN 111754447A CN 202010638215 A CN202010638215 A CN 202010638215A CN 111754447 A CN111754447 A CN 111754447A
Authority
CN
China
Prior art keywords
coefficient
state
context
detail
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010638215.1A
Other languages
English (en)
Inventor
罗晓清
蒋钰婷
张战成
席新星
王正桓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202010638215.1A priority Critical patent/CN111754447A/zh
Publication of CN111754447A publication Critical patent/CN111754447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,主要解决红外和可见光图像融合时细节丢失和对比度不高的问题。其实现步骤是:1)对待融合图像进行NSST变换,得到低频和高频子带;2)低频子带采用区域能量差异度的加权融合规则;3)高频子带设计了上下文隶属度,并建立MCHMM,根据多状态统计特征设计融合规则;4)融合后的高、低频系数执行NSST逆变换获得融合图像。本发明充分考虑了系数之间的相关性,精确地表示源图像的纹理、细节等特征,充分提取红外图像的目标信息,增强图像的对比度,改善视觉效果,相比传统的融合方法极大地提高了融合图像的质量。

Description

基于多状态上下文隐马尔科夫模型的红外和可见光图像融合 方法
技术领域
本发明涉及一种基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,是红外和可见光图像处理技术领域的一项融合方法。
背景技术
图像融合是对源图像的信息进行综合处理并加以整合,最终得到一幅更精确、更丰富和全面的融合图像。红外与可见光图像融合是图像融合领域中一个重要的研究方向。可见光图像可以反映真实环境情况,具有较好的颜色等信息,但受云雨、雾等气象条件影响很大。红外图像反映的是景物温度差或辐射差,细节表现不明显,对比度低,其可视性不是很理想。根据图像各自独有的特性进行优势互补,得到一副既保持可见光图像精细的视觉信息,又包含红外图像中目标信息的融合图像。在安全监控、雾天驾驶、资源检测和军事作战等领域有着极为广泛的应用价值。
目前,多尺度分解MSD(Multi-scale Decomposition)是进行图像融合的重要手段。MSD工具的选择和融合规则的设计是多尺度几何分析融合方法的关键因素。各种MSD工具已经被广泛应用,例如离散小波变换,曲波变换,轮廓波变换等等。然而,上述多尺度变换均包含下采样,且容易在奇异点附近出现伪吉布斯现象。随着对小波变换的深入研究,Easley等人于2008年提出非下采样剪切波变换NSST(Non-subsampled ShearletTransform),由于用卷积替换了下采样,所以其具有平移不变性,从而可以有效地抑制伪吉布斯现象。此外,NSST具有分解速度快,方向敏感的优点。因此,本发明选用NSST作为MSD工具。
NSST域分解系数在尺度间、方向间和空间邻域内存在极强的统计相关性,利用统计模型可以更准确地表示源图像。基于上下文的隐马尔可夫模型CHMM(Contextual HiddenMarkov Model)能够对系数的分布进行准确的描述,同时利用上下文信息(ContextInformation)有效地捕获NSST域高频方向子带系数在尺度间、方向间和空间邻域内的相关性。但是,传统的上下文变量定义为二值离散变量来反映系数的上下文细节性,这种定义不够准确。同时CHMM仅从两个状态对图像高频系数进行区分,将图像分为边缘(大)状态和平滑(小)状态,对图像的细节捕捉不够准确,得到的统计参数精度不够,导致融合图像质量不高。因此,本发明设计上下文细节隶属度用来精确的描述系数的细节性,并采用多状态上下文隐马尔可夫模型MCHMM对红外和可见光图像高频方向子带进行统计建模。
为了提高融合图像的性能,融合规则的选取同样至关重要。通常,低频融合采用简单的取平均或绝对值取大的融合策略,本发明中选用基于区域能量差异度的加权融合规则,更好地保持了图像的对比度,突出目标信息。高频系数融合通常采用绝对值取大或基于区域特征取大的融合策略。本发明提出的上下文细节隶属度可以精确的反映图像在尺度间、方向间和邻域内的依赖性,在此基础上构建MCHMM捕捉图像在各状态下的细节性,根据系数的多状态细节度和上下文细节隶属度得到系数的活动测度。该活动测度能够更准确的解释图像,从而提高融合图像的质量。
发明内容
本发明的目的是针对上述现有技术的不足,提出一种基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,以有效的捕获图像的细节并突出图像的目标信息,增强图像对比度,改善其视觉效果,提高融合图像的质量。
本发明解决其技术问题所采用的技术方案如下:
一种基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,对低频子带采用基于区域能量差异度的融合方法,对高频子带系数设计上下文细节隶属度,并构建多状态上下文隐马尔科夫模型,然后提取多状态统计特征用于度量图像细节性,最后采用基于多状态统计特征的融合规则得到高频融合子带,具体包括以下步骤:
1)对表征图像近似信息的低频子带,采用基于区域能量差异度的加权融合策略进行融合;
2)对表征图像细节特征的高频子带,通过综合多状态统计特征用于度量图像的细节性,采用基于多状态统计特征的融合规则进行融合;
2.1)根据上下文相关性定义系数的上下文细节隶属度;
2.2)在高频方向子带构建多状态上下文隐马尔科夫模型MCHMM,利用期望最大化EM算法分初始化和迭代训练两步来估计模型参数;
2.3)基于每个系数在各状态下的概率和方差计算系数的细节性,结合上下文隶属度得到系数的活动测度,通过取大的融合规则得到高频融合子带。
作为一种优选方案,所述步骤1)包括如下步骤:
a)计算低频系数在W1×W2邻域内的区域能量:
Figure BDA0002570208310000021
其中,I代表红外图像A或可见光图像B,
Figure BDA0002570208310000022
表示图像在(x,y)位置处的低频子带系数,W1×W2表示窗口邻域;
b)对低频子带的区域能量进行归一化处理:
VLEI(x,y)=(LEI(x,y)-min(LEI))/(max(LEI)-min(LEI)),I=A,B
其中,max(·)表示取最大值,min(·)表示取最小值;
c)根据低频子带区域能量的差异度确定权重w(x,y),得到融合后的低频子带系数
Figure BDA0002570208310000031
具体公式如下:
w(x,y)=0.5+(VLEA(x,y)-VLEB(x,y))/2,
Figure BDA0002570208310000032
作为一种优选方案,所述步骤2.1)包括如下步骤:
首先,根据系数的相关性构建上下文子带,用NAt、NBt分别表示当前系数的4个直接邻居和4个对角邻居,t=1,2,3,4,PX表示父系数,CX1、CX2表示两个相邻的表兄弟系数,那么一个系数的上下文定义如下:
Figure BDA0002570208310000033
其中,ω0123表示权重系数。
然后,计算系数的上下文细节隶属度值:
Figure BDA0002570208310000034
Figure BDA0002570208310000035
其中,σ表示当前子带的上下文context的标准差,E,EP
Figure BDA0002570208310000036
分别表示当前子带、父子带和两个相邻兄弟子带的平均能量,定义如下:
Figure BDA0002570208310000037
其中,E*代表4个平均能量
Figure BDA0002570208310000038
中的一个,N表示当前子带的系数总个数,C2表示当前子带系数的平方。
作为一种优选方案,所述步骤2.2)包括如下步骤:
首先,利用多状态、零均值的高斯混合模型GMM来刻画高频方向子带系数的非高斯分布特性,每个系数都与一个上下文细节隶属度和一个隐状态相关联,接着进行MCHMM统计建模,
Figure BDA0002570208310000041
Figure BDA0002570208310000042
其中,n是大于2的正整数,表示MCHMM的状态数,隐状态m的取值是从0到n-1的自然数,Cj,k,x,y表示在j尺度k方向(x,y)位置的高频子带系数,Vj,k,x,y为系数的上下文细节隶属度,Sj,k,x,y为系数的隐状态变量,
Figure BDA0002570208310000043
是隐状态为m时的概率,
Figure BDA0002570208310000044
是系数的上下文细节隶属度的值为v的条件下系数隐状态为m的概率,
Figure BDA0002570208310000045
表示当前系数在上下文细节隶属度为v时的概率密度函数,g(Cj,k,x,y;0,σ2 j,k,x,y,m)表示系数在给定隐状态为m的条件下的均值为零,σ2 j,k,x,y,m为方差的高斯条件概率密度函数,其均值为零,σ2 j,k,x,y,m为以j尺度k方向(x,y)位置为中心的局部窗体的方差;
MCHMM模型参数集定义为:
Figure BDA0002570208310000046
利用期望最大化EM算法来估计模型参数,分为初始化参数和迭代训练两步,具体步骤如下:
A)初始化参数;
a)设置初始参数,MCHMM的初始参数设置与状态数有关,每个隐状态的初始概率均等,各状态下的方差在最大方差2δ2 j,k2 η和最小方差σ2 η之间平均划分,
Figure BDA0002570208310000047
其中,
Figure BDA0002570208310000048
和σ2 j,k,m分别表示j尺度k方向高频子带的隐状态为m的概率和方差,σ2 η为已知噪声方差,δ2 j,k为j尺度k方向高频子带的平均能量;
b)期望E步骤,根据贝叶斯定理,对每一个系数Cj,k,x,y计算隐状态为m的概率:
Figure BDA0002570208310000051
c)最大化M步骤,根据期望E步骤中获得的概率,设置参数如下所示,
Figure BDA0002570208310000052
Figure BDA0002570208310000053
其中,Mj,k和Nj,k分别是j尺度k方向高频子带的行数和列数;
d)若参数收敛或达到预设的最大迭代次数,则进入下一步,否则迭代次数加1,并返回期望E步骤;
e)设置大小为(2Wj+1)×(2Wj+1)的窗口,并使用以下各式完成参数初始化,同时将模型训练次数设置为零,
Figure BDA0002570208310000054
Figure BDA0002570208310000055
Figure BDA0002570208310000056
其中,
Figure BDA0002570208310000057
v表示局部窗口中每个系数的上下文细节隶属度,c是当前系数上下文细节隶属度,σ2是局部窗口中上下文细节隶属度的方差,ε代表一个很小的数,以避免分母为零;
B)迭代EM训练
a)期望E步骤,对每个系数计算以下概率:
Figure BDA0002570208310000058
b)最大化M步骤,通过下式更新模型的各个参数:
Figure BDA0002570208310000061
Figure BDA0002570208310000062
Figure BDA0002570208310000063
此处的计算都是在(2Wj+1)×(2Wj+1)窗口上进行,该窗口位于j尺度k方向子带以(x,y)为中心局部开窗,设置训练次数加1,并返回期望E步骤,直到参数收敛或达到预设的最大迭代次数。
作为一种优选方案,所述步骤2.3)包括如下步骤:
a)首先计算系数在各状态下细节含量,
Figure BDA0002570208310000064
其中,I代表红外图像A或可见光图像B,
Figure BDA0002570208310000065
表示隐状态为m时,j尺度k方向高频子带在(x,y)位置上的方差,Cj,k,x,y表示高频子带系数,Vj,k,x,y表示系数的上下文细节变量,
Figure BDA0002570208310000066
表示在当前系数和上下文细节隶属度为v时,隐状态为m的概率;
b)根据系数在各状态下的细节含量的差异度,计算对应系数在各状态下的细节权重,
Figure BDA0002570208310000067
Figure BDA0002570208310000068
其中,mean(·)表示求平均值;
c)然后,计算系数的多状态细节度,并将其归一化,
Figure BDA0002570208310000069
Figure BDA0002570208310000071
Figure BDA0002570208310000072
d)将系数的多状态细节度与上下文细节隶属度相结合,得到系数的活动测度,
Figure BDA0002570208310000073
其中,α是调节多状态细节度与上下文细节隶属度重要性的权重因子;
e)最后,通过基于系数的活动测度取大的融合规则得到融合后的高频子带系数,
Figure BDA0002570208310000074
本发明相对比现有红外和可见光图像融合方法具有如下的优点:
1、本发明的红外和可见光图像融合方法对低频近似子带系数,采用基于区域能量差异度的加权融合规则,能保持图像的目标信息,增强图像的对比度,改善整体视觉效果。
2、本发明的红外和可见光图像融合方法对于高频方向子带系数,设计了一个新的上下文方案,采用上下文细节隶属度可以精确的描述NSST系数在尺度间、方向间和空间邻域内的统计相关性。
3、本发明的红外和可见光图像融合方法构建了多状态上下文隐马尔可夫模型来充分捕获NSST系数分布,进而根据模型统计参数估计细节信息含量,利用系数的多状态细节性和上下文细节隶属度来计算系数的活动测度,可以精确的解释图像,得到纹理丰富,细节突出的融合图像。
附图说明
图1是本发明基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法的框架图。
图2是本发明NSST域系数相关性示意图。
图3是本发明上下文细节隶属度的函数图。
图4是本发明实施例的待融合图像及融合结果示意图,其中,(a)是本发明一个实施例的待融合红外图像。(b)是本发明一个实施例的待融合可见光图像。(c)是基于卷积神经网络(CNN)的融合图像;(d)是基于密集块(DenseFuse)的融合图像;(e)是基于GAN网络的融合算法(FusionGAN)的融合图像;(f)是基于梯度转移融合方法(GTF)的融合图像;(g)是基于VGG-19和基于多层融合策略的方法(VggML)的融合图像;(h)是基于ResNet50和零相位分量分析融合框架(ResNet ZCA)的融合图像;(i)是本发明方法的融合图像。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。如图1所示,包括如下步骤:
步骤1,准备待融合的两幅M×N(本实施例中M=256,N=256)红外图像A和可见光图像B,利用NSST分别将两幅图像分解为低频子带
Figure BDA0002570208310000081
与高频子带系数
Figure BDA0002570208310000082
其中,j表示高频方向分解尺度,k表示高频的方向子带,j0表示低频子带。NSST采用的滤波器为“maxflat”,分解2个尺度,高频方向子带数目为4,8,A,B分别代表红外图像和可见光图像。
步骤2,对表征图像近似信息的低频子带,采用基于区域能量差异度的加权融合策略进行融合;
1)计算低频系数在W1×W2邻域内的区域能量:
Figure BDA0002570208310000083
其中,I代表红外图像A或可见光图像B,
Figure BDA0002570208310000084
表示图像在(x,y)位置处的低频子带系数,W1×W2表示窗口邻域,这里取W1=W2=3;
2)对低频子带的区域能量进行归一化处理:
VLEI(x,y)=(LEI(x,y)-min(LEI))/(max(LEI)-min(LEI)),I=A,B
其中,max(·)表示取最大值,min(·)表示取最小值;
3)根据低频子带区域能量的差异度确定权重w(x,y),得到融合后的低频子带系数
Figure BDA0002570208310000085
具体公式如下:
w(x,y)=0.5+(VLEA(x,y)-VLEB(x,y))/2,
Figure BDA0002570208310000086
步骤3,对表征图像细节特征的高频方向子带,通过综合多状态统计特征用于度量图像的细节性,采用基于多状态统计特征的融合规则进行融合;
1)根据上下文相关性定义系数的上下文细节隶属度;
首先,根据系数的相关性构建上下文子带,用NAt、NBt分别表示当前系数的4个直接邻居和4个对角邻居,t=1,2,3,4,PX表示父系数,CX1,CX2表示两个相邻的表兄弟系数,那么一个系数的上下文定义如下:
Figure BDA0002570208310000087
其中,ω0123表示权重系数,反映对应空间领域内,尺度间和方向间的相关性在上下文设计方案中所占比重。通过对多组经验值比较,本实施例中权值因子最终选取ω0=0.8,ω1=0.6,ω2=0.2,ω3=0.4。新的上下文细节隶属度如图3所示,横坐标代表系数的上下文值context,纵坐标代表系数的上下文细节隶属度V,范围在[0,1]之间。然后计算系数的上下文细节隶属度值:
Figure BDA0002570208310000091
Figure BDA0002570208310000092
其中,σ表示当前子带的上下文context的标准差,E,EP
Figure BDA0002570208310000093
分别表示当前子带、父子带和两个相邻兄弟子带的平均能量,定义如下:
Figure BDA0002570208310000094
其中,E*代表4个平均能量
Figure BDA0002570208310000095
中的一个,N表示当前子带的系数总个数,C2表示当前子带系数的平方。
2)在高频方向子带构建多状态上下文隐马尔科夫模型MCHMM,利用期望最大化EM算法分初始化和迭代训练两步来估计模型参数;
首先,利用多状态、零均值的高斯混合模型GMM来刻画高频方向子带系数的非高斯分布特性,每个系数都与一个上下文细节隶属度和一个隐状态相关联,接着进行MCHMM统计建模,本发明中采用状态数n=4的MCHMM对NSST域高频方向子带建模,
Figure BDA0002570208310000096
Figure BDA0002570208310000097
其中,n是大于2的正整数,表示MCHMM的状态数,隐状态m的取值是从0到n-1的自然数,Cj,k,x,y表示在j尺度k方向(x,y)位置的高频子带系数,Vj,k,x,y为系数的上下文细节隶属度,Sj,k,x,y为系数的隐状态变量,
Figure BDA0002570208310000098
是隐状态为m时的概率,
Figure BDA0002570208310000099
是系数的上下文细节隶属度的值为v的条件下系数隐状态为m的概率,
Figure BDA0002570208310000101
表示当前系数在上下文细节隶属度为v时的概率密度函数,g(Cj,k,x,y;0,σ2 j,k,x,y,m)表示系数在给定隐状态为m的条件下的均值为零,σ2 j,k,x,y,m为方差的高斯条件概率密度函数,其均值为零,σ2 j,k,x,y,m为以j尺度k方向(x,y)位置为中心的局部窗体的方差;
MCHMM模型参数集定义为:
Figure BDA0002570208310000102
利用期望最大化EM算法来估计模型参数,分为初始化参数和迭代训练两步,具体步骤如下:
A)初始化参数;
a)设置初始参数,MCHMM的初始参数设置与状态数有关,每个隐状态的初始概率均等,各状态下的方差在最大方差2δ2 j,k2 η和最小方差σ2 η之间平均划分,
Figure BDA0002570208310000103
其中,
Figure BDA0002570208310000104
和σ2 j,k,m分别表示j尺度k方向高频子带的隐状态为m的概率和方差,σ2 η为已知噪声方差,δ2 j,k为j尺度k方向高频子带的平均能量;
b)期望E步骤,根据贝叶斯定理,对每一个系数Cj,k,x,y计算隐状态为m的概率:
Figure BDA0002570208310000105
c)最大化M步骤,根据期望E步骤中获得的概率,设置参数如下所示,
Figure BDA0002570208310000106
Figure BDA0002570208310000107
其中,Mj,k和Nj,k分别是j尺度k方向高频子带的行数和列数;
d)若参数收敛或达到预设的最大迭代次数,则进入下一步,否则迭代次数加1,并返回期望E步骤;
e)设置大小为(2Wj+1)×(2Wj+1)的窗口,并使用以下各式完成参数初始化,同时将模型训练次数设置为零,
Figure BDA0002570208310000111
Figure BDA0002570208310000112
Figure BDA0002570208310000113
其中,
Figure BDA0002570208310000114
v表示局部窗口中每个系数的上下文细节隶属度,c是当前系数上下文细节隶属度,σ2是局部窗口中上下文细节隶属度的方差,ε代表一个很小的数,以避免分母为零;
B)迭代EM训练
a)期望E步骤,对每个系数计算以下概率:
Figure BDA0002570208310000115
b)最大化M步骤,通过下式更新模型的各个参数:
Figure BDA0002570208310000116
Figure BDA0002570208310000117
Figure BDA0002570208310000118
此处的计算都是在(2Wj+1)×(2Wj+1)窗口上进行,该窗口位于j尺度k方向子带以(x,y)为中心局部开窗,设置训练次数加1,并返回期望E步骤,直到参数收敛或达到预设的最大迭代次数。
3)基于每个系数在各状态下的概率和方差计算系数的细节性,结合上下文隶属度得到系数的活动测度,通过取大的融合规则得到高频融合子带。
3.1)首先计算系数在各状态下细节含量,
Figure BDA0002570208310000121
其中,I代表红外图像A或可见光图像B,
Figure BDA0002570208310000122
表示隐状态为m时,j尺度k方向高频子带在(x,y)位置上的方差,Cj,k,x,y表示高频子带系数,Vj,k,x,y表示系数的上下文细节变量,
Figure BDA0002570208310000123
表示在当前系数和上下文细节隶属度为v时,隐状态为m的概率;
3.2)根据系数在各状态下的细节含量的差异度,计算对应系数在各状态下的细节权重,
Figure BDA0002570208310000124
Figure BDA0002570208310000125
其中,mean(·)表示求平均值;
3.3)然后,计算系数的多状态细节度,并将其归一化,
Figure BDA0002570208310000126
Figure BDA0002570208310000127
Figure BDA0002570208310000128
3.4)将系数的多状态细节度与上下文细节隶属度相结合,得到系数的活动测度,
Figure BDA0002570208310000129
其中,α是调节多状态细节度与上下文细节隶属度重要性的权重因子,设置为0.5;
3.5)最后,通过基于系数的活动测度取大的融合规则得到融合后的高频子带系数,
Figure BDA00025702083100001210
步骤4,对融合后的高、低频系数进行NSST逆变换获得最终的融合图像
仿真实验
为了验证本发明的可行性和有效性,采用两幅红外和可见光图像,大小为256×256,如图4中的(a)和(b)所示,根据本发明方法进行融合实验。
综上所述,通过图4的融合结果比较可以看出:本发明方法所得融合图像最大程度地忠于原始信息,更好地保持了待融合图像中的边缘轮廓、纹理等特征,拥有丰富的细节信息和突出的目标,因而图像的对比度和清晰度更高,主观视觉效果最好,即融合结果更理想。
表1给出了采用各种融合方法所得融合结果的客观评价指标。其中,数据加粗表明对应的多模态医学图像融合方法所得评价指标取值最优。
表1基于各种融合方法的融合性能比较
Figure BDA0002570208310000131
表1中通过Qabf,FMI_W,SCD,MS_SSIM,Q,QW,QE来衡量融合图像的质量,进而验证本发明融合方法的可行性和有效性。
由表1数据可知,本发明方法所获得的融合图像在Qabf,SCD,MS_SSIM,Q,QW,QE等客观评价指标上要优于其它融合方法。Qabf反映了输入图像融合所获得的视觉信息的质量,FMI_W计算了小波特征提取方法所获得的快速互信息,SCD计算了基于差相关和的图像质量度量值,MS-SSIM计算只关注结构信息的修正结构相似性,Q、Qw和Qe是Piella度量,分别代表融合质量指数,加权融合质量指数、边缘相关融合质量指数。这些度量值越大,融合效果越好。

Claims (6)

1.基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,对低频子带采用基于区域能量差异度的融合方法,对高频子带系数设计上下文细节隶属度,并构建多状态上下文隐马尔科夫模型,然后提取多状态统计特征用于度量图像细节性,最后采用基于多状态统计特征的融合规则得到高频融合子带。
2.根据权利要求1所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,包括以下具体步骤:
1)对表征图像近似信息的低频子带,采用基于区域能量差异度的加权融合策略进行融合;
2)对表征图像细节特征的高频子带,通过综合多状态统计特征用于度量图像的细节性,采用基于多状态统计特征的融合规则进行融合;
2.1)根据上下文相关性定义系数的上下文细节隶属度;
2.2)在高频方向子带构建多状态上下文隐马尔科夫模型MCHMM,利用期望最大化EM算法分初始化和迭代训练两步来估计模型参数;
2.3)基于每个系数在各状态下的概率和方差计算系数的细节性,结合上下文隶属度得到系数的活动测度,通过取大的融合规则得到高频融合子带。
3.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,所述步骤1)包括如下步骤:
1)计算低频系数在W1×W2邻域内的区域能量:
Figure FDA0002570208300000011
其中,I代表红外图像A或可见光图像B,
Figure FDA0002570208300000012
表示图像在(x,y)位置处的低频子带系数,W1×W2表示窗口邻域;
2)对低频子带的区域能量进行归一化处理:
VLEI(x,y)=(LEI(x,y)-min(LEI))/(max(LEI)-min(LEI)),I=A,B
其中,max(·)表示取最大值,min(·)表示取最小值;
3)根据低频子带区域能量的差异度确定权重w(x,y),得到融合后的低频子带系数
Figure FDA0002570208300000013
具体公式如下:
w(x,y)=0.5+(VLEA(x,y)-VLEB(x,y))/2,
Figure FDA0002570208300000014
4.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,所述步骤2.1)包括如下步骤:
首先,根据系数的相关性构建上下文子带,用NAt、NBt分别表示当前系数的4个直接邻居和4个对角邻居,t=1,2,3,4,PX表示父系数,CX1、CX2表示两个相邻的表兄弟系数,那么一个系数的上下文定义如下:
Figure FDA0002570208300000021
其中,ω0,ω1,ω2,ω3表示权重系数;
然后,计算系数的上下文细节隶属度值:
Figure FDA0002570208300000022
Figure FDA0002570208300000023
其中,σ表示当前子带的上下文context的标准差,E,EP
Figure FDA0002570208300000024
分别表示当前子带、父子带和两个相邻兄弟子带的平均能量,定义如下:
Figure FDA0002570208300000025
其中,E*代表4个平均能量
Figure FDA0002570208300000026
中的一个,N表示当前子带的系数总个数,C2表示当前子带系数的平方。
5.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,所述步骤2.2)包括如下步骤:
首先,利用多状态、零均值的高斯混合模型GMM来刻画高频方向子带系数的非高斯分布特性,每个系数都与一个上下文细节隶属度和一个隐状态相关联,接着进行MCHMM统计建模,
Figure FDA0002570208300000027
Figure FDA0002570208300000028
其中,n是大于2的正整数,表示MCHMM的状态数,隐状态m的取值是从0到n-1的自然数,Cj,k,x,y表示在j尺度k方向(x,y)位置的高频子带系数,Vj,k,x,y为系数的上下文细节隶属度,Sj,k,x,y为系数的隐状态变量,
Figure FDA0002570208300000031
是隐状态为m时的概率,
Figure FDA0002570208300000032
是系数的上下文细节隶属度的值为v的条件下系数隐状态为m的概率,
Figure FDA0002570208300000033
表示当前系数在上下文细节隶属度为v时的概率密度函数,g(Cj,k,x,y;0,σ2 j,k,x,y,m)表示系数在给定隐状态为m的条件下的均值为零,σ2 j,k,x,y,m为方差的高斯条件概率密度函数,其均值为零,σ2 j,k,x,y,m为以j尺度k方向(x,y)位置为中心的局部窗体的方差;
MCHMM模型参数集定义为:
Figure FDA0002570208300000034
利用期望最大化EM算法来估计模型参数,分为初始化参数和迭代训练两步,具体步骤如下:
一)初始化参数;
A)设置初始参数,MCHMM的初始参数设置与状态数有关,每个隐状态的初始概率均等,各状态下的方差在最大方差2δ2 j,k2 η和最小方差σ2 η之间平均划分,
Figure FDA0002570208300000035
其中,
Figure FDA0002570208300000036
和σ2 j,k,m分别表示j尺度k方向高频子带的隐状态为m的概率和方差,σ2 η为已知噪声方差,δ2 j,k为j尺度k方向高频子带的平均能量;
B)期望E步骤,根据贝叶斯定理,对每一个系数Cj,k,x,y计算隐状态为m的概率:
Figure FDA0002570208300000037
C)最大化M步骤,根据期望E步骤中获得的概率,设置参数如下所示,
Figure FDA0002570208300000038
Figure FDA0002570208300000039
其中,Mj,k和Nj,k分别是j尺度k方向高频子带的行数和列数;
D)若参数收敛或达到预设的最大迭代次数,则进入下一步,否则迭代次数加1,并返回期望E步骤;
E)设置大小为(2Wj+1)×(2Wj+1)的窗口,并使用以下各式完成参数初始化,同时将模型训练次数设置为零,
Figure FDA0002570208300000041
Figure FDA0002570208300000042
Figure FDA0002570208300000043
其中,
Figure FDA0002570208300000044
v表示局部窗口中每个系数的上下文细节隶属度,c是当前系数上下文细节隶属度,σ2是局部窗口中上下文细节隶属度的方差,ε代表一个很小的数,以避免分母为零;
二)迭代EM训练
F)期望E步骤,对每个系数计算以下概率:
Figure FDA0002570208300000045
G)最大化M步骤,通过下式更新模型的各个参数:
Figure FDA0002570208300000046
Figure FDA0002570208300000047
Figure FDA0002570208300000051
此处的计算都是在(2Wj+1)×(2Wj+1)窗口上进行,该窗口位于j尺度k方向子带以(x,y)为中心局部开窗,设置训练次数加1,并返回期望E步骤,直到参数收敛或达到预设的最大迭代次数。
6.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,所述步骤2.3)包括如下步骤:
a)首先计算系数在各状态下细节含量,
Figure FDA0002570208300000052
其中,I代表红外图像A或可见光图像B,
Figure FDA0002570208300000053
表示隐状态为m时,j尺度k方向高频子带在(x,y)位置上的方差,Cj,k,x,y表示高频子带系数,Vj,k,x,y表示系数的上下文细节变量,
Figure FDA0002570208300000054
表示在当前系数和上下文细节隶属度为v时,隐状态为m的概率;
b)根据系数在各状态下的细节含量的差异度,计算对应系数在各状态下的细节权重,
Figure FDA0002570208300000055
Figure FDA0002570208300000056
其中,mean(·)表示求平均值;
c)计算系数的多状态细节度,并将其归一化,
Figure FDA0002570208300000057
Figure FDA0002570208300000058
Figure FDA0002570208300000059
d)将系数的多状态细节度与上下文细节隶属度相结合,得到系数的活动测度,
Figure FDA00025702083000000510
其中,α是调节多状态细节度与上下文细节隶属度重要性的权重因子;
e)通过基于系数的活动测度取大的融合规则得到融合后的高频子带系数,
Figure FDA0002570208300000061
CN202010638215.1A 2020-07-06 2020-07-06 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 Pending CN111754447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010638215.1A CN111754447A (zh) 2020-07-06 2020-07-06 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010638215.1A CN111754447A (zh) 2020-07-06 2020-07-06 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法

Publications (1)

Publication Number Publication Date
CN111754447A true CN111754447A (zh) 2020-10-09

Family

ID=72679235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010638215.1A Pending CN111754447A (zh) 2020-07-06 2020-07-06 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN111754447A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802060A (zh) * 2021-01-29 2021-05-14 中山大学 一种单目标跟踪方法和装置
CN113379666A (zh) * 2021-07-06 2021-09-10 江南大学 基于区间二型模糊集和chmm模型的图像融合方法
CN113935922A (zh) * 2021-10-21 2022-01-14 燕山大学 一种红外与可见光图像特征增强融合方法
CN114359687A (zh) * 2021-12-07 2022-04-15 华南理工大学 基于多模态数据双重融合的目标检测方法、装置、设备和介质
CN115019189A (zh) * 2022-04-08 2022-09-06 辽宁师范大学 基于nsst隐马尔可夫森林模型高光谱影像变化检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829873A (zh) * 2019-01-24 2019-05-31 江南大学 基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829873A (zh) * 2019-01-24 2019-05-31 江南大学 基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁文杉;毕笃彦;何林远;凡遵林;吴冬鹏;: "基于剪切波变换和邻域结构特征的红外与可见光图像融合", 光学学报, no. 10, 10 October 2017 (2017-10-10) *
刘健;雷英杰;邢雅琼;鹿传国;: "基于NSST域隐马尔可夫树模型的SAR和灰度可见光图像融合", 控制与决策, no. 03, 31 March 2016 (2016-03-31) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802060A (zh) * 2021-01-29 2021-05-14 中山大学 一种单目标跟踪方法和装置
CN112802060B (zh) * 2021-01-29 2023-06-30 中山大学 一种单目标跟踪方法和装置
CN113379666A (zh) * 2021-07-06 2021-09-10 江南大学 基于区间二型模糊集和chmm模型的图像融合方法
CN113379666B (zh) * 2021-07-06 2024-03-12 江南大学 基于区间二型模糊集和chmm模型的图像融合方法
CN113935922A (zh) * 2021-10-21 2022-01-14 燕山大学 一种红外与可见光图像特征增强融合方法
CN113935922B (zh) * 2021-10-21 2024-05-24 燕山大学 一种红外与可见光图像特征增强融合方法
CN114359687A (zh) * 2021-12-07 2022-04-15 华南理工大学 基于多模态数据双重融合的目标检测方法、装置、设备和介质
CN114359687B (zh) * 2021-12-07 2024-04-09 华南理工大学 基于多模态数据双重融合的目标检测方法、装置、设备和介质
CN115019189A (zh) * 2022-04-08 2022-09-06 辽宁师范大学 基于nsst隐马尔可夫森林模型高光谱影像变化检测方法
CN115019189B (zh) * 2022-04-08 2024-04-05 辽宁师范大学 基于nsst隐马尔可夫森林模型高光谱影像变化检测方法

Similar Documents

Publication Publication Date Title
CN111754447A (zh) 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法
CN103049892B (zh) 基于相似块矩阵秩最小化的非局部图像去噪方法
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
CN107689052B (zh) 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN109903319B (zh) 一种基于多分辨率的快速迭代最近点配准算法
CN103473755B (zh) 基于变化检测的sar图像稀疏去噪方法
CN109559273B (zh) 一种面向车底图像的快速拼接方法
CN107203747B (zh) 基于自适应选择机制的稀疏联合模型目标跟踪方法
CN107730482A (zh) 一种基于区域能量和方差的稀疏融合算法
CN104657951A (zh) 图像乘性噪声移除方法
CN107292855B (zh) 一种结合自适应非局部样本和低秩的图像去噪方法
CN106934398B (zh) 基于超像素聚类和稀疏表示的图像去噪方法
CN113963138A (zh) 三维激光点云特征点线完整准确提取方法
CN112634171A (zh) 基于贝叶斯卷积神经网络的图像去雾方法及存储介质
CN107341449A (zh) 一种基于云块特征变化的静止气象卫星降水估算方法
CN109190505A (zh) 基于视觉理解的图像识别方法
CN114066786A (zh) 一种基于稀疏和滤波器的红外和可见光图像融合方法
CN114066816B (zh) 基于静态小波变换提取的sar图像无监督变化检测方法
CN110675381A (zh) 一种基于串行结构网络的本征图像分解方法
CN109165586A (zh) 用于ai芯片的智能图像处理方法
CN109165587A (zh) 智能图像信息抽取方法
CN115311327A (zh) 融合共现统计与fhog梯度特征的目标跟踪方法及系统
CN110751082B (zh) 一种智能家庭娱乐系统手势指令识别方法
CN112614158B (zh) 一种采样框自适应的多特征融合在线目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination