CN111754447A - 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 - Google Patents
基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 Download PDFInfo
- Publication number
- CN111754447A CN111754447A CN202010638215.1A CN202010638215A CN111754447A CN 111754447 A CN111754447 A CN 111754447A CN 202010638215 A CN202010638215 A CN 202010638215A CN 111754447 A CN111754447 A CN 111754447A
- Authority
- CN
- China
- Prior art keywords
- coefficient
- state
- context
- detail
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000009466 transformation Effects 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract 1
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,主要解决红外和可见光图像融合时细节丢失和对比度不高的问题。其实现步骤是:1)对待融合图像进行NSST变换,得到低频和高频子带;2)低频子带采用区域能量差异度的加权融合规则;3)高频子带设计了上下文隶属度,并建立MCHMM,根据多状态统计特征设计融合规则;4)融合后的高、低频系数执行NSST逆变换获得融合图像。本发明充分考虑了系数之间的相关性,精确地表示源图像的纹理、细节等特征,充分提取红外图像的目标信息,增强图像的对比度,改善视觉效果,相比传统的融合方法极大地提高了融合图像的质量。
Description
技术领域
本发明涉及一种基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,是红外和可见光图像处理技术领域的一项融合方法。
背景技术
图像融合是对源图像的信息进行综合处理并加以整合,最终得到一幅更精确、更丰富和全面的融合图像。红外与可见光图像融合是图像融合领域中一个重要的研究方向。可见光图像可以反映真实环境情况,具有较好的颜色等信息,但受云雨、雾等气象条件影响很大。红外图像反映的是景物温度差或辐射差,细节表现不明显,对比度低,其可视性不是很理想。根据图像各自独有的特性进行优势互补,得到一副既保持可见光图像精细的视觉信息,又包含红外图像中目标信息的融合图像。在安全监控、雾天驾驶、资源检测和军事作战等领域有着极为广泛的应用价值。
目前,多尺度分解MSD(Multi-scale Decomposition)是进行图像融合的重要手段。MSD工具的选择和融合规则的设计是多尺度几何分析融合方法的关键因素。各种MSD工具已经被广泛应用,例如离散小波变换,曲波变换,轮廓波变换等等。然而,上述多尺度变换均包含下采样,且容易在奇异点附近出现伪吉布斯现象。随着对小波变换的深入研究,Easley等人于2008年提出非下采样剪切波变换NSST(Non-subsampled ShearletTransform),由于用卷积替换了下采样,所以其具有平移不变性,从而可以有效地抑制伪吉布斯现象。此外,NSST具有分解速度快,方向敏感的优点。因此,本发明选用NSST作为MSD工具。
NSST域分解系数在尺度间、方向间和空间邻域内存在极强的统计相关性,利用统计模型可以更准确地表示源图像。基于上下文的隐马尔可夫模型CHMM(Contextual HiddenMarkov Model)能够对系数的分布进行准确的描述,同时利用上下文信息(ContextInformation)有效地捕获NSST域高频方向子带系数在尺度间、方向间和空间邻域内的相关性。但是,传统的上下文变量定义为二值离散变量来反映系数的上下文细节性,这种定义不够准确。同时CHMM仅从两个状态对图像高频系数进行区分,将图像分为边缘(大)状态和平滑(小)状态,对图像的细节捕捉不够准确,得到的统计参数精度不够,导致融合图像质量不高。因此,本发明设计上下文细节隶属度用来精确的描述系数的细节性,并采用多状态上下文隐马尔可夫模型MCHMM对红外和可见光图像高频方向子带进行统计建模。
为了提高融合图像的性能,融合规则的选取同样至关重要。通常,低频融合采用简单的取平均或绝对值取大的融合策略,本发明中选用基于区域能量差异度的加权融合规则,更好地保持了图像的对比度,突出目标信息。高频系数融合通常采用绝对值取大或基于区域特征取大的融合策略。本发明提出的上下文细节隶属度可以精确的反映图像在尺度间、方向间和邻域内的依赖性,在此基础上构建MCHMM捕捉图像在各状态下的细节性,根据系数的多状态细节度和上下文细节隶属度得到系数的活动测度。该活动测度能够更准确的解释图像,从而提高融合图像的质量。
发明内容
本发明的目的是针对上述现有技术的不足,提出一种基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,以有效的捕获图像的细节并突出图像的目标信息,增强图像对比度,改善其视觉效果,提高融合图像的质量。
本发明解决其技术问题所采用的技术方案如下:
一种基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,对低频子带采用基于区域能量差异度的融合方法,对高频子带系数设计上下文细节隶属度,并构建多状态上下文隐马尔科夫模型,然后提取多状态统计特征用于度量图像细节性,最后采用基于多状态统计特征的融合规则得到高频融合子带,具体包括以下步骤:
1)对表征图像近似信息的低频子带,采用基于区域能量差异度的加权融合策略进行融合;
2)对表征图像细节特征的高频子带,通过综合多状态统计特征用于度量图像的细节性,采用基于多状态统计特征的融合规则进行融合;
2.1)根据上下文相关性定义系数的上下文细节隶属度;
2.2)在高频方向子带构建多状态上下文隐马尔科夫模型MCHMM,利用期望最大化EM算法分初始化和迭代训练两步来估计模型参数;
2.3)基于每个系数在各状态下的概率和方差计算系数的细节性,结合上下文隶属度得到系数的活动测度,通过取大的融合规则得到高频融合子带。
作为一种优选方案,所述步骤1)包括如下步骤:
a)计算低频系数在W1×W2邻域内的区域能量:
b)对低频子带的区域能量进行归一化处理:
VLEI(x,y)=(LEI(x,y)-min(LEI))/(max(LEI)-min(LEI)),I=A,B
其中,max(·)表示取最大值,min(·)表示取最小值;
w(x,y)=0.5+(VLEA(x,y)-VLEB(x,y))/2,
作为一种优选方案,所述步骤2.1)包括如下步骤:
首先,根据系数的相关性构建上下文子带,用NAt、NBt分别表示当前系数的4个直接邻居和4个对角邻居,t=1,2,3,4,PX表示父系数,CX1、CX2表示两个相邻的表兄弟系数,那么一个系数的上下文定义如下:
其中,ω0,ω1,ω2,ω3表示权重系数。
然后,计算系数的上下文细节隶属度值:
作为一种优选方案,所述步骤2.2)包括如下步骤:
首先,利用多状态、零均值的高斯混合模型GMM来刻画高频方向子带系数的非高斯分布特性,每个系数都与一个上下文细节隶属度和一个隐状态相关联,接着进行MCHMM统计建模,
其中,n是大于2的正整数,表示MCHMM的状态数,隐状态m的取值是从0到n-1的自然数,Cj,k,x,y表示在j尺度k方向(x,y)位置的高频子带系数,Vj,k,x,y为系数的上下文细节隶属度,Sj,k,x,y为系数的隐状态变量,是隐状态为m时的概率,是系数的上下文细节隶属度的值为v的条件下系数隐状态为m的概率,表示当前系数在上下文细节隶属度为v时的概率密度函数,g(Cj,k,x,y;0,σ2 j,k,x,y,m)表示系数在给定隐状态为m的条件下的均值为零,σ2 j,k,x,y,m为方差的高斯条件概率密度函数,其均值为零,σ2 j,k,x,y,m为以j尺度k方向(x,y)位置为中心的局部窗体的方差;
MCHMM模型参数集定义为:
利用期望最大化EM算法来估计模型参数,分为初始化参数和迭代训练两步,具体步骤如下:
A)初始化参数;
a)设置初始参数,MCHMM的初始参数设置与状态数有关,每个隐状态的初始概率均等,各状态下的方差在最大方差2δ2 j,k-σ2 η和最小方差σ2 η之间平均划分,
b)期望E步骤,根据贝叶斯定理,对每一个系数Cj,k,x,y计算隐状态为m的概率:
c)最大化M步骤,根据期望E步骤中获得的概率,设置参数如下所示,
其中,Mj,k和Nj,k分别是j尺度k方向高频子带的行数和列数;
d)若参数收敛或达到预设的最大迭代次数,则进入下一步,否则迭代次数加1,并返回期望E步骤;
e)设置大小为(2Wj+1)×(2Wj+1)的窗口,并使用以下各式完成参数初始化,同时将模型训练次数设置为零,
B)迭代EM训练
a)期望E步骤,对每个系数计算以下概率:
b)最大化M步骤,通过下式更新模型的各个参数:
此处的计算都是在(2Wj+1)×(2Wj+1)窗口上进行,该窗口位于j尺度k方向子带以(x,y)为中心局部开窗,设置训练次数加1,并返回期望E步骤,直到参数收敛或达到预设的最大迭代次数。
作为一种优选方案,所述步骤2.3)包括如下步骤:
a)首先计算系数在各状态下细节含量,
其中,I代表红外图像A或可见光图像B,表示隐状态为m时,j尺度k方向高频子带在(x,y)位置上的方差,Cj,k,x,y表示高频子带系数,Vj,k,x,y表示系数的上下文细节变量,表示在当前系数和上下文细节隶属度为v时,隐状态为m的概率;
b)根据系数在各状态下的细节含量的差异度,计算对应系数在各状态下的细节权重,
其中,mean(·)表示求平均值;
c)然后,计算系数的多状态细节度,并将其归一化,
d)将系数的多状态细节度与上下文细节隶属度相结合,得到系数的活动测度,
其中,α是调节多状态细节度与上下文细节隶属度重要性的权重因子;
e)最后,通过基于系数的活动测度取大的融合规则得到融合后的高频子带系数,
本发明相对比现有红外和可见光图像融合方法具有如下的优点:
1、本发明的红外和可见光图像融合方法对低频近似子带系数,采用基于区域能量差异度的加权融合规则,能保持图像的目标信息,增强图像的对比度,改善整体视觉效果。
2、本发明的红外和可见光图像融合方法对于高频方向子带系数,设计了一个新的上下文方案,采用上下文细节隶属度可以精确的描述NSST系数在尺度间、方向间和空间邻域内的统计相关性。
3、本发明的红外和可见光图像融合方法构建了多状态上下文隐马尔可夫模型来充分捕获NSST系数分布,进而根据模型统计参数估计细节信息含量,利用系数的多状态细节性和上下文细节隶属度来计算系数的活动测度,可以精确的解释图像,得到纹理丰富,细节突出的融合图像。
附图说明
图1是本发明基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法的框架图。
图2是本发明NSST域系数相关性示意图。
图3是本发明上下文细节隶属度的函数图。
图4是本发明实施例的待融合图像及融合结果示意图,其中,(a)是本发明一个实施例的待融合红外图像。(b)是本发明一个实施例的待融合可见光图像。(c)是基于卷积神经网络(CNN)的融合图像;(d)是基于密集块(DenseFuse)的融合图像;(e)是基于GAN网络的融合算法(FusionGAN)的融合图像;(f)是基于梯度转移融合方法(GTF)的融合图像;(g)是基于VGG-19和基于多层融合策略的方法(VggML)的融合图像;(h)是基于ResNet50和零相位分量分析融合框架(ResNet ZCA)的融合图像;(i)是本发明方法的融合图像。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。如图1所示,包括如下步骤:
步骤1,准备待融合的两幅M×N(本实施例中M=256,N=256)红外图像A和可见光图像B,利用NSST分别将两幅图像分解为低频子带与高频子带系数其中,j表示高频方向分解尺度,k表示高频的方向子带,j0表示低频子带。NSST采用的滤波器为“maxflat”,分解2个尺度,高频方向子带数目为4,8,A,B分别代表红外图像和可见光图像。
步骤2,对表征图像近似信息的低频子带,采用基于区域能量差异度的加权融合策略进行融合;
1)计算低频系数在W1×W2邻域内的区域能量:
2)对低频子带的区域能量进行归一化处理:
VLEI(x,y)=(LEI(x,y)-min(LEI))/(max(LEI)-min(LEI)),I=A,B
其中,max(·)表示取最大值,min(·)表示取最小值;
w(x,y)=0.5+(VLEA(x,y)-VLEB(x,y))/2,
步骤3,对表征图像细节特征的高频方向子带,通过综合多状态统计特征用于度量图像的细节性,采用基于多状态统计特征的融合规则进行融合;
1)根据上下文相关性定义系数的上下文细节隶属度;
首先,根据系数的相关性构建上下文子带,用NAt、NBt分别表示当前系数的4个直接邻居和4个对角邻居,t=1,2,3,4,PX表示父系数,CX1,CX2表示两个相邻的表兄弟系数,那么一个系数的上下文定义如下:
其中,ω0,ω1,ω2,ω3表示权重系数,反映对应空间领域内,尺度间和方向间的相关性在上下文设计方案中所占比重。通过对多组经验值比较,本实施例中权值因子最终选取ω0=0.8,ω1=0.6,ω2=0.2,ω3=0.4。新的上下文细节隶属度如图3所示,横坐标代表系数的上下文值context,纵坐标代表系数的上下文细节隶属度V,范围在[0,1]之间。然后计算系数的上下文细节隶属度值:
2)在高频方向子带构建多状态上下文隐马尔科夫模型MCHMM,利用期望最大化EM算法分初始化和迭代训练两步来估计模型参数;
首先,利用多状态、零均值的高斯混合模型GMM来刻画高频方向子带系数的非高斯分布特性,每个系数都与一个上下文细节隶属度和一个隐状态相关联,接着进行MCHMM统计建模,本发明中采用状态数n=4的MCHMM对NSST域高频方向子带建模,
其中,n是大于2的正整数,表示MCHMM的状态数,隐状态m的取值是从0到n-1的自然数,Cj,k,x,y表示在j尺度k方向(x,y)位置的高频子带系数,Vj,k,x,y为系数的上下文细节隶属度,Sj,k,x,y为系数的隐状态变量,是隐状态为m时的概率,是系数的上下文细节隶属度的值为v的条件下系数隐状态为m的概率,表示当前系数在上下文细节隶属度为v时的概率密度函数,g(Cj,k,x,y;0,σ2 j,k,x,y,m)表示系数在给定隐状态为m的条件下的均值为零,σ2 j,k,x,y,m为方差的高斯条件概率密度函数,其均值为零,σ2 j,k,x,y,m为以j尺度k方向(x,y)位置为中心的局部窗体的方差;
MCHMM模型参数集定义为:
利用期望最大化EM算法来估计模型参数,分为初始化参数和迭代训练两步,具体步骤如下:
A)初始化参数;
a)设置初始参数,MCHMM的初始参数设置与状态数有关,每个隐状态的初始概率均等,各状态下的方差在最大方差2δ2 j,k-σ2 η和最小方差σ2 η之间平均划分,
b)期望E步骤,根据贝叶斯定理,对每一个系数Cj,k,x,y计算隐状态为m的概率:
c)最大化M步骤,根据期望E步骤中获得的概率,设置参数如下所示,
其中,Mj,k和Nj,k分别是j尺度k方向高频子带的行数和列数;
d)若参数收敛或达到预设的最大迭代次数,则进入下一步,否则迭代次数加1,并返回期望E步骤;
e)设置大小为(2Wj+1)×(2Wj+1)的窗口,并使用以下各式完成参数初始化,同时将模型训练次数设置为零,
B)迭代EM训练
a)期望E步骤,对每个系数计算以下概率:
b)最大化M步骤,通过下式更新模型的各个参数:
此处的计算都是在(2Wj+1)×(2Wj+1)窗口上进行,该窗口位于j尺度k方向子带以(x,y)为中心局部开窗,设置训练次数加1,并返回期望E步骤,直到参数收敛或达到预设的最大迭代次数。
3)基于每个系数在各状态下的概率和方差计算系数的细节性,结合上下文隶属度得到系数的活动测度,通过取大的融合规则得到高频融合子带。
3.1)首先计算系数在各状态下细节含量,
其中,I代表红外图像A或可见光图像B,表示隐状态为m时,j尺度k方向高频子带在(x,y)位置上的方差,Cj,k,x,y表示高频子带系数,Vj,k,x,y表示系数的上下文细节变量,表示在当前系数和上下文细节隶属度为v时,隐状态为m的概率;
3.2)根据系数在各状态下的细节含量的差异度,计算对应系数在各状态下的细节权重,
其中,mean(·)表示求平均值;
3.3)然后,计算系数的多状态细节度,并将其归一化,
3.4)将系数的多状态细节度与上下文细节隶属度相结合,得到系数的活动测度,
其中,α是调节多状态细节度与上下文细节隶属度重要性的权重因子,设置为0.5;
3.5)最后,通过基于系数的活动测度取大的融合规则得到融合后的高频子带系数,
步骤4,对融合后的高、低频系数进行NSST逆变换获得最终的融合图像
仿真实验
为了验证本发明的可行性和有效性,采用两幅红外和可见光图像,大小为256×256,如图4中的(a)和(b)所示,根据本发明方法进行融合实验。
综上所述,通过图4的融合结果比较可以看出:本发明方法所得融合图像最大程度地忠于原始信息,更好地保持了待融合图像中的边缘轮廓、纹理等特征,拥有丰富的细节信息和突出的目标,因而图像的对比度和清晰度更高,主观视觉效果最好,即融合结果更理想。
表1给出了采用各种融合方法所得融合结果的客观评价指标。其中,数据加粗表明对应的多模态医学图像融合方法所得评价指标取值最优。
表1基于各种融合方法的融合性能比较
表1中通过Qabf,FMI_W,SCD,MS_SSIM,Q,QW,QE来衡量融合图像的质量,进而验证本发明融合方法的可行性和有效性。
由表1数据可知,本发明方法所获得的融合图像在Qabf,SCD,MS_SSIM,Q,QW,QE等客观评价指标上要优于其它融合方法。Qabf反映了输入图像融合所获得的视觉信息的质量,FMI_W计算了小波特征提取方法所获得的快速互信息,SCD计算了基于差相关和的图像质量度量值,MS-SSIM计算只关注结构信息的修正结构相似性,Q、Qw和Qe是Piella度量,分别代表融合质量指数,加权融合质量指数、边缘相关融合质量指数。这些度量值越大,融合效果越好。
Claims (6)
1.基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,对低频子带采用基于区域能量差异度的融合方法,对高频子带系数设计上下文细节隶属度,并构建多状态上下文隐马尔科夫模型,然后提取多状态统计特征用于度量图像细节性,最后采用基于多状态统计特征的融合规则得到高频融合子带。
2.根据权利要求1所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,包括以下具体步骤:
1)对表征图像近似信息的低频子带,采用基于区域能量差异度的加权融合策略进行融合;
2)对表征图像细节特征的高频子带,通过综合多状态统计特征用于度量图像的细节性,采用基于多状态统计特征的融合规则进行融合;
2.1)根据上下文相关性定义系数的上下文细节隶属度;
2.2)在高频方向子带构建多状态上下文隐马尔科夫模型MCHMM,利用期望最大化EM算法分初始化和迭代训练两步来估计模型参数;
2.3)基于每个系数在各状态下的概率和方差计算系数的细节性,结合上下文隶属度得到系数的活动测度,通过取大的融合规则得到高频融合子带。
3.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,所述步骤1)包括如下步骤:
1)计算低频系数在W1×W2邻域内的区域能量:
2)对低频子带的区域能量进行归一化处理:
VLEI(x,y)=(LEI(x,y)-min(LEI))/(max(LEI)-min(LEI)),I=A,B
其中,max(·)表示取最大值,min(·)表示取最小值;
w(x,y)=0.5+(VLEA(x,y)-VLEB(x,y))/2,
4.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,所述步骤2.1)包括如下步骤:
首先,根据系数的相关性构建上下文子带,用NAt、NBt分别表示当前系数的4个直接邻居和4个对角邻居,t=1,2,3,4,PX表示父系数,CX1、CX2表示两个相邻的表兄弟系数,那么一个系数的上下文定义如下:
其中,ω0,ω1,ω2,ω3表示权重系数;
然后,计算系数的上下文细节隶属度值:
5.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,所述步骤2.2)包括如下步骤:
首先,利用多状态、零均值的高斯混合模型GMM来刻画高频方向子带系数的非高斯分布特性,每个系数都与一个上下文细节隶属度和一个隐状态相关联,接着进行MCHMM统计建模,
其中,n是大于2的正整数,表示MCHMM的状态数,隐状态m的取值是从0到n-1的自然数,Cj,k,x,y表示在j尺度k方向(x,y)位置的高频子带系数,Vj,k,x,y为系数的上下文细节隶属度,Sj,k,x,y为系数的隐状态变量,是隐状态为m时的概率,是系数的上下文细节隶属度的值为v的条件下系数隐状态为m的概率,表示当前系数在上下文细节隶属度为v时的概率密度函数,g(Cj,k,x,y;0,σ2 j,k,x,y,m)表示系数在给定隐状态为m的条件下的均值为零,σ2 j,k,x,y,m为方差的高斯条件概率密度函数,其均值为零,σ2 j,k,x,y,m为以j尺度k方向(x,y)位置为中心的局部窗体的方差;
MCHMM模型参数集定义为:
利用期望最大化EM算法来估计模型参数,分为初始化参数和迭代训练两步,具体步骤如下:
一)初始化参数;
A)设置初始参数,MCHMM的初始参数设置与状态数有关,每个隐状态的初始概率均等,各状态下的方差在最大方差2δ2 j,k-σ2 η和最小方差σ2 η之间平均划分,
B)期望E步骤,根据贝叶斯定理,对每一个系数Cj,k,x,y计算隐状态为m的概率:
C)最大化M步骤,根据期望E步骤中获得的概率,设置参数如下所示,
其中,Mj,k和Nj,k分别是j尺度k方向高频子带的行数和列数;
D)若参数收敛或达到预设的最大迭代次数,则进入下一步,否则迭代次数加1,并返回期望E步骤;
E)设置大小为(2Wj+1)×(2Wj+1)的窗口,并使用以下各式完成参数初始化,同时将模型训练次数设置为零,
二)迭代EM训练
F)期望E步骤,对每个系数计算以下概率:
G)最大化M步骤,通过下式更新模型的各个参数:
此处的计算都是在(2Wj+1)×(2Wj+1)窗口上进行,该窗口位于j尺度k方向子带以(x,y)为中心局部开窗,设置训练次数加1,并返回期望E步骤,直到参数收敛或达到预设的最大迭代次数。
6.根据权利要求2所述的基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法,其特征在于,所述步骤2.3)包括如下步骤:
a)首先计算系数在各状态下细节含量,
其中,I代表红外图像A或可见光图像B,表示隐状态为m时,j尺度k方向高频子带在(x,y)位置上的方差,Cj,k,x,y表示高频子带系数,Vj,k,x,y表示系数的上下文细节变量,表示在当前系数和上下文细节隶属度为v时,隐状态为m的概率;
b)根据系数在各状态下的细节含量的差异度,计算对应系数在各状态下的细节权重,
其中,mean(·)表示求平均值;
c)计算系数的多状态细节度,并将其归一化,
d)将系数的多状态细节度与上下文细节隶属度相结合,得到系数的活动测度,
其中,α是调节多状态细节度与上下文细节隶属度重要性的权重因子;
e)通过基于系数的活动测度取大的融合规则得到融合后的高频子带系数,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010638215.1A CN111754447A (zh) | 2020-07-06 | 2020-07-06 | 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010638215.1A CN111754447A (zh) | 2020-07-06 | 2020-07-06 | 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111754447A true CN111754447A (zh) | 2020-10-09 |
Family
ID=72679235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010638215.1A Pending CN111754447A (zh) | 2020-07-06 | 2020-07-06 | 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111754447A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112802060A (zh) * | 2021-01-29 | 2021-05-14 | 中山大学 | 一种单目标跟踪方法和装置 |
CN113379666A (zh) * | 2021-07-06 | 2021-09-10 | 江南大学 | 基于区间二型模糊集和chmm模型的图像融合方法 |
CN113935922A (zh) * | 2021-10-21 | 2022-01-14 | 燕山大学 | 一种红外与可见光图像特征增强融合方法 |
CN114359687A (zh) * | 2021-12-07 | 2022-04-15 | 华南理工大学 | 基于多模态数据双重融合的目标检测方法、装置、设备和介质 |
CN115019189A (zh) * | 2022-04-08 | 2022-09-06 | 辽宁师范大学 | 基于nsst隐马尔可夫森林模型高光谱影像变化检测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829873A (zh) * | 2019-01-24 | 2019-05-31 | 江南大学 | 基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法 |
-
2020
- 2020-07-06 CN CN202010638215.1A patent/CN111754447A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829873A (zh) * | 2019-01-24 | 2019-05-31 | 江南大学 | 基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法 |
Non-Patent Citations (2)
Title |
---|
丁文杉;毕笃彦;何林远;凡遵林;吴冬鹏;: "基于剪切波变换和邻域结构特征的红外与可见光图像融合", 光学学报, no. 10, 10 October 2017 (2017-10-10) * |
刘健;雷英杰;邢雅琼;鹿传国;: "基于NSST域隐马尔可夫树模型的SAR和灰度可见光图像融合", 控制与决策, no. 03, 31 March 2016 (2016-03-31) * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112802060A (zh) * | 2021-01-29 | 2021-05-14 | 中山大学 | 一种单目标跟踪方法和装置 |
CN112802060B (zh) * | 2021-01-29 | 2023-06-30 | 中山大学 | 一种单目标跟踪方法和装置 |
CN113379666A (zh) * | 2021-07-06 | 2021-09-10 | 江南大学 | 基于区间二型模糊集和chmm模型的图像融合方法 |
CN113379666B (zh) * | 2021-07-06 | 2024-03-12 | 江南大学 | 基于区间二型模糊集和chmm模型的图像融合方法 |
CN113935922A (zh) * | 2021-10-21 | 2022-01-14 | 燕山大学 | 一种红外与可见光图像特征增强融合方法 |
CN113935922B (zh) * | 2021-10-21 | 2024-05-24 | 燕山大学 | 一种红外与可见光图像特征增强融合方法 |
CN114359687A (zh) * | 2021-12-07 | 2022-04-15 | 华南理工大学 | 基于多模态数据双重融合的目标检测方法、装置、设备和介质 |
CN114359687B (zh) * | 2021-12-07 | 2024-04-09 | 华南理工大学 | 基于多模态数据双重融合的目标检测方法、装置、设备和介质 |
CN115019189A (zh) * | 2022-04-08 | 2022-09-06 | 辽宁师范大学 | 基于nsst隐马尔可夫森林模型高光谱影像变化检测方法 |
CN115019189B (zh) * | 2022-04-08 | 2024-04-05 | 辽宁师范大学 | 基于nsst隐马尔可夫森林模型高光谱影像变化检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111754447A (zh) | 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 | |
CN103049892B (zh) | 基于相似块矩阵秩最小化的非局部图像去噪方法 | |
CN108038906B (zh) | 一种基于图像的三维四边形网格模型重建方法 | |
CN107689052B (zh) | 基于多模型融合和结构化深度特征的视觉目标跟踪方法 | |
CN107169117B (zh) | 一种基于自动编码器和dtw的手绘图人体运动检索方法 | |
CN109903319B (zh) | 一种基于多分辨率的快速迭代最近点配准算法 | |
CN103473755B (zh) | 基于变化检测的sar图像稀疏去噪方法 | |
CN109559273B (zh) | 一种面向车底图像的快速拼接方法 | |
CN107203747B (zh) | 基于自适应选择机制的稀疏联合模型目标跟踪方法 | |
CN107730482A (zh) | 一种基于区域能量和方差的稀疏融合算法 | |
CN104657951A (zh) | 图像乘性噪声移除方法 | |
CN107292855B (zh) | 一种结合自适应非局部样本和低秩的图像去噪方法 | |
CN106934398B (zh) | 基于超像素聚类和稀疏表示的图像去噪方法 | |
CN113963138A (zh) | 三维激光点云特征点线完整准确提取方法 | |
CN112634171A (zh) | 基于贝叶斯卷积神经网络的图像去雾方法及存储介质 | |
CN107341449A (zh) | 一种基于云块特征变化的静止气象卫星降水估算方法 | |
CN109190505A (zh) | 基于视觉理解的图像识别方法 | |
CN114066786A (zh) | 一种基于稀疏和滤波器的红外和可见光图像融合方法 | |
CN114066816B (zh) | 基于静态小波变换提取的sar图像无监督变化检测方法 | |
CN110675381A (zh) | 一种基于串行结构网络的本征图像分解方法 | |
CN109165586A (zh) | 用于ai芯片的智能图像处理方法 | |
CN109165587A (zh) | 智能图像信息抽取方法 | |
CN115311327A (zh) | 融合共现统计与fhog梯度特征的目标跟踪方法及系统 | |
CN110751082B (zh) | 一种智能家庭娱乐系统手势指令识别方法 | |
CN112614158B (zh) | 一种采样框自适应的多特征融合在线目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |