CN113379666A - 基于区间二型模糊集和chmm模型的图像融合方法 - Google Patents

基于区间二型模糊集和chmm模型的图像融合方法 Download PDF

Info

Publication number
CN113379666A
CN113379666A CN202110764386.3A CN202110764386A CN113379666A CN 113379666 A CN113379666 A CN 113379666A CN 202110764386 A CN202110764386 A CN 202110764386A CN 113379666 A CN113379666 A CN 113379666A
Authority
CN
China
Prior art keywords
frequency
band
image
fusion
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110764386.3A
Other languages
English (en)
Other versions
CN113379666B (zh
Inventor
罗晓清
蒋钰婷
张战成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202110764386.3A priority Critical patent/CN113379666B/zh
Publication of CN113379666A publication Critical patent/CN113379666A/zh
Application granted granted Critical
Publication of CN113379666B publication Critical patent/CN113379666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于区间二型模糊集和CHMM模型的图像融合方法，涉及图像融合领域，包括：对两幅待融合图像的低频子带进行活动测度度量，并根据低频活动测度进行低频子带系数融合得到低频融合子带；利用上下文隐马尔可夫模型描述高频子带系数之间的相关性，构建得到高频子带系数的T2‑FCHMM统计模型；将得到的高频子带系数的边缘概率密度和模糊熵结合起来作为T2‑FCHMM模型统计特征与高频子带系数的区域能量结合得到高频子带系数的活动测度，根据高频子带系数的活动测度进行高频子带系数融合得到高频融合子带；对低频融合子带和高频融合子带进行逆变换得到融合图像，从而增加了融合图像的可信度和可理解性。

Description

基于区间二型模糊集和CHMM模型的图像融合方法
技术领域
本发明涉及图像融合领域，尤其是一种基于区间二型模糊集和CHMM模型的图像融合方法。
背景技术
图像融合是指将两幅或两幅以上的图像通过特定的算法融合为一幅新的图像的技术，使其具有比单一图像更丰富、可靠、清晰的综合信息，目前，图像融合技术在许多领域都得到了广泛的应用，包括遥感图像的分析和处理、无人驾驶、医学图像处理和军事目标识别等方面。
多尺度变换作为一种常用的图像处理手段被广泛使用，能够将图像从空间域变换到变换域中，得到反映图像概貌的低频子带系数和反映图像细节和纹理的高频子带系数，分别对低频子带系数和高频子带系数设计融合规则得到低频和高频融合子带，最后通过逆变换得到融合图像。
多尺度变换设计两个基本问题，即多尺度分解方法的选择和用于多尺度系数融合的融合策略，一直以来，许多研究者不断尝试解决这两个问题，目前对于多尺度分解方法有多种：非下采样剪切波变化NSST、非下采样轮廓波变换NSCT，其中，非下采样剪切波变化NSST集成剪切波变换多方向性的优点的同时，避免了伪吉布斯现象的出现，相比于非下采样轮廓波变换操作效率更好、复杂度也较低，因而更适用于多模态图像融合。
NSST域分解系数在尺度间、方向间和空间邻域内存在极强的统计相关性，作为一种有效的统计建模技术，上下文隐马尔可夫模型CHMM(Contextual Hidden Markov Model)能够利用上下文信息来充分、有效地捕获NSST域高频方向子带系数的相关性。但是，由于CHMM模型的参数是不确定的，训练数据不足、数据损坏、噪声等都会对建模结果产生影响，导致建模不准确，进而影响融合图像的质量。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于区间二型模糊集和CHMM模型的图像融合方法，本发明的技术方案如下：
一种基于区间二型模糊集和CHMM模型的图像融合方法，其特征在于，方法包括以下步骤：
获取两幅待融合多模态图像并分别进行NSST变换得到各自对应的高频子带系数和低频子带系数；
对每幅待融合多模态图像的低频子带系数的区域能量和区域方差进行自适应加权处理得到对应的低频子带系数的活动测度，根据两幅待融合多模态图像的低频活动测度进行低频子带系数融合得到低频融合子带；
对于每幅待融合多模态图像的高频子带系数，建立一个高频子带系数的模糊上下文隐马尔可夫模型描述高频子带系数的统计特性，在每个隐状态上建立区间二型模糊集得到模糊隐状态，构建得到高频子带系数的T2-FCHMM统计模型；基于高频子带系数的T2-FCHMM统计模型提取得到高频子带系数的边缘概率密度的区域能量和模糊熵并处理得到对应的T2-FCHMM模型统计特征；
对每幅待融合多模态图像的高频子带系数的区域能量和T2-FCHMM模型统计特征加权得到对应的高频子带系数的活动测度，根据两幅待融合多模态图像的高频子带系数的活动测度进行高频子带系数融合得到高频融合子带；
对低频融合子带和高频融合子带进行NSST逆变换得到融合图像。
本发明的有益技术效果是：本发明采用基于区间二型模糊集和CHMM(上下文隐马尔可夫)模型的图像融合方法，通过模糊集理论，利用隶属度函数精确的表达不确定的归属问题，解决由于训练数据不足、数据损坏、噪声等造成上下文隐马尔可夫模型参数的不准确问题，利用区间二型模糊集增强模型对数据的表达能力，增加特征提取的可信度，进而提高融合图像的质量；本发明的图像融合方法对低频近似子带系数，采用基于区域能量和区域方差自适应加权的融合规则，能有效提高图像的亮度和对比度，改善整体视觉效果；对于高频子带系数，利用T2-FCHMM模型对系数精确的表达能力，综合高频子带系数的基于边缘概率密度的区域能量和模糊熵得到高频系数的T2-FCHMM模型统计特征，将它与高频系数区域能量加权作为高频子带系数的活动测度指导高频融合，可以充分考虑建模过程中的不确定性，最大限度地保护图像中的边缘轮廓和纹理信息，避免丢失细节，从而增加图像的可信度和可理解性。
附图说明
图1是本申请的方法结构框图。
图2是本申请的二型模糊隶属函数示意图。
图3中，(a)和(b)是第一个实施例的待融合的红外与可见光图像；(c)是基于卷积稀疏表示的融合算法(ConvSR)得到的融合图像；(d)是基于梯度转移(GTF)得到的融合图像，(e)是基于GAN(FusionGAN)得到的融合图像，(f)是基于多层融合策略(VggML)得到的融合图像，(g)是基于ResNet50和零相分量分析(ResNet-ZCA)得到的融合图像，(h)是基于密集块(DenseFuse)得到的融合图像，(i)是基于本申请公开的图像融合方法得到的融合图像。
图4中，(a)和(b)是第二个实施例的待融合的医学图像；(c)是基于卷积稀疏表示的融合算法(ConvSR)得到的融合图像；(d)是基于梯度转移(GTF)得到的融合图像，(e)是基于GAN(FusionGAN)得到的融合图像，(f)是基于多层融合策略(VggML)得到的融合图像，(g)是基于ResNet50和零相分量分析(ResNet-ZCA)得到的融合图像，(h)是基于密集块(DenseFuse)得到的融合图像，(i)是基于本申请公开的图像融合方法得到的融合图像。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
一种基于区间二型模糊集和CHMM模型的图像融合方法，请参考图1所示的信息流向图：
获取两幅待融合多模态图像A和B并分别进行NSST变换得到各自对应的高频子带系数和低频子带系数，对第A幅待融合多模态图像进行NSST变换得到(x,y)位置的低频子带系数
Figure BDA0003150494660000041
和高频子带系数
Figure BDA0003150494660000042
对第B幅待融合多模态图像进行NSST变换得到(x,y)位置的低频子带系数
Figure BDA0003150494660000043
和高频子带系数
Figure BDA0003150494660000044
其中j表示分解尺度，k表示高频子带的方向。其中滤波器选择maxflat，分解为2个尺度，对应的方向数目分别为4、8。
下面需要使用不同的融合规则对两幅待融合多模态图像的低频子带系数和高频子带系数进行融合以确定对应的低频融合子带和高频融合子带：
一、对第A幅待融合多模态图像和第B幅待融合多模态图像的低频子带系数进行融合，本申请对表征图像近似信息的低频子带系数，采用基于区域能量和区域方差自适应加权的融合规则进行融合，具体的：
1、对每幅待融合多模态图像的低频子带系数的区域能量和区域方差进行自适应加权处理得到对应的低频子带系数的活动测度。
第A幅待融合多模态图像的低频子带系数的以像素点位置(x,y)为中心的W1·W2窗口内的区域能量LEA(x,y)和第B幅待融合多模态图像的低频子带系数的区域能量LEB(x,y)的计算公式为：
Figure BDA0003150494660000045
Figure BDA0003150494660000046
第A幅待融合多模态图像的低频子带系数的区域方差LVarA(x,y)和第B幅待融合多模态图像的低频子带系数的区域方差LVarB(x,y)的计算公式为：
Figure BDA0003150494660000047
Figure BDA0003150494660000051
其中，
Figure BDA0003150494660000052
和
Figure BDA0003150494660000053
分别表示第A幅待融合多模态图像和第B幅待融合多模态图像以(x,y)为中心的W1·W2窗口内的低频子带系数的均值。
由此可以得到，第A幅待融合多模态图像的低频子带系数的活动测度LMA(x,y)和第B幅待融合多模态图像的像素点位置(x,y)处的低频子带系数的活动测度LMB(x,y)为：
Figure BDA0003150494660000054
Figure BDA0003150494660000055
其中，αA和βA分别表示第A幅待融合多模态图像的区域能量权重和区域方差权重，αB和βB分别表示第B幅待融合多模态图像的区域能量权重和区域方差权重，计算公式分别为：
Figure BDA0003150494660000056
Figure BDA0003150494660000057
Figure BDA0003150494660000058
Figure BDA0003150494660000059
其中，W1和W2表示预设窗口的长宽，d、h、a和m为参数，
Figure BDA00031504946600000510
和
Figure BDA00031504946600000511
分别表示第A幅待融合多模态图像和第B幅待融合多模态图像在(x+i,y+h)位置上的低频子带系数。
2、根据两幅待融合多模态图像的低频子带系数的活动测度进行低频子带系数融合得到低频融合子带。低频融合子带LF(x,y)的计算方法为：
Figure BDA00031504946600000512
LMA(x,y)和LMB(x,y)表示第A幅待融合多模态图像的低频子带系数的活动测度和第B幅待融合多模态图像的低频子带系数的活动测度,
Figure BDA0003150494660000061
和
Figure BDA0003150494660000062
分别表示第A幅待融合多模态图像和第B幅待融合多模态图像在(x,y)位置上的低频子带系数。
二、对第A幅待融合多模态图像和第B幅待融合多模态图像的高频子带系数进行融合，本申请对表征图像细节特征的高频子带系数，采用本申请新提供的T2-FCHMM统计模型进行融合，具体的：
1、基于区间二型模糊集和CHMM模型(上下文隐马尔可夫模型)构建得到高频子带系数的T2-FCHMM统计模型，具体包括如下步骤：
建立一个高频子带系数的区间二型模糊上下文隐马尔可夫模型(T2-FCHMM)描述高频子带系数之间的相关性，每个隐状态上都是建立在区间二型模糊集上的模糊隐状态。那么，每一个模糊隐状态都与一个二型模糊隶属函数有关，本申请使用具有确定均值μ和不确定标准差σ的高斯型隶属函数作为二型模糊主隶属函数，如图2所示，标准差在区间
Figure BDA0003150494660000063
范围内，建立区间二型模糊集，主隶属函数的表达式为：
Figure BDA0003150494660000064
其中，exp()表示以自然常数e为底的指数函数。
由此，其上下边界对应的隶属函数(UMF、LMF)分别表示为
Figure BDA0003150494660000065
Figure BDA0003150494660000066
其中，k1、k2表示控制模型模糊性的不确定性因素，当k1的值越小或者k2的值越大时，表明不确定覆盖域(FOU)范围越大，模型的不确定性越大。
基于区间二型模糊集的高斯条件概率密度为：
Figure BDA0003150494660000071
对高频子带系数进行GMM建模得到：
Figure BDA0003150494660000072
其中，
Figure BDA0003150494660000073
为概率分布函数，且
Figure BDA0003150494660000074
是高频子带系数H在模糊隐状态为m时的高斯条件概率密度。
然后，建立T2-FCHMM模型来描述不同尺度间、同一尺度不同方向、同一空间领域内的系数相关性，每个系数都与一个上下文变量和一个模糊隐状态相关联，T2-FCHMM的参数集合Θ可以表示为：
Figure BDA0003150494660000075
其中，
Figure BDA0003150494660000076
分别是模糊隐状态
Figure BDA0003150494660000077
时j尺度和k方向的在(x,y)位置上的高频子带系数的方差的上下限。
Figure BDA0003150494660000078
分别是模糊隐状态
Figure BDA0003150494660000079
时j尺度和k方向的在(x,y)位置上的高频子带系数的概率分布的上下限。
Figure BDA00031504946600000710
分别是模糊隐状态
Figure BDA00031504946600000711
条件下，j尺度k方向的在(x,y)位置上的高频子带系数的上下文基于隐状态的概率值的上下限，v表示上下文变量的值。
使用期望最大化(EM)算法训练数据得到T2-FCHMM模型的参数，包括初始化和迭代训练两个步骤：
步骤1：初始化步骤
1.1)设置初始参数，
Figure BDA00031504946600000712
Figure BDA00031504946600000713
其中，σ2 η为已知噪声方差，δ2 j,k表示j尺度、k方向的高频子带平均能量，k1，k2为不确定性因素，每个模糊状态的标准差区间为
Figure BDA0003150494660000081
1.2)期望E步骤：根据贝叶斯定理，对每个系数计算模糊隐状态
Figure BDA0003150494660000082
的概率，
Figure BDA0003150494660000083
Figure BDA0003150494660000084
1.3)最大化M步骤：根据E步骤所得概率，计算以下参数，
Figure BDA0003150494660000085
Figure BDA0003150494660000086
Figure BDA0003150494660000087
Figure BDA0003150494660000088
其中，Mj,k，Nj,k分别是j尺度k方向高频子带的行数和列数；
1.4)当参数收敛或迭代次数达到预设的最大训练次数时，继续进行下一步，否则，设置训练次数加1，然后返回到步骤1.2)。
1.5)在高频子带上设置(2Wj+1)×(2Wj+1)大小的窗口，使用下列各式完成参数初始化，并将模型训练次数t置零，
Figure BDA0003150494660000089
Figure BDA00031504946600000810
Figure BDA0003150494660000091
Figure BDA0003150494660000092
Figure BDA0003150494660000093
Figure BDA0003150494660000094
步骤2：迭代训练步骤
2.1)期望E步骤：计算在当前系数和上下文变量的值为v的条件下，模糊隐状态
Figure BDA0003150494660000095
的概率，
Figure BDA0003150494660000096
Figure BDA0003150494660000097
2.2)最大化M步骤：通过下式更新模型各个参数，
Figure BDA0003150494660000098
Figure BDA0003150494660000099
Figure BDA00031504946600000910
Figure BDA00031504946600000911
Figure BDA00031504946600000912
Figure BDA0003150494660000101
置t＝t+1，迭代训练步骤2直至收敛或达到预设的最大迭代次数T；
2、在构建得到高频子带系数的T2-FCHMM统计模型后，即可利用T2-FCHMM统计模型提取得到高频子带系数的边缘概率密度和模糊熵并处理得到对应的T2-FCHMM模型统计特征，具体的：
(1)由T2-FCHMM模型统计训练得到高频子带系数的标准差和概率密度函数，为计算高频子带系数的边缘概率密度，首先通过取标准差区间中值的方式解模糊，
Figure BDA0003150494660000102
得到σj,k,x,y,m作为j尺度k方向的高频子带在(x,y)位置的标准差参数，带入模型中计算得到在该方差下的边缘概率密度函数，
Figure BDA0003150494660000103
Figure BDA0003150494660000104
由此，第A幅待融合多模态图像的高频子带系数的边缘概率密度可以表示为
Figure BDA0003150494660000105
第B幅待融合多模态图像的高频子带系数的边缘概率密度可以表示为
Figure BDA0003150494660000106
在计算得到两幅待融合多模态图像的高频子带系数的边缘概率密度后，进一步计算得到每幅待融合多模态图像的高频子带系数的边缘概率密度的区域能量。
第A幅待融合多模态图像和第B幅待融合多模态图像的基于边缘概率密度的区域能量
Figure BDA0003150494660000107
和
Figure BDA0003150494660000108
的计算公式分别为：
Figure BDA0003150494660000111
Figure BDA0003150494660000112
其中，W1和W2表示预设窗口的长宽，i和b为参数。
(2)提取得到高频子带系数的模糊熵。第A幅待融合多模态图像的高频子带系数的模糊熵
Figure BDA0003150494660000113
和第B幅待融合多模态图像的高频子带系数的模糊熵
Figure BDA0003150494660000114
分别为：
Figure BDA0003150494660000115
Figure BDA0003150494660000116
其中,
Figure BDA0003150494660000117
Figure BDA0003150494660000118
Figure BDA0003150494660000119
Figure BDA00031504946600001110
其中，Mj,k，Nj,k分别是j尺度k方向高频子带系数
Figure BDA00031504946600001111
和
Figure BDA00031504946600001112
的行数和列数，
Figure BDA00031504946600001113
是主隶属函数确定的模糊隐状态
Figure BDA00031504946600001114
时的上边界的隶属函数值，f m()是主隶属函数确定的模糊隐状态
Figure BDA00031504946600001115
时的下边界的隶属函数值。
(3)得到每幅待融合多模态图像的边缘概率密度的区域能量和模糊熵后，计算得到高频子带系数的T2-FCHMM模型统计特征。第A幅待融合多模态图像的T2-FCHMM模型统计特征
Figure BDA0003150494660000121
和第B幅待融合多模态图像的T2-FCHMM模型统计特征
Figure BDA0003150494660000122
为：
Figure BDA0003150494660000123
Figure BDA0003150494660000124
3、对每幅待融合多模态图像的高频子带系数的区域能量和T2-FCHMM模型统计特征加权得到对应的高频子带系数的活动测度。高频子带系数主要包含了图像的细节信息，高频子带系数绝对值越大的地方对应的图像信息也越丰富，由于单个像素点缺乏对图像的局部特征的体现，并且极易受噪声干扰，因此选取高频子带系数的区域能量特征来体现图像局部细节特征。
第A幅待融合多模态图像的高频子带系数的区域能量
Figure BDA0003150494660000125
和第B幅待融合多模态图像的高频子带系数的区域能量
Figure BDA0003150494660000126
为：
Figure BDA0003150494660000127
Figure BDA0003150494660000128
其中，W3和W4表
Figure BDA0003150494660000129
示预设窗口的长宽，u、c为参数，
Figure BDA00031504946600001210
和
Figure BDA00031504946600001211
分别表示第A幅待融合多模态图像和第B幅待融合多模态图像的j尺度和k方向的在(x+u,y+c)位置上的高频子带系数。
由此，自适应加权处理得到第A幅待融合多模态图像的高频子带系数的活动测度
Figure BDA00031504946600001212
和第B幅待融合多模态图像的像素点位置(x,y)处的高频子带系数的活动测度
Figure BDA00031504946600001213
为：
Figure BDA00031504946600001214
Figure BDA00031504946600001215
4、根据两幅待融合多模态图像的高频子带系数的活动测度进行高频子带系数融合得到高频融合子带，像素点位置(x,y)处的高频融合子带
Figure BDA0003150494660000131
的计算公式为：
Figure BDA0003150494660000132
三、对低频融合子带LF(x,y)和高频融合子带
Figure BDA0003150494660000133
进行NSST逆变换得到融合图像。
为了说明本申请的技术方案的有效性，本申请以如下一个实验来进行仿真验证，所采用的硬件平台为：Intel(R)处理器，CPU主频1.80GHz，内存1.0GB。所采用的软件平台为：MATLAB R2015a。
在一个仿真实验中，对红外与可见光图像采用本申请公开的方法进行图像融合，请参考图3，第A幅待融合多模态图像如图3(a)，第B幅待融合多模态图像如图3(b)，图像大小均为256×256，png格式。在对图3(a)和图3(b)进行图像融合时，基于卷积稀疏表示的融合算法(ConvSR)得到的融合图像如图3(c)所示，基于梯度转移(GTF)得到的融合图像如图3(d)所示，基于GAN(FusionGAN)得到的融合图像如图3(e)所示，基于多层融合策略(VggML)得到的融合图像如图3(f)所示，基于ResNet50和零相分量分析(ResNet-ZCA)得到的融合图像如图3(g)所示，基于密集块(DenseFuse)得到的融合图像如图3(h)所示，基于本申请公开的融合算法得到的融合图像如图3(i)所示。
通过图3(c)-图3(i)的分析可以看出：图3(c)存在整体亮度较低，对比度不高的问题。图3(d)和图3(e)整体模糊，例如行人、车辆等目标信息轮廓不清晰，融合效果极差。图3(f)、图3(g)和图3(h)的对比度较低，部分细节模糊，比如右上角的行人。本申请提供的图像融合方法的融合结果图3(i)整体亮度高、对比度高，图像的目标信息清晰且突出，效果更好。
在另一个仿真实验中，对医学图像采用本申请公开的方法进行图像融合，请参考图4，第A幅待融合多模态图像如图4(a)，第B幅待融合多模态图像如图4(b)，图像大小均为256×256，png格式。在对图4(a)和图4(b)进行图像融合时，基于卷积稀疏表示的融合算法(ConvSR)得到的融合图像如图4(c)所示，基于梯度转移(GTF)得到的融合图像如图4(d)所示，基于GAN(FusionGAN)得到的融合图像如图4(e)所示，基于多层融合策略(VggML)得到的融合图像如图4(f)所示，基于ResNet50和零相分量分析(ResNet-ZCA)得到的融合图像如图4(g)所示，基于密集块(DenseFuse)得到的融合图像如图4(h)所示，基于本申请公开的融合算法得到的融合图像如图4(i)所示。
通过图4(c)-图4(i)的分析可以看出：图4(c)和图4(h)中图像下半部分存在组织轮廓不清晰的问题，图4(d)存在整体亮度较低，对比度不高的问题。图4(e)与4(f)整体的亮度高于图4(d)，但存在着噪声信息过多，这导致图像内部组织轮廓受噪声干扰严重。图4(g)存在整体模糊，图像轮廓不清晰的问题。本专利所提方法的融合结果图4(i)整体亮度高、噪声少，具有清晰的边缘轮廓和丰富的细节信息。
表1和表2给出了两种数据集利用各种融合方法实验结果的客观评价指标，数据加粗表明对应的图像融合方法所得评价指标取值最优。ConvSR是基于卷积稀疏表示的图像融合算法，GTF是基于梯度转移的图像融合算法，JSR是基于联合稀疏表示模型的图像融合算法，JSRSD是基于带显著性检测的JSR模型的图像融合算法，CNN是基于深度卷积神经网络的图像融合算法，VggML是基于多层融合策略的图像融合算法，ResNet-ZCA是基于ResNet50和零相分量分析的图像融合算法，FusionGAN是基于GAN的图像融合算法，DenseFuse是基于密集块的图像融合算法，T2-FCHMM是本发明提出的基于区间二型模糊集和上下文隐马尔可夫模型的图像融合算法。实验选用标准差SD，视觉信息保真度VIF，平均梯度AG，边缘强度EI，Piella度量Q、Qw、Qe和空间频率SF作为客观评价指标。
由表1和表2的数据表明，本发明方法所获得的融合图像在标准差、视觉信息保真度、平均梯度、边缘强度等客观评价指标上均要优于其它的融合方法。标准差反应的是图像灰度相比于灰度均值的离散程度，其值越大则灰度级越分散，则视觉效果越好；平均梯度反应的是图像的清晰度，其值越大视觉效果越好；边缘强度衡量的是图像边缘细节的丰富程度，其值越大则主观效果越好；Q、Qw和Qe分别表示融合质量指数、加权融合质量指数和边缘相关融合质量指数，其值越大融合质量越高，视觉效果越好；空间频率反应的是融合图像的灰度变化程度，其值越大说明融合图像的细节性越好。
从各仿真实验的融合结果可以看出，本发明的融合图像全局清晰，目标明确，融合图像边缘清晰且细节信息丰富。无论是从主观人类视觉感知上还是客观评价指标上都能证明本发明的有效性。
表1 第一组红外与可见光图像融合结果客观评价指标
Figure BDA0003150494660000151
表2 第二组医学图像融合结果客观评价指标
Figure BDA0003150494660000152
Figure BDA0003150494660000161
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (5)

1.一种基于区间二型模糊集和CHMM模型的图像融合方法，其特征在于，所述方法包括以下步骤：
获取两幅待融合多模态图像并分别进行NSST变换得到各自对应的高频子带系数和低频子带系数；
对每幅待融合多模态图像的低频子带系数的区域能量和区域方差进行自适应加权处理得到对应的低频子带系数的活动测度，根据两幅待融合多模态图像的低频子带系数的活动测度进行低频子带系数融合得到低频融合子带；
对于每幅待融合多模态图像的高频子带系数，建立一个所述高频子带系数的区间二型模糊上下文隐马尔可夫模型描述高频子带系数的统计特性，在每个隐状态上建立区间二型模糊集得到模糊隐状态，构建得到所述高频子带系数的T2-FCHMM统计模型；基于所述高频子带系数的T2-FCHMM统计模型提取得到所述高频子带系数的边缘概率密度和模糊熵并处理得到对应的T2-FCHMM模型统计特征；
对每幅待融合多模态图像的高频子带系数的区域能量和T2-FCHMM模型统计特征加权得到对应的高频子带系数的活动测度，根据两幅待融合多模态图像的高频子带系数的活动测度进行高频子带系数融合得到高频融合子带；
对所述低频融合子带和所述高频融合子带进行NSST逆变换得到融合图像。
2.根据权利要求1所述的图像融合方法，其特征在于，所述处理得到对应的T2-FCHMM模型统计特征，包括对于第A幅待融合多模态图像的高频子带系数
Figure FDA0003150494650000011
由所述高频子带系数
Figure FDA0003150494650000012
的边缘概率密度
Figure FDA0003150494650000013
按照公式
Figure FDA0003150494650000021
计算得到所述高频子带系数
Figure FDA0003150494650000022
的边缘概率密度的区域能量
Figure FDA0003150494650000023
其中，W1和W2表示预设窗口的长宽，i和b为参数，x和y表示待融合多模态图像的像素点位置，j表示分解尺度、k表示高频子带的方向；
由所述高频子带系数
Figure FDA0003150494650000024
的边缘概率密度的区域能量
Figure FDA0003150494650000025
和模糊熵
Figure FDA0003150494650000026
按照公式
Figure FDA0003150494650000027
计算得到所述高频子带系数
Figure FDA0003150494650000028
的T2-FCHMM模型统计特征。
3.根据权利要求1所述的图像融合方法，其特征在于，所述基于所述高频子带系数的T2-FCHMM统计模型提取得到所述高频子带系数的边缘概率密度，包括：
在高频方向子带系数上构建T2-FCHMM统计模型，首先在每一个隐状态上建立区间二型模糊集，得到模糊化的隐状态，每一个模糊隐状态都与一个二型模糊隶属函数有关，使用具有确定均值μ和不确定标准差σ的高斯型隶属函数作为主隶属函数，定义如下：
Figure FDA0003150494650000029
其上下边界对应的隶属函数(UMF，LMF)分别表示为
Figure FDA00031504946500000210
f(x)，
Figure FDA00031504946500000211
Figure FDA00031504946500000212
其中,k1和k2是控制模型模糊性的不确定性因素，当k1的值越小或k2的值越大，表明不确定覆盖域(FOU)范围越大，模型的不确定性越大；
基于区间二型模糊集的高斯条件概率密度函数表示如下：
Figure FDA0003150494650000031
对高频子带系数进行GMM建模，
Figure FDA0003150494650000032
其中，
Figure FDA0003150494650000033
为概率分布函数，且
Figure FDA0003150494650000034
是高频系数H在模糊隐状态为m时的高斯条件概率密度；
然后，建立T2-FCHMM模型来描述不同尺度间、同一尺度不同方向、同一尺度空间领域内的系数相关性，每个系数都与一个上下文变量和一个模糊隐状态相关联，T2-FCHMM的参数集合可以表示为：
Figure FDA0003150494650000035
其中，
Figure FDA0003150494650000036
分别是模糊隐状态为m时方差的上下限，
Figure FDA0003150494650000037
Figure FDA0003150494650000038
分别是模糊隐状态
Figure FDA0003150494650000039
的概率分布函数的上下限，且
Figure FDA00031504946500000310
Figure FDA00031504946500000311
是模糊隐状态
Figure FDA00031504946500000312
条件下基于上下文的概率值的上下限；
使用期望最大化(EM)算法训练数据得到T2-FCHMM模型的参数，包括初始化和迭代训练两个步骤，具体计算过程如下：
(1)初始化步骤
1.1)设置初始参数，
Figure FDA00031504946500000313
Figure FDA00031504946500000314
其中，σ2 η为已知噪声方差，δ2 j,k表示j尺度、k方向的高频子带平均能量，k1、k2为不确定性因素，每个模糊状态的标准差区间为
Figure FDA00031504946500000315
1.2)期望E步骤：根据贝叶斯定理，对每个系数计算模糊隐状态
Figure FDA0003150494650000041
的概率，
Figure FDA0003150494650000042
Figure FDA0003150494650000043
1.3)最大化M步骤：根据E步骤所得概率，计算以下参数，
Figure FDA0003150494650000044
Figure FDA0003150494650000045
Figure FDA00031504946500000410
Figure FDA0003150494650000046
其中，Mj,k，Nj,k分别是j尺度k方向高频子带的行数和列数；
1.4)当参数收敛或迭代次数达到预设的最大训练次数时，继续进行下一步，否则，设置训练次数加1，然后返回到步骤1.2)；
1.5)在高频子带上设置(2Wj+1)×(2Wj+1)大小的窗口，使用下列各式完成参数初始化，并将模型训练次数t置零，
Figure FDA0003150494650000047
Figure FDA0003150494650000048
Figure FDA0003150494650000049
Figure FDA0003150494650000051
Figure FDA0003150494650000052
Figure FDA0003150494650000053
(2)迭代训练步骤
2.1)期望E步骤：计算在当前系数和上下文变量的值为v的条件下，模糊隐状态
Figure FDA0003150494650000054
的概率，
Figure FDA0003150494650000055
Figure FDA0003150494650000056
2.2)最大化M步骤：通过下式更新模型各个参数，
Figure FDA0003150494650000057
Figure FDA0003150494650000058
Figure FDA0003150494650000059
Figure FDA00031504946500000510
Figure FDA00031504946500000511
Figure FDA00031504946500000512
置t＝t+1，迭代训练步骤(2)直至收敛或达到预设的最大迭代次数T；
由T2-FCHMM模型训练得到高频系数的标准差和概率密度函数，为计算高频系数的边缘概率密度函数，首先通过取标准差区间中值的方式解模糊，
Figure FDA0003150494650000061
得到σj,k,x,y,m作为j尺度k方向的高频子带在(x,y)位置的标准差参数，带入模型中计算得到在该方差下的边缘概率密度函数，
Figure FDA0003150494650000062
Figure FDA0003150494650000063
然后，计算高频系数的基于边缘概率密度的区域能量，
Figure FDA0003150494650000064
Figure FDA0003150494650000065
4.根据权利要求1所述的图像融合方法，其特征在于，基于所述高频子带系数的T2-FCHMM统计模型提取得到所述高频子带系数的模糊熵，包括对于第A幅待融合多模态图像的高频子带系数
Figure FDA0003150494650000066
按照如下公式计算得到模糊熵：
Figure FDA0003150494650000067
其中：
Figure FDA0003150494650000068
Figure FDA0003150494650000071
其中，Mj,k，Nj,k分别是j尺度k方向高频子带系数
Figure FDA0003150494650000072
的行数和列数，
Figure FDA0003150494650000073
是基于主隶属函数确定的高频系数
Figure FDA0003150494650000074
在模糊隐状态
Figure FDA0003150494650000075
时的上边界的隶属函数值，f m()是基于主隶属函数确定的高频系数
Figure FDA0003150494650000076
在模糊隐状态
Figure FDA0003150494650000077
时的下边界的隶属函数值。
5.根据权利要求1所述的图像融合方法，其特征在于，所述对每幅待融合多模态图像的高频子带系数的区域能量和T2-FCHMM模型统计特征进行自适应加权处理得到对应的高频子带系数的活动测度，包括：
计算第A幅待融合多模态图像的高频子带系数的区域能量
Figure FDA0003150494650000078
为：
Figure FDA0003150494650000079
将第A幅待融合多模态图像的高频子带系数的区域能量
Figure FDA00031504946500000710
与T2-FCHMM模型统计特征
Figure FDA00031504946500000711
按照公式
Figure FDA00031504946500000712
加权得到对应的高频子带系数的活动测度；
其中，u、c为参数，W3和W4表示预设窗口的长宽，
Figure FDA00031504946500000713
表示第A幅待融合多模态图像在j尺度k方向(x+u,y+c)位置上的高频子带系数。
CN202110764386.3A 2021-07-06 2021-07-06 基于区间二型模糊集和chmm模型的图像融合方法 Active CN113379666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110764386.3A CN113379666B (zh) 2021-07-06 2021-07-06 基于区间二型模糊集和chmm模型的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110764386.3A CN113379666B (zh) 2021-07-06 2021-07-06 基于区间二型模糊集和chmm模型的图像融合方法

Publications (2)

Publication Number Publication Date
CN113379666A true CN113379666A (zh) 2021-09-10
CN113379666B CN113379666B (zh) 2024-03-12

Family

ID=77581202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110764386.3A Active CN113379666B (zh) 2021-07-06 2021-07-06 基于区间二型模糊集和chmm模型的图像融合方法

Country Status (1)

Country Link
CN (1) CN113379666B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118379316A (zh) * 2024-06-21 2024-07-23 中铁电气化铁路运营管理有限公司 基于熵分析与边缘密度的图像边缘检测方法、系统及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685158A (zh) * 2009-07-02 2010-03-31 西安电子科技大学 基于隐马尔科夫树模型的sar图像去噪方法
CN103985105A (zh) * 2014-02-20 2014-08-13 江南大学 基于统计建模的Contourlet域多模态医学图像融合方法
CN104008537A (zh) * 2013-11-04 2014-08-27 无锡金帆钻凿设备股份有限公司 结合cs-ct-chmm的噪声图像融合新方法
US20180020217A1 (en) * 2016-07-12 2018-01-18 Canon Kabushiki Kaisha Image encoding apparatus, image decoding apparatus, and control methods therefor
CN111754447A (zh) * 2020-07-06 2020-10-09 江南大学 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685158A (zh) * 2009-07-02 2010-03-31 西安电子科技大学 基于隐马尔科夫树模型的sar图像去噪方法
CN104008537A (zh) * 2013-11-04 2014-08-27 无锡金帆钻凿设备股份有限公司 结合cs-ct-chmm的噪声图像融合新方法
CN103985105A (zh) * 2014-02-20 2014-08-13 江南大学 基于统计建模的Contourlet域多模态医学图像融合方法
US20180020217A1 (en) * 2016-07-12 2018-01-18 Canon Kabushiki Kaisha Image encoding apparatus, image decoding apparatus, and control methods therefor
CN111754447A (zh) * 2020-07-06 2020-10-09 江南大学 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118379316A (zh) * 2024-06-21 2024-07-23 中铁电气化铁路运营管理有限公司 基于熵分析与边缘密度的图像边缘检测方法、系统及设备
CN118379316B (zh) * 2024-06-21 2024-09-13 中铁电气化铁路运营管理有限公司 基于熵分析与边缘密度的图像边缘检测方法、系统及设备

Also Published As

Publication number Publication date
CN113379666B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN102609904B (zh) 双变量非局部平均滤波x射线图像消噪方法
Xu et al. Inter/intra-category discriminative features for aerial image classification: A quality-aware selection model
CN102567973B (zh) 基于改进的形状自适应窗口的图像去噪方法
CN112509001A (zh) 一种多尺度和多特征融合的特征金字塔网络盲复原方法
CN107506761A (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN108399611B (zh) 基于梯度正则化的多聚焦图像融合方法
CN110363763B (zh) 图像质量评价方法、装置、电子设备及可读存储介质
CN105957063A (zh) 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统
CN110443775B (zh) 基于卷积神经网络的离散小波变换域多聚焦图像融合方法
CN105260998A (zh) 基于mcmc采样和阈值低秩逼近的图像去噪方法
CN107730536B (zh) 一种基于深度特征的高速相关滤波物体追踪方法
CN108564597A (zh) 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法
CN104732492A (zh) 一种深度图像的去噪方法
CN110866872B (zh) 一种路面裂缝图片预处理智能选择方法、装置及电子设备
CN104657951A (zh) 图像乘性噪声移除方法
CN113657491A (zh) 一种用于信号调制类型识别的神经网络设计方法
CN105809649B (zh) 基于变分多尺度分解的sar图像与可见光图像融合方法
CN112087970A (zh) 信息处理装置、信息处理方法、计算机程序
Gu et al. A two-component deep learning network for SAR image denoising
CN113393457A (zh) 一种结合残差密集块与位置注意力的无锚框目标检测方法
CN110275147A (zh) 基于迁移深度神经网络的人体行为微多普勒的分类识别方法
CN114897728A (zh) 图像增强方法、装置、终端设备以及存储介质
CN112733589A (zh) 一种基于深度学习的红外图像行人检测方法
CN113592729A (zh) 基于nsct域的电力设备红外图像增强方法
CN116596879A (zh) 基于边界样本分位数的葡萄霜霉病自适应识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant