CN113379666B - 基于区间二型模糊集和chmm模型的图像融合方法 - Google Patents
基于区间二型模糊集和chmm模型的图像融合方法 Download PDFInfo
- Publication number
- CN113379666B CN113379666B CN202110764386.3A CN202110764386A CN113379666B CN 113379666 B CN113379666 B CN 113379666B CN 202110764386 A CN202110764386 A CN 202110764386A CN 113379666 B CN113379666 B CN 113379666B
- Authority
- CN
- China
- Prior art keywords
- frequency
- coefficient
- fusion
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 102
- 230000000694 effects Effects 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 238000013179 statistical model Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于区间二型模糊集和CHMM模型的图像融合方法，涉及图像融合领域，包括：对两幅待融合图像的低频子带进行活动测度度量，并根据低频活动测度进行低频子带系数融合得到低频融合子带；利用上下文隐马尔可夫模型描述高频子带系数之间的相关性，构建得到高频子带系数的T2‑FCHMM统计模型；将得到的高频子带系数的边缘概率密度和模糊熵结合起来作为T2‑FCHMM模型统计特征与高频子带系数的区域能量结合得到高频子带系数的活动测度，根据高频子带系数的活动测度进行高频子带系数融合得到高频融合子带；对低频融合子带和高频融合子带进行逆变换得到融合图像，从而增加了融合图像的可信度和可理解性。
Description
技术领域
本发明涉及图像融合领域，尤其是一种基于区间二型模糊集和CHMM模型的图像融合方法。
背景技术
图像融合是指将两幅或两幅以上的图像通过特定的算法融合为一幅新的图像的技术，使其具有比单一图像更丰富、可靠、清晰的综合信息，目前，图像融合技术在许多领域都得到了广泛的应用，包括遥感图像的分析和处理、无人驾驶、医学图像处理和军事目标识别等方面。
多尺度变换作为一种常用的图像处理手段被广泛使用，能够将图像从空间域变换到变换域中，得到反映图像概貌的低频子带系数和反映图像细节和纹理的高频子带系数，分别对低频子带系数和高频子带系数设计融合规则得到低频和高频融合子带，最后通过逆变换得到融合图像。
多尺度变换设计两个基本问题，即多尺度分解方法的选择和用于多尺度系数融合的融合策略，一直以来，许多研究者不断尝试解决这两个问题，目前对于多尺度分解方法有多种：非下采样剪切波变化NSST、非下采样轮廓波变换NSCT，其中，非下采样剪切波变化NSST集成剪切波变换多方向性的优点的同时，避免了伪吉布斯现象的出现，相比于非下采样轮廓波变换操作效率更好、复杂度也较低，因而更适用于多模态图像融合。
NSST域分解系数在尺度间、方向间和空间邻域内存在极强的统计相关性，作为一种有效的统计建模技术，上下文隐马尔可夫模型CHMM(Contextual Hidden Markov Model)能够利用上下文信息来充分、有效地捕获NSST域高频方向子带系数的相关性。但是，由于CHMM模型的参数是不确定的，训练数据不足、数据损坏、噪声等都会对建模结果产生影响，导致建模不准确，进而影响融合图像的质量。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于区间二型模糊集和CHMM模型的图像融合方法，本发明的技术方案如下：
一种基于区间二型模糊集和CHMM模型的图像融合方法，其特征在于，方法包括以下步骤：
获取两幅待融合多模态图像并分别进行NSST变换得到各自对应的高频子带系数和低频子带系数；
对每幅待融合多模态图像的低频子带系数的区域能量和区域方差进行自适应加权处理得到对应的低频子带系数的活动测度，根据两幅待融合多模态图像的低频活动测度进行低频子带系数融合得到低频融合子带；
对于每幅待融合多模态图像的高频子带系数，建立一个高频子带系数的模糊上下文隐马尔可夫模型描述高频子带系数的统计特性，在每个隐状态上建立区间二型模糊集得到模糊隐状态，构建得到高频子带系数的T2-FCHMM统计模型；基于高频子带系数的T2-FCHMM统计模型提取得到高频子带系数的边缘概率密度的区域能量和模糊熵并处理得到对应的T2-FCHMM模型统计特征；
对每幅待融合多模态图像的高频子带系数的区域能量和T2-FCHMM模型统计特征加权得到对应的高频子带系数的活动测度，根据两幅待融合多模态图像的高频子带系数的活动测度进行高频子带系数融合得到高频融合子带；
对低频融合子带和高频融合子带进行NSST逆变换得到融合图像。
本发明的有益技术效果是：本发明采用基于区间二型模糊集和CHMM(上下文隐马尔可夫)模型的图像融合方法，通过模糊集理论，利用隶属度函数精确的表达不确定的归属问题，解决由于训练数据不足、数据损坏、噪声等造成上下文隐马尔可夫模型参数的不准确问题，利用区间二型模糊集增强模型对数据的表达能力，增加特征提取的可信度，进而提高融合图像的质量；本发明的图像融合方法对低频近似子带系数，采用基于区域能量和区域方差自适应加权的融合规则，能有效提高图像的亮度和对比度，改善整体视觉效果；对于高频子带系数，利用T2-FCHMM模型对系数精确的表达能力，综合高频子带系数的基于边缘概率密度的区域能量和模糊熵得到高频系数的T2-FCHMM模型统计特征，将它与高频系数区域能量加权作为高频子带系数的活动测度指导高频融合，可以充分考虑建模过程中的不确定性，最大限度地保护图像中的边缘轮廓和纹理信息，避免丢失细节，从而增加图像的可信度和可理解性。
附图说明
图1是本申请的方法结构框图。
图2是本申请的二型模糊隶属函数示意图。
图3中，(a)和(b)是第一个实施例的待融合的红外与可见光图像；(c)是基于卷积稀疏表示的融合算法(ConvSR)得到的融合图像；(d)是基于梯度转移(GTF)得到的融合图像，(e)是基于GAN(FusionGAN)得到的融合图像，(f)是基于多层融合策略(VggML)得到的融合图像，(g)是基于ResNet50和零相分量分析(ResNet-ZCA)得到的融合图像，(h)是基于密集块(DenseFuse)得到的融合图像，(i)是基于本申请公开的图像融合方法得到的融合图像。
图4中，(a)和(b)是第二个实施例的待融合的医学图像；(c)是基于卷积稀疏表示的融合算法(ConvSR)得到的融合图像；(d)是基于梯度转移(GTF)得到的融合图像，(e)是基于GAN(FusionGAN)得到的融合图像，(f)是基于多层融合策略(VggML)得到的融合图像，(g)是基于ResNet50和零相分量分析(ResNet-ZCA)得到的融合图像，(h)是基于密集块(DenseFuse)得到的融合图像，(i)是基于本申请公开的图像融合方法得到的融合图像。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
一种基于区间二型模糊集和CHMM模型的图像融合方法，请参考图1所示的信息流向图：
获取两幅待融合多模态图像A和B并分别进行NSST变换得到各自对应的高频子带系数和低频子带系数，对第A幅待融合多模态图像进行NSST变换得到(x,y)位置的低频子带系数和高频子带系数/>对第B幅待融合多模态图像进行NSST变换得到(x,y)位置的低频子带系数/>和高频子带系数/>其中j表示分解尺度，k表示高频子带的方向。其中滤波器选择maxflat，分解为2个尺度，对应的方向数目分别为4、8。
下面需要使用不同的融合规则对两幅待融合多模态图像的低频子带系数和高频子带系数进行融合以确定对应的低频融合子带和高频融合子带：
一、对第A幅待融合多模态图像和第B幅待融合多模态图像的低频子带系数进行融合，本申请对表征图像近似信息的低频子带系数，采用基于区域能量和区域方差自适应加权的融合规则进行融合，具体的：
1、对每幅待融合多模态图像的低频子带系数的区域能量和区域方差进行自适应加权处理得到对应的低频子带系数的活动测度。
第A幅待融合多模态图像的低频子带系数的以像素点位置(x,y)为中心的W1·W2窗口内的区域能量LEA(x,y)和第B幅待融合多模态图像的低频子带系数的区域能量LEB(x,y)的计算公式为：
第A幅待融合多模态图像的低频子带系数的区域方差LVarA(x,y)和第B幅待融合多模态图像的低频子带系数的区域方差LVarB(x,y)的计算公式为：
其中，和/>分别表示第A幅待融合多模态图像和第B幅待融合多模态图像以(x,y)为中心的W1·W2窗口内的低频子带系数的均值。
由此可以得到，第A幅待融合多模态图像的低频子带系数的活动测度LMA(x,y)和第B幅待融合多模态图像的像素点位置(x,y)处的低频子带系数的活动测度LMB(x,y)为：
其中，αA和βA分别表示第A幅待融合多模态图像的区域能量权重和区域方差权重，αB和βB分别表示第B幅待融合多模态图像的区域能量权重和区域方差权重，计算公式分别为：
其中，W1和W2表示预设窗口的长宽，d、h、a和m为参数，和/>分别表示第A幅待融合多模态图像和第B幅待融合多模态图像在(x+i,y+h)位置上的低频子带系数。
2、根据两幅待融合多模态图像的低频子带系数的活动测度进行低频子带系数融合得到低频融合子带。低频融合子带LF(x,y)的计算方法为：
LMA(x,y)和LMB(x,y)表示第A幅待融合多模态图像的低频子带系数的活动测度和第B幅待融合多模态图像的低频子带系数的活动测度,和/>分别表示第A幅待融合多模态图像和第B幅待融合多模态图像在(x,y)位置上的低频子带系数。
二、对第A幅待融合多模态图像和第B幅待融合多模态图像的高频子带系数进行融合，本申请对表征图像细节特征的高频子带系数，采用本申请新提供的T2-FCHMM统计模型进行融合，具体的：
1、基于区间二型模糊集和CHMM模型(上下文隐马尔可夫模型)构建得到高频子带系数的T2-FCHMM统计模型，具体包括如下步骤：
建立一个高频子带系数的区间二型模糊上下文隐马尔可夫模型(T2-FCHMM)描述高频子带系数之间的相关性，每个隐状态上都是建立在区间二型模糊集上的模糊隐状态。那么，每一个模糊隐状态都与一个二型模糊隶属函数有关，本申请使用具有确定均值μ和不确定标准差σ的高斯型隶属函数作为二型模糊主隶属函数，如图2所示，标准差在区间范围内，建立区间二型模糊集，主隶属函数的表达式为：
其中，exp()表示以自然常数e为底的指数函数。
由此，其上下边界对应的隶属函数(UMF、LMF)分别表示为
其中，k1、k2表示控制模型模糊性的不确定性因素，当k1的值越小或者k2的值越大时，表明不确定覆盖域(FOU)范围越大，模型的不确定性越大。
基于区间二型模糊集的高斯条件概率密度为：
对高频子带系数进行GMM建模得到：
其中，为概率分布函数，且/>是高频子带系数H在模糊隐状态为m时的高斯条件概率密度。
然后，建立T2-FCHMM模型来描述不同尺度间、同一尺度不同方向、同一空间领域内的系数相关性，每个系数都与一个上下文变量和一个模糊隐状态相关联，T2-FCHMM的参数集合Θ可以表示为：
其中，分别是模糊隐状态/>时j尺度和k方向的在(x,y)位置上的高频子带系数的方差的上下限。/>分别是模糊隐状态时j尺度和k方向的在(x,y)位置上的高频子带系数的概率分布的上下限。分别是模糊隐状态/>条件下，j尺度k方向的在(x,y)位置上的高频子带系数的上下文基于隐状态的概率值的上下限，v表示上下文变量的值。
使用期望最大化(EM)算法训练数据得到T2-FCHMM模型的参数，包括初始化和迭代训练两个步骤：
步骤1：初始化步骤
1.1)设置初始参数，
其中，σ2 η为已知噪声方差，δ2 j,k表示j尺度、k方向的高频子带平均能量，k1，k2为不确定性因素，每个模糊状态的标准差区间为
1.2)期望E步骤：根据贝叶斯定理，对每个系数计算模糊隐状态的概率，
1.3)最大化M步骤：根据E步骤所得概率，计算以下参数，
其中，Mj,k，Nj,k分别是j尺度k方向高频子带的行数和列数；
1.4)当参数收敛或迭代次数达到预设的最大训练次数时，继续进行下一步，否则，设置训练次数加1，然后返回到步骤1.2)。
1.5)在高频子带上设置(2Wj+1)×(2Wj+1)大小的窗口，使用下列各式完成参数初始化，并将模型训练次数t置零，
步骤2：迭代训练步骤
2.1)期望E步骤：计算在当前系数和上下文变量的值为v的条件下，模糊隐状态的概率，
2.2)最大化M步骤：通过下式更新模型各个参数，
置t＝t+1，迭代训练步骤2直至收敛或达到预设的最大迭代次数T；
2、在构建得到高频子带系数的T2-FCHMM统计模型后，即可利用T2-FCHMM统计模型提取得到高频子带系数的边缘概率密度和模糊熵并处理得到对应的T2-FCHMM模型统计特征，具体的：
(1)由T2-FCHMM模型统计训练得到高频子带系数的标准差和概率密度函数，为计算高频子带系数的边缘概率密度，首先通过取标准差区间中值的方式解模糊，
得到σj,k,x,y,m作为j尺度k方向的高频子带在(x,y)位置的标准差参数，带入模型中计算得到在该方差下的边缘概率密度函数，
由此，第A幅待融合多模态图像的高频子带系数的边缘概率密度可以表示为第B幅待融合多模态图像的高频子带系数的边缘概率密度可以表示为
在计算得到两幅待融合多模态图像的高频子带系数的边缘概率密度后，进一步计算得到每幅待融合多模态图像的高频子带系数的边缘概率密度的区域能量。
第A幅待融合多模态图像和第B幅待融合多模态图像的基于边缘概率密度的区域能量和/>的计算公式分别为：
其中，W1和W2表示预设窗口的长宽，i和b为参数。
(2)提取得到高频子带系数的模糊熵。第A幅待融合多模态图像的高频子带系数的模糊熵和第B幅待融合多模态图像的高频子带系数的模糊熵/>分别为：
其中,
其中，Mj,k，Nj,k分别是j尺度k方向高频子带系数和/>的行数和列数，是主隶属函数确定的模糊隐状态/>时的上边界的隶属函数值，f m()是主隶属函数确定的模糊隐状态/>时的下边界的隶属函数值。
(3)得到每幅待融合多模态图像的边缘概率密度的区域能量和模糊熵后，计算得到高频子带系数的T2-FCHMM模型统计特征。第A幅待融合多模态图像的T2-FCHMM模型统计特征和第B幅待融合多模态图像的T2-FCHMM模型统计特征/>为：
3、对每幅待融合多模态图像的高频子带系数的区域能量和T2-FCHMM模型统计特征加权得到对应的高频子带系数的活动测度。高频子带系数主要包含了图像的细节信息，高频子带系数绝对值越大的地方对应的图像信息也越丰富，由于单个像素点缺乏对图像的局部特征的体现，并且极易受噪声干扰，因此选取高频子带系数的区域能量特征来体现图像局部细节特征。
第A幅待融合多模态图像的高频子带系数的区域能量和第B幅待融合多模态图像的高频子带系数的区域能量/>为：
其中，W3和W4表示预设窗口的长宽，u、c为参数，/>和/>分别表示第A幅待融合多模态图像和第B幅待融合多模态图像的j尺度和k方向的在(x+u,y+c)位置上的高频子带系数。
由此，自适应加权处理得到第A幅待融合多模态图像的高频子带系数的活动测度和第B幅待融合多模态图像的像素点位置(x,y)处的高频子带系数的活动测度为：
4、根据两幅待融合多模态图像的高频子带系数的活动测度进行高频子带系数融合得到高频融合子带，像素点位置(x,y)处的高频融合子带的计算公式为：
三、对低频融合子带LF(x,y)和高频融合子带进行NSST逆变换得到融合图像。
为了说明本申请的技术方案的有效性，本申请以如下一个实验来进行仿真验证，所采用的硬件平台为：Intel(R)处理器，CPU主频1.80GHz，内存1.0GB。所采用的软件平台为：MATLAB R2015a。
在一个仿真实验中，对红外与可见光图像采用本申请公开的方法进行图像融合，请参考图3，第A幅待融合多模态图像如图3(a)，第B幅待融合多模态图像如图3(b)，图像大小均为256×256，png格式。在对图3(a)和图3(b)进行图像融合时，基于卷积稀疏表示的融合算法(ConvSR)得到的融合图像如图3(c)所示，基于梯度转移(GTF)得到的融合图像如图3(d)所示，基于GAN(FusionGAN)得到的融合图像如图3(e)所示，基于多层融合策略(VggML)得到的融合图像如图3(f)所示，基于ResNet50和零相分量分析(ResNet-ZCA)得到的融合图像如图3(g)所示，基于密集块(DenseFuse)得到的融合图像如图3(h)所示，基于本申请公开的融合算法得到的融合图像如图3(i)所示。
通过图3(c)-图3(i)的分析可以看出：图3(c)存在整体亮度较低，对比度不高的问题。图3(d)和图3(e)整体模糊，例如行人、车辆等目标信息轮廓不清晰，融合效果极差。图3(f)、图3(g)和图3(h)的对比度较低，部分细节模糊，比如右上角的行人。本申请提供的图像融合方法的融合结果图3(i)整体亮度高、对比度高，图像的目标信息清晰且突出，效果更好。
在另一个仿真实验中，对医学图像采用本申请公开的方法进行图像融合，请参考图4，第A幅待融合多模态图像如图4(a)，第B幅待融合多模态图像如图4(b)，图像大小均为256×256，png格式。在对图4(a)和图4(b)进行图像融合时，基于卷积稀疏表示的融合算法(ConvSR)得到的融合图像如图4(c)所示，基于梯度转移(GTF)得到的融合图像如图4(d)所示，基于GAN(FusionGAN)得到的融合图像如图4(e)所示，基于多层融合策略(VggML)得到的融合图像如图4(f)所示，基于ResNet50和零相分量分析(ResNet-ZCA)得到的融合图像如图4(g)所示，基于密集块(DenseFuse)得到的融合图像如图4(h)所示，基于本申请公开的融合算法得到的融合图像如图4(i)所示。
通过图4(c)-图4(i)的分析可以看出：图4(c)和图4(h)中图像下半部分存在组织轮廓不清晰的问题，图4(d)存在整体亮度较低，对比度不高的问题。图4(e)与4(f)整体的亮度高于图4(d)，但存在着噪声信息过多，这导致图像内部组织轮廓受噪声干扰严重。图4(g)存在整体模糊，图像轮廓不清晰的问题。本专利所提方法的融合结果图4(i)整体亮度高、噪声少，具有清晰的边缘轮廓和丰富的细节信息。
表1和表2给出了两种数据集利用各种融合方法实验结果的客观评价指标，数据加粗表明对应的图像融合方法所得评价指标取值最优。ConvSR是基于卷积稀疏表示的图像融合算法，GTF是基于梯度转移的图像融合算法，JSR是基于联合稀疏表示模型的图像融合算法，JSRSD是基于带显著性检测的JSR模型的图像融合算法，CNN是基于深度卷积神经网络的图像融合算法，VggML是基于多层融合策略的图像融合算法，ResNet-ZCA是基于ResNet50和零相分量分析的图像融合算法，FusionGAN是基于GAN的图像融合算法，DenseFuse是基于密集块的图像融合算法，T2-FCHMM是本发明提出的基于区间二型模糊集和上下文隐马尔可夫模型的图像融合算法。实验选用标准差SD，视觉信息保真度VIF，平均梯度AG，边缘强度EI，Piella度量Q、Qw、Qe和空间频率SF作为客观评价指标。
由表1和表2的数据表明，本发明方法所获得的融合图像在标准差、视觉信息保真度、平均梯度、边缘强度等客观评价指标上均要优于其它的融合方法。标准差反应的是图像灰度相比于灰度均值的离散程度，其值越大则灰度级越分散，则视觉效果越好；平均梯度反应的是图像的清晰度，其值越大视觉效果越好；边缘强度衡量的是图像边缘细节的丰富程度，其值越大则主观效果越好；Q、Qw和Qe分别表示融合质量指数、加权融合质量指数和边缘相关融合质量指数，其值越大融合质量越高，视觉效果越好；空间频率反应的是融合图像的灰度变化程度，其值越大说明融合图像的细节性越好。
从各仿真实验的融合结果可以看出，本发明的融合图像全局清晰，目标明确，融合图像边缘清晰且细节信息丰富。无论是从主观人类视觉感知上还是客观评价指标上都能证明本发明的有效性。
表1 第一组红外与可见光图像融合结果客观评价指标
表2 第二组医学图像融合结果客观评价指标
/>
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。
Claims (1)
1.一种基于区间二型模糊集和CHMM模型的图像融合方法，其特征在于，所述方法包括以下步骤：
获取两幅待融合多模态图像并分别进行NSST变换得到各自对应的高频子带系数和低频子带系数；
对每幅待融合多模态图像的低频子带系数的区域能量和区域方差进行自适应加权处理得到对应的低频子带系数的活动测度，根据两幅待融合多模态图像的低频子带系数的活动测度进行低频子带系数融合得到低频融合子带；
对于每幅待融合多模态图像的高频子带系数，建立一个所述高频子带系数的区间二型模糊上下文隐马尔可夫模型描述高频子带系数的统计特性，在每个隐状态上建立区间二型模糊集得到模糊隐状态，构建得到所述高频子带系数的T2-FCHMM统计模型；基于所述高频子带系数的T2-FCHMM统计模型提取得到所述高频子带系数的边缘概率密度和模糊熵并处理得到对应的T2-FCHMM模型统计特征；
对每幅待融合多模态图像的高频子带系数的区域能量和T2-FCHMM模型统计特征加权得到对应的高频子带系数的活动测度，根据两幅待融合多模态图像的高频子带系数的活动测度进行高频子带系数融合得到高频融合子带；
对所述低频融合子带和所述高频融合子带进行NSST逆变换得到融合图像；
所述处理得到对应的T2-FCHMM模型统计特征，包括对于第幅待融合多模态图像的高频子带系数/>：由所述高频子带系数/>的边缘概率密度/>按照公式计算得到所述高频子带系数/>的边缘概率密度的区域能量/>，其中，/>和/>表示预设窗口的长宽，/>和/>为参数，和/>表示待融合多模态图像的像素点位置，/>表示分解尺度、/>表示高频子带的方向；由所述高频子带系数/>的边缘概率密度的区域能量/>和模糊熵/>按照公式/>计算得到所述高频子带系数/>的T2-FCHMM模型统计特征；
所述基于所述高频子带系数的T2-FCHMM统计模型提取得到所述高频子带系数的边缘概率密度，包括：在高频方向子带系数上构建T2-FCHMM统计模型，首先在每一个隐状态上建立区间二型模糊集，得到模糊化的隐状态，每一个模糊隐状态都与一个二型模糊隶属函数有关，使用具有确定均值和不确定标准差/>的高斯型隶属函数作为主隶属函数，定义如下：
；
其上下边界对应的隶属函数（UMF，LMF）分别表示为， />，
,/>,
;
其中,和/>是控制模型模糊性的不确定性因素，当/>的值越小或/>的值越大，表明不确定覆盖域(FOU)范围越大，模型的不确定性越大；
基于区间二型模糊集的高斯条件概率密度函数表示如下：
；
对高频子带系数进行GMM建模，
；
其中，为概率分布函数，且/>，/>是高频系数H在模糊隐状态为m时的高斯条件概率密度；
然后，建立T2-FCHMM模型来描述不同尺度间、同一尺度不同方向、同一尺度空间领域内的系数相关性，每个系数都与一个上下文变量和一个模糊隐状态相关联，T2-FCHMM的参数集合可以表示为：
；
其中，、/>分别是模糊隐状态为/>时方差的上下限，/>、/>分别是模糊隐状态/>的概率分布函数的上下限，且/>，、/>是模糊隐状态/>条件下基于上下文的概率值的上下限；
使用期望最大化（EM）算法训练数据得到T2-FCHMM模型的参数，包括初始化和迭代训练两个步骤，具体计算过程如下：
（1）初始化步骤
1.1）设置初始参数，
；
其中，为已知噪声方差，/>表示j尺度、k方向的高频子带平均能量，/>、/>为不确定性因素，每个模糊状态的标准差区间为/>；
1.2）期望E步骤：根据贝叶斯定理，对每个系数计算模糊隐状态的概率，
；
；
1.3）最大化M步骤：根据E步骤所得概率，计算以下参数，
；
；
；
；
其中，，/>分别是j尺度k方向高频子带的行数和列数；
1.4）当参数收敛或迭代次数达到预设的最大训练次数时，继续进行下一步，否则，设置训练次数加1，然后返回到步骤1.2）；
1.5）在高频子带上设置大小的窗口，使用下列各式完成参数初始化，并将模型训练次数t置零，
；
；
；
；
；
；
（2）迭代训练步骤
2.1）期望E步骤：计算在当前系数和上下文变量的值为的条件下，模糊隐状态的概率，
；
；
2.2）最大化M步骤：通过下式更新模型各个参数，
；
；
；
；
；
；
置t=t+1，迭代训练步骤（2）直至收敛或达到预设的最大迭代次数T；
由T2-FCHMM模型训练得到高频系数的标准差和概率密度函数，为计算高频系数的边缘概率密度函数，首先通过取标准差区间中值的方式解模糊，
；
得到作为j尺度k方向的高频子带在（x,y）位置的标准差参数，带入模型中计算得到在该方差下的边缘概率密度函数，
；
；
然后，计算高频系数的基于边缘概率密度的区域能量，
；
；
基于所述高频子带系数的T2-FCHMM统计模型提取得到所述高频子带系数的模糊熵，包括对于第幅待融合多模态图像的高频子带系数/>，按照如下公式计算得到模糊熵：
；
其中：
；
；
其中，，/>分别是/>尺度/>方向高频子带系数/>的行数和列数，/>是基于主隶属函数确定的高频系数/>在模糊隐状态/>时的上边界的隶属函数值，是基于主隶属函数确定的高频系数/>在模糊隐状态/>时的下边界的隶属函数值；
所述对每幅待融合多模态图像的高频子带系数的区域能量和T2-FCHMM模型统计特征进行自适应加权处理得到对应的高频子带系数的活动测度，包括：计算第幅待融合多模态图像的高频子带系数的区域能量/>为：
；
将第幅待融合多模态图像的高频子带系数的区域能量/>与T2-FCHMM模型统计特征/>按照公式/>加权得到对应的高频子带系数的活动测度；
其中，、/>为参数，/>和/>表示预设窗口的长宽，/>表示第/>幅待融合多模态图像在/>尺度/>方向/>位置上的高频子带系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110764386.3A CN113379666B (zh) | 2021-07-06 | 2021-07-06 | 基于区间二型模糊集和chmm模型的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110764386.3A CN113379666B (zh) | 2021-07-06 | 2021-07-06 | 基于区间二型模糊集和chmm模型的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113379666A CN113379666A (zh) | 2021-09-10 |
| CN113379666B true CN113379666B (zh) | 2024-03-12 |
Family
ID=77581202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110764386.3A Active CN113379666B (zh) | 2021-07-06 | 2021-07-06 | 基于区间二型模糊集和chmm模型的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113379666B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101685158A (zh) * | 2009-07-02 | 2010-03-31 | 西安电子科技大学 | 基于隐马尔科夫树模型的sar图像去噪方法 |
| CN103985105A (zh) * | 2014-02-20 | 2014-08-13 | 江南大学 | 基于统计建模的Contourlet域多模态医学图像融合方法 |
| CN104008537A (zh) * | 2013-11-04 | 2014-08-27 | 无锡金帆钻凿设备股份有限公司 | 结合cs-ct-chmm的噪声图像融合新方法 |
| CN111754447A (zh) * | 2020-07-06 | 2020-10-09 | 江南大学 | 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6792360B2 (ja) * | 2016-07-12 | 2020-11-25 | キヤノン株式会社 | 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム |
-
2021
- 2021-07-06 CN CN202110764386.3A patent/CN113379666B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101685158A (zh) * | 2009-07-02 | 2010-03-31 | 西安电子科技大学 | 基于隐马尔科夫树模型的sar图像去噪方法 |
| CN104008537A (zh) * | 2013-11-04 | 2014-08-27 | 无锡金帆钻凿设备股份有限公司 | 结合cs-ct-chmm的噪声图像融合新方法 |
| CN103985105A (zh) * | 2014-02-20 | 2014-08-13 | 江南大学 | 基于统计建模的Contourlet域多模态医学图像融合方法 |
| CN111754447A (zh) * | 2020-07-06 | 2020-10-09 | 江南大学 | 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379666A (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389058B (zh) | 海杂波与噪声信号分类方法及系统 | |
| CN103049892B (zh) | 基于相似块矩阵秩最小化的非局部图像去噪方法 | |
| Montazer et al. | An improved radial basis function neural network for object image retrieval | |
| CN105550678A (zh) | 基于全局显著边缘区域的人体动作特征提取方法 | |
| CN105279740A (zh) | 一种基于稀疏正则化的图像去噪方法 | |
| CN110969105B (zh) | 一种人体姿态估计方法 | |
| CN113808042B (zh) | 一种基于小波变换和生成对抗网络的sar图像去噪方法 | |
| CN104657951A (zh) | 图像乘性噪声移除方法 | |
| CN113657491A (zh) | 一种用于信号调制类型识别的神经网络设计方法 | |
| CN112507621A (zh) | 一种基于标签传播的雷达干扰半监督识别方法 | |
| CN111754447A (zh) | 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| Gu et al. | A two-component deep learning network for SAR image denoising | |
| CN113705655A (zh) | 三维点云全自动分类方法及深度神经网络模型 | |
| CN114897728A (zh) | 图像增强方法、装置、终端设备以及存储介质 | |
| CN109448024B (zh) | 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统 | |
| CN109242797B (zh) | 基于均质和异质区域融合的图像去噪方法、系统及介质 | |
| Yanxia et al. | Threshold image target segmentation technology based on intelligent algorithms | |
| CN114708301A (zh) | 一种运动伪影识别方法、装置、存储介质及电子设备 | |
| CN106934398A (zh) | 基于超像素聚类和稀疏表示的图像去噪方法 | |
| CN117828333A (zh) | 一种基于信号混合增强和cnn的电缆局放特征提取方法 | |
| CN113379666B (zh) | 基于区间二型模糊集和chmm模型的图像融合方法 | |
| CN112733589A (zh) | 一种基于深度学习的红外图像行人检测方法 | |
| CN115049054B (zh) | 基于特征图响应的通道自适应分段动态网络剪枝方法 | |
| CN114155425B (zh) | 基于高斯马尔可夫随机场运动方向估计的弱小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |