CN110570387A - 一种基于特征级Copula模型相似性的图像融合方法 - Google Patents
一种基于特征级Copula模型相似性的图像融合方法 Download PDFInfo
- Publication number
- CN110570387A CN110570387A CN201910868807.XA CN201910868807A CN110570387A CN 110570387 A CN110570387 A CN 110570387A CN 201910868807 A CN201910868807 A CN 201910868807A CN 110570387 A CN110570387 A CN 110570387A
- Authority
- CN
- China
- Prior art keywords
- band
- frequency sub
- frequency
- fusion
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000039077 Copula Species 0.000 title claims abstract description 64
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 109
- 230000004927 fusion Effects 0.000 claims abstract description 84
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 238000005315 distribution function Methods 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 229910052739 hydrogen Inorganic materials 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 125000004432 carbon atom Chemical group C* 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims 2
- 241000023320 Luma <angiosperm> Species 0.000 claims 1
- 239000002131 composite material Substances 0.000 claims 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims 1
- 230000006870 function Effects 0.000 description 25
- 238000004088 simulation Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012733 comparative method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种基于特征级Copula模型相似性的图像融合方法，属于图像融合领域。其步骤是：1)待融合图像进行QWT变换得到高频子带和低频子带；2)求出高频子带幅度和相位的亮度、对比度和结构度，并分别构建亮度、对比度、结构度的Copula模型；3)判定高频子带冗余性和互补性的特征类型，并设计相应的融合规则得到第一阶段高频子带融合系数；采用基于高频子带绝对值取大的融合规则得到第二阶段高频子带融合系数，根据加权规则得到最终的高频子带融合系数；4)采用基于低频相位梯度、相位局部方差和幅值能量的综合特征取大的融合规则得到融合后的低频子带系数；5)根据低频和高频的融合子带系数，利用QWT逆变换得到融合图像。
Description
技术领域
本发明属于图像融合领域，涉及一种基于特征级Copula模型相似性的图像融合方法，在临床医学诊断和治疗、场景监控等领域中有广泛地应用。
背景技术
图像融合被广泛应用于军事，医学和遥感等领域，并成为了当今国内外学者的研究热点。图像融合是将不同信道所采集到的关于同一目标的图像数据进行空间配准，利用源图像的冗余性和互补性，将源图像中的有利信息综合成一幅信息含量更大的高质量图像，以提高原始图像的分辨率和利用率。
目前的图像融合方法可以分为两类，一类是直接在空域上对图像进行融合，比如加权平均法，基于像素灰度值取大的方法和主成分分析法(PCA)。此种方法是对图像的像素点进行处理，忽略了不同尺度上面的图像特征，因此容易丢失图像的边缘轮廓信息。第二类方法是在变换域上对图像进行融合，此种方法可以消除块效应得到更理想的融合效果。随着不同的变换工具的发展，基于多尺度分解(MST)的融合方法引起了人们的注意，多尺度分解将源图像分解成高频部分和低频部分。比如离散小波变换(discrete wavelettransform，DWT),双树复小波变换(double-tree complex wavelet transform，DTCWT)，平稳小波变换(stationary wavelet transform),曲波变换(curvelet transform)方法等。尽管这些传统的多尺度分解方法已经取得了很好的效果，但是仍然存在一些弊端，比如DTCWT在表示二维图像特征时容易产生信号相位歧义，曲线波变换计算过程较为繁琐。为了解决这些弊端，四元数小波变换(quaternion wavelet transform，QWT)作为一种新兴的MST工具被提出，可以对图像进行幅度-相位分析，同时具有近似平移不变性，能够更加准确的解释图像的特征信息。因此本发明选用QWT作为多尺度分解工具。
经过对图像融合问题的理解和分析，发现准确判定源图像的冗余性和互补性对于图像融合的质量至关重要。图像的冗余性和互补性一般通过源图像之间的相似性进行度量，常用的度量相似性的方法有基于结构相似性(SSIM)方法、基于均方误差(MSE)方法和基于直方图的方法等，此类方法往往忽视了图像经过QWT分解后所得系数之间的相关性，因此本发明利用Copula模型来捕捉QWT高频子带方向内幅度与相位的相关性，该模型被用来度量图像高频子带之间的相似性，可以为图像融合提供更好的决策。SSIM通过亮度、对比度和结构度这三个因素来衡量图像之间的相似性，研究表明这三个因素能够从本质上反映图像之间的差异。基于这一研究结论，我们可以把相似性分为三个类型：亮度相似性、对比度相似性以及结构度相似性。根据上述研究分析，本发明构建了基于特征级的Copula模型，即亮度Copula模型、对比度Copula模型、结构度Copula模型，这些模型增强了对图像的解释能力。本专利根据特征级Copula模型和Kullback-Leibler距离(KLD)计算相似性，以此确定源图像高频子带之间的互补性和冗余性，然后再通过贝叶斯公式进一步判断相似性类型，根据相似性类型设计相应的融合规则，能够得到更优的融合图像。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于特征级Copula模型相似性的图像融合方法，以解决现有的基于相似性的融合方法忽略了多尺度相关性以及相似性类型的问题。充分考虑了QWT系数之间的相关性，依据相似性类型设计相应的融合规则，不仅能够有效保护源图像的细节信息，而且能够增强图像边缘轮廓和对比度，改善其视觉效果，有利于提高融合图像的质量。
本发明解决其技术问题所采用的技术方案如下：
一种基于特征级Copula模型相似性的图像融合方法，步骤如下：
1)对待融合的源图像A，B分别进行QWT变换得到高频子带和低频子带；
2)针对每个高频方向，构建它的亮度Copula模型、对比度Copula模型和结构度Copula模型；
2.1)计算高频各方向子带幅度和相位ψ的亮度、对比度和结构度；
2.2)对高频各方向子带幅度和相位ψ的亮度、对比度和结构度进行降采样处理；
2.3)构建高频方向子带的亮度Copula模型、对比度Copula模型和结构度Copula模型；
3)采用加权规则融合两阶段高频子带融合系数得到最终的高频子带融合系数；
3.1)判定高频子带冗余性和互补性的特征类型，根据特征类型设计相应的融合规则得到第一阶段高频子带融合系数；
a)利用KLD距离计算高频子带亮度相似性、对比度相似性和结构度相似性，以及综合这三种特征得到的综合相似性；
b)根据综合相似性确定高频子带之间的冗余性和互补性，利用贝叶斯公式判定冗余性和互补性的特征类型；
c)根据高频子带冗余性和互补性的特征类型，设计相应的融合规则得到第一阶段高频子带融合系数；
3.2)采用基于高频子带绝对值取大的融合规则得到第二阶段高频子带融合系数；
4)采用基于低频相位梯度、相位局部方差和幅值能量的综合特征取大的融合规则得到低频子带融合系数；
5)根据得到的高频和低频子带融合系数，利用QWT逆变换得到融合图像F。
进一步的，所述步骤1)中，源图像A，B分别进行QWT变化得到高频子带 其中，l表示分解尺度，J表示最大分解尺度(J＝3)，d＝V,H,D分别表示水平、垂直和对角方向，n＝q,φ,θ,ψ分别表示幅度q、相位φ、相位θ和相位ψ；得到低频子带
进一步的，所述步骤2.1)的具体过程如下：
分别计算高频各方向子带幅度和相位的亮度对比度和结构度sl,d,q/ψ；
其中，W1×W2是一个k×k的窗口，(x,y)，本发明取k＝3，表示当前系数位置，C3为常数，是为了避免分母为0而维持稳定，通常C3＝(K*L)2/2，K取值0.03，L取值255。dl,d,q/ψ(x,y)表示与之间的协方差，计算方式如下；
进一步的，所述步骤2.2)的具体过程如下：
利用降采样将和sl,d,q/ψ的尺寸大小调整为和最粗尺度子带的尺寸大小一致；
其中，表示以2J-l为降采样因子的降采样过程；
进一步的，所述步骤2.3)的具体过程如下：
利用高斯混合模型来刻画和sl,d,q/ψ的非高斯特性，由于低频子带的各方向相位也体现了图像对应方向的信息，因此在对高频子带各方向构建特征级Copula模型时，同时考虑图像对应方向上的低频相位信息；
d方向上的高频子带基于亮度构建的Copula模型的联合分布函数表示如下；
其中，表示的边缘分布函数，表示的边缘分布函数，表示的边缘分布函数，表示源图像A，B低频d方向相位子带；C是Copula函数。
d方向上的高频子带基于对比度构建的Copula模型的联合分布函数表示如下；
其中，表示的边缘分布函数，表示的边缘分布函数；
根据源图像A与B在d方向上的高频子带之间的结构度构建的Copula模型S-Copulad的联合分布函数表示如下；
其中，表示sl,d,q的边缘分布函数，表示sl,d,ψ的边缘分布函数；
进一步的，步骤3.1)中的步骤a)具体过程如下：
首先，分别计算模型、模型、S-Copulad模型在(x,y)处的联合概率密度函数S_Copulapdfd(x,y)；
其中，表示模型在(x,y)处的密度函数，表示的边缘分布密度函数，表示的边缘分布密度函数，表示的边缘分布密度函数；
其中，表示模型在(x,y)处的密度函数，表示的边缘分布密度函数，表示的边缘分布密度函数；
其中，H_cd(x,y)表示模型在(x,y)处的密度函数，表示sl,d,q(x,y)的边缘分布密度函数，表示sl,d,ψ(x,y)的边缘分布密度函数；
随后，通过KLD距离计算模型、模型、S-Copulad模型在对应高频子带系数(x,y)处的相似性
最后，通过贝叶斯公式计算各方向上基于亮度、对比度、结构度Copula模型的综合相似度
进一步的，步骤3.1)中的步骤b)具体过程如下
取中所有像素值升序排序在第ε％位置的值作为阈值本发明的阈值设为75％，当大于时，说明Copula模型之间具有冗余性，反之则具有互补性；接下来通过贝叶斯公式进一步判定冗余性和互补性的特征类型；
随后通过上采样操作和相似性映射分别得到亮度、对比度和结构度特征对于处的综合相似性的影响程度；
其中，表示以2J-l为上采样因子的上采样过程；
上述三个值中最大值对应的特征作为冗余性和互补性的特征类型，最终高频子带被划分为亮度冗余、对比度冗余、结构度冗余、亮度互补、对比度互补和结构度互补这六种类型。
进一步的，步骤3.1)中的步骤c)具体过程如下：
根据高频子带之间冗余性和互补性的特征类型，设计相应的融合规则得到第一阶段高频子带融合系数
对于高频子带具有冗余性的像素点采用加权规则，加权规则定义如下：
其中，wl,d,n(x,y)表示加权因子，由冗余性的特征类型决定；
其中， 表示的信息熵，M、N表示的尺寸大小；
对于高频子带具有互补性的像素点采用取大规则，取大规则定义如下：
其中，t是由互补性的特征类型决定；
进一步，步骤3.2)的具体过程如下：
最后，根据加权规则得到高频子带融合系数；
进一步的，步骤4)的具体过程如下：
提取基于低频子带的相位和θ相位的梯度的指标来表示源图像的垂直方向和水平方向的纹理变换，计算如下：
上式中，和分别表示的局部平均梯度；表示源图像A,B的低频子带的相位，表示源图像A,B的低频子带的θ相位；
提取基于低频子带相位和θ相位的局部方差的指标：
提取低频子带的幅度值作为特征：
然后将这三个特征通过下式综合成一个综合特征：
其中a1,a2,a3是权重因子，在医学图像融合中，a1＝1.5,a2＝1.5,a3＝4；在红外可见光图像融合中，a1＝2.5,a2＝2.5,a3＝3；在多聚焦图像中，a1＝6,a2＝2,a3＝6。
最后，低频子带融合系数由综合特征取大的规则得到：
本发明的有益效果：
1、本发明采用四元数小波变换分解图像，QWT可以对图像进行幅度-相位分析，同时具有近似平移不变性，能够更加准确的解释图像的特征信息。
2、本发明分别基于QWT的高频幅度和相位ψ的亮度、对比度和结构度以及低频对应方向上的相位信息构建高频方向子带亮度Copula模型，对比度Copula模型，结构度Copula模型，不仅考虑了高频幅度和相位ψ之间的相关性，同时还考虑了高频低频之间的相关性。构建基于特征级的Copula模型，相比于直接对QWT系数建模可以增强对图像统计相关性的解释能力。
3.本发明根据多特征Copula模型得到对应高频子带之间的综合相似性，然后确定相似性的特征类型，根据特征类型设计对应的融合规则，能够为图像融合提供更好的决策。
4.本发明构造多特征来指导图像融合，克服了单一特征不能准确解释图像这一弊端，增强了图像的可信度和清晰度。
附图说明
图1是本发明基于特征级Copula模型相似性的图像融合方法的流程图。
图2是本发明结合高频幅度、相位ψ以及低频对应方向相位所构建的特征级Copula模型示意图。
图3为本发明高频特征子带降采样处理过程。
图4中(a)为本发明一个实施例的待融合CT图像；(b)为本发明一个实施例的待融合MRI图像；(c)为基于梯度金字塔变换GP的方法对图4中(a)和图4中(b)的融合结果。；(d)为基于非下采样轮廓波变换NSCT的方法对图4中(a)和图4中(b)的融合结果。；(e)为基于结构张量和小波变换Str-dwt的方法对图4中(a)和图4中(b)的融合结果；(f)为基于空间频率激励脉冲耦合神经网络PCNN的方法对图4中(a)和图4中(b)的融合结果；(g)为基于对比度DC的方法对图4中(a)和图4中(b)的融合结果；(h)为基于卷积稀疏表示CSR的方法对图4中(a)和图4中(b)的融合结果；(i)为基于卷积神经网络CNN的方法对图4中(a)和图4中(b)的融合结果；(j)为本发明对图4中(a)和图4中(b)的融合结果。
图5中(a)为本发明一个实施例的红外图像；(b)为本发明一个实施例的可见光图像；(c)为基于梯度金字塔变换GP的方法对图5中(a)和图5中(b)的融合结果；(d)为基于非下采样轮廓波变换NSCT的方法对图5中(a)和图5中(b)的融合结果；(e)为基于结构张量和小波变换Str-dwt的方法对图5中(a)和图5中(b)的融合结果；(f)为基于空间频率激励脉冲耦合神经网络PCNN的方法对图5中(a)和图5中(b)的融合结果；(g)为基于对比度DC的方法对图5中(a)和图5中(b)的融合结果；(h)为基于卷积稀疏表示CSR的方法对图5中(a)和图5中(b)的融合结果；(i)为基于卷积神经网络CNN的方法对图5中(a)和图5中(b)的融合结果；(j)为本发明对图5中(a)和图5中(b)的融合结果。
图6中(a)为本发明一个实施例的右聚焦图像；(b)为本发明一个实施例的左聚焦图像；(c)为基于梯度金字塔变换GP的方法对图6中(a)和图6中(b)的融合结果；(d)为基于非下采样轮廓波变换NSCT的方法对图6中(a)和图6中(b)的融合结果；(e)为基于结构张量和小波变换Str-dwt的方法对图6中(a)和图6中(b)的融合结果；(f)为基于空间频率激励脉冲耦合神经网络PCNN的方法对图6中(a)和图6中(b)的融合结果；(g)为基于对比度DC的方法对图6中(a)和图6中(b)的融合结果；(h)为基于卷积稀疏表示CSR的方法对图6中(a)和图6中(b)的融合结果；(i)为基于卷积神经网络CNN的方法对图6中(a)和图6中(b)的融合结果；(j)为本发明对图6中(a)和图6中(b)的融合结果。
具体实施方式
下面对本发明的一个实施例(人脑的CT图像和MRI图像)结合附图作详细说明，本实施例在以本发明技术方案为前提下进行，如图1所示，详细的实施方式和具体的操作步骤如下：
步骤1，对待融合的两幅多模态医学图像A和B进行QWT变换，A表示人脑的CT图像，B表示人脑的MRI图像，得到相应的高频子带和低频子带其中，l＝1,2...,J；d＝V,H,D；J表示最大分解尺度(本发明中，J＝3)，l表示分解尺度，V、H、D分别表示水平、垂直、对角方向，分别表示幅度、相位相位θ和相位ψ。
步骤2，分别计算的亮度对比度计算 的亮度对比度计算与之间的结构度sl,d,q，计算与之间的结构度sl,d,ψ；
其中，W1×W2是一个3×3的窗口，(x,y)表示当前系数位置，C3为常数，是为了避免分母为0而维持稳定，通常C3＝(K*L)2/2，K取值0.03，L取值255。dl,d,q/ψ(x,y)表示与之间的协方差，计算方式如下；
利用降采样将和sl,d,q/ψ的尺寸大小调整为和最粗尺度子带的尺寸大小一致；
其中，表示以2J-l为降采样因子的降采样过程；
利用高斯混合模型来刻画和的非高斯特性，由于低频子带的各方向相位也体现了图像对应方向的信息，因此在对高频子带各方向构建特征级Copula模型时，同时考虑图像对应方向上的低频相位信息；
d方向上的高频子带基于亮度构建的Copula模型的联合分布函数表示如下；
其中，表示的边缘分布函数，表示的边缘分布函数，表示的边缘分布函数，C是Copula函数。
d方向上的高频子带基于对比度构建的Copula模型的联合分布函数表示如下；
其中，表示的边缘分布函数，表示的边缘分布函数；
根据源图像A与B在d方向上的高频子带之间的结构度构建的Copula模型S-Copulad的联合分布函数表示如下；
其中，表示sl,d,q的边缘分布函数，表示sl,d,ψ的边缘分布函数；
步骤3，分别计算模型、模型、S-Copulad模型在(x,y)处的联合概率密度函数S_Copulapdfd(x,y)；
其中，表示模型在(x,y)处的密度函数，表示的边缘分布密度函数，表示的边缘分布密度函数，表示的边缘分布密度函数；
其中，表示模型在(x,y)处的密度函数，表示的边缘分布密度函数，表示的边缘分布密度函数；
其中，H_cd(x,y)表示模型在(x,y)处的密度函数，表示sl,d,q(x,y)的边缘分布密度函数，表示sl,d,ψ(x,y)的边缘分布密度函数；
随后，通过KLD距离计算模型、模型、S-Copulad模型在对应高频子带系数(x,y)处的相似性
最后，通过贝叶斯公式计算Copula模型在各方向上的综合相似性
取中所有像素值升序排序在第75％位置的值作为阈值当大于时，说明Copula模型之间具有冗余性，反之则具有互补性；接下来通过贝叶斯公式进一步判定冗余性和互补性的特征类型；
随后通过上采样操作和相似性映射分别得到亮度、对比度和结构度特征对于处的综合相似性的影响程度；
上述三个值中最大值对应的特征作为冗余性和互补性的特征类型，最终高频子带被划分为亮度冗余、对比度冗余、结构度冗余、亮度互补、对比度互补和结构度互补这六种类型。
根据高频子带之间冗余性和互补性的特征类型，设计相应的融合规则得到第一阶段高频子带融合系数
对于高频子带具有冗余性的像素点采用加权规则，加权规则定义如下：
其中，wl,d,n(x,y)表示加权因子，由冗余性的特征类型决定；
其中， 表示的信息熵，M、N表示的尺寸大小为M×N；
对于高频子带具有互补性的像素点采用取大规则，取大规则定义如下：
其中，t是由互补性的特征类型决定；
提取高频系数绝对值作为特征，根据取大规则得到第二阶段高频子带融合系数
最后，根据加权规则得到高频子带融合系数
步骤4，分别提取源图像A和源图像B的基于低频子带的相位和θ相位的梯度的指标ZMLA(x,y)、ZMLB(x,y)，计算如下：
上式中，和分别表示的局部平均梯度；
提取基于低频子带相位和θ相位的局部方差的指标：
提取低频子带的幅度值作为特征：
然后将这三个特征通过下式综合成一个综合特征：
MA/B(x,y)＝|ZMLA/B(x,y)|a1×|CA/B(x,y)|a2×|GA/B(x,y)|a3；
其中a1,a2,a3是权重因子，在医学图像融合中，a1＝1.5,a2＝1.5,a3＝4；在红外可见光图像融合中，a1＝2.5,a2＝2.5,a3＝3；在多聚焦图像中，a1＝6,a2＝2,a3＝6。
最后，低频子带融合系数由综合特征取大的规则得到：
步骤5，根据得到的高频融合系数和低频融合子带系数利用QWT逆变换得到融合图像F。
本发明的效果可以通过以下仿真实验作进一步说明：
1、实验条件与方法
硬件平台：处理器Intel Core i3-4150，CPU主频2.4GHz，内存4GB；
软件平台：计算机采用64位的Windows 7专业版，Matlab R2015b；实验中采用三组已配准的源图像，即CT-MRI医学图像、红外可见光图像和多聚焦图像，图像大小均为256×256，tif格式。
实验时采用以下6种融合方法作为对比方法：
方法1为基于梯度金字塔变换GP的方法；
方法2为基于非下采样轮廓波变换NSCT的方法；
方法3为基于结构张量和小波变换Str-dwt的方法；
方法4为基于空间频率激励脉冲耦合神经网络PCNN的方法；
方法5为基于对比度DC的方法；
方法6为基于卷积稀疏表示CSR的方法；
方法7为基于卷积神经网络CNN的方法。
2、仿真内容
仿真一：遵循本发明的技术方案，对MRI和CT医学图像(见图4中(a)和图4中(b))进行融合，图4中(c)-图4中(j)为对比方法和本发明方法的仿真实验结果。从主观上来看，方法1和方法6所得融合图像的对比度和整体亮度均偏低，细节信息模糊。方法3和方法4所得融合图像缺失了部分MRI图像的信息，比如MRI图像中的白色小亮块信息完全没有被保留，同时方法4所得融合图像轮廓不清晰。方法5的融合图像效果极差，图像中出现了很多黑色噪声点，丢失了源图像的大部分信息。方法2、方法7和本发明保留了源图像大部分信息，但是方法2和方法7所得融合图像丢失了部分MRA图像信息，比如MRA图像最上面的白色线条，在方法7的融合图像中完全遗失，在方法2的融合图像中偏灰，而在本发明所得的融合图像中完整保留，同时方法7中的融合图像的右下角出现了一小块灰色图像。与其它对比实验相比，本发明的融合图像不仅保留了源图像丰富的边缘细节信息，同时图像的对比度和亮度较高，在主观效果上取得了最好的结果。
仿真二：遵循本发明的技术方案，对红外和可见光图像(见图5中(a)和图5中(b))进行融合，图5中(c)-图5中(j)为对比方法和本发明方法的仿真实验结果。从主观上来看，方法2和方法5所得融合图像效果很差，图像中含有大量黑色噪声点。方法4的融合图像十分模糊，丢失了源图像的大部分细节信息。方法3的融合图像基本保留了源图像的细节信息，但是存在亮度低和对比度低的问题。方法1和方法6的融合图像对比度低，同时丢失了部分可见光图像里的内容，比如广告牌上的文字信息较难识别。方法7的融合图像丢失了大量红外图像里的信息，比如图中的小汽车和路边的红绿灯几乎较难辨认。本发明的融合结果保留了丰富的边缘细节信息，同时图像的对比度和亮度较高。
仿真三：遵循本发明的技术方案，对多聚焦图像(见图6中(a)和图6中(b))进行融合，图6中(c)-图6中(j)为对比方法和本发明方法的仿真实验结果。从主观上来看，方法4的融合图像十分模糊，图中各物品的轮廓均出现了重影。方法1、方法2和方法5所得的融合图像有些模糊，比如酒瓶身上的字不够清晰，同时酒瓶盖子轮廓不清晰出现重影。方法3、方法6、方法7和本发明所得到的融合图像基本保留了源图像的细节信息，但是方法3的融合图像中齿轮的轮廓出现了模糊，其它三种方法所得融合图像在细节信息方面更为细腻。经过上述分析，本发明整体融合效果理想。
将本发明的融合结果与对比方法的融合结果进行客观指标评价。
表1给出了CT和MRI医学图像融合结果的客观评价指标，
表2给出了红外可见光图像融合结果的客观评价指标，
表3给出了多聚焦图像融合结果的客观评价指标，
其中，最优数据以加粗的形式表示，表格最后一列给出了本发明的指标排名。
表1.CT和MRI医学图像融合结果的客观评价指标
表2.红外和可见光图像融合结果的客观评价指标
表3.多聚焦图像融合结果的客观评价指标
上述评价指标中，平均梯度(AG)是一种衡量图像中细节信息丰富性的指标，值越大，说明图像细节信息越丰富；空间频率(SF)越大，则融合图像的细节信息越完整；边缘强度(EI)用于衡量图像边缘细节的丰富程度，其值越大，则图像中包含的纹理越多，边缘越清晰；非线性相关信息熵(NCIE)反应了融合图像与待融合图像的非线性相关性，其值越大，则融合图像包含的源图像的信息越多；Piella度量(S)表示在不引入失真的前提下有多少信息从待融合图像中转移到融合图像中，其值越大，表明融合效果越好。
从表1可以看出，本发明的客观指标除了NCIE外，其它指标都优于对比方法；从表2可以看出，本发明的客观指标在AG和EI指标上仅次于最优值，其它客观指标均排名第一；从表3可以看出本发明的客观指标除了NCIE指标略次于最优值，其它客观指标均优于对比方法。
从各仿真实验的融合结果可以看出，本发明在主观感知和客观比较上均取得了不错的效果，所得融合图像含有丰富的边缘和细节信息，仿真实验检验了本发明的有效性。
Claims (10)
1.一种基于特征级Copula模型相似性的图像融合方法，其特征在于，具体步骤如下：
1)对待融合的源图像A，B分别进行QWT变换，得到高频子带和低频子带；
2)针对每个高频方向，构建它的亮度Copula模型、对比度Copula模型和结构度Copula模型；
2.1)计算高频各方向子带幅度和相位的亮度、对比度和结构度；
2.2)对高频各方向子带幅度和相位的亮度、对比度和结构度进行降采样处理；
2.3)构建高频方向子带的亮度Copula模型、对比度Copula模型和结构度Copula模型；
3)采用加权规则融合两阶段高频子带融合系数得到最终的高频子带融合系数；
3.1)判定对应高频子带冗余性和互补性的特征类型，根据特征类型设计相应的融合规则，得到第一阶段高频子带融合系数；
a)利用KLD距离计算高频子带亮度相似性、对比度相似性和结构度相似性，基于这三种特征相似性得到综合相似性；
b)根据综合相似性确定高频子带之间的冗余性和互补性，利用贝叶斯公式判定冗余性和互补性的特征类型；
c)根据高频子带冗余性和互补性的特征类型，设计相应的融合规则得到第一阶段高频子带融合系数；
3.2)采用基于高频子带绝对值取大的融合规则得到第二阶段高频子带融合系数；
4)基于低频相位梯度、相位局部方差和幅值能量计算低频子带综合特征，采用取大的融合规则得到低频子带融合系数；
5)根据得到的高频和低频子带融合系数，利用QWT逆变换得到融合图像F。
2.根据权利要求1所述的基于特征级Copula模型相似性的图像融合方法，其特征在于：步骤1)所述对待融合的源图像A，B分别进行QWT变化得到高频子带其中，l表示分解尺度，l＝1,2…,J；J表示最大分解尺度，d＝V,H,D分别表示水平、垂直和对角方向，n＝q,φ,θ,ψ分别表示幅度q、相位φ、相位θ和相位ψ；得到低频子带n＝q,φ,θ,ψ。
3.根据权利要求1所述的基于特征级Copula模型相似性的图像融合方法，其特征在于：步骤2)中的步骤2.1)具体如下：
分别计算高频各方向子带幅度和相位的亮度对比度和结构度sl ,d,q/ψ；
其中，W1×W2是一个k×k的窗口，(x,y)表示当前系数位置，C3为常数，是为了避免分母为0而维持稳定，dl,d,q/ψ(x,y)表示与之间的协方差，计算方式如下：
4.根据权利要求1所述的基于特征级Copula模型相似性的图像融合方法，其特征在于：步骤2)中的步骤2.2)具体如下：
利用降采样将和sl,d,q/ψ的尺寸大小调整为和最粗尺度子带的尺寸大小一致；
其中，表示以2J-l为降采样因子的降采样过程。
5.根据权利要求1所述的基于特征级Copula模型相似性的图像融合方法，其特征在于：步骤2)中的步骤2.3)具体如下：
利用高斯混合模型来刻画和sl,d,q/ψ的非高斯特性，在对高频子带各方向构建特征级Copula模型时，同时考虑图像对应方向上的低频相位信息；
d方向上高频子带的亮度Copula模型的联合分布函数表示如下；
其中，表示的边缘分布函数，表示的边缘分布函数，表示的边缘分布函数，表示源图像A，B低频d方向相位子带；C是Copula函数；
d方向上高频子带的对比度Copula模型的联合分布函数表示如下；
其中，表示的边缘分布函数，表示的边缘分布函数；
源图像A与B在d方向上高频子带之间的结构度Copula模型S-Copula d的联合分布函数表示如下；
其中，表示sl,d,q的边缘分布函数，表示sl,d,ψ的边缘分布函数。
6.根据权利要求1所述的基于特征级Copula模型相似性的图像融合方法，其特征在于：步骤3.1)中的步骤a)具体如下：
首先，分别计算模型、模型、S-Copulad模型在(x,y)处的联合概率密度函数S_Copulapdfd(x,y)；
其中，表示模型在(x,y)处的密度函数，表示的边缘分布密度函数，表示的边缘分布密度函数，表示的边缘分布密度函数；
其中，表示模型在(x,y)处的密度函数，表示的边缘分布密度函数，表示的边缘分布密度函数；
其中，H_cd(x,y)表示S-Copulda模型在(x,y)处的密度函数，表示sl,d,q(x,y)的边缘分布密度函数，表示sl,d,ψ(x,y)的边缘分布密度函数；
随后，通过KLD距离计算基于模型、模型、S-Copulad模型在对应高频子带系数(x,y)处的相似性
最后，通过贝叶斯公式计算各方向上基于亮度、对比度、结构度Copula模型的综合相似度
7.根据权利要求1所述的基于特征级Copula模型相似性的图像融合方法，其特征在于：步骤3.1)中的步骤b)具体如下：
取中所有像素值升序排序在第ε％位置的值作为阈值当大于时，说明高频子带系数之间具有冗余性，反之则具有互补性；接下来通过贝叶斯公式进一步判定冗余性和互补性的特征类型；
随后通过上采样操作和相似性映射分别得到亮度、对比度和结构度特征对于处的综合相似性的影响程度；
其中，表示以2J-l为上采样因子的上采样过程；
以上述三个值中最大值对应的特征作为冗余性和互补性的特征类型，最终高频子带被划分为亮度冗余、对比度冗余、结构度冗余、亮度互补、对比度互补和结构度互补这六种类型。
8.根据权利要求1所述的基于特征级Copula模型相似性的图像融合方法，其特征在于：步骤3.1)中的步骤c)具体如下：
根据高频子带之间冗余性和互补性的特征类型，设计相应的融合规则得到第一阶段高频子带融合系数
对于高频子带具有冗余性的像素点采用加权规则，加权规则定义如下：
其中，wl,d,n(x,y)表示加权因子，由冗余性的特征类型决定；
其中， 表示的信息熵，M、N表示的尺寸大小；
对于高频子带具有互补性的像素点采用取大规则，取大规则定义如下：
其中，t是由互补性的特征类型决定；
9.根据权利要求1所述的基于特征级Copula模型相似性的图像融合方法，其特征在于：步骤3.2)具体如下：
最后，根据加权规则得到高频子带融合系数；
10.根据权利要求1所述的基于特征级Copula模型相似性的图像融合方法，其特征在于：步骤4)具体如下：
提取基于低频子带的相位和θ相位的梯度指标来表示源图像的垂直方向和水平方向的纹理变换，计算如下：
上式中，和分别表示的局部平均梯度；表示源图像A,B的低频子带的相位，表示源图像A,B的低频子带的θ相位；
提取基于低频子带相位和θ相位的局部方差的指标：
提取低频子带的幅度值作为特征：
然后将这三个特征通过下式结合成一个综合特征：
MA/B(x,y)＝|ZMLA/B(x,y)|a1×|CA/B(x,y)|a2×|GA/B(x,y)|a3；
其中a1,a2,a3是权重因子；
最后，低频子带融合系数由综合特征取大的规则得到：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910868807.XA CN110570387B (zh) | 2019-09-16 | 2019-09-16 | 一种基于特征级Copula模型相似性的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910868807.XA CN110570387B (zh) | 2019-09-16 | 2019-09-16 | 一种基于特征级Copula模型相似性的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110570387A true CN110570387A (zh) | 2019-12-13 |
| CN110570387B CN110570387B (zh) | 2023-04-07 |
Family
ID=68779973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910868807.XA Active CN110570387B (zh) | 2019-09-16 | 2019-09-16 | 一种基于特征级Copula模型相似性的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110570387B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680752A (zh) * | 2020-06-09 | 2020-09-18 | 重庆工商大学 | 基于Framelet框架的红外与可见光图像融合方法 |
| CN114581354A (zh) * | 2022-03-31 | 2022-06-03 | 昆明理工大学 | 一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法 |
| CN114785965A (zh) * | 2022-04-20 | 2022-07-22 | 四川九洲电器集团有限责任公司 | 基于copod算法的高光谱图像自动曝光方法及系统 |
| CN117095444A (zh) * | 2023-08-29 | 2023-11-21 | 广州市星飞达电子科技有限公司 | 一种基于人工智能的图像识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504221A (zh) * | 2016-10-13 | 2017-03-15 | 江南大学 | 基于四元数小波变换上下文结构的医学图像融合新方法 |
| CN106803242A (zh) * | 2016-12-26 | 2017-06-06 | 江南大学 | 基于四元数小波变换的多聚焦图像融合方法 |
-
2019
- 2019-09-16 CN CN201910868807.XA patent/CN110570387B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504221A (zh) * | 2016-10-13 | 2017-03-15 | 江南大学 | 基于四元数小波变换上下文结构的医学图像融合新方法 |
| CN106803242A (zh) * | 2016-12-26 | 2017-06-06 | 江南大学 | 基于四元数小波变换的多聚焦图像融合方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680752A (zh) * | 2020-06-09 | 2020-09-18 | 重庆工商大学 | 基于Framelet框架的红外与可见光图像融合方法 |
| CN114581354A (zh) * | 2022-03-31 | 2022-06-03 | 昆明理工大学 | 一种采用特征相似性分析和多卷积稀疏表示的矿山掘进巷道顶板变形图像融合方法 |
| CN114785965A (zh) * | 2022-04-20 | 2022-07-22 | 四川九洲电器集团有限责任公司 | 基于copod算法的高光谱图像自动曝光方法及系统 |
| CN114785965B (zh) * | 2022-04-20 | 2023-09-05 | 四川九洲电器集团有限责任公司 | 基于copod算法的高光谱图像自动曝光方法及系统 |
| CN117095444A (zh) * | 2023-08-29 | 2023-11-21 | 广州市星飞达电子科技有限公司 | 一种基于人工智能的图像识别方法 |
| CN117095444B (zh) * | 2023-08-29 | 2024-02-13 | 广州市星飞达电子科技有限公司 | 一种基于人工智能的图像识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110570387B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110570387B (zh) | 一种基于特征级Copula模型相似性的图像融合方法 | |
| WO2022083026A1 (zh) | 一种超声图像去噪模型建立方法及超声图像去噪方法 | |
| Wang et al. | Medical image fusion based on convolutional neural networks and non-subsampled contourlet transform | |
| CN109389585B (zh) | 一种基于全卷积神经网络的脑组织提取方法 | |
| CN104408700A (zh) | 基于形态学和pca的轮廓波红外与可见光图像融合方法 | |
| Li et al. | Noise-robust image fusion with low-rank sparse decomposition guided by external patch prior | |
| CN107341786A (zh) | 小波变换与联合稀疏表示的红外与可见光图像融合方法 | |
| Guedri et al. | Indexing and images retrieval by content | |
| CN106897987A (zh) | 基于平移不变剪切波和栈式自编码的图像融合方法 | |
| CN109308691A (zh) | 基于图像增强与nsct的红外和可见光图像融合方法 | |
| CN107657593A (zh) | 一种单幅图像去雨方法 | |
| CN106504221B (zh) | 基于四元数小波变换上下文结构的医学图像融合方法 | |
| CN104657951A (zh) | 图像乘性噪声移除方法 | |
| CN104268833A (zh) | 基于平移不变剪切波变换的图像融合新方法 | |
| CN108648174A (zh) | 一种基于自动对焦技术的多层图像融合方法及系统 | |
| CN116342444B (zh) | 一种双通道多模态图像融合方法及电子设备 | |
| CN115018728A (zh) | 基于多尺度变换和卷积稀疏表示的图像融合方法及系统 | |
| CN111815550A (zh) | 一种基于灰度共生矩阵的红外与可见光图像融合方法 | |
| Ghahremani et al. | Adversarial distortion learning for medical image denoising | |
| CN105825491A (zh) | 一种基于混合模型的图像融合方法 | |
| Salau et al. | A review of various image fusion types and transform | |
| CN116630964A (zh) | 一种基于离散小波注意力网络的食品图像分割方法 | |
| Shen et al. | RETRACTED: A novel Gauss-Laplace operator based on multi-scale convolution for dance motion image enhancement [EAI Endorsed Scal Inf Syst (2022), Online First] | |
| El-Shafai et al. | Traditional and deep-learning-based denoising methods for medical images | |
| Vani et al. | Multi focus and multi modal image fusion using wavelet transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |