CN109829873A - 基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法 - Google Patents
基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法 Download PDFInfo
- Publication number
- CN109829873A CN109829873A CN201910068041.7A CN201910068041A CN109829873A CN 109829873 A CN109829873 A CN 109829873A CN 201910068041 A CN201910068041 A CN 201910068041A CN 109829873 A CN109829873 A CN 109829873A
- Authority
- CN
- China
- Prior art keywords
- coefficient
- chmm
- indicate
- region
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005070 sampling Methods 0.000 title claims abstract description 27
- 238000010008 shearing Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 238000002156 mixing Methods 0.000 claims abstract description 20
- 238000013179 statistical model Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 31
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 230000008775 paternal effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 102100037815 Fas apoptotic inhibitory molecule 3 Human genes 0.000 claims description 3
- 101000878510 Homo sapiens Fas apoptotic inhibitory molecule 3 Proteins 0.000 claims description 3
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 abstract description 22
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于非下采样剪切波和全局‑区域‑局部融合规则的图像融合方法，属于图像融合技术领域。主要解决从统计模型中提取单层次特征容易导致图像表示不准确的问题。其实现步骤是：1)待融合图像进行非下采样剪切波变换，得到高频、低频系数；2)低频子带系数采用基于平均梯度取大的融合规则，高频子带系数采用全局‑区域‑局部的融合规则；3)融合后的高、低频系数执行非下采样剪切波逆变换获得融合后的图像。本发明能充分考虑了系数之间的相关性，精确地表示源图像的纹理、细节等特征，从而能有效避免将错误信息引入融合图像中，提高视觉效果，相比传统的融合方法极大地提高了融合图像的质量。
Description
技术领域
本发明属于图像融合技术领域，涉及一种基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法，是图像处理技术领域的一项融合方法，在遥感探测、安全导航、医学诊断等领域具有广泛应用。
背景技术
图像融合技术的日趋发展，其应用领域也更为广阔，在遥感探测、安全导航、反恐检查、环境保护、灾情检测和预报等领域都有重要的应用。红外图像与可见光图像融合，红外图像可看到低可视目标，可见光图像则可看到更多的细节目标，它们的融合能够将整体与细节完美地结合，提高夜战能力，某些国家也用其进行一些实验；医学图像的融合，如：CT(Computed Tomography)图像主要提供骨骼信息、MRI(Magnetic Resonance Imaging)提供血管信息，它们的融合可为手术提供很好的依据，帮助医生做出精准的判断。图像融合为医学临床诊断提供重要的信息来源，在医学临床上得到广泛应用，也推动了医学的发展；雷达图像与红外图像的融合，雷达图像可用于探测，红外图像用可于识别，它们的结合可获得详细的图像信息。图像融合技术的出现为提高这些数据的精确性做出了巨大的贡献，因此，不断加深对图像融合技术的探索，对于国防事业建设和国民经济发展都有着非常重要的意义。
目前，基于多尺度分解MSD(Multi-Scale Decomposition)的一系列图像融合方法越来越流行。MSD工具的选择和活动测度的设计是多尺度几何分析融合方法的关键因素。各种MSD工具已经被广泛应用，如拉普拉斯金字塔变换(LP)、离散小波变换(DWT)、曲波变换(CVT)和非下采样轮廓波变换(NSCT)等等。与上述MSD工具相比，非下采样剪切波(NSST)具有平移不变特性，避免了伪吉布斯现象的发生，不限制剪切图像方向的数量。此外，与CVT和NSCT相比，NSST实现的复杂性较低。因此，本发明选用NSST作为MSD工具。
除了MSD工具外，活动测度在决定融合结果的质量中占有重要的地位。一些研究者已经证明了MSD 系数之间存在着重要的关系，并提出了一些统计模型来表示图像。但这些融合方法仅在单个层次上构建统计模型。事实上，在系数的统计模型中应该表达三个层次的特性，包括局部层、区域层和全局层。从单个层次获得统计特性，容易导致图像表现不准确。因此，本发明选用全局-区域-局部CHMM来提取图像特征作为活动测度。
在图像融合中，融合规则与分解工具同样重要，相比传统的低频部分取平均等融合规则，本发明采用基于平均梯度的融合规则，能够有效提高图像的对比度。常用的高频融合方法有绝对值取大、某个特征取大等单一的融合规则，本发明采用全局-区域-局部的融合规则，将三层融合结果的平均值定义为最终融合的高频子带系数，该融合规则能更准确地表征图像的本质，避免错误信息的引入，从而提高融合图像的质量。
发明内容
本发明的目的是针对上述现有技术的不足，提出的一种基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法，以解决从统计模型中提取单层次特征容易导致图像表示不准确的问题，并采用统计模型充分考虑系数之间的相关性，有效捕获图像的细节，提高融合图像的质量。
本发明的技术方案如下：
一种基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法，包括以下步骤：
1)对待融合的两个图像进行非下采样剪切波变换，得到相应的高频子带系数和低频子带系数；
2)对高、低频子带系数分别采用不同的融合规则进行融合，得到融合后的高、低频系数；
2.1)采用基于平均梯度取大的融合规则对低频子带系数进行融合，得到低频系数；
2.2)采用基于全局-区域-局部的融合规则对高频子带系数进行融合，得到高频系数；
a)在非下采样剪切波域构建全局-区域-局部的上下文隐马尔可夫模型(Global-Region-Local CHMM)，来捕获系数之间的相关性，并分别提取全局CHMM、区域CHMM以及局部CHMM的统计特征边缘概率密度函数Edge PDF；
b)对a)中提取的三个层次的统计特征分别设计全局融合规则、区域融合规则、局部融合规则，通过取平均的融合方案得到融合的高频子带系数；
3)对步骤2)所得的融合后的高、低频系数进行非下采样剪切波逆变换获得最终的融合图像。
作为一种优选方案，步骤1)所述对待融合的两个图像进行非下采样剪切波变换，得到相应的高频子带系数和低频子带系数其中k表示分解尺度，l表示高频的方向子带，k0表示最粗糙尺度，A、B分别代表源图像；
作为一种优选方案，步骤2.1)所述基于平均梯度取大的融合规则，具体如下：
a)计算低频系数在W1×W2邻域内的平均梯度：
其中，表示k0尺度位置(x，y)处的低频系数，I表示源图像A或B，W1×W2表示窗口大小；
b)确定融合图像的低频子带系数；
作为一种优选方案，步骤2.2)中的步骤a)具体如下：
1)每个系数都与一个上下文变量context和一个隐藏状态m(m＝0或1)有关。其中系数的上下文包括 8个最近邻系数，用NA和NB表示，父系数用PX表示，两个表兄弟系数用CX1和CX2表示，如图2。所以非下采样剪切波系数的上下文构造如下：
其中，ω0，ω1，ω2，ω3分别表示直接邻域系数NA，间接邻域系数NB，父系数PX，表兄弟系数CX 的权重系数；t表示邻域系数的个数；
然后根据上下文的构造计算得到上下文变量取值：
其中，EN,EP,EC1,EC2分别表示当前子带、父子带、兄弟子带的平均能量。
2)建立全局CHMM模型；
首先，建立一个高频子带的全局CHMM，即G-CHMM。G-CHMM将两状态的高斯混合分布GMM和 CHMM结合，得到高频子带的统计模型。G-CHMM的边缘概率密度函数(Edge PDF)为：
其中，G表示在子带全局建模，θG表示全局参数的集合。Ck，l表示在第k层的l方向上的一个全局NSST 子带。Sk，l表示全局子带的隐藏状态变量，表示隐藏状态m的概率，表示在已知Ck，l的情况下状态为m的概率，表示均值为0和方差为的高斯条件概率密度函数；v表示已知上下文变量。
在G-CHMM中，采用期望最大化EM算法来训练全局参数，具体步骤如下:
(1)设置初始参数
其中，表示已知的噪声方差和表示在k层l方向上全局子带的平均能量。
(2)计算期望E
根据贝叶斯理论，计算Ck，l在状态为m时的概率
(3)M最大化
全局子带的参数和计算如下
其中Mk，l和Nk，l分别表示第k层l方向的全局子带的行数和列数。当步骤(3)中的参数收敛于先前的参数值，或者迭代次数达到预先设定的限制值时，迭代结束。否则，返回步骤(2)并继续进行迭代。
3)建立区域CHMM模型；
区域CHMM，即R-CHMM是一种用于分析区域内NSST系数统计特征的统计模型。R-CHMM通过提取一个区域的统计特征来获得更准确的图像表示。因此，提出一个基于区域的CHMM。在R-CHMM中，使用G-CHMM训练得到的参数作为R-CHMM的初始参数，以便训练得到更精确的区域参数。因此，本发明提出了一种新的G-CHMM指导R-CHMM参数训练的方法。R-CHMM的构建步骤如下:
(a)区域分割
区域分割包括两个部分：一个是特征提取，另一个是利用FCM进行区域分割。区域分割的过程如图3所示。具体过程如下：
首先对源图像A和B进行区域分割，在第一层分解得到四个方向的高频子带HAj1,HBj1(1≤j1≤4)，第二层分解得到八个方向的高频子带HAj2,HBj2(1≤j2≤8)。将A,B,HAj1,HBj1,HAj2andHBj2划分成小窗口Ai,Bi,num表示窗口的个数。从空间域和变换域提取窗口的特征。然后，利用从源图像提取的特征之间的差异来确定特征向量。空间域的特征有方差and)，平均梯度and)和均值and)。变换域的特征有平均能量and)和平均上下文 )。
特征向量是在特征的差异空间中构造的：
每个特性向量包含15个特点：
其中，是最终的特征向量。
设c代表簇的个数，代表特征向量。考虑到FCM是一种软聚类算法，在图像分割中得到了广泛的应用，我们用FCM来分割特征向量第r类特征向量的隶属度函数用uri(uri∈[0，1]，1≤r≤c，1≤i≤ num)表示。当uri＞ur′i(r，r′＝1，2，…c，r≠r′)时，属于r类，且被划分成c个群组。所以，得到区域 R＝{R1，R2，…，Rr，…Rc}。最后，将区域R映射到源图像A和B中，构建R-CHMM。其中，以两组图像为例显示区域分割的结果。
(b)区域CHMM
区域CHMM是对同一区域的NSST系数构建R-CHMM模型。将G-CHMM的训练参数作为R-CHMM 的初始参数。R-CHMM的边缘概率密度函数(Edge PDF)计算如下：
其中，Ck，l，r表示区域r中第k层l方向的NSST系数，表示在已知上下文变量v的情况下状态为m的概率。θR表示区域参数的集合。表示在已知状态m的情况下上下文v的概率。
R-CHMM的训练过程如下：
(1)设置初始参数
G-CHMM训练得到的参数和σ2 k，l，m作为R-CHMM的初始参数。表示在已知状态m的情况下上下文v的概率，其计算过程如下：
其中，R表示区域r的大小。Ck，l，r表示区域r中k层l方向的NSST系数。表示状态为m的概率，表示方差。
(2)计算期望E：计算每个区域r中NSST系数的概率如下：
(3)最大化M
检查步骤(3)中参数的收敛性。当它们收敛于先前的参数值，或者迭代数达到预设的限制值时，则停止模型训练。否则，继续迭代。
4)建立局部CHMM模型，即L-CHMM；
本发明构造了一个局部的CHMM(L-CHMM)来提取局部统计特征，从而能够准确地反映出当前系数的特性。R-CHMM的训练参数作为L-CHMM的初始参数，因为它可以使L-CHMM参数的计算更准确。因此，本发明中提出了R-CHMM引导L-CHMM的参数训练的方法。局部模型的边缘概率密度函数(Edge PDF)如下：
Ck，l，x，y表示k层l方向空间位置为(x,y)的NSST系数。ΘL表示局部参数的集合。
L-CHMM的训练过程如下：
(1)设置初始参数
R-CHMM训练得到的参数和σ2 k，l，r，m作为L-CHMM的初始参数。表示在已知状态m的情况下上下文v的概率，其计算过程如下：
该步的计算在以NSST系数为中心大小为(2W+1)-(2W+1)的局部窗口中进行，此处W＝1，W表示窗体尺寸参数。其中，p，q分别表示局部窗口内系数的横纵坐标；Ck，l，x，y表示k层l方向空间位置为(x,y)的NSST 系数。表示状态为m的概率，参数和由R-CHMM训练的参数和σ2 k，l，r，m得到。表示方差。
(2)计算期望E：
计算局部NSST系数的概率如下：
(3)最大化M：
该步的计算过程在一个(2W+1)-(2W+1)的窗口中进行，此处W＝1。当步骤(3)中的参数收敛于先前的迭代，或者迭代数达到预设的限制Nc2时，那么停止模型训练的过程。否则，返回步骤(2)并进行迭代。
作为一种优选方案，步骤2.2)中的步骤b)具体如下：
(1)信息熵通常反映信息量的多少，所以本章使用全局信息熵来提取全局信息，全局信息熵的计算公式如下：
其中，I＝A或B,表示高频系数的全局边缘概率密度函数。
(2)全局融合系数计算公式如下：
(3)KLD(Kullback–Leibler divergence)反映了高频系数和高频系数之间的差异性，KLD具有不对称性。KLD的计算公式如下：
其中，和表示高频系数的区域边缘概率密度函数。
(4)区域融合系数计算公式如下：
(5)局部融合系数计算公式如下：
其中，和表示局部边缘概率密度函数的区域能量，其计算公式如下：
其中，W1＝W2，PI k，l(x，y)，I＝(A或B)表示局部边缘概率密度函数。
(6)根据全局融合系数、区域融合系数、局部融合系数，采用取平均的融合规则进行融合，最终融合的高频系数如下：
本发明的有益效果：
1.本发明采用基于非下采样剪切波域的图像融合方法，相比LP、DWT、CVT、NSCT等工具，非下采样剪切波具有平移不变特性，避免了伪吉布斯现象的发生，且不限制剪切图像方向的数量。
2.本发明的图像融合方法对低频子带系数，采用基于平均梯度取大的融合规则，能有效提高图像的对比度，提高视觉效果；对于高频方向子带系数，采用全局-区域-局部融合规则的融合规则，可以更全面地提取图像中的纹理信息，避免丢失有用信息、引入错误信息，从而增加图像的可观性。
附图说明
图1是本发明基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法的流程图。
图2是本发明非采样剪切波高频系数的相关性示意图。其中：X代表当前系数，其与上下文变量和隐状态有关；当前系数的上下文变量包含NA、NB、CX、PX，隐状态分为0或1。
图3是本发明区域分割的过程图。
图4是本发明两组图像的区域分割结果图，其中(a)是待分割的红外图像；(b)是待分割的可见光图像；(c)是待分割的MRI图像；(d)是待分割的CT图像；(e)是可见光图像的分割结果；(f)红外图像的分割结果；(g)是MRI图像的分割结果；(h)是CT图像的分割结果。
图5是仿真实验的红外及可见光图像，其中，(a)是本发明一个实施例的待融合红外图像。(b)是本发明一个实施例的待融合可见光图像。(c)-(i)是本发明一个实施例的融合结果示意图。图中：(c)基于LP的融合图像；(d)基于DWT的融合图像；(e)基于GFF的融合图像；(f)基于EGGDD的融合图像；(g)基于Neuro-fuzzy 的融合图像；(h)基于DC的融合图像；(i)本发明方法的融合图像。
具体实施方式
下面对本发明的一个实施例(红外与可见光图像)结合附图作详细说明，本实施例在以本发明技术方案为前提下进行，如图1所示，详细的实施方式和具体的操作步骤如下：
步骤1，对待融合的两个图像进行非下采样剪切波变换，得到相应的高频子带系数和低频子带系数其中方向分解参数设为(4，8),即其分解尺度为2。其中k表示高频方向分解尺度，l表示高频的方向子带，k0表示最粗糙尺度，A、B分别代表源图像；
步骤2，对高、低频子带系数分别采用不同的融合规则进行融合，得到融合后的高、低频子带系数；
1)采用基于平均梯度取大的融合规则对低频子带系数进行融合:
1.1)计算低频系数在9×9邻域内的平均梯度：
其中，W1×W2代表窗口大小，在本实施方式中，W1＝W2＝9。
1.2)确定融合图像的低频子带系数:
2)采用全局-区域-局部的融合规则对高频子带系数进行融合；
2.1)在非下采样剪切波域构建全局-区域-局部的上下文隐马尔可夫模型(Global-Region-Local CHMM)来捕获系数之间的相关性，并分别提取全局CHMM、区域CHMM以及局部CHMM的统计特征边缘概率密度函数Edge PDF；
1)每个系数都与一个上下文变量context和一个隐藏状态m(m＝0或1)有关。其中系数的上下文包括 8个最近邻系数,用NA和NB表示，父系数,用PX表示，两个表兄弟系数,用CX1和CX2表示，如图2。所以非下采样剪切波系数的上下文构造如下：
其中，ω0，ω1，ω2，ω3分别表示直接邻域系数NA，间接邻域系数NB，父系数PX，表兄弟系数CX 的权重系数，t表示邻域系数的个数。通过对多组经验值比较，本实施例中权值因子最终选取ω0＝0.8、ω1＝0.6、ω2＝0.2、ω3＝0.4然后根据上下文的构造计算得到上下文变量取值：
其中，EN,EP,EC1,EC2分别表示当前子带、父子带、兄弟子带的平均能量。
2)建立全局CHMM模型；
首先，建立一个高频子带的全局CHMM，即G-CHMM。G-CHMM将两状态的高斯混合分布(GMM)和CHMM结合，得到高频子带的统计模型。G-CHMM的边缘概率密度函数(Edge PDF)为：
其中，G表示在子带全局建模，θG表示全局参数的集合。Ck，l表示在第k层的l方向上的一个全局NSST 子带。Sk，l表示全局子带的隐藏状态变量，表示隐藏状态m的概率，表示在已知Ck，l的情况下状态为m的概率，表示均值为0和方差为的高斯条件概率密度函数；v表示已知上下文变量。
在G-CHMM中，采用期望最大化EM算法来训练全局参数，具体步骤如下:
(1)设置初始参数
其中，表示已知的噪声方差和表示在k层l方向上全局子带的平均能量。
(2)计算期望E
根据贝叶斯理论，计算Ck，l在状态为m时的概率
(3)M最大化
全局子带的参数和计算如下
其中Mk，l和Nk，l分别表示第k层l方向的全局子带的行数和列数。当步骤(3)中的参数收敛于先前的参数值，或者迭代次数达到预先设定的限制值时，迭代结束。否则，返回步骤(2)并继续进行迭代。
3)建立区域CHMM模型；
区域CHMM，即R-CHMM是一种用于分析区域内NSST系数统计特征的统计模型。R-CHMM通过提取一个区域的统计特征来获得更准确的图像表示。因此，提出一个基于区域的CHMM。在R-CHMM中，使用G-CHMM训练得到的参数作为R-CHMM的初始参数，以便训练得到更精确的区域参数。因此，本发明提出了一种新的G-CHMM指导R-CHMM参数训练的方法。R-CHMM的构建步骤如下:
(a)区域分割
区域分割包括两个部分：一个是特征提取，另一个是利用FCM进行区域分割。区域分割的过程如图3所示。具体过程如下：
首先对源图像A和B进行区域分割，在第一层分解得到四个方向的高频子带HAj1,HBj1(1≤j1≤4)，第二层分解得到八个方向的高频子带HAj2,HBj2(1≤j2≤8)。将A,B,HAj1,HBj1,HAj2andHBj2划分成小窗口Ai,Bi,num表示窗口的个数。从空间域和变换域提取窗口的特征。然后，利用从源图像提取的特征之间的差异来确定特征向量。空间域的特征有方差(and)，平均梯度(and)和均值(and)。变换域的特征有平均能量(and)和平均上下文(and)。
特征向量是在特征的差异空间中构造的：
每个特性向量包含15个特点：
其中，是最终的特征向量。
设c代表簇的个数，代表特征向量。考虑到FCM是一种软聚类算法，在图像分割中得到了广泛的应用，我们用FCM来分割特征向量第r类特征向量的隶属度函数用uri(uri∈[0，1]，1≤r≤c，1≤i≤ num)表示。当uri＞ur′i(r，r′＝1，2，…c，r≠r′)时，属于r类，且被划分成c个群组。所以，得到区域 R＝{R1，R2，…，Rr，…Rc}。最后，将区域R映射到源图像A和B中，构建R-CHMM。其中，以两组图像为例显示区域分割的结果，如图4所示。
(b)区域CHMM
区域CHMM是对同一区域的NSST系数构建R-CHMM模型。将G-CHMM的训练参数作为R-CHMM 的初始参数。R-CHMM的边缘概率密度函数(Edge PDF)计算如下：
其中，Ck，l，r表示区域r中第k层l方向的NSST系数，表示在已知上下文变量v的情况下状态为m的概率。θR表示区域参数的集合。表示在已知状态m的情况下上下文v的概率。
R-CHMM的训练过程如下：
(1)设置初始参数
G-CHMM训练得到的参数和σ2 k，l，m作为R-CHMM的初始参数。表示在已知状态m的情况下上下文v的概率，其计算过程如下：
其中，R表示区域r的大小。Ck，l，r表示区域r中k层l方向的NSST系数。表示状态为 m的概率，表示方差。
(2)计算期望E：计算每个区域r中NSST系数的概率如下：
(3)最大化M
检查步骤(3)中参数的收敛性。当它们收敛于先前的参数值，或者迭代数达到预设的限制值时，则停止模型训练。否则，继续迭代。
4)建立局部CHMM模型；
本发明构造了一个局部的CHMM，即L-CHMM来提取局部统计特征，从而能够准确地反映出当前系数的特性。R-CHMM的训练参数作为L-CHMM的初始参数，因为它可以使L-CHMM参数的计算更准确。因此，本发明中提出了R-CHMM引导L-CHMM的参数训练的方法。局部模型的边缘概率密度函数(Edge PDF)如下：
Ck，l，x，y表示k层l方向空间位置为(x,y)的NSST系数。ΘL表示局部参数的集合。
L-CHMM的训练过程如下：
(1)设置初始参数
R-CHMM训练得到的参数和σ2 k，l，r，m作为L-CHMM的初始参数。表示在已知状态m的情况下上下文v的概率，其计算过程如下：
该步的计算在以NSST系数为中心大小为(2W+1)-(2W+1)的局部窗口中进行，此处W＝1，W表示窗体尺寸参数，其中，p，q分别表示局部窗口内系数的横纵坐标；Ck，l，x，y表示k层l方向空间位置为(x,y)的 NSST系数。表示状态为m的概率，参数和由R-CHMM训练的参数和σ2 k，l，r，m得到。表示方差。
(2)计算期望E：计算局部NSST系数的概率如下：
(3)最大化M：
该步的计算过程在一个(2W+1)-(2W+1)的窗口中进行此处W＝1。如果步骤(3)中的参数收敛于先前的迭代，或者迭代数达到预设的限制Nc2，那么停止模型训练的过程。否则，返回步骤(2)并进行迭代。
其中，优化的期望最大化EM算法分初始化和迭代训练两步来估计模型参数，其中EM训练算法中由粗糙到精细各尺度对应的局部窗口大小依次设为5×5、7×7，迭代次数分别设为30次和10次。
2.2)对2.1)中提取的三个层次的统计特征分别设计全局融合规则、区域融合规则、局部融合规则，通过取平均的融合方案得到融合的高频子带系数,具体如下：
(1)信息熵通常反映信息量的多少，所以本章使用全局信息熵来提取全局信息，全局信息熵的计算公式如下：
其中，I＝A或B,PI k，l(x，y)表示高频系数的全局边缘概率密度函数。
(2)全局融合系数计算公式如下：
(3)KLD(Kullback–Leibler divergence)反映了高频系数和高频系数之间的差异性，KLD具有不对称性。KLD的计算公式如下：
其中，和表示高频系数的区域边缘概率密度函数。
(4)区域融合系数计算公式如下：
(5)局部融合系数计算公式如下：
其中，和表示局部边缘概率密度函数的区域能量，其计算公式如下：
其中，W1＝W2＝3，PI k，l(x，y)，I=(A或B)表示局部边缘概率密度函数。
(6)根据全局融合系数、区域融合系数、局部融合系数，我们采用取平均的融合规则进行融合，最终融合的高频系数如下：
步骤3，对融合后的高、低频系数进行非采样剪切波逆变换获得最终的融合图像。
仿真实验
为了验证本发明的可行性和有效性，采用红外与可见光图像，大小为256×256，如图5中的(a)和(b)所示，根据本发明方法进行融合实验。
综上所述，通过图5的融合结果比较可以看出：本发明方法所得的融合图像都更好地保持了待融合图像中的有价值的信息，避免了错误信息的引入，清晰度、对比度更高，主观效果最好，所以本发明方法所得的融合结果更理想。
表1给出了采用各种融合方法所得融合结果的客观评价指标。其中，数据加粗表明对应的多模态医学图像融合方法所得评价指标取值最优。
表1基于各种融合方法的融合性能比较
| 融合方法 | EN | AG | MI | SSIM | EI |
| LP | 6.4889 | 6.8520 | 2.3227 | 0.5091 | 61.3410 |
| DWT | 6.3213 | 7.5286 | 2.0111 | 0.5486 | 62.9137 |
| GFF | 6.5401 | 5.9857 | 1.9364 | 0.5099 | 55.0511 |
| EGGDD | 6.4290 | 4.6956 | 1.9399 | 0.5116 | 43.4519 |
| Neuro-fuzzy | 6.6971 | 6.1051 | 3.0792 | 0.5108 | 56.8024 |
| DC | 6.0280 | 6.1887 | 1.3153 | 0.4457 | 59.8473 |
| Proposed | 6.8791 | 6.5874 | 3.1702 | 0.5685 | 64.1302 |
表1中通过熵、清晰度、互信息、结构相似性、边缘强度来衡量融合图像的质量，进而验证本发明融合方法的可行性和有效性。上表中融合方法一为基于LP的融合方法，融合方法二为基于DWT的融合方法，融合方法三为基于GFF融合方法，融合方法四为基于EGGDD的融合方法，融合方法五为基于Neuro-fuzzy 的融合方法，融合方法六为基于DC的融合方法。
由表1数据可知，本发明方法所获得的融合图像在熵、互信息、结构相似性、边缘强度等客观评价指标上要优于其它融合方法。熵值反映了图像携带信息量的多少，熵值越大，说明包含的信息量越多，融合效果越好；清晰度反映图像对微小细节反差表达的能力，清晰度越高则图像融合效果越好；边缘强度用于衡量图像边缘细节的丰富程度，其值越大，则融合图像的边缘越清晰，效果越好；而互信息是衡量两幅灰度图像中灰度分布的相关性，取值越大图像融合效果越好。结构相似性反映了源图像与融合图像之间的结构相似性，衡量有多少边缘信息从源图像转移到了融合图像，其值越大，融合效果越好。
Claims (3)
1.一种基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法，其特征在于，包括以下步骤：
1)对待融合的两个图像进行非下采样剪切波变换，得到相应的高频子带系数和低频子带系数；
2)对高、低频子带系数分别采用不同的融合规则进行融合，得到融合后的高、低频系数；
2.1)采用基于平均梯度取大的融合规则对低频子带系数进行融合，得到低频系数；
2.2)采用基于全局-区域-局部的融合规则对高频子带系数进行融合，得到高频系数；
a)在非下采样剪切波域构建全局-区域-局部的上下文隐马尔可夫模型，来捕获系数之间的相关性，并分别提取全局CHMM、区域CHMM以及局部CHMM的统计特征边缘概率密度函数Edge PDF；
b)对a)中提取的三个层次的统计特征分别设计全局融合规则、区域融合规则、局部融合规则，通过取平均的融合方案得到融合的高频子带系数；
3)对步骤2)所得的融合后的高、低频系数进行非下采样剪切波逆变换获得最终的融合图像。
2.根据权利要求1所述的图像融合方法，其特征在于，步骤1)所述对待融合的两个图像进行非下采样剪切波变换，得到相应的高频子带系数和低频子带系数其中k表示分解尺度，l表示高频的方向子带，k0表示最粗糙尺度，A、B分别代表源图像。
3.根据权利要求1或2所述的图像融合方法，其特征在于，步骤2.1)所述基于平均梯度取大的融合规则，具体如下：
a)计算低频系数在W1×W2邻域内的平均梯度：
其中，表示k0尺度位置(x，y)处的低频系数，I表示源图像A或B，W1×W2表示窗口大小；
b)确定融合图像的低频子带系数；
步骤2.2)中的步骤a)具体如下：
1)每个系数都与一个上下文变量context和一个隐藏状态m有关，m＝0或1；其中系数的上下文包括8个最近邻系数，用NA和NB表示，父系数用PX表示，两个表兄弟系数用CX1和CX2表示；所以非下采样剪切波系数的上下文构造如下：
其中，ω0，ω1，ω2，ω3分别表示直接邻域系数NA，间接邻域系数NB，父系数PX，表兄弟系数CX的权重系数；t表示邻域系数的个数；
然后根据上下文的构造计算得到上下文变量取值：
其中，EN,EP,EC1,EC2分别表示当前子带、父子带、兄弟子带的平均能量；
2)建立全局CHMM模型；
首先，建立一个高频子带的全局CHMM，即G-CHMM；G-CHMM将两状态的高斯混合分布GMM和CHMM结合，得到高频子带的统计模型；G-CHMM的边缘概率密度函数为：
其中，G表示在子带全局建模，θG表示全局参数的集合；Ck，l表示在第k层的l方向上的一个全局NSST子带；Sk，l表示全局子带的隐藏状态变量，表示隐藏状态m的概率，表示在已知Ck，l的情况下状态为m的概率，表示均值为0和方差为的高斯条件概率密度函数；v表示已知上下文变量；
在G-CHMM中，采用期望最大化EM算法来训练全局参数，具体步骤如下:
(1)设置初始参数
其中，表示已知的噪声方差和表示在k层l方向上全局子带的平均能量；
(2)计算期望E
根据贝叶斯理论，计算Ck，l在状态为m时的概率
(3)M最大化
全局子带的参数和计算如下
其中，Mk，l和Nk，l分别表示第k层l方向的全局子带的行数和列数；当步骤(3)中的参数收敛于先前的参数值，或者迭代次数达到预先设定的限制值时，迭代结束；否则，返回步骤(2)并继续进行迭代；
3)建立区域CHMM模型，即R-CHMM
R-CHMM的构建步骤如下:
(a)区域分割
区域分割包括两个部分：一个是特征提取，另一个是利用FCM进行区域分割；具体过程如下：
首先对源图像A和B进行区域分割，在第一层分解得到四个方向的高频子带HAj1,HBj1，1≤j1≤4；第二层分解得到八个方向的高频子带HAj2,HBj2，1≤j2≤8；将A,B,HAj1,HBj1,HAj2andHBj2划分成小窗口Ai,Bi,1≤i≤num，num表示窗口的个数；从空间域和变换域提取窗口的特征；然后，利用从源图像提取的特征之间的差异来确定特征向量；空间域的特征有方差and平均梯度and和均值变换域的特征有平均能量和平均上下文
特征向量是在特征的差异空间中构造的：
每个特性向量包含15个特点：
其中，是最终的特征向量；
设c代表簇的个数，代表特征向量；用FCM来分割特征向量第r类特征向量的隶属度函数用uri，uri∈[0，1]，1≤r≤c，1≤i≤num表示；当uri＞ur′i，r，r′＝1，2，…c，r≠r′时，属于r类，且被划分成c个群组；所以，得到区域R＝{R1，R2，…，Rr，…Rc}；最后，将区域R映射到源图像A和B中，构建R-CHMM；其中，以两组图像为例显示区域分割的结果；
(b)区域CHMM
区域CHMM是对同一区域的NSST系数构建R-CHMM模型；将G-CHMM的训练参数作为R-CHMM的初始参数；R-CHMM的边缘概率密度函数计算如下：
其中，Ck，l，r表示区域r中第k层l方向的NSST系数，表示在已知上下文变量v的情况下状态为m的概率；θR表示区域参数的集合；表示在已知状态m的情况下上下文v的概率；
R-CHMM的训练过程如下：
(1)设置初始参数
G-CHMM训练得到的参数和σ2 k，l，m作为R-CHMM的初始参数；表示在已知状态m的情况下上下文v的概率，其计算过程如下：
其中，R表示区域r的大小；Ck，l，r表示区域r中k层l方向的NSST系数；表示状态为m的概率，表示方差；
(2)计算期望E：计算每个区域r中NSST系数的概率如下：
(3)最大化M
检查步骤(3)中参数的收敛性；当它们收敛于先前的参数值，或者迭代数达到预设的限制值时，则停止模型训练；否则，继续迭代；
4)建立局部CHMM模型，即L-CHMM；
R-CHMM的训练参数作为L-CHMM的初始参数，局部模型的边缘概率密度函数如下：
Ck，l，x，y表示k层l方向空间位置为(x,y)的NSST系数；Θl表示局部参数的集合；
L-CHMM的训练过程如下：
(1)设置初始参数
R-CHMM训练得到的参数和σ2 k，l，r，m作为L-CHMM的初始参数；表示在已知状态m的情况下上下文v的概率，其计算过程如下：
该步的计算在以NSST系数为中心大小为(2W+1)-(2W+1)的局部窗口中进行，此处W＝1，W表示窗体尺寸参数；其中，p，q分别表示局部窗口内系数的横纵坐标；Ck，l，x，y表示k层l方向空间位置为(x,y)的NSST系数；表示状态为m的概率，参数和由R-CHMM训练的参数和σ2 k，l，r，m得到；表示方差；
(2)计算期望E：
计算局部NSST系数的概率如下：
(3)最大化M：
该步的计算过程在一个(2W+1)-(2W+1)的窗口中进行，此处W＝1；当步骤(3)中的参数收敛于先前的迭代，或者迭代数达到预设的限制Nc2时，那么停止模型训练的过程；否则，返回步骤(2)并进行迭代；
步骤2.2)中的步骤b)具体如下：
(1)使用全局信息熵来提取全局信息，全局信息熵的计算公式如下：
其中，I＝A或B,表示高频系数的全局边缘概率密度函数；
(2)全局融合系数计算公式如下：
(3)KLD反映了高频系数和高频系数之间的差异性，KLD具有不对称性；KLD的计算公式如下：
其中，和表示高频系数的区域边缘概率密度函数；
(4)区域融合系数计算公式如下：
(5)局部融合系数计算公式如下：
其中，和表示局部边缘概率密度函数的区域能量，其计算公式如下：
其中，W1＝W2，I＝A或B，表示局部边缘概率密度函数；
(6)根据全局融合系数、区域融合系数、局部融合系数，采用取平均的融合规则进行融合，最终融合的高频系数如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910068041.7A CN109829873B (zh) | 2019-01-24 | 2019-01-24 | 基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910068041.7A CN109829873B (zh) | 2019-01-24 | 2019-01-24 | 基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109829873A true CN109829873A (zh) | 2019-05-31 |
| CN109829873B CN109829873B (zh) | 2023-03-14 |
Family
ID=66862285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910068041.7A Active CN109829873B (zh) | 2019-01-24 | 2019-01-24 | 基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829873B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754447A (zh) * | 2020-07-06 | 2020-10-09 | 江南大学 | 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008537A (zh) * | 2013-11-04 | 2014-08-27 | 无锡金帆钻凿设备股份有限公司 | 结合cs-ct-chmm的噪声图像融合新方法 |
| CN107610165A (zh) * | 2017-09-12 | 2018-01-19 | 江南大学 | 基于多特征的3‑d剪切波域多模态医学序列图像融合方法 |
-
2019
- 2019-01-24 CN CN201910068041.7A patent/CN109829873B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008537A (zh) * | 2013-11-04 | 2014-08-27 | 无锡金帆钻凿设备股份有限公司 | 结合cs-ct-chmm的噪声图像融合新方法 |
| CN107610165A (zh) * | 2017-09-12 | 2018-01-19 | 江南大学 | 基于多特征的3‑d剪切波域多模态医学序列图像融合方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754447A (zh) * | 2020-07-06 | 2020-10-09 | 江南大学 | 基于多状态上下文隐马尔科夫模型的红外和可见光图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109829873B (zh) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN106485695B (zh) | 基于统计形状模型的医学图像Graph Cut分割方法 | |
| CN108416802B (zh) | 一种基于深度学习的多模医学图像非刚性配准方法及系统 | |
| Kim et al. | Machine-learning-based automatic identification of fetal abdominal circumference from ultrasound images | |
| CN110309860A (zh) | 基于卷积神经网络对肺结节的恶性程度进行分类的方法 | |
| CN107274399A (zh) | 一种基于Hession矩阵和三维形状指数的肺结节分割方法 | |
| CN106980848A (zh) | 基于曲波变换和稀疏学习的人脸表情识别方法 | |
| Mahapatra et al. | Visual saliency based active learning for prostate mri segmentation | |
| CN109509193A (zh) | 一种基于高精度配准的肝脏ct图谱分割方法及系统 | |
| CN108229551A (zh) | 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法 | |
| CN102314610B (zh) | 一种基于概率潜语义分析模型的面向对象影像聚类方法 | |
| CN110363236A (zh) | 空谱联合超图嵌入的高光谱图像极限学习机聚类方法 | |
| CN106991411A (zh) | 基于深度形状先验的遥感图像目标精细化提取方法 | |
| CN105512670B (zh) | 基于keca特征降维和聚类的hrct周围神经分割 | |
| CN106897999A (zh) | 基于尺度不变特征变换的苹果图像融合方法 | |
| CN112288645A (zh) | 一种颅骨面貌复原模型构建方法及复原方法与系统 | |
| Chen et al. | A generalized asymmetric dual-front model for active contours and image segmentation | |
| CN106504239A (zh) | 一种提取超声图像中肝脏区域的方法 | |
| Tu et al. | Feature extraction using multidimensional spectral regression whitening for hyperspectral image classification | |
| Bi et al. | Classification of low-grade and high-grade glioma using multiparametric radiomics model | |
| Xiaojie et al. | Segmentation of the aortic dissection from CT images based on spatial continuity prior model | |
| CN104331864B (zh) | 基于非下采样轮廓波和视觉显著模型的乳腺影像处理 | |
| CN109829873A (zh) | 基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法 | |
| CN109523484A (zh) | 一种基于分形特征的手指静脉血管网络修复方法 | |
| Zhou et al. | HAUNet-3D: a novel hierarchical attention 3D UNet for lung nodule segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240531 Address after: Room 204, Building 8, Suzhou High tech Software Park, No. 78 Keling Road, High tech Zone, Suzhou City, Jiangsu Province, 215000 Patentee after: Suzhou Yunfeng Era Technology Co.,Ltd. Country or region after: China Address before: 1800 No. 214122 Jiangsu city of Wuxi Province Li Lake Avenue Patentee before: Jiangnan University Country or region before: China |