CN110060226A - 基于人类视觉梯度转化和全变差参数自适应图像融合方法 - Google Patents
基于人类视觉梯度转化和全变差参数自适应图像融合方法 Download PDFInfo
- Publication number
- CN110060226A CN110060226A CN201910287992.3A CN201910287992A CN110060226A CN 110060226 A CN110060226 A CN 110060226A CN 201910287992 A CN201910287992 A CN 201910287992A CN 110060226 A CN110060226 A CN 110060226A
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- iteration
- equation
- indicates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 238000002156 mixing Methods 0.000 claims abstract description 36
- 230000008859 change Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000009792 diffusion process Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000002939 conjugate gradient method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 238000007500 overflow downdraw method Methods 0.000 abstract description 22
- 230000000007 visual effect Effects 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
基于人类视觉梯度转化和全变差参数自适应图像融合方法，属于图像融合技术领域。其实现的步骤是：将融合问题转化为TV‑L1模型最小化问题，其中的数据保真项保存图像结构信息的主要强度分布，正则项保存图像纹理信息的梯度变化，通过数值迭代得到中间结果图像，再通过相加获得融合图像。为了保证算法求解的收敛性，分析了相关参数的取值范围，在模型参数选择方面，运用全局方差估计法自适应地选择调整参数，可以有效地保护图像特征并提高运算效率。本发明能充分整合源图像的结构和功能信息，有效保护图像细节，改善视觉效果，相比传统的融合方法极大地提高了融合图像的质量。
Description
技术领域
本发明属于图像融合技术领域，涉及一种基于人类视觉梯度转化和全变差参数自适应图像融合方法，是图像处理技术领域的一项融合方法，在医疗、军事等各邻域中有广泛地应用。
背景技术
图像融合技术是图像处理领域的一个研究热点，并被广泛地应用于红外可见光图像处理、医学图像处理等领域。融合方法能够将各个传感器获取的同一场景的有用信息综合成一幅图像，从而能够给予比单一图像更确切、更全面、更可靠的图像信息。该技术充分利用了源图像中的冗余信息和互补信息，更符合人或机器的视觉特征，便于目标检测、辨别和跟踪。本发明提出了一种基于人类视觉(HVS)梯度转移和全变差参数自适应图像融合方法。
人类视觉系统(human visual system,HVS)的反应主要取决于背景亮度的局部变化，将其加入到正则项模型中，可以提高不同背景下的视觉效果。不同的梯度，在不同的背景亮度下会有不同的视觉效果，改进的梯度转化模型能加强融合图像边缘细节信息。
全变差(TV)模型中保真项能够保持目标的结构边缘特征，正则项能够保持图像中背景的梯度变化纹理细节信息，自适应参数能有效的平衡保真项和正则项的平滑。由于TV模型泛函最优化过程中正则项参数难以确定，提出了耦合梯度TV-L1模型的参数自适应融合算法，运用定点迭代法和全局方差估算法获得自适应参数。可以有效的抑止“阶梯效应”，保留纹理和结构信息，并且具备高度收敛性。
本发明是一种基于HVS梯度转化和全变差参数自适应图像融合方法。为了确保算法的收敛性，对有关参数的范畴进行了分析。在模型参数选择方面，基于全局方差估计方法自适应地选择调整参数，制约了图像融合优化过程当中的可行域，保留了图像特性，提高了融合图像的质量。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于人类视觉(HVS)梯度转化和全变差参数自适应图像融合方法，解决已有的图像融合方法所得融合图像不能保持图像信息的同时有效地保持图像边缘的细节的问题，并充分整合不同图像的结构信息和功能信息，有效保护图像细节，改善其视觉效果，提高融合图像的质量。
本发明解决其技术问题所采用的技术方案如下：
基于人类视觉梯度转化和全变差参数自适应图像融合方法，首先对待融合的两幅源图像引入线性算子，将融合问题转化为TV-L1模型最小化问题，然后构造定点迭代方程，接着利用共轭梯度法同步迭代求的最优解得到中间结果，最后通过中间结果与源图像整合得到最终的融合图像；具体包括以下步骤：
(1)对待融合的两幅源图像引入线性算子，将融合问题转化为TV-L1模型最小化问题；
(1.1)这里我们用红外和可见光图像为例，给定一对对准的红外和可见光图像，我们的目标是产生一个融合的图像，同时保留了这两幅图像的热辐射信息和详细的外观信息。这里的红外、可见光和融合图像都是大小为w×h的灰度图像，它们的列向量形式分别表示为u,v,w∈IRwh×1。
一方面，热辐射典型的特点是像素强度，这促使我们保持融合后的图像与给定的红外图像具有相似的像素强度分布，例如，下面的lp的范数经验误差(p≥1)应尽可能小：
另一方面，关于场景的详细外观信息基本上是由图像中的渐变来表征的，所以保持融合后的图像与可见光图像具有相似的像素梯度而不是相似的像素强度，然而，该模型不符合图像形态学的原理，在稳态解中存在明显的“阶梯效应”。针对以上问题,许多学者已经改善的基本ROF_TV模型，结合Weber定律，引入分母。
(1.2)结合上述两式，我们将融合问题转化为一个最小化的能量泛函模型：
其中，E1(e)表示最小化的能量泛函模型的保真项，λ是Lagrange乘子；E2(e)表示最小化的能量泛函模型的正则项；p表示保真项的范数；q表示正则项的范数；▽w表示融合图像的梯度；▽v表示可见光图像的梯度；
(1.3)当p＝2,q＝1时，令s＝w-v，该优化问题可以改写为：
其中，K为点线性算子，主要作用是调节目标图像权重大小。▽是梯度算子表示p范数，s为融合图像的中间结果，▽s表示其s的梯度，第一项为保真项，主要作用是保持融合后图像与观测图像的相似性；第二项为正则项，在优化过程中起到光滑作用；λ是Lagrange乘子，表示正则化参数，在泛函模型中对数据保真项和正则项起到平衡作用。通过这种方式,建立了图像融合的TV模型。
(1.4)利用步骤(1.3)得到的最小化的能量泛函模型建立图像融合的TV模型；这是一个极值函数搜索问题，将导致一个变分问题，变分问题是在域Ω中，求函数s(x,y)，满足Ω边界条件，使泛函即公式(5)达到极限值；其中，表示能量泛函数；x、y表示点的横纵坐标；
(1.5)在公式(5)中，定义了函数F的域Ω，并具有二阶连续偏导数；为了使公式(6)达到极值，需要J[s(x,y)]一阶变分极小值，从而导出了欧拉-拉格朗日方程PDE：
其中，
对建立的图像融合的TV模型。针对图像融合模型有：
可得：
其中，Fs表示函数F对s的导数；Fp表示函数F对的x偏导数；K*为K的伴随算子，从而可得上述TV模型取极值的对应的Eular_Lagrange方程：
即
对于上式我们根据2001，Chan提出了一种基于图像噪声方差的正则化参数估计方法。从非线性扩散角度看,该方法是非线性扩散方程的一个梯度下降方程：
两边同时乘以(s-(u-v))可得：
随着时间t的变化，为使该扩散方程达到稳定状态应满足：
通过简单的数学推导,得到了正则化参数λ随时间t变化的自适应选择：
其中，N表示图像中像素的总和，σ2表示方差，可见，正则化参数与方差成比例。这样,方差和大小的值就可以在变分调整的每个迭代步骤中确定，该模型在权函数的指导下,在图像的平坦区域实现较大的平滑,在边缘处实现较小的平滑,从而更好地保持图像的边缘信息和纹理特征。
(2)构造定点迭代方程；
(2.1)计算方程(10),使用不动点迭代法计算，得到：
其中，L(s)为构造的微分算子，当它作用于z时表示为：
其中，z表示变量；β表示变量；▽z表示z的梯度；
(2.2)令对偶变换上式(12)表示为非线性对偶方程：
(2.3)对(15)中的平方根项固定化处理，令s＝sm，消除m表示用来迭代的数值，初始值为0，然后得到定点迭代公式：
(2.4)定点迭代中确定合适的λ十分的困难。为了改善正则化,使用方差来计算正则化参数λ。为了准确估计迭代过程中sm包含的方差nm的统计特性,提出了一种完全方差的图像同步迭代辅助计算。图像的大小与图像sm完全相同。开始时，令和图像的方差n0服从相同的分布，设定n0～N(0,σ2)，则有n0～N(0,σ2)，要求是单独存在的，但n被添加到图像中，并与图像一起存在；
提出了一个新的迭代方程作为附加的同步迭代方程：
定义公式中：
联合式(17)和(18)，构成最终的定点迭代方程：
其中，
在任何迭代的m中,从局部角度看不可能知道每一个图像点大小的差异,但由于分布在同步迭代过程中的分布非常接近,所以总能知道方差分布的整体情况。重申:事实上,在迭代的过程,和nm是同步计算,sm是正常的融合图像,是一个纯粹的方差的图像。方差图像的存在是为了帮助估计估计sm中方差的nm统计特性。
(3)利用共轭梯度法同步求解
中的sm+1和
①检查是否符合终止条件,如果||▽f(s0)||＜ε迭代终止,计算s0为近似最优解，即s0＝u-v；
否则,转为②；其中，▽f(s0)表示最理想的梯度值；ε表示误差(ε＞0)；
②构造初始搜索方向，计算d0＝-▽f(s0)，m＝0；d0表示初始值；
③进行一维搜索，求出sm+1，使得sm+1＝sm+λmdm
④检查是否符合终止条件,如果||▽f(sm+1)||＜ε迭代终止,计算sm+1为近似最优解；否则,转为
⑤检查迭代次数，若m+1＝n，令s0:＝sn，返回②；否则，转⑥；
⑥构造共轭方向，用FR公式取
dm+1＝-▽f(sm+1)+αmdm，其中，令m:＝m+1，返回③；
⑦如果sm+1满足收敛条件则迭代结束，否则m:＝m+1并回到定点迭代方程。最后求得融合图像w＝s+v。
本发明的有益效果：
1、本发明采用基于人类视觉(HVS)梯度转化和全变差参数自适应图像融合算法，提出了人类视系统(HVS)模拟正则化项，提高了不同背景亮度下的视觉效果。(正则项加入分母)
2、本发明为了保证算法求解的收敛性，构造定点迭代方程，分析了相关参数的取值范围，在模型参数选择方面，运用定点迭代法和全局方差估计法达到参数自适应选择策略，可以有效地保护图像特征和抑制“阶梯效应”，同时提高运算效率。
3、本发明所用到的参数可以做到自动选择参数，不用手动的调节。
附图说明
图1是本发明基于人类视觉梯度转化和全变差参数自适应图像融合算法的框架图。
图2是本发明基于人类视觉梯度转化和全变差参数自适应图像融合算法的流程图。
图3是实施例的待融合红外图像、待融合可见光图像以及融合结果示意图。其中，(a)是待融合红外图像，(b)是待融合可见光图像，(c)是基于CVT的融合图像；(d)是基于DTCWT的融合图像；(e)是基于LP的融合图像；(f)是基于LP-SR的融合图像；(g)是基于MSVD的融合图像；(h)是基于RP的融合图像；(i)是基于Wavelet的融合图像；(j)是基于GTF的融合图像；(k)是基于PCNN的融合图像；(l)是本发明方法的融合图像。
图4是本发明与其它融合结果示意图。其中，第一行的(a-1)--(g-1)分别为七幅红外图像；第二行的(a-2)--(g-2)分别为七幅可见光图像；从第三行开始，从上到下分别为十种融合方法分别对七对红外/可见光图像的融合结果图，十种方法依次为：CVT、DTCWT、LP、LP-SR、MSVD、RP、Wavelet、GTF、PCNN和本发明的融合方法。
图5是本发明一个实施例的待融合CT图像、待融合MR图像以及各方法融合结果示意图。其中，(a)是待融合CT图像，(b)是待融合MR图像，(c)是基于CVT的融合图像；(d)是基于DTCWT的融合图像；(e)是基于LP的融合图像；(f)是基于LP-SR的融合图像；(g)是基于MSVD的融合图像；(h)是基于RP的融合图像；(i)是基于Wavelet的融合图像；(j)是基于GTF的融合图像；(k)是基于PCNN的融合图像；(l)是本发明方法的融合图像。
图6是本发明与其它融合结果示意图。其中，第一行的(a-1)--(h-1)分别为八幅CT图像，第二行的(a-2)--(h-2)分别为八幅MR图像；从第三行开始，从上到下分别为十种融合方法分别对八对CT/MR图像的融合结果图，十种方法依次为：CVT、DTCWT、LP、LP-SR、MSVD、RP、Wavelet、GTF、PCNN和本发明的融合方法。
图7是图4中七对红外/可见光图像融合结果的图像MI指标柱状图对比。其中，每幅图像从左到右柱条依次表示的融合方法分别为：CVT、DTCWT、LP、LP-SR、MSVD、RP、Wavelet、GTF、PCNN和本发明的融合方法。
图8是图4中七对红外/可见光图像融合结果的图像EN指标柱状图对比。其中，每幅图像从左到右柱条依次表示的融合方法分别为：CVT、DTCWT、LP、LP-SR、MSVD、RP、Wavelet、GTF、PCNN和本发明的融合方法。
图9是图4中七对红外/可见光图像融合结果的图像SNR指标柱状图对比。其中，每幅图像从左到右柱条依次表示的融合方法分别为：CVT、DTCWT、LP、LP-SR、MSVD、RP、Wavelet、GTF、PCNN和本发明的融合方法。
图10是图4中七对红外/可见光图像融合结果的图像SSIM客观指标柱状图对比。其中，每幅图像从左到右柱条依次表示的融合方法分别为：CVT、DTCWT、LP、LP-SR、MSVD、RP、Wavelet、GTF、PCNN和本发明的融合方法。
图11是图6中八对CT/MR图像融合结果的图像MI指标柱状图对比。其中，每幅图像从左到右柱条依次表示的融合方法分别为：CVT、DTCWT、LP、LP-SR、MSVD、RP、Wavelet、GTF、PCNN和本发明的融合方法。
图12是图6中八对CT/MR图像融合结果的图像EN指标柱状图对比。其中，每幅图像从左到右柱条依次表示的融合方法分别为：CVT、DTCWT、LP、LP-SR、MSVD、RP、Wavelet、GTF、PCNN和本发明的融合方法。
图13是图6中八对CT/MR图像融合结果的图像SNR指标柱状图对比。其中，每幅图像从左到右柱条依次表示的融合方法分别为：CVT、DTCWT、LP、LP-SR、MSVD、RP、Wavelet、GTF、PCNN和本发明的融合方法。
图14是图6中八对CT/MR图像融合结果的图像SSIM指标柱状图对比。其中，每幅图像从左到右柱条依次表示的融合方法分别为：CVT、DTCWT、LP、LP-SR、MSVD、RP、Wavelet、GTF、PCNN和本发明的融合方法。
图15是本发明红外和可见光图像在不同参数λ的情况下，融合的结果与本发明的自适应参数融合结果的对比。其中，第一行的(a-1)--(g-1)分别为七幅红外图像；从第二行至第七行，从上到下分别为λ＝2、λ＝4、λ＝6、λ＝8、λ＝10、λ＝100时的融合的结果。第八行的(a-8)--(g-8)分别为七幅可见光图像；第九行的(a-9)--(g-9)分别为本发明的自适应参数融合结果图。
图16是本发明医学CT和MR图像在不同参数λ的情况下，融合的结果与本发明的自适应参数融合结果的对比。其中，第一行的(a-1)--(h-1)分别为八幅CT图像；从第二行至第七行，从上到下分别为λ＝1、λ＝3、λ＝5、λ＝7、λ＝9、λ＝100时的融合的结果。第八行的(a-8)--(h-8)分别为八幅MR图像；第九行的(a-9)--(g-9)分别为本发明的自适应参数融合结果图。
具体实施方式
下面对本发明的两个人实施例(红外可见光图像和MR-CT医学图像)结合附图作详细说明，本实施例在以本发明技术方案为前提下进行，如图2所示，详细的实施方式和具体的操作步骤如下：
s表示估计图像，计算有两层循环，外层循环是定点迭代，内层循环是共轭梯度。输入：红外图像u，可见光图像v；输出：融合图像w
步骤1、令Ks＝w-v，s0＝u-v，n0～N(0,σ2)，初始方差σ2和线性算子K已知，给定初始允许误差ε＞0。
步骤2、将融合问题转化为优化最小能量泛函模型：
步骤3、构造定点迭代方程：
其中，
步骤4、利用共轭梯度法同步求解
中的sm+1和
①检查是否符合终止条件,如果||▽f(s0)||＜ε迭代终止,计算s0为近似最优解，即s0＝u-v；
否则,转为②；其中，▽f(s0)表示最理想的梯度值；ε表示误差(ε＞0)；
②构造初始搜索方向，计算d0＝-▽f(s0)，m＝0；d0表示初始值；
③进行一维搜索，求出sm+1，使得sm+1＝sm+λmdm；
④检查是否符合终止条件,如果||▽f(sm+1)||＜ε迭代终止,计算sm+1为近似最优解；否则，转
为⑤；
⑤检查迭代次数，若m+1＝n，令s0:＝sn，返回②；否则，转⑥；
⑥构造共轭方向，用FR公式取
dm+1＝-▽f(sm+1)+αmdm，其中，令m:＝m+1，返回③；
步骤5、如果sm+1满足收敛条件则迭代结束，否则m:＝m+1并回到(3)。
步骤6、最后求得融合图像w＝s+v。
仿真实验
为了验证本发明的可行性和有效性，根据新的上下文设计方案，如图3所示，融合出红外和可见光图像并从主观上对融合结果进行评比。同样的如图4所示是本发明的融合将结果图像与其他融合方面融合结果的对比，其客观的指标比较如图7、图8、图9和图10所示。接着就是依然根据上下文的设计方案，融合出医学图像CT和MR图像如图5所示，主观上也进行了比较。医学图像的融合结果对比如图6所示，其客观的指标比较如图11、图12、图13和图14所示。
同时也作出了本发明同自适应参数的得到的融合结果，与手动选择参数值得到的融合结果图像对比，如图15和图16所示结果表明，本发明的方法既能获得丰富的细节信息，又能获得丰富的光谱信息，参数的自适应选择策略可以有效地提高融合效果。
Claims (1)
1.基于人类视觉梯度转化和全变差参数自适应图像融合方法，其特征在于，包括以下步骤：
步骤一、对待融合的两幅源图像引入线性算子，将融合问题转化为TV-L1模型最小化问题；
(1.1)给定红外图像、可见光图像和融合图像都是大小为w×h的灰度图像，它们的列向量形式分别表示为u,v,w∈IRwh×1；
(1.2)给定最小化的能量泛函模型：
其中，E1(e)表示最小化的能量泛函模型的保真项，λ是Lagrange乘子；E2(e)表示最小化的能量泛函模型的正则项；p表示保真项的范数；q表示正则项的范数；▽w表示融合图像的梯度；▽v表示可见光图像的梯度；
(1.3)当p＝2，q＝1时，令s＝w-v，最小化的能量泛函模型改写为：
其中，K为点线性算子，用于调节目标图像权重大小；▽是梯度算子，表示p范数，s为融合图像的中间结果，▽s表示其s的梯度；第一项为保真项，作用是保持融合后图像与观测图像的相似性；第二项为正则项，在优化过程中起到光滑作用；λ是Lagrange乘子，表示正则化参数，在泛函模型中对数据保真项和正则项起到平衡作用；
(1.4)利用步骤(1.3)得到的最小化的能量泛函模型建立图像融合的TV模型；这是一个极值函数搜索问题，将导致一个变分问题，变分问题是在域中，求函数s(x,y)，满足Ω边界条件，使泛函即公式(5)达到极限值；其中，表示能量泛函数；x、y表示点的横纵坐标；
(1.5)在公式(5)中，定义了函数F的域Ω，并具有二阶连续偏导数；为了使公式(6)达到极值，需要J[s(x,y)]一阶变分极小值，从而导出了欧拉-拉格朗日方程PDE：
其中，
针对图像融合模型(4)有：
进而得到：
其中，Fs表示函数F对s的导数；Fp表示函数F对的x偏导数；Fq表示函数F对y的偏导数；K*为K的伴随算子，从而得到上述模型(4)取极值的对应的Eular_Lagrange方程：
即：
对于公式(11)采用非线性扩散方程的一个梯度下降方程：
两边同时乘以(s-(u-v))得：
随着时间t的变化，为使该扩散方程达到稳定状态应满足：
通过数学推导，得到了正则化参数λ随时间t变化的自适应选择：
其中，N表示图像中像素的总和，σ2表示图像中像素的方差；
步骤二、构造定点迭代方程
(2.1)计算方程(10)，使用不动点迭代法计算，得到：
其中，L(s)为构造的微分算子，当它作用于z时表示为：
其中，z表示变量；β表示变量；▽z表示z的梯度；
(2.2)令对偶变换上式(12)表示为非线性对偶方程：
(2.3)对(15)中的平方根项固定化处理，令s＝sm，消除m表示用来迭代的数值，初始值为0，然后得到定点迭代公式：
(2.4)完全方差的图像同步迭代辅助计算；图像的大小与图像sm完全相同；开始时，令和图像的方差n0服从相同的分布，设定n0～N(0,σ2)，则有n0～N(0,σ2)，要求是单独存在的，但n被添加到图像中，并与图像一起存在；
提出了一个新的迭代方程作为附加的同步迭代方程：
定义公式中：
联合式(17)和(18)，构成最终的定点迭代方程：
其中，
在任何迭代的m中，从局部角度看不可能知道每一个图像点大小的差异,但由于分布在同步迭代过程中的分布非常接近；所以总能知道方差分布的整体情况；事实上，在迭代的过程中，和nm是同步计算的，sm是正常的融合图像，是一个纯粹的方差的图像；方差图像的存在是为了帮助估计估计sm中方差的nm统计特性；
步骤三、利用共轭梯度法同步求解公式(19)中的sm+1和
(3.1)检查是否符合终止条件，当||▽f(s0)||＜ε时迭代终止，计算s0为近似最优解，即s0＝u-v；否则，转为步骤(3.2)，▽f(s0)表示最理想的梯度值；ε表示误差，ε＞0；
(3.2)构造初始搜索方向，计算d0＝-▽f(s0)，m＝0，d0表示初始值；
(3.3)进行一维搜索，求出sm+1，使得sm+1＝sm+λmdm；
(3.4)检查是否符合终止条件，当||▽f(sm+1)||＜ε时迭代终止，计算sm+1为近似最优解；否则，转为步骤(3.5)；
(3.5)检查迭代次数，当m+1＝n时，令s0:＝sn，返回步骤(3.2)；否则，转步骤(3.6)；
(3.6)构造共轭方向，用FR公式取
dm+1＝-▽f(sm+1)+αmdm，令m:＝m+1，返回步骤(3.3)；
(3.7)当sm+1满足收敛条件时，则迭代结束，否则m:＝m+1并回到(3.1)；最后求得融合图像w＝s+v。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910287992.3A CN110060226B (zh) | 2019-04-11 | 2019-04-11 | 基于人类视觉梯度转化和全变差参数自适应图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910287992.3A CN110060226B (zh) | 2019-04-11 | 2019-04-11 | 基于人类视觉梯度转化和全变差参数自适应图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110060226A true CN110060226A (zh) | 2019-07-26 |
| CN110060226B CN110060226B (zh) | 2023-04-18 |
Family
ID=67318731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910287992.3A Active CN110060226B (zh) | 2019-04-11 | 2019-04-11 | 基于人类视觉梯度转化和全变差参数自适应图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110060226B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102216A (zh) * | 2020-09-15 | 2020-12-18 | 南京邮电大学 | 自适应权重的全变差图像融合方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800070A (zh) * | 2012-06-19 | 2012-11-28 | 南京大学 | 基于区域和人眼对比敏感特性的异源图像融合方法 |
| CN109255773A (zh) * | 2018-09-13 | 2019-01-22 | 武汉大学 | 基于全变分的异分辨率红外与可见光图像融合方法及系统 |
-
2019
- 2019-04-11 CN CN201910287992.3A patent/CN110060226B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800070A (zh) * | 2012-06-19 | 2012-11-28 | 南京大学 | 基于区域和人眼对比敏感特性的异源图像融合方法 |
| CN109255773A (zh) * | 2018-09-13 | 2019-01-22 | 武汉大学 | 基于全变分的异分辨率红外与可见光图像融合方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102216A (zh) * | 2020-09-15 | 2020-12-18 | 南京邮电大学 | 自适应权重的全变差图像融合方法 |
| CN112102216B (zh) * | 2020-09-15 | 2022-08-12 | 南京邮电大学 | 自适应权重的全变差图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110060226B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104504670B (zh) | 多尺度梯度域图像融合算法 | |
| Li et al. | Coupled GAN with relativistic discriminators for infrared and visible images fusion | |
| CN103020933B (zh) | 一种基于仿生视觉机理的多源图像融合方法 | |
| CN107169475A (zh) | 一种基于kinect相机的人脸三维点云优化处理方法 | |
| CN110097528A (zh) | 一种基于联合卷积自编码网络的图像融合方法 | |
| CN103914820B (zh) | 一种基于图像分层增强的图像去雾方法及系统 | |
| CN106846288B (zh) | 一种双模态红外图像差异特征指数测度的多算法融合方法 | |
| CN107451984A (zh) | 一种基于混合多尺度分析的红外与可见光图像融合算法 | |
| CN108399611A (zh) | 基于梯度正则化的多聚焦图像融合方法 | |
| CN109493309A (zh) | 一种保持显著性信息的红外与可见光图像变分融合方法 | |
| CN110060226A (zh) | 基于人类视觉梯度转化和全变差参数自适应图像融合方法 | |
| CN108122219A (zh) | 基于联合稀疏与非负稀疏的红外与可见光图像融合方法 | |
| CN105809650B (zh) | 一种基于双向迭代优化的图像融合方法 | |
| CN112215787B (zh) | 基于显著度分析及自适应滤波器的红外和可见光图像融合方法 | |
| CN115601282A (zh) | 基于多判别器生成对抗网络的红外与可见光图像融合方法 | |
| Gao et al. | DCDR-GAN: A densely connected disentangled representation generative adversarial network for infrared and visible image fusion | |
| CN106780463B (zh) | 一种全参考多曝光融合图像质量评估方法 | |
| CN115456921A (zh) | 合成图像和谐化模型训练方法、和谐化方法及装置 | |
| CN108154493A (zh) | 一种基于fpga的双波段红外图像伪彩融合算法 | |
| CN110084774A (zh) | 一种增强的梯度传递和总变差最小化融合图像的方法 | |
| Huang et al. | MAGAN: Multi-Attention Generative Adversarial Network for Infrared and Visible Image Fusion | |
| Blackford et al. | Measurements of pulse rate using long-range imaging photoplethysmography and sunlight illumination outdoors | |
| CN107705274A (zh) | 一种基于数学形态学多尺度的微光与红外图像融合方法 | |
| CN112734679A (zh) | 一种医学手术视频图像的融合去雾方法 | |
| CN105528772B (zh) | 一种基于指导性滤波的图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |