CN108052988A - 基于小波变换的导向显著性图像融合方法 - Google Patents

基于小波变换的导向显著性图像融合方法 Download PDF

Info

Publication number
CN108052988A
CN108052988A CN201810007079.9A CN201810007079A CN108052988A CN 108052988 A CN108052988 A CN 108052988A CN 201810007079 A CN201810007079 A CN 201810007079A CN 108052988 A CN108052988 A CN 108052988A
Authority
CN
China
Prior art keywords
mrow
msub
msup
msubsup
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810007079.9A
Other languages
English (en)
Inventor
相入喜
朱锡芳
吴峰
熊超
李辉
许清泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Institute of Technology
Original Assignee
Changzhou Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Institute of Technology filed Critical Changzhou Institute of Technology
Priority to CN201810007079.9A priority Critical patent/CN108052988A/zh
Publication of CN108052988A publication Critical patent/CN108052988A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

本发明公开了一种基于小波变换的导向显著性图像融合方法。其步骤包括：计算源图像的显著图谱：根据图像的空间频率信息，计算源图像的显著图谱；构建基于显著图谱的权重图：首先对源图像和对应图像的显著图谱分别进行单层小波分解，然后结合带有引导梯度的导向滤波，构建每幅图像的小波系数和尺度系数的权重图；生成融合图像：根据小波分解的源图像和对应的权重图谱，线性融合形成融合图像，然后进行小波逆变换。本发明的方法对多焦点、多曝光的图像能获得较好的效果，计算简便，高效，可实现性好，可以很方便的应用到个人计算机以及移植到嵌入系统中。本发明应用于计算机视觉与模式识别,如遥感图像分析，目标跟踪和目标识别。

Description

基于小波变换的导向显著性图像融合方法
技术领域
本发明涉及机器视觉与模式识别领域，具体涉及基于小波变换的导向显著性图像融合方法。
背景技术
单幅图像可以有效表征某些颜色通道中传输信息，但往往不能表征所有完整的图像信息。例如，在可见光下获得的图像可以显示场景细节，然而，它们缺乏有效的对比度；相反，红外图像可以有效地表达图像对比度，但不能清晰表征图像细节。为了获得完整的图像信息和发现有用的细节信息，亟须一种有效的融合方法，从而既可以表征图像信息，又有较好的对比度，这就要求有效地结合不同的源图像。目前，这些方法被广泛应用于遥感图像分析、自动识别、计算机视觉和目标跟踪等研究领域。
近年来，许多研究者提出了有效的融合方法，大致可以分为两类：基于多尺度分解的融合和基于稀疏表示的融合。基于多尺度分解的融合方法以拉谱拉斯金字塔和小波变换为重点。H.Li提出了一种用于多源图像融合的小波变换方法。Q.Zhang提出了一种非采样Contourlet变换作为图像融合方法。这里，对于低频数据，采用方向模态值法选择融合规则，而对于高频数据，则按方向矢量的带限对比度和标准差(SD)方向设置。S.Y.Yang提出了一种小波四叉树与非下采样方向滤波器相结合的方法。小波变换是由一个细尺度小波包特征和非下采样方向滤波器组的可逆性特征，从而，提高分辨率和融合图像的索引数据。对于常见的红外与可见光图像融合，J.Saeedi提出了一种基于双树复小波变换的融合方法与使用不同规则融合图像模糊逻辑。Z.Zhou提出了一种混合的多尺度分解融合方法基于高斯双边滤波器。这种变换使我们能够更好地捕捉重要的多尺度红外光谱特征，并从大规模的边缘特征中分离出精细尺度的纹理细节。针对多聚焦图像融合，M.Nejati提出的一种新的空间域使用一本字典在视觉和定量评价获得更好的结果的方法。V.N.Gangapure提出了一个可调频率的图像融合算法，利用像素的局部相位的空间信息，可获得新的可测量病灶。S.Li提出了一种基于引导滤波的图像融合算法，充分利用了空间一致性和细节级融合。然而，这些方法忽略了空间一致性或平滑了结果的权重，这不利于图像融合。
发明内容
为了解决上述技术的不足，为此本发明目的是在多焦点、多曝光的图像中获取更多的图像细节，提出了一种新的具有导引显著性的图像融合方法，充分利用空间一致性和小波变换，避免了图像的过度平滑。
根据本发明的方案，提出一种基于小波变换的导向显著性图像融合方法，其步骤包括：
计算源图像的显著图谱：根据图像的空间频率信息，计算源图像的显著图谱。
构建基于显著图谱的权重图：首先对源图像和对应图像的显著图谱分别进行单层小波分解，然后结合带有引导梯度的导向滤波，构建每幅图像的小波系数和尺度系数的权重图。
生成融合图像：根据小波分解的源图像和对应的权重图谱，线性融合形成融合图像，然后进行小波逆变换。
根据权利要求所述基于小波变换的导向显著性图像融合方法，其特征在于，所述计算源图像的显著图谱的步骤包括：将源图像与高通log滤波卷积，获取源图像的高频信息。
每幅图像的显著图谱Sai就是图像中的高频信息，即通过对应的源图像imi与高通log滤波HFlog卷积获得，具体定义如下
Sai＝imi*HFlog (1)
根据权利要求1所述基于小波变换的导向显著性图像融合方法，其特征在于，所述构建基于显著图谱的权重图，步骤包括：首先对源图像和对应图像的显著图谱分别进行单层小波分解，然后结合带有引导梯度的导向滤波，构建每幅图像的小波系数和尺度系数的权重图。
每幅图像的显著导向图谱通过式(2)定义，具体表征如下：
其中max(.)表示最大函数，变量th是一个预定义的阈值，这个值通过每幅图像的局部对比度和清晰度自适应选择。x是图像的像素坐标。
首先，对所有源图像和引导显著图谱进行小波分解
这里,cAi o和cAi g分别表征第i个源图像和导向显著图谱的近似系数；cHi o,cVi o,和cDi o分别表征第i个源图像的水平方向，垂直方向和对角方向的细节系数矩阵；cHi g,cVi g,and cDi g分别表征第i个导向显著图谱的水平方向，垂直方向和对角方向的细节系数矩阵.
接着，通过带导向显著图谱cAi g的增强滤波对由小波分解的近似系数cAi o进行滤波，获得对应的系数权重图谱，具体表达如下：
其他小波细节系数cHi o,cVi o,和cDi o同样按照上述过程进行滤波，获得对应的权重图谱，具体如式(5)表征。
这里的参数r是局部窗口半径的大小，λ是正则化参数。为了融合的需要，需要将这些权重图谱进行归一化，即
这里的FGG是本发明提出的带有显著图谱的增强滤波。假设引导图像G和输入图像I在局部窗口满足线性关系，即
Gj＝αiIj+βi (7)
其中ωi表示以像素i为中心的窗口，j是窗口ωi的一个像素，αi和βi是线性系数。为了减小晕现象，本发明引进了带有约束导向梯度的增强滤波，构建带有导向梯度约束的能量函数，即
其中参数λ防止系数αi变得过大，参数μ主要保持滤波图像的逼真度。对于该能量函数的解，通过对能量函数E(αi,βi)做状语变量(αi,βi)偏导即可，该解具体表征如下：
βi＝ci+αidi
这里的N是局部窗口ωi中的像素个数，.和分别是G,I,和在ωi中的平均值.
根据权利要求1所述基于小波变换的导向显著性图像融合方法，其特征在于，所述生成融合图像，步骤包括：根据小波分解的源图像和对应的权重图谱，线性融合形成融合图像，然后进行小波逆变换。
最终的小波分解系数cAf,cHf,cVf,和cDf通过对应的权重与源图像的小波分解系数相信融合而成，即
接着通过对所融合的小波分解系数进行逆变换即可得到融合的图像，紧接着通过增强滤波FGG对图像进行增强，获得更多的图像细节。
本发明的有益效果如下：
本发明基于小波变换的导向显著性的图像融合方法，对多焦点、多曝光的图像能获得较好的效果，计算简便，高效，可实现性好，可以很方便的应用到个人计算机以及移植到嵌入系统中。本发明应用于计算机视觉与模式识别,如遥感图像分析，目标跟踪和目标识别。
附图说明
图1是本发明给出的图像融合流程图。
图2是第一焦点的源图像；
图3是第二焦点的源图像；
图4是本发明对焦点不同的图1和图2的图像融合显示。
图5是第一种图像的曝光不足图像；
图6是第一种图像的正常曝光图像；
图7是第一种图像的过渡曝光图像；
图8是本发明对曝光不同的图5到图7的图像融合显示。
图9是第一种图像从曝光从不足到过度曝光的源图像之一。
图10是第一种图像从曝光从不足到过度曝光的源图像之二。
图11是第一种图像从曝光从不足到过度曝光的源图像之三。
图12是第一种图像从曝光从不足到过度曝光的源图像之四。
图13是第一种图像从曝光从不足到过度曝光的源图像之五。
图14是第一种图像从曝光从不足到过度曝光的源图像之六。
图15是本发明对曝光不同图9到图14的图像融合显示。
具体实施方式
下面结合附图对本发明作进一步详细说明。
下面结合附图对本发明做出详细的说明。应该指出，所描述的实例仅是为了说明目的，而不是对本发明范围进行约束限制。
本发明基于小波变换的导向显著性图像融合方法，其步骤包括：
计算源图像的显著图谱：根据图像的空间频率信息，计算源图像的显著图谱。
构建基于显著图谱的权重图：首先对源图像和对应图像的显著图谱分别进行单层小波分解，然后结合带有引导梯度的导向滤波，构建每幅图像的小波系数和尺度系数的权重图。
生成融合图像：根据小波分解的源图像和对应的权重图谱，线性融合形成融合图像，然后进行小波逆变换。
所述计算源图像的显著图谱的步骤包括：将源图像与高通log滤波卷积，获取源图像的高频信息。
每幅图像的显著图谱Sai就是图像中的高频信息，即通过对应的源图像imi与高通log滤波HFlog卷积获得，具体定义如下
Sai＝imi*HFlog (1)
所述构建基于显著图谱的权重图，步骤包括：首先对源图像和对应图像的显著图谱分别进行单层小波分解，然后结合带有引导梯度的导向滤波，构建每幅图像的小波系数和尺度系数的权重图。
每幅图像的显著导向图谱通过式(2)定义，具体表征如下：
其中max(.)表示最大函数，变量th是一个预定义的阈值，这个值通过每幅图像的局部对比度和清晰度自适应选择。x是图像的像素坐标。
首先，对所有源图像和引导显著图谱进行小波分解
这里,cAi o和cAi g分别表征第i个源图像和导向显著图谱的近似系数；cHi o,cVi o,和cDi o分别表征第i个源图像的水平方向，垂直方向和对角方向的细节系数矩阵；cHi g,cVi g,and cDi g分别表征第i个导向显著图谱的水平方向，垂直方向和对角方向的细节系数矩阵.
接着，通过带导向显著图谱cAi g的增强滤波对由小波分解的近似系数cAi o进行滤波，获得对应的系数权重图谱，具体表达如下：
其他小波细节系数cHi o,cVi o,和cDi o同样按照上述过程进行滤波，获得对应的权重图谱，具体如式(5)表征。
这里的参数r是局部窗口半径的大小，λ是正则化参数。为了融合的需要，需要将这些权重图谱进行归一化，即
这里的FGG是本发明提出的带有显著图谱的增强滤波。假设引导图像G和输入图像I在局部窗口满足线性关系，即
Gj＝αiIj+βi (7)
其中ωi表示以像素i为中心的窗口，j是窗口ωi的一个像素，αi和βi是线性系数。为了减小晕现象，本发明引进了带有约束导向梯度的增强滤波，构建带有导向梯度约束的能量函数，即
其中参数λ防止系数αi变得过大，参数μ主要保持滤波图像的逼真度。对于该能量函数的解，通过对能量函数E(αi,βi)做状语变量(αi,βi)偏导即可，该解具体表征如下：
βi＝ci+αidi
这里的N是局部窗口ωi中的像素个数，.和分别是G,I,和在ωi中的平均值.
所述生成融合图像，步骤包括：根据小波分解的源图像和对应的权重图谱，线性融合形成融合图像，然后进行小波逆变换。
最终的小波分解系数cAf,cHf,cVf,和cDf通过对应的权重与源图像的小波分解系数相信融合而成，即
接着通过对所融合的小波分解系数进行逆变换即可得到融合的图像，紧接着通过增强滤波FGG对图像进行增强，获得更多的图像细节。
图1是本发明的算法融合流程图。
图1显示了所提出的图像融合方法的主要过程。首先，计算不同来源图像的显著图。然后构造相应的导向显著图。其次，源图像引导的显著图进行小波变换，及各部分的权重计算每个FGG的方法。最后，每个源图像的每个组件，每个组件的相应权重线性融合和FGG进一步增强。其中，C表示每个公式(2)的运算符，M表示增强权重图和相应的小波系数对应相乘。小波变换是离散小波变换；小波反变换的逆离散小波变换；CCFGG基于FGG的系数计算操作。
图2-4是利用本发明是对焦点不同图像融合效果表示。
图5-8和图9-15是本发明对曝光不同图像融合效果表示，证明了本发明提出的方法具有良好的效果。其中图5-8、9-14是曝光从不足到过度的源图像。图8和图15是本发明的结果，从而可以看出，本发明获得融合图像既有很好的对比度，又有较好的图像细节信息。
综上所述，本发明的方法包括：计算源图像的显著图谱，构建基于显著图谱的权重图，生成融合图像等三个步骤。本发明基于小波变换的导向显著性的图像融合方法，对多焦点、多曝光的图像能获得较好的效果，计算简便，高效，可实现性好，可以很方便的应用到个人计算机以及移植到嵌入系统中。本发明应用于计算机视觉与模式识别,如遥感图像分析，目标跟踪和目标识别。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于小波变换的导向显著性图像融合方法，其步骤包括：
步骤1，计算源图像的显著图谱：根据图像的空间频率信息，计算源图像的显著图谱。
步骤2，构建基于显著图谱的权重图：首先对源图像和对应图像的显著图谱分别进行单层小波分解，然后结合带有引导梯度的导向滤波，构建每幅图像的小波系数和尺度系数的权重图。
步骤3，生成融合图像：根据小波分解的源图像和对应的权重图谱，线性融合形成融合图像，然后进行小波逆变换。
2.根据权利要求所述基于小波变换的导向显著性图像融合方法，其特征在于，所述步骤1包括：将源图像与高通log滤波卷积，获取源图像的高频信息。
3.根据权利要求1所述基于小波变换的导向显著性图像融合方法，其特征在于，所述步骤2包括：首先对源图像和对应图像的显著图谱分别进行单层小波分解，然后结合带有引导梯度的导向滤波，构建每幅图像的小波系数和尺度系数的权重图。
4.根据权利要求1所述基于小波变换的导向显著性图像融合方法，其特征在于，所述步骤3包括：根据小波分解的源图像和对应的权重图谱，线性融合形成融合图像，然后进行小波逆变换。
5.根据权利要求1所述基于小波变换的导向显著性图像融合方法，其特征在于，所述步骤1中，每幅图像的显著图谱Sai就是图像中的高频信息，即通过对应的源图像imi与高通log滤波HFlog卷积获得，具体定义如下：
Sai＝imi*HFlog (1)。
6.根据权利要求1所述基于小波变换的导向显著性图像融合方法，其特征在于，所述步骤2中，每幅图像的显著导向图谱通过式(2)定义，具体表征如下：
<mrow> <msubsup> <mi>G</mi> <mi>i</mi> <mi>x</mi> </msubsup> <mo>=</mo> <mi>s</mi> <mi>t</mi> <mo>_</mo> <mi>s</mi> <mi>i</mi> <mi>g</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>(</mo> <mrow> <mo>|</mo> <msubsup> <mi>Sa</mi> <mi>i</mi> <mi>x</mi> </msubsup> <mo>-</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>Sa</mi> <mn>1</mn> <mi>x</mi> </msubsup> <mo>,</mo> <msubsup> <mi>Sa</mi> <mn>2</mn> <mi>x</mi> </msubsup> <mo>,</mo> <mo>...</mo> <msubsup> <mi>Sa</mi> <mi>N</mi> <mi>x</mi> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <mi>t</mi> <mi>h</mi> <mo>,</mo> <mn>0</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>s</mi> <mi>t</mi> <mo>_</mo> <mi>s</mi> <mi>i</mi> <mi>g</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>t</mi> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>t</mi> <mi>p</mi> <mo>&gt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>t</mi> <mi>p</mi> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中max(.)表示最大函数，变量th是一个预定义的阈值，这个值通过每幅图像的局部对比度和清晰度自适应选择，x是图像的像素坐标。
7.根据权利要求6所述基于小波变换的导向显著性图像融合方法，其特征在于，具体包括如下步骤：
首先，对所有源图像和引导显著图谱进行小波分解
<mrow> <mrow> <mo>&amp;lsqb;</mo> <mrow> <msubsup> <mi>cA</mi> <mi>o</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>cH</mi> <mi>o</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>cV</mi> <mi>o</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>cD</mi> <mi>o</mi> <mi>i</mi> </msubsup> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mo>=</mo> <mi>d</mi> <mi>w</mi> <mi>t</mi> <mn>2</mn> <mrow> <mo>(</mo> <mrow> <msub> <mi>im</mi> <mi>i</mi> </msub> <mo>,</mo> <mmultiscripts> <mi>b</mi> <mo>&amp;prime;</mo> </mmultiscripts> <mi>i</mi> <mi>o</mi> <mi>r</mi> <msup> <mn>3.7</mn> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> </mrow> </mrow>
<mrow> <mo>&amp;lsqb;</mo> <msubsup> <mi>cA</mi> <mi>g</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>cH</mi> <mi>g</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>cV</mi> <mi>g</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>cD</mi> <mi>g</mi> <mi>i</mi> </msubsup> <mo>&amp;rsqb;</mo> <mo>=</mo> <mi>d</mi> <mi>w</mi> <mi>t</mi> <mn>2</mn> <mo>(</mo> <mrow> <msub> <mi>G</mi> <mi>i</mi> </msub> <mo>,</mo> <mmultiscripts> <mi>b</mi> <mo>&amp;prime;</mo> </mmultiscripts> <mi>i</mi> <mi>o</mi> <mi>r</mi> <msup> <mn>3.7</mn> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
这里,cAi o和cAi g分别表征第i个源图像和导向显著图谱的近似系数；cHi o,cVi o,和cDi o分别表征第i个源图像的水平方向，垂直方向和对角方向的细节系数矩阵；cHi g,cVi g,and cDi g分别表征第i个导向显著图谱的水平方向，垂直方向和对角方向的细节系数矩阵；
接着，通过带导向显著图谱cAi g的增强滤波对由小波分解的近似系数cAi o进行滤波，获得对应的系数权重图谱，具体表达如下：
<mrow> <msup> <mi>wA</mi> <mi>i</mi> </msup> <mo>=</mo> <mi>F</mi> <mi>G</mi> <mi>G</mi> <mrow> <mo>(</mo> <msubsup> <mi>cA</mi> <mi>g</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>cA</mi> <mi>o</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msub> <mi>r</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其他小波细节系数cHi o,cVi o,和cDi o同样按照上述过程进行滤波，获得对应的权重图谱，具体如式(5)表征；
<mrow> <msup> <mi>wH</mi> <mi>i</mi> </msup> <mo>=</mo> <mi>F</mi> <mi>G</mi> <mi>G</mi> <mrow> <mo>(</mo> <msubsup> <mi>cH</mi> <mi>g</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>cH</mi> <mi>o</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msub> <mi>r</mi> <mn>2</mn> </msub> <mo>,</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
<mrow> <msup> <mi>wV</mi> <mi>i</mi> </msup> <mo>=</mo> <mi>F</mi> <mi>G</mi> <mi>G</mi> <mrow> <mo>(</mo> <msubsup> <mi>cV</mi> <mi>g</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>cV</mi> <mi>o</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msub> <mi>r</mi> <mn>3</mn> </msub> <mo>,</mo> <msub> <mi>&amp;lambda;</mi> <mn>3</mn> </msub> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
<mrow> <msup> <mi>wD</mi> <mi>i</mi> </msup> <mo>=</mo> <mi>F</mi> <mi>G</mi> <mi>G</mi> <mrow> <mo>(</mo> <msubsup> <mi>cD</mi> <mi>g</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msubsup> <mi>cD</mi> <mi>o</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msub> <mi>r</mi> <mn>4</mn> </msub> <mo>,</mo> <msub> <mi>&amp;lambda;</mi> <mn>4</mn> </msub> <mo>)</mo> </mrow> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
这里的参数r是局部窗口半径的大小，λ是正则化参数；为了融合的需要，将这些权重图谱进行归一化，即
<mrow> <msup> <mi>wA</mi> <mi>i</mi> </msup> <mo>=</mo> <msup> <mi>wA</mi> <mi>i</mi> </msup> <mo>/</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mi>wA</mi> <mi>j</mi> </msup> <mo>,</mo> <msup> <mi>wH</mi> <mi>i</mi> </msup> <mo>=</mo> <msup> <mi>wH</mi> <mi>i</mi> </msup> <mo>/</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mi>wH</mi> <mi>j</mi> </msup> </mrow>
<mrow> <msup> <mi>wV</mi> <mi>i</mi> </msup> <mo>=</mo> <msup> <mi>wV</mi> <mi>i</mi> </msup> <mo>/</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mi>wV</mi> <mi>j</mi> </msup> <mo>,</mo> <msup> <mi>wD</mi> <mi>i</mi> </msup> <mo>=</mo> <msup> <mi>wD</mi> <mi>i</mi> </msup> <mo>/</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mi>wD</mi> <mi>j</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
这里的FGG是带有显著图谱的增强滤波；假设引导图像G和输入图像I在局部窗口满足线性关系，即
Gj＝αiIj+βi (7)
其中ωi表示以像素i为中心的窗口，j是窗口ωi的一个像素，αi和βi是线性系数；为了减小晕现象，引进带有约束导向梯度的增强滤波，构建带有导向梯度约束的能量函数，即
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>E</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>&amp;beta;</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>min</mi> <mrow> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>&amp;beta;</mi> <mi>i</mi> </msub> </mrow> </munder> <mo>(</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> </mrow> </munder> <mrow> <mo>(</mo> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>+</mo> <msub> <mi>&amp;beta;</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> </mrow> </mtd> <mtd> <mrow> <mi>a</mi> <mi>n</mi> <mi>d</mi> </mrow> </mtd> <mtd> <mrow> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>=</mo> <mo>&amp;dtri;</mo> <msub> <mi>P</mi> <mi>j</mi> </msub> </mrow> </mtd> </mtr> </mtable> <mo>,</mo> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
对应的拉格朗日函数为
<mrow> <mi>E</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>&amp;beta;</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>&amp;beta;</mi> <mi>i</mi> </msub> </mrow> </munder> <mrow> <mo>(</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> </mrow> </munder> <mo>(</mo> <mrow> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>+</mo> <msub> <mi>&amp;beta;</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>P</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msubsup> <mi>&amp;lambda;&amp;alpha;</mi> <mi>i</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;mu;</mi> <msup> <mrow> <mo>(</mo> <mrow> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>-</mo> <mo>&amp;dtri;</mo> <msub> <mi>P</mi> <mi>j</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中P滤波的输入图像。在本发明中为了简化方程(7)的运算，输入图像P用滤波输出图像G近似，因此
<mrow> <mi>E</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>&amp;beta;</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>&amp;beta;</mi> <mi>i</mi> </msub> </mrow> </munder> <mrow> <mo>(</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> </mrow> </munder> <mo>(</mo> <mrow> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>+</mo> <msub> <mi>&amp;beta;</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>G</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msubsup> <mi>&amp;lambda;&amp;alpha;</mi> <mi>i</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;mu;</mi> <msup> <mrow> <mo>(</mo> <mrow> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>-</mo> <mo>&amp;dtri;</mo> <msub> <mi>G</mi> <mi>j</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中参数λ防止系数αi变得过大，参数μ主要保持滤波图像的逼真度；对于该能量函数的解，通过对能量函数E(αi,βi)做关于变量向量(αi,βi)偏导，该解具体表征如下：
<mrow> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> </mrow> </munder> <mrow> <mo>(</mo> <msub> <mi>G</mi> <mi>j</mi> </msub> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>+</mo> <mi>&amp;mu;</mi> <msup> <mrow> <mo>(</mo> <mrow> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>j</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>&amp;mu;c</mi> <mi>i</mi> </msub> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msub> <mi>w</mi> <mi>i</mi> </msub> </mrow> </munder> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>j</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>d</mi> <mi>i</mi> </msub> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>+</mo> <mi>&amp;mu;</mi> <msup> <mrow> <mo>(</mo> <mrow> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>j</mi> </msub> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msub> <mi>&amp;mu;d</mi> <mi>i</mi> </msub> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
βi＝ci+αidi
<mrow> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mover> <msub> <mi>G</mi> <mi>i</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>-</mo> <mi>&amp;mu;</mi> <mover> <mrow> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> </mrow> <mo>&amp;OverBar;</mo> </mover> </mrow> <mrow> <mn>1</mn> <mo>-</mo> <mi>&amp;mu;</mi> </mrow> </mfrac> </mrow>
<mrow> <msub> <mi>d</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>&amp;mu;</mi> <mover> <mrow> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>-</mo> <mover> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>&amp;OverBar;</mo> </mover> </mrow> <mrow> <mn>1</mn> <mo>-</mo> <mi>&amp;mu;</mi> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
这里的N是局部窗口ωi中的像素个数，和分别是G,I,和在ωi中的平均值。
8.根据权利要求1所述基于小波变换的导向显著性图像融合方法，其特征在于，所述步骤3中，最终的小波分解系数cAf,cHf,cVf,和cDf通过对应的权重与源图像的小波分解系数相信融合而成，即
<mrow> <msup> <mi>cA</mi> <mi>f</mi> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mi>wA</mi> <mi>i</mi> </msup> <msubsup> <mi>cA</mi> <mi>o</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msup> <mi>cH</mi> <mi>f</mi> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mi>wH</mi> <mi>i</mi> </msup> <msubsup> <mi>cH</mi> <mi>o</mi> <mi>i</mi> </msubsup> <mo>,</mo> </mrow>
<mrow> <msup> <mi>cV</mi> <mi>f</mi> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mi>wV</mi> <mi>i</mi> </msup> <msubsup> <mi>cV</mi> <mi>o</mi> <mi>i</mi> </msubsup> <mo>,</mo> <msup> <mi>cD</mi> <mi>f</mi> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msup> <mi>wD</mi> <mi>i</mi> </msup> <msubsup> <mi>cD</mi> <mi>o</mi> <mi>i</mi> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
接着通过对所融合的小波分解系数进行逆变换即可得到融合的图像，紧接着通过增强滤波FGG对图像进行增强，获得更多的图像细节。
CN201810007079.9A 2018-01-04 2018-01-04 基于小波变换的导向显著性图像融合方法 Withdrawn CN108052988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810007079.9A CN108052988A (zh) 2018-01-04 2018-01-04 基于小波变换的导向显著性图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810007079.9A CN108052988A (zh) 2018-01-04 2018-01-04 基于小波变换的导向显著性图像融合方法

Publications (1)

Publication Number Publication Date
CN108052988A true CN108052988A (zh) 2018-05-18

Family

ID=62126339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810007079.9A Withdrawn CN108052988A (zh) 2018-01-04 2018-01-04 基于小波变换的导向显著性图像融合方法

Country Status (1)

Country Link
CN (1) CN108052988A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359597A (zh) * 2018-10-18 2019-02-19 成都理工大学 基于多频融合深度学习的雷达步态识别方法
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法
CN109754385A (zh) * 2019-01-11 2019-05-14 中南大学 未配准多聚焦图像的快速融合方法
CN109903262A (zh) * 2019-02-26 2019-06-18 东北师范大学人文学院 一种图像融合的方法、系统及相关装置
CN110084773A (zh) * 2019-03-25 2019-08-02 西北工业大学 一种基于深度卷积自编码网络的图像融合方法
CN110097617A (zh) * 2019-04-25 2019-08-06 北京理工大学 基于卷积神经网络与显著性权重的图像融合方法
CN110211081A (zh) * 2019-05-24 2019-09-06 南昌航空大学 一种基于图像属性和引导滤波的多模医学图像融合方法
CN111223069A (zh) * 2020-01-14 2020-06-02 天津工业大学 一种图像融合方法及系统
CN111697523A (zh) * 2020-06-23 2020-09-22 广东电网有限责任公司 一种电缆沟智能散热系统及方法
CN112017139A (zh) * 2020-09-14 2020-12-01 南昌航空大学 一种红外与可见光图像感知融合方法
CN114066786A (zh) * 2020-08-03 2022-02-18 四川大学 一种基于稀疏和滤波器的红外和可见光图像融合方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法
CN109359597A (zh) * 2018-10-18 2019-02-19 成都理工大学 基于多频融合深度学习的雷达步态识别方法
CN109359597B (zh) * 2018-10-18 2021-06-01 成都理工大学 基于多频融合深度学习的雷达步态识别方法
CN109754385A (zh) * 2019-01-11 2019-05-14 中南大学 未配准多聚焦图像的快速融合方法
CN109903262B (zh) * 2019-02-26 2021-02-12 东北师范大学人文学院 一种图像融合的方法、系统及相关装置
CN109903262A (zh) * 2019-02-26 2019-06-18 东北师范大学人文学院 一种图像融合的方法、系统及相关装置
CN110084773A (zh) * 2019-03-25 2019-08-02 西北工业大学 一种基于深度卷积自编码网络的图像融合方法
CN110097617B (zh) * 2019-04-25 2020-09-15 北京理工大学 基于卷积神经网络与显著性权重的图像融合方法
CN110097617A (zh) * 2019-04-25 2019-08-06 北京理工大学 基于卷积神经网络与显著性权重的图像融合方法
CN110211081A (zh) * 2019-05-24 2019-09-06 南昌航空大学 一种基于图像属性和引导滤波的多模医学图像融合方法
CN110211081B (zh) * 2019-05-24 2023-05-16 南昌航空大学 一种基于图像属性和引导滤波的多模医学图像融合方法
CN111223069A (zh) * 2020-01-14 2020-06-02 天津工业大学 一种图像融合方法及系统
CN111223069B (zh) * 2020-01-14 2023-06-02 天津工业大学 一种图像融合方法及系统
CN111697523A (zh) * 2020-06-23 2020-09-22 广东电网有限责任公司 一种电缆沟智能散热系统及方法
CN114066786A (zh) * 2020-08-03 2022-02-18 四川大学 一种基于稀疏和滤波器的红外和可见光图像融合方法
CN112017139A (zh) * 2020-09-14 2020-12-01 南昌航空大学 一种红外与可见光图像感知融合方法
CN112017139B (zh) * 2020-09-14 2023-04-07 南昌航空大学 一种红外与可见光图像感知融合方法

Similar Documents

Publication Publication Date Title
CN108052988A (zh) 基于小波变换的导向显著性图像融合方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN107341786A (zh) 小波变换与联合稀疏表示的红外与可见光图像融合方法
CN114758081A (zh) 基于神经辐射场的行人重识别三维数据集构建方法和装置
CN105184819B (zh) 用于医学图像重建参数寻优的客观图像质量评价方法
CN107220603A (zh) 基于深度学习的车辆检测方法及装置
CN109064437A (zh) 一种基于引导滤波和在线字典学习的图像融合方法
CN109712150A (zh) 基于稀疏表示的光学微波图像融合重建方法和装置
CN105447837A (zh) 基于自适应云模型的多模态脑部图像融合方法
CN106897986A (zh) 一种基于多尺度分析的可见光图像与远红外图像融合方法
CN109658354A (zh) 一种图像增强方法和系统
CN103020933A (zh) 一种基于仿生视觉机理的多源图像融合方法
CN107689036A (zh) 一种基于深度双边学习的实时图像增强方法
CN103455990B (zh) 结合视觉注意机制和pcnn的图像融合方法
CN112669249A (zh) 结合改进nsct变换和深度学习的红外与可见光图像融合方法
CN101052993A (zh) 用于医学图像配准的通用变换滤波合成
CN109816617A (zh) 基于导向滤波和图论显著性的多模态医学图像融合方法
CN114298950A (zh) 一种基于改进的GoDec算法的红外与可见光图像融合方法
Luo et al. Infrared and visible image fusion based on VPDE model and VGG network
Pei et al. Real-time multi-focus biomedical microscopic image fusion based on m-SegNet
Liu et al. Signal to noise ratio quantifies the contribution of spectral channels to classification of human head and neck tissues ex vivo using deep learning and multispectral imaging
Zhu et al. PODB: A learning-based polarimetric object detection benchmark for road scenes in adverse weather conditions
Tang et al. MFAGAN: A multiscale feature-attention generative adversarial network for infrared and visible image fusion
Weligampola et al. A retinex based gan pipeline to utilize paired and unpaired datasets for enhancing low light images
CN113628111B (zh) 基于梯度信息约束的高光谱图像超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180518