CN110097617A - 基于卷积神经网络与显著性权重的图像融合方法 - Google Patents

基于卷积神经网络与显著性权重的图像融合方法 Download PDF

Info

Publication number
CN110097617A
CN110097617A CN201910336960.8A CN201910336960A CN110097617A CN 110097617 A CN110097617 A CN 110097617A CN 201910336960 A CN201910336960 A CN 201910336960A CN 110097617 A CN110097617 A CN 110097617A
Authority
CN
China
Prior art keywords
image
source images
detail
levels
refer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910336960.8A
Other languages
English (en)
Other versions
CN110097617B (zh
Inventor
郝群
闫雷
曹杰
袁莉莉
李国梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910336960.8A priority Critical patent/CN110097617B/zh
Publication of CN110097617A publication Critical patent/CN110097617A/zh
Application granted granted Critical
Publication of CN110097617B publication Critical patent/CN110097617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的基于卷积神经网络与显著性权重的图像融合方法，属于图像信息融合技术领域。本发明通过导向滤波实现源图像的基础层和细节层的分解，得到源图像的细节层和基础层；利用显著性权重对分解后的基础层进行融合，得到对比度增强的融合后的基础层图像；对源图像细节层进行多分辨率奇异值分解，将分解后源图像细节层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合，重构得到高质量融合图像。本发明获得的高质量融合图像具有较高的对比度信息，包含源图像的细节层信息，有助于突出显著性目标，提高目标识别的检测效率。此外，本发明根据实际融合需求，改变方法中的网络结构，实现不同的融合效果，具有较强的通用性。

Description

基于卷积神经网络与显著性权重的图像融合方法
技术领域
本发明涉及一种基于卷积神经网络与显著性权重的图像融合方法，特别是涉及图像在卷积神经网络中融合方法，属于图像信息融合技术领域。
背景技术
通过各种传感器获得的多传感器数据通过图像融合提供补充信息。与来自单个传感器的图像相比，图像融合产生了良好的可视化和丰富的信息。因此，它被广泛应用于许多领域，如遥感，模式识别，医学成像和军事。
一般图像融合方法分为四类:(1)多尺度分解；(2)稀疏表示；(3)空间域变换；以及(4)混合变换。自拉普拉斯金字塔的融合方法提出，基于多尺度分解理论的典型图像融合方法已应用于图像融合。此外，在该领域中已经提出了大量基于多尺度变换的图像融合方法。一些例子是形态金字塔，离散小波变换，双树复数小波变换，非下采样轮廓波变换，以及非下采样的基于剪切变换的方法。基于稀疏表示的方法建立在信号稀疏理论的基础上，其中自然信号可以近似表示为来自字典的“少数”原子的线性组合。与基于多尺度分解和基于稀疏表示的方法不同，基于空间域的方法将图像在不同的变换空间计算，例如PCA和IHS。基于混合变换的方法同时使用多种变换方法，旨在结合各种变换的优点以实现高融合效果。然而，这些方法增加了时间消耗。
最近，深度学习在许多图像处理任务中取得了优异的性能，例如图像抠图，识别和分类。此外，深度学习在图像融合中的应用已经在很大程度上引起了学术界的关注。当前已经实现了使用卷积神经网络来实现多焦点图像与红外/可见光图像融合。然而，对于实际应用，这种方法有两个缺点：1)基层的“平均”融合方案容易降低图像的对比度；2)VGG-19网络提取的图像特征相对较大，导致失去了细节。
发明内容
本发明公开的基于卷积神经网络与显著性权重的图像融合方法要解决的技术问题是：提高融合图像的对比度，增强融合图像的精细细节，提高融合图像质量。本发明融合后的高质量图像能够为后续的目标识别，目标探测等提供有力支撑，为解决图像融合领域相关工程问题提供支持。
本发明的目的是通过下述技术方案实现的。
本发明公开的基于卷积神经网络与显著性权重的图像融合方法，通过导向滤波实现源图像的基础层和细节层的分解，得到源图像的细节层和基础层。利用显著性权重对分解后的基础层进行融合，得到对比度增强的融合后的基础层图像。同时对源图像细节层进行多分辨率奇异值分解，将分解后的源图像细节层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合。最终重构得到高质量融合图像。该方法获得的高质量融合图像具有较高的对比度信息，包含源图像的细节层信息，有助于突出显著性目标，提高目标识别的检测效率。此外，根据实际融合需求，改变方法中的网络结构，实现不同的融合效果，具有较强的通用性。
本发明公开的基于卷积神经网络与显著性权重的图像融合方法，包括如下步骤：
步骤一：利用导向滤波实现源图像的基础层和细节层的分解，得到源图像的细节层和基础层。
源图像导向滤波分解公式为：
其中
指的是像素点p的梯度，和分别指的是图像水平和垂直的一阶差分算子。I指的是源图像，Ib是源图像的基础层，λ是正则化参数。
源图像的细节层Id由公式(3)决定：
Id＝I-Ib (3)
Id指的是图像的细节层，Ib指的是图像的基础层。I指的是源图像。
步骤二：利用显著性权重对分解后的基础层进行融合，得到对比度增强的融合后的基础层图像。
利用显著性权重对分解后的基础层进行融合旨在将信息从多种源图像的基础层转移到融合图像。显著性权重方法计算每个像素相对于原始图像的重要性，通过显著性权重保持源图像中的对比度和纹理信息，并且能够提高基础层融合效果。
显著性权重是基于像素与所有其他像素的对比度来定义像素级显著性。像素p的显著性值Vk(p)定义如下：
k指的是源图像类型，k＝{源图像1,源图像2、……源图像S}。Ip指的是像素点p的强度。q指的是图像I中的任意像素，Iq指的是像素q的强度。所述源图像S根据实际图像融合需求而定。
公式(4)中，显著性值Vk(p)对每一个像素展开，写成：
N指的是图像中的像素数量。当像素值相等时，显著性值也相等，因此，公式(5)写成：
l指的是像素强度，Sl代表强度值等于l的像素的数量和，L指的是图像的灰度等级。
通过公式(6)获得原始图像的显著权重图。最终的显著性值Vk(p)是归一化形式。具有大的显著性权重的区域通常对应于强度和纹理区域，其信息对于融合是有用的和必需的。基础层融合规则为：
Vk1和Vk2指的是源图像k1,k2的显著性权重，指的是源图像k1,k2的基础层，指的是融合图像之后的基础层，所述的即为对比度增强的融合后的基础层图像。
步骤二所述的多种源图像包可见光源图像、红外源图像、多聚焦图像种类，或者为所述种类图像中的任意S幅源图像，所述源图像S根据实际图像融合需求而定。
步骤三：对步骤一获得的源图像细节层进行多分辨率奇异值分解，将分解后的源图像细节层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合。
细节层包含图像的细节信息，然而，现有技术中在卷积神经网络的图像提取中，卷积神经网络更加关注图像的较大尺度的特征，提取图像的较大尺度的特征导致图像中的精细细节的丢失。
通过多分辨率奇异值分解方法有效保留图像的细节：
其中：le指的是分解的层数，j指的是不同的频率信息，并且j＝{LL,LH,HL,HH}，k代表源图像，且k＝{源图像1,源图像2、……源图像S}。
在卷积神经网络的隐藏层中提取图像特征：
net指的是神经网络模型，name指的是神经网络中隐藏层的名称，M指的是为名name的隐藏层的输出通道数量，Φ指的是隐藏层的运算。是卷积网络卷积神经网络的输入。
最终，利用l1范数得到最终的细节层图像：
w指的是滑动窗口，利用公式(10)得到最终的融合之后的多分辨率奇异值细节层：
其中：和分别对应在net网络模型中name隐藏层的输出结果。k1,k2指的是不同的源图像。最终的融合后的细节层通过多分辨率奇异值重构：
获得包含精细细节的源图像细节层融合。
步骤三中根据不同的实际应用需求，改变不同的net结构，实现不同的融合效果。
步骤四：基于步骤二得到基础层图像和步骤三得到的细节层图像，重构得到最终的高质量融合图像。
基于步骤二得到基础层图像和步骤三得到的细节层图像，利用公式(13)重构得到最终的高质量融合图像：
其中，指的是基础层融合结果，指的是细节层融合结果。
所述的高质量融合图像包含源图像的精细细节，且具有高对比度。
还包括步骤五：在后续目标识别和跟踪应用中，利用步骤四得到高质量融合图像能够突出显著性目标，提高目标识别的检测效率。
有益效果：
1、本发明公开的基于卷积神经网络与显著性权重的图像融合方法，利用显著性权重对分解后的基础层进行融合，提高融合图像的对比度信息，有助于突出显著性目标，提高目标识别的检测效率。
2、本发明公开的基于卷积神经网络与显著性权重的图像融合方法，通过对源图像基础层进行多分辨率奇异值分解，将分解后的源图像基础层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合，进而能够保留源图像中的背景细节，丰富融合图像的信息，提高融合图形的可视化效果，有助于进一步图像信息判定。
3、本发明公开的基于卷积神经网络与显著性权重的图像融合方法，根据不同的实际应用需求，改变不同的net结构，实现不同的融合效果，因此，具有较强的通用性，能够针对不同的图像测试不同的融合方法，节省人力和物力。
附图说明
图1为基于卷积神经网络与显著性权重的图像融合方法流程图；
图2为图像显著性权重图，图2(a)为红外源图像，图2(b)为红外图像的显著性权重，图2(c)为可见光源图像，图2(d)为可见光图像的显著性权重；
图3为选择的卷积神经网络VGG-19计算流程图；
图4为方法的融合效果示例，其中第一行是红外原图像，第二行是可见光源图像，第三行是融合之后的图像。
图5为方法12组图像融合结果的MS_SSIM评价指标曲线。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
为了验证方法的可行性，源图像选择可见光图像、红外图像两种源图像各1张，即IR,VIS图像。神经网络模型net选择VGG-19网络，利用网络中4层隐含层name＝{relu1-1,relu2-1,relu3-1,relu4-1}。图像的灰度等级L＝256.分解层数le＝4.最终的图像融合结果，采用多尺度结构相似性MS_SSIM对选定的21组红外、可见光图像进行客观评价。
如图1所示，本发明公开的基于卷积神经网络与显著性权重的图像融合方法，包括如下步骤：
步骤一：利用导向滤波实现源图像的基础层和细节层的分解，得到源图像的细节层和基础层。
源图像导向滤波分解公式为：
其中
指的是像素点p的梯度，和分别指的是图像水平和垂直的一阶差分算子。I指的是源图像，Ib是源图像的基础层，λ是正则化参数。
源图像的细节层Id由公式(16)决定：
Id＝I-Ib (16)
Id指的是图像的细节层，Ib指的是图像的基础层。I指的是源图像。
步骤二：利用显著性权重对分解后的基础层进行融合，得到对比度增强的融合后的基础层图像。
利用显著性权重对分解后的基础层进行融合旨在将信息从多种源图像的基础层转移到融合图像。显著性权重方法计算每个像素相对于原始图像的重要性，通过显著性权重保持源图像中的对比度和纹理信息，并且能够提高基础层融合效果。
显著性权重是基于像素与所有其他像素的对比度来定义像素级显著性。像素p的显著性值Vk(p)定义如下：
k指的是源图像类型，k＝{IR,VIS}。Ip指的是像素点p的强度。q指的是图像I中的任意像素，Iq指的是像素q的强度。
公式(17)中，显著性值Vk(p)对每一个像素展开，写成：
N指的是图像中的像素数量。当像素值相等时，显著性值也相等，因此，公式(18)写成：
l指的是像素强度，Sl代表强度值等于l的像素的数量和，L指的是图像的灰度等级,L＝256。
通过公式(19)获得原始图像的显著权重图。最终的显著性值Vk(p)是归一化形式。具有大的显著性权重的区域通常对应于强度和纹理区域，其信息对于融合是有用的和必需的。基础层融合规则为：
VIR和VVIS指的是红外源图像IR、可见光源图像VIS的显著性权重，指的是红外源图像IR、可见光源图像VIS的基础层，指的是融合图像之后的基础层，所述的即为对比度增强的融合后的基础层图像。
步骤三：对步骤一获得的源图像细节层进行多分辨率奇异值分解，将分解后的源图像细节层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合。
细节层包含图像的细节信息，然而，现有技术中在卷积神经网络的图像提取中，卷积神经网络更加关注图像的较大尺度的特征，提取图像的较大尺度的特征导致图像中的精细细节的丢失。
通过多分辨率奇异值分解方法有效保留图像的细节：
其中：le指的是分解的层数,le＝4，j指的是不同的频率信息，并且j＝{LL,LH,HL,HH}，k代表源图像，且k＝{IR,VIS}。
在卷积神经网络的隐藏层中提取图像特征：
net指的是神经网络模型,net＝VGGG-19，name指的是神经网络中隐藏层的名称,name＝{relu1-1,relu2-1,relu3-1,relu4-1}.M指的是为名name的隐藏层的输出通道数量，Φ指的是隐藏层的运算。是卷积网络卷积神经网络的输入。
最终，利用l1范数得到最终的细节层图像：
w指的是滑动窗口，利用公式(23)得到最终的融合之后的多分辨率奇异值细节层：
其中：和分别对应在VGG-19网络模型中name隐藏层的输出结果。最终的融合后的细节层通过多分辨率奇异值重构：
获得包含精细细节的源图像细节层融合。
步骤四：基于步骤二得到基础层图像和步骤三得到的细节层图像，重构得到最终的高质量融合图像。
基于步骤二得到基础层图像和步骤三得到的细节层图像，利用公式(26)重构得到最终的高质量融合图像：
其中，指的是基础层融合结果，指的是细节层融合结果。
所述的高质量融合图像包含源图像的精细细节，且具有高对比度。
步骤五：采用多尺度结构相似性对融合之后的图像进行客观评价。
本方法选定了21组红外和可见光图像进行融合，并计算融合结果的MS_SSIM值，具体见表1。
表1 21组融合图像的MS_SSIM值
Images 1 2 3 4 5 6 7 8 9 10 11
MS_SSIM 0.8933 0.9208 0.9250 0.9032 0.9412 0.90317 0.9339 0.8598 0.8467 0.8770 0.9245
Images 12 13 14 15 16 17 18 19 20 21
MS_SSIM 0.91229 0.90030 0.88266 0.88517 0.91045 0.90972 0.90464 0.87773 0.86363 0.89071
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于卷积神经网络与显著性权重的图像融合方法，其特征在于：包括如下步骤，
步骤一：利用导向滤波实现源图像的基础层和细节层的分解，得到源图像的细节层和基础层；
步骤二：利用显著性权重对分解后的基础层进行融合，得到对比度增强的融合后的基础层图像；
步骤三：对步骤一获得的源图像细节层进行多分辨率奇异值分解，将分解后的源图像细节层进行卷积神经网络多层特征提取与融合，获得包含精细细节的源图像细节层融合；
步骤四：基于步骤二得到基础层图像和步骤三得到的细节层图像，重构得到最终的高质量融合图像。
2.如权利要求1所述的基于卷积神经网络与显著性权重的图像融合方法，其特征在于：还包括步骤五，在后续目标识别和跟踪应用中，利用步骤四得到高质量融合图像能够突出显著性目标，提高目标识别的检测效率。
3.如权利要求1或2所述的基于卷积神经网络与显著性权重的图像融合方法，其特征在于：步骤一实现方法为，
源图像导向滤波分解公式为：
其中
指的是像素点p的梯度，和分别指的是图像水平和垂直的一阶差分算子；I指的是源图像，Ib是源图像的基础层，λ是正则化参数；
源图像的细节层Id由公式(3)决定：
Id＝I-Ib (3)
Id指的是图像的细节层，Ib指的是图像的基础层；I指的是源图像。
4.如权利要求3所述的基于卷积神经网络与显著性权重的图像融合方法，其特征在于：步骤二实现方法为，
显著性权重是基于像素与所有其他像素的对比度来定义像素级显著性；像素p的显著性值Vk(p)定义如下：
k指的是源图像类型，k＝{源图像1,源图像2、……源图像S}；Ip指的是像素点p的强度；q指的是图像I中的任意像素，Iq指的是像素q的强度；所述源图像S根据实际图像融合需求而定；
公式(4)中，显著性值Vk(p)对每一个像素展开，写成：
N指的是图像中的像素数量；当像素值相等时，显著性值也相等，因此，公式(5)写成：
l指的是像素强度，Sl代表强度值等于l的像素的数量和，L指的是图像的灰度等级；
通过公式(6)获得原始图像的显著权重图；最终的显著性值Vk(p)是归一化形式；具有大的显著性权重的区域通常对应于强度和纹理区域，其信息对于融合是有用的和必需的；基础层融合规则为：
Vk1和Vk2指的是源图像k1,k2的显著性权重，指的是源图像k1,k2的基础层，指的是融合图像之后的基础层，所述的即为对比度增强的融合后的基础层图像。
5.如权利要求4所述的基于卷积神经网络与显著性权重的图像融合方法，其特征在于：步骤三实现方法为，
通过多分辨率奇异值分解方法有效保留图像的细节：
其中：le指的是分解的层数，j指的是不同的频率信息，并且j＝{LL,LH,HL,HH}，k代表源图像，且k＝{源图像1,源图像2、……源图像S}；
在卷积神经网络的隐藏层中提取图像特征：
net指的是神经网络模型，name指的是神经网络中隐藏层的名称，M指的是为名name的隐藏层的输出通道数量，Φ指的是隐藏层的运算；是卷积网络卷积神经网络的输入；
最终，利用l1范数得到最终的细节层图像：
w指的是滑动窗口，利用公式(10)得到最终的融合之后的多分辨率奇异值细节层：
其中：和分别对应在net网络模型中name隐藏层的输出结果；k1,k2指的是不同的源图像；最终的融合后的细节层通过多分辨率奇异值重构：
获得包含精细细节的源图像细节层融合。
6.如权利要求5所述的基于卷积神经网络与显著性权重的图像融合方法，其特征在于：步骤四实现方法为，
基于步骤二得到基础层图像和步骤三得到的细节层图像，利用公式(13)重构得到最终的高质量融合图像：
其中，指的是基础层融合结果，指的是细节层融合结果；
所述的高质量融合图像包含源图像的精细细节，且具有高对比度。
7.如权利要求6所述的基于卷积神经网络与显著性权重的图像融合方法，其特征在于：步骤二所述的多种源图像包可见光源图像、红外源图像、多聚焦图像种类，或者为所述种类图像中的任意S幅源图像，所述源图像S根据实际图像融合需求而定。
8.如权利要求7所述的基于卷积神经网络与显著性权重的图像融合方法，其特征在于：步骤三中根据不同的实际应用需求，改变不同的net结构，实现不同的融合效果。
CN201910336960.8A 2019-04-25 2019-04-25 基于卷积神经网络与显著性权重的图像融合方法 Active CN110097617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910336960.8A CN110097617B (zh) 2019-04-25 2019-04-25 基于卷积神经网络与显著性权重的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910336960.8A CN110097617B (zh) 2019-04-25 2019-04-25 基于卷积神经网络与显著性权重的图像融合方法

Publications (2)

Publication Number Publication Date
CN110097617A true CN110097617A (zh) 2019-08-06
CN110097617B CN110097617B (zh) 2020-09-15

Family

ID=67445613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910336960.8A Active CN110097617B (zh) 2019-04-25 2019-04-25 基于卷积神经网络与显著性权重的图像融合方法

Country Status (1)

Country Link
CN (1) CN110097617B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464762A (zh) * 2020-03-30 2020-07-28 杭州电子科技大学 一种基于红外融合技术的夜间成像仪及成像方法
CN111784619A (zh) * 2020-07-03 2020-10-16 电子科技大学 一种红外和可见光图像的融合方法
CN112115979A (zh) * 2020-08-24 2020-12-22 深圳大学 一种红外图像和可见图像的融合方法及设备
CN113256525A (zh) * 2021-05-25 2021-08-13 烟台艾睿光电科技有限公司 红外热成像图像增强方法、装置、设备及可读存储介质
CN113793318A (zh) * 2021-09-13 2021-12-14 中国空气动力研究与发展中心超高速空气动力研究所 一种多区域复杂损伤缺陷特征综合分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN108052988A (zh) * 2018-01-04 2018-05-18 常州工学院 基于小波变换的导向显著性图像融合方法
CN108648746A (zh) * 2018-05-15 2018-10-12 南京航空航天大学 一种基于多模态特征融合的开放域视频自然语言描述生成方法
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124432A1 (en) * 2015-11-03 2017-05-04 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering
CN108052988A (zh) * 2018-01-04 2018-05-18 常州工学院 基于小波变换的导向显著性图像融合方法
CN108648746A (zh) * 2018-05-15 2018-10-12 南京航空航天大学 一种基于多模态特征融合的开放域视频自然语言描述生成方法
CN109360175A (zh) * 2018-10-12 2019-02-19 云南大学 一种红外与可见光的图像融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUI LI等: "Infrared and Visible Image Fusion using a Deep Learning Framework", 《IEEE XPLORE》 *
V.P.S. NAIDU: "Image Fusion technique using Multi-resolution singular Value decomposition", 《DEFENCE SCIENCE JOURNAL》 *
陈清江 等: "基于卷积神经网络的红外图像融合算法", 《激光与红外》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464762A (zh) * 2020-03-30 2020-07-28 杭州电子科技大学 一种基于红外融合技术的夜间成像仪及成像方法
CN111784619A (zh) * 2020-07-03 2020-10-16 电子科技大学 一种红外和可见光图像的融合方法
CN111784619B (zh) * 2020-07-03 2023-04-28 电子科技大学 一种红外和可见光图像的融合方法
CN112115979A (zh) * 2020-08-24 2020-12-22 深圳大学 一种红外图像和可见图像的融合方法及设备
CN112115979B (zh) * 2020-08-24 2024-03-22 深圳大学 一种红外图像和可见图像的融合方法及设备
CN113256525A (zh) * 2021-05-25 2021-08-13 烟台艾睿光电科技有限公司 红外热成像图像增强方法、装置、设备及可读存储介质
CN113256525B (zh) * 2021-05-25 2023-01-10 烟台艾睿光电科技有限公司 红外热成像图像增强方法、装置、设备及可读存储介质
CN113793318A (zh) * 2021-09-13 2021-12-14 中国空气动力研究与发展中心超高速空气动力研究所 一种多区域复杂损伤缺陷特征综合分析方法
CN113793318B (zh) * 2021-09-13 2023-04-07 中国空气动力研究与发展中心超高速空气动力研究所 一种多区域复杂损伤缺陷特征综合分析方法

Also Published As

Publication number Publication date
CN110097617B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN110097617A (zh) 基于卷积神经网络与显著性权重的图像融合方法
Ma et al. Infrared and visible image fusion via gradientlet filter
CN104809734B (zh) 一种基于引导滤波的红外图像与可见光图像融合的方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN103714181B (zh) 一种层级化的特定人物检索方法
Bhatnagar et al. An image fusion framework based on human visual system in framelet domain
CN104754340A (zh) 一种无人机侦察图像压缩方法
CN1251145C (zh) 综合边缘和纹理信息的金字塔图像融合方法
CN103679661A (zh) 一种基于显著性分析的自适应遥感图像融合方法
CN109242812A (zh) 基于显著性检测与奇异值分解的图像融合方法及装置
Duan et al. Infrared and visible image fusion using multi-scale edge-preserving decomposition and multiple saliency features
CN105809650A (zh) 一种基于双向迭代优化的图像融合方法
CN111815550A (zh) 一种基于灰度共生矩阵的红外与可见光图像融合方法
Patel et al. A review on infrared and visible image fusion techniques
Yan et al. Adaptive fractional multi-scale edge-preserving decomposition and saliency detection fusion algorithm
He Application of local color simulation method of landscape painting based on deep learning generative adversarial networks
Nercessian et al. Multiresolution decomposition schemes using the parameterized logarithmic image processing model with application to image fusion
DE102004026782A1 (de) Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element
CN105528772B (zh) 一种基于指导性滤波的图像融合方法
Li et al. Medical image fusion based on saliency and adaptive similarity judgment
Zhang et al. [Retracted] An Empirical Study on the Artificial Intelligence‐Aided Quantitative Design of Art Images
Zhong et al. A fusion approach to infrared and visible images with Gabor filter and sigmoid function
Zeng et al. A fast fusion method for visible and infrared images using fourier transform and difference minimization
CN111861960B (zh) 一种红外和可见光图像融合方法
CN108460383A (zh) 基于神经网络与图像分割的图像显著性精化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant