CN112950519B - 一种新型的红外和可见光图像融合算法 - Google Patents

一种新型的红外和可见光图像融合算法 Download PDF

Info

Publication number
CN112950519B
CN112950519B CN202110294376.8A CN202110294376A CN112950519B CN 112950519 B CN112950519 B CN 112950519B CN 202110294376 A CN202110294376 A CN 202110294376A CN 112950519 B CN112950519 B CN 112950519B
Authority
CN
China
Prior art keywords
image
pass component
low
band
pass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110294376.8A
Other languages
English (en)
Other versions
CN112950519A (zh
Inventor
齐东浩
余毅
高策
张艳超
唐伯浩
徐嘉兴
宋聪聪
刘晏瑞
张馨元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202110294376.8A priority Critical patent/CN112950519B/zh
Publication of CN112950519A publication Critical patent/CN112950519A/zh
Application granted granted Critical
Publication of CN112950519B publication Critical patent/CN112950519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种新型的红外和可见光图像融合算法，包括步骤：利用非下采样轮廓变换对预配准的红外图像和可见光图像分别进行多尺度变换，得到红外图像和可见光图像分别对应的带通分量和低通分量；利用深层神经网络引导图像深度特征的方法对低通分量进行融合，得到低通分量融合图像；利用取模最大值的方法对带通分量进行比较，选择最大值作为带通分量融合的权值，并根据权值对带通分量进行融合，得到带通分量融合图像；将低通分量融合图像和带通分量融合图像通过非下采样轮廓变换的逆变换进行重建，得到最终的融合图像。本发明可以最大程度的在结果图像中保留源图像的主要信息，并且不会在融合后的图像中出现噪声和伪影。

Description

一种新型的红外和可见光图像融合算法
技术领域
本发明涉及图像融合技术领域，特别是涉及一种新型的红外和可见光图像融合算法。
背景技术
在军事、导航、隐形武器检测和医学成像等领域中通常需要借助多种不同的成像波段来监视目标场景，以便获得更为全面的视觉理解。利用不同波段的相机来获取图像，可以提供丰富详实的场景信息。然而在特定的观测场景下，为了展示更多的细节信息，可以结合多个图像波段的成像优势。
图像融合技术在过去的几十年中得到了广泛的研究。基于拉普拉斯和对比金字塔的多尺度变换的方法最早被提出用于图像的分解，基于可操纵金字塔和期望最大化的图像融合方法，这种方法优于传统的可操纵金字塔的融合方法。同样被应用于图像分解的小波变换，具有与金字塔变换不同的系数不相关性，在图像融合领域得到了广泛应用。传统的小波变换是通过一组滤波器将原图像分解为一系列高、低通子图像，其存在震荡、移位方差和方向性不足等缺点，因此在融合图像中会出现伪影。
轮廓变换是多方向多分辨率的图像变换方法。然而轮廓变换存在由于金字塔滤波器组的上采样和下采样所引起的位移方差的问题。为了解决这一问题，提出了一种完全位移不变的非下采样轮廓变换(Nonsubsampled contourlet transform，NSCT)。
NSCT是由Do and Vetterli提出的一种多尺度分解方法(“The contourlettransform:an efficient directional multiresolution image representation”,IEEETrans.Image Process.14(12)(2005)2091-2106.)，旨在克服轮廓变换所导致的位移不变和伪吉布斯现象(shift-invariant and pseudo-Gibbs phenomena)。轮廓变换之所以不具有平移不变性，其原因就在于拉普拉斯金字塔和方向滤波器组中存在的上采样和下采样操作。为了保留变换的方向和多尺度属性，在非采样轮廓变换中拉普拉斯金字塔被替换为非下采样金字塔(Nonsubsampled pyramid structure，NSP)以保留多尺度属性，方向滤波器组替换为非下采样方向滤波器组(nonsubsampled directional filter banks，NSDFB)用于保留方向性。分解后的每个子带图像与原始图像具有相同的大小。
如图1所示，NSCT是一个具有多尺度、多方向和位移不变性的图像分解策略。首先是采用NSP来对图像进行多尺度分解，每一次NSP分解可以产生一个低通分量和带通分量，迭代分解低通分量来获取图像中的主要信息。如果NSCT分解级别为x，则原图像可以被分解为1个低通分量和x个带通分量。然后利用NSDFB将每个尺度上的带通分量在不同方向上分解，从而产生与源图像大小相同的方向子带，有利于图像的融合。在图像融合应用中，NSCT方法可以有效的保留原始图像的特征，表现出了非常好的分解性能(“The nonsubsampledcontourlet transform:theory,design,and applications”[J],IEEE Trans.ImageProcess.15(10)(2006)3089.)。NSCT因其图像分解优势被用在图像融合的研究中，但是在结果中出现了较多的人工噪声。
神经网络以其较强的适应性、容错性和抗噪声能力被应用于红外图像和可见图像融合的领域。脉冲耦合神经网络(PCNN)在红外和可见光图像融合中有着广泛的研究。多尺度变换和PCNN相结合的方法进行图像融合，但是其图像融合效率较低。目前对深层神经网络应用于图像融合领域的相应探索较少。
图像融合方案的关键在于转换和融合规则的选择，结合不同方法的优点，建立增强图像融合模型，提高红外和可见光图像的融合效果，降低融合后图像的人工噪声以及伪影等现象，是红外和可见光图像融合中的一个关键问题。
发明内容
为了克服现有技术中存在的问题，提高红外和可见光图像的融合效果，降低融合后图像的人工噪声以及伪影等现象，本发明提供一种新型的红外和可见光图像融合算法，该算法提出了一种新型的非下采样轮廓变换方法和深层残差网络相结合的融合框架，可以充分发挥图像多尺度变换的分解优势，与此同时，也可以发挥出深度残差神经网络的特征提取能力。
为解决上述问题，本发明采取如下的技术方案：
一种新型的红外和可见光图像融合算法，包括以下步骤：
步骤一：利用非下采样轮廓变换对预配准的红外图像I1和可见光图像I2分别进行多尺度变换，得到所述红外图像I1对应的带通分量
Figure GDA0003464628410000031
和低通分量
Figure GDA0003464628410000032
以及所述可见光图像I2对应的带通分量
Figure GDA0003464628410000033
和低通分量
Figure GDA0003464628410000034
步骤二：利用深层神经网络引导图像深度特征的方法对所述低通分量
Figure GDA0003464628410000035
和所述低通分量
Figure GDA0003464628410000036
进行融合，得到低通分量融合图像Fd(x,y)；
步骤二包括以下步骤：
步骤二一：利用深度残差神经网络ResNet152分别对所述低通分量
Figure GDA0003464628410000037
和所述低通分量
Figure GDA0003464628410000038
进行特征提取，得到所述低通分量
Figure GDA0003464628410000039
对应的特征映射
Figure GDA00034646284100000315
和所述低通分量
Figure GDA00034646284100000311
对应的特征映射
Figure GDA00034646284100000316
其中N为深度残差神经网络ResNet152的最大卷积块序号；
步骤二二：对所述特征映射
Figure GDA00034646284100000317
和所述特征映射
Figure GDA00034646284100000318
分别依次进行L1正则化和上采样操作，得到对应的权重映射W1 d(x，y)和权重映射
Figure GDA0003464628410000042
步骤二三：根据所述权重映射W1 d(x，y)和所述权重映射
Figure GDA0003464628410000044
对所述低通分量
Figure GDA0003464628410000045
和所述低通分量
Figure GDA0003464628410000046
进行加权融合，得到低通分量融合图像Fd(x,y)；
步骤三：利用取模最大值的方法对所述带通分量
Figure GDA0003464628410000047
和所述带通分量
Figure GDA0003464628410000048
进行比较，选择最大值作为带通分量融合的权值，并根据所述权值和公式(6)对所述带通分量
Figure GDA0003464628410000049
和所述带通分量
Figure GDA00034646284100000410
进行融合，得到带通分量融合图像Fb(x,y)；
Figure GDA00034646284100000411
其中，(x,y)表示
Figure GDA00034646284100000412
和Fb(x,y)的像素位置；
步骤四：将所述低通分量融合图像Fd(x,y)和所述带通分量融合图像Fb(x,y)通过非下采样轮廓变换的逆变换进行重建，得到最终的融合图像。
本发明结合NSCT图像分解的优势和深层神经网络的特征提取能力，提出了一种可以保留更多源图像信息的融合算法，同时可以减少在融合过程中所产生的噪声。与现有技术相比，本发明具有以下有益效果：
(1)本发明采用了非下采样轮廓变化的方法对红外图像和可见光图像进行多尺度变换，分解出一组包含图像主要信息的低通分量和包含轮廓信息的带通分量，消除了传统方法在轮廓变换中所产生的震荡、位移方差和方向性不足等缺点；
(2)在深层神经网络在图像融合领域应用研究相对较少的情况下，本发明利用深层神经网络引导图像深度特征的方法来实现低通分量的融合过程，使得在融合后的图像中继承源图像中的关键信息；
(3)传统的融合算法忽视了边缘信息的处理，而本发明通过取模最大值的方法计算红外图像和可见图像中的带通分量的最大值，以最大值作为带通分量融合的权值，对带通分量进行加权融合，可以保留源图像中最突出的轮廓信息；
(4)传统的融合方法在融合结果中包含人工噪声、边缘模糊以及伪影等现象，而由本发明获得的融合图像具有清晰的视觉表达，丰富的纹理细节，并且包含较少的人工噪声和伪影。
附图说明
图1为非下采样轮廓变换的图像分解过程示意图；
图2为本发明实施例提供的一种新型的红外和可见光图像融合算法的框架图；
图3为利用深度残差神经网络ResNet152融合低通分量的过程示意图；
图4为残差网络卷积块的示意图。
具体实施方式
下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
在其中一个实施例中，如图2所示，本发明提供一种新型的红外和可见光图像融合算法，该算法具体包括以下步骤：
步骤一：图像多尺度分解
利用非下采样轮廓变换对预配准的红外图像I1和可见光图像I2分别进行多尺度变换，分别分解为多尺度多方向的带通分量
Figure GDA0003464628410000051
和低通分量
Figure GDA0003464628410000052
以及带通分量
Figure GDA0003464628410000053
和低通分量
Figure GDA0003464628410000054
得到低通分量组
Figure GDA0003464628410000055
和带通分量组
Figure GDA0003464628410000056
步骤二：低通分量的融合
对于低通分量
Figure GDA0003464628410000057
和
Figure GDA0003464628410000058
本实施例利用深层神经网络引导图像深度特征的方法进行融合，融合后得到低通分量融合图像Fd(x,y)。
神经网络的层数越深，获取的图像信息越多，而且特征也越丰富。但是有实验证明，随着神经网络的加深，优化效果反而越差，测试数据以及其准确率反而降低。这是由于网络的加深会导致梯度会以指数的形式增加或减小的问题。在2016年的IEEE国际计算机视觉与模式识别会议上(IEEE Conference on ComputerVision and Pattern Recognition，CVPR)，He等人提出了一种新型的神经网络结构ResNet(“Multi-style GenerativeNetwork for Real-time Transfer,”arXiv Prepr.arXiv1703.06953,2017.)，用来解决梯度下降的问题。这个网络结构利用了快捷连接和残余表示，可以比以往的网络更容易优化，同时可以增加深度来提高精度。
进一步地，在步骤二中，利用新型的神经网络结构ResNet引导图像深度特征，实现低通分量的融合，即利用深度残差神经网络ResNet152对源图像分解成的低通分量组
Figure GDA0003464628410000061
进行特征提取，分别提取低通分量的特征映射，然后通过特征映射来计算出用于融合的引导映射即权重映射，最后利用权重映射和低通分量重建细节内容，实现红外图像和可见光图像的低通分量的融合，得到低通分量融合图像Fd(x,y)。
具体地，如图3所示，步骤二包括以下步骤：
步骤二一：利用深度残差神经网络ResNet152分别对低通分量
Figure GDA0003464628410000062
和低通分量
Figure GDA0003464628410000063
进行特征提取，得到低通分量
Figure GDA0003464628410000064
对应的特征映射
Figure GDA0003464628410000065
和低通分量
Figure GDA0003464628410000066
对应的特征映射
Figure GDA0003464628410000067
深度残差神经网络ResNet152是一个预训练网络，由5个卷积块(分别为Conv1，Conv2，Conv3，Conv4，Conv5)组成，总共包含152个权重层。残差神经网络是由多个子网络连接组成，如图4所示，X表示子网络的输入，Ψ(X)表示对两个权重层的网络操作，“relu”表示对线性单元的激活校正操作，最终的映射结果可由Ψ(X)+X来计算。因此，第i∈{1,2,…,N}个卷积块所输出的深层特征可表示为：
Figure GDA0003464628410000071
式中ψ(·)代表残差网络的一个卷积块，m表示每个特征层所具有的通道数量，k∈{1,2}。可选地，最大卷积块序号N的取值为N＝5。
步骤二二：对特征映射
Figure GDA0003464628410000072
和特征映射
Figure GDA0003464628410000073
分别依次进行L1正则化和上采样操作，得到对应的权重映射W1 d(x，y)和权重映射
Figure GDA0003464628410000075
将获得到的深层特征
Figure GDA0003464628410000076
首先经过L1正则化获得初始权重映射，其公式如下所示：
深度残差神经网络ResNet152对低通分量
Figure GDA0003464628410000077
和低通分量
Figure GDA0003464628410000078
进行特征提取得到的深层特征
Figure GDA0003464628410000079
首先经过L1正则化，获得初始权重映射
Figure GDA00034646284100000710
其公式如下所示：
Figure GDA00034646284100000711
其中，
Figure GDA00034646284100000712
N表示深度残差神经网络ResNet152的最大卷积块序号，x、y分别代表着特征映射在二维数组中的行和列，t代表步长，η为权值参数。可选地，权值参数的取值为η＝2。
当通过两个低通分量
Figure GDA00034646284100000713
和
Figure GDA00034646284100000714
得到两个初始权重映射
Figure GDA00034646284100000715
和
Figure GDA00034646284100000716
后，利用双三次插值运算分别对初始权重映射
Figure GDA00034646284100000717
和
Figure GDA00034646284100000718
进行上采样操作，将初始权重映射调整到源图像大小，其中初始权重映射
Figure GDA00034646284100000719
是低通分量
Figure GDA00034646284100000720
特征提取后，由特征层所输出的深层特征经过L1正则化后得到的初始权重映射，初始权重映射
Figure GDA00034646284100000721
是低通分量
Figure GDA00034646284100000722
特征提取后，由特征层所输出的深层特征经过L1正则化后得到的初始权重映射。最终的权重映射由下式计算得到：
Figure GDA0003464628410000081
其中，W1 d(x,y)为特征映射
Figure GDA0003464628410000082
对应的权重映射，
Figure GDA0003464628410000083
为特征映射
Figure GDA0003464628410000084
对应的权重映射。
步骤二三：根据权重映射W1 d(x,y)和权重映射
Figure GDA0003464628410000085
对低通分量
Figure GDA0003464628410000086
和低通分量
Figure GDA0003464628410000087
进行加权融合，得到低通分量融合图像Fd(x,y)，低通分量融合图像Fd(x,y)可由下式计算得到：
Figure GDA0003464628410000088
步骤三：带通分量的融合
从源图像(即步骤一中预配准的红外图像I1和可见光图像I2)中分离出来的带通分量部分包含了公共特征和冗余信息。在本实施例中，选择使用取模最大值的方法来对带通分量组
Figure GDA0003464628410000089
进行融合，可以尽可能的保留图像中的冗余信息。首先，选择利用取模最大值的方法对带通分量
Figure GDA00034646284100000810
和带通分量
Figure GDA00034646284100000811
进行比较，并选择最大值作为带通分量融合的权值。通过公式(5)比较计算带通分量组
Figure GDA00034646284100000812
Figure GDA00034646284100000813
中取模最大的值：
Figure GDA00034646284100000814
式中Wmax是对带通分量进行取模后取其最大值的结果。
计算得到取模最大的值Wmax之后，将取模最大的值Wmax作为带通分量组融合的权值代入公式(6)中：
Figure GDA00034646284100000815
其中，(x,y)表示
Figure GDA00034646284100000816
和Fb(x,y)的像素位置。
步骤四：最后将获得的低通分量融合图像Fd(x,y)和带通分量融合图像Fb(x,y)通过非下采样轮廓变换的逆变换进行重建，得到最终的融合图像。在本步骤中，利用非下采样轮廓变换的逆变换，将红外图像和可见光图像所融合的分量图像进行重建，生成最终的融合图像。
本发明结合NSCT图像分解的优势和深层神经网络的特征提取能力，提出了一种可以保留更多源图像信息的融合算法，同时可以减少在融合过程中所产生的噪声。本发明不仅在主观上提高了图像效果，降低了噪声和伪影，在客观上同样提高了图像的评价质量函数值。首先，对深层残差网络应用在图像融合的领域进行了探索。其次，利用深度残差神经网络的特征提取能力，提取低通分量中丰富的特征信息，在计算特征映射来引导低通分量融合，实验结果表明这种方法起到非常显著的作用。最后，带通分量采用取模最大值的融合方法可以保留源图像中主要的冗余信息。
与现有技术相比，本发明在红外和可见光图像低通分量的融合上进行了创新，可以最大程度的在结果图像中保留源图像的主要信息，并且不会在融合后的图像中出现噪声和伪影。本发明具有以下有益效果：
(1)本发明采用了非下采样轮廓变化的方法对红外图像和可见光图像进行多尺度变换，分解出一组包含图像主要信息的低通分量和包含轮廓信息的带通分量，消除了传统方法在轮廓变换中所产生的震荡、位移方差和方向性不足等缺点；
(2)在深层神经网络在图像融合领域应用研究相对较少的情况下，本发明利用深层神经网络引导图像深度特征的方法来实现低通分量的融合过程，使得在融合后的图像中继承源图像中的关键信息；
(3)传统的融合算法忽视了边缘信息的处理，而本发明通过取模最大值的方法计算红外图像和可见图像中的带通分量的最大值，以最大值作为带通分量融合的权值，对带通分量进行加权融合，可以保留源图像中最突出的轮廓信息；
(4)传统的融合方法在融合结果中包含人工噪声、边缘模糊以及伪影等现象，而由本发明获得的融合图像具有清晰的视觉表达，丰富的纹理细节，并且包含较少的人工噪声和伪影。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (3)

1.一种新型的红外和可见光图像融合算法，其特征在于，包括以下步骤：
步骤一：利用非下采样轮廓变换对预配准的红外图像I1和可见光图像I2分别进行多尺度变换，得到所述红外图像I1对应的带通分量
Figure FDA0003464628400000011
和低通分量
Figure FDA0003464628400000012
以及所述可见光图像I2对应的带通分量
Figure FDA0003464628400000013
和低通分量
Figure FDA0003464628400000014
步骤二：利用深层神经网络引导图像深度特征的方法对所述低通分量
Figure FDA0003464628400000015
和所述低通分量
Figure FDA0003464628400000016
进行融合，得到低通分量融合图像Fd(x,y)；
步骤二包括以下步骤：
步骤二一：利用深度残差神经网络ResNet152分别对所述低通分量
Figure FDA0003464628400000017
和所述低通分量
Figure FDA0003464628400000018
进行特征提取，得到所述低通分量
Figure FDA0003464628400000019
对应的特征映射
Figure FDA00034646284000000110
和所述低通分量
Figure FDA00034646284000000111
对应的特征映射
Figure FDA00034646284000000112
其中N为深度残差神经网络ResNet152的最大卷积块序号；
步骤二二：对所述特征映射
Figure FDA00034646284000000113
和所述特征映射
Figure FDA00034646284000000114
分别依次进行L1正则化和上采样操作，得到对应的权重映射W1 d(x,y)和权重映射
Figure FDA00034646284000000115
步骤二三：根据所述权重映射W1 d(x,y)和所述权重映射
Figure FDA00034646284000000116
对所述低通分量
Figure FDA00034646284000000117
和所述低通分量
Figure FDA00034646284000000118
进行加权融合，得到低通分量融合图像Fd(x,y)；
步骤三：利用取模最大值的方法对所述带通分量
Figure FDA00034646284000000119
和所述带通分量
Figure FDA00034646284000000120
进行比较，选择最大值作为带通分量融合的权值，并根据所述权值和公式(6)对所述带通分量
Figure FDA00034646284000000121
和所述带通分量
Figure FDA00034646284000000122
进行融合，得到带通分量融合图像Fb(x,y)；
Figure FDA00034646284000000123
其中，(x,y)表示
Figure FDA00034646284000000124
和Fb(x,y)的像素位置；
步骤四：将所述低通分量融合图像Fd(x,y)和所述带通分量融合图像Fb(x,y)通过非下采样轮廓变换的逆变换进行重建，得到最终的融合图像。
2.根据权利要求1所述的一种新型的红外和可见光图像融合算法，其特征在于，步骤二二包括以下步骤：
深度残差神经网络ResNet152对所述低通分量
Figure FDA0003464628400000021
和所述低通分量
Figure FDA0003464628400000022
进行特征提取得到的深层特征
Figure FDA0003464628400000023
首先经过L1正则化，获得初始权重映射
Figure FDA0003464628400000024
其公式如下所示：
Figure FDA0003464628400000025
其中，
Figure FDA0003464628400000026
m表示每个特征层所具有的通道数量，x、y分别代表着特征映射在二维数组中的行和列，t代表步长，η为权值参数；
利用双三次插值运算分别对初始权重映射
Figure FDA0003464628400000027
和初始权重映射
Figure FDA0003464628400000028
进行上采样操作，计算公式如下：
Figure FDA0003464628400000029
其中，W1 d(x,y)为所述特征映射
Figure FDA00034646284000000210
对应的权重映射，
Figure FDA00034646284000000211
为所述特征映射
Figure FDA00034646284000000212
对应的权重映射。
3.根据权利要求2所述的一种新型的红外和可见光图像融合算法，其特征在于，
最大卷积块序号N的取值为N＝5，权值参数的取值为η＝2。
CN202110294376.8A 2021-03-19 2021-03-19 一种新型的红外和可见光图像融合算法 Active CN112950519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110294376.8A CN112950519B (zh) 2021-03-19 2021-03-19 一种新型的红外和可见光图像融合算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110294376.8A CN112950519B (zh) 2021-03-19 2021-03-19 一种新型的红外和可见光图像融合算法

Publications (2)

Publication Number Publication Date
CN112950519A CN112950519A (zh) 2021-06-11
CN112950519B true CN112950519B (zh) 2022-03-15

Family

ID=76226638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110294376.8A Active CN112950519B (zh) 2021-03-19 2021-03-19 一种新型的红外和可见光图像融合算法

Country Status (1)

Country Link
CN (1) CN112950519B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189286A (zh) * 2019-05-30 2019-08-30 兰州交通大学 一种基于ResNet的红外与可见光图像融合方法
CN110246108A (zh) * 2018-11-21 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、装置及计算机可读存储介质
CN111667516A (zh) * 2020-06-05 2020-09-15 北京环境特性研究所 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法
WO2020237931A1 (en) * 2019-05-24 2020-12-03 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
CN106303296A (zh) * 2016-08-30 2017-01-04 许昌学院 一种图像拼接融合系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246108A (zh) * 2018-11-21 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、装置及计算机可读存储介质
WO2020237931A1 (en) * 2019-05-24 2020-12-03 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
CN110189286A (zh) * 2019-05-30 2019-08-30 兰州交通大学 一种基于ResNet的红外与可见光图像融合方法
CN111667516A (zh) * 2020-06-05 2020-09-15 北京环境特性研究所 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Image Fusion Using Adjustable Non-subsampled Shearlet Transform";A. Vishwakarma等;《IEEE Transactions on Instrumentation and Measurement》;20181112;第68卷(第9期);全文 *
"Infrared and Visible Image Fusion using a Deep Learning Framework";H. Li等;《2018 24th International Conference on Pattern Recognition (ICPR)》;20181129;全文 *
"Multi-Focus Image Fusion Based on Residual Network in Non-Subsampled Shearlet Domain";S. Liu等;《IEEE Access》;20191023;第7卷;全文 *
"基于NSCT变换的红外与可见光图像PCNN融合算法";吴粉侠等;《咸阳师范学院学报》;20190331;第34卷(第02期);全文 *

Also Published As

Publication number Publication date
CN112950519A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
Xia et al. A novel improved deep convolutional neural network model for medical image fusion
CN112329800B (zh) 一种基于全局信息引导残差注意力的显著性目标检测方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN108399611B (zh) 基于梯度正则化的多聚焦图像融合方法
CN111275655B (zh) 一种多聚焦多源图像融合方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
Zhao et al. Invertible image decolorization
Li et al. Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN
CN110674824A (zh) 基于R2U-Net的手指静脉分割方法、装置和存储介质
CN111951164A (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN112785539B (zh) 基于图像自适应分解及参数自适应的多聚焦图像融合方法
CN112669249A (zh) 结合改进nsct变换和深度学习的红外与可见光图像融合方法
CN112651469A (zh) 一种红外与可见光图像融合方法及系统
CN116612334B (zh) 一种基于空谱联合注意力机制的医学高光谱图像分类方法
CN112163994A (zh) 一种基于卷积神经网络的多尺度医学图像融合方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN115861083A (zh) 一种多尺度和全局特征的高光谱与多光谱遥感融合方法
Li et al. Wavelet u-net for medical image segmentation
Yang et al. An effective and comprehensive image super resolution algorithm combined with a novel convolutional neural network and wavelet transform
CN112446835A (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN111353982B (zh) 一种深度相机图像序列筛选方法及装置
Lepcha et al. An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering
CN112950519B (zh) 一种新型的红外和可见光图像融合算法
CN114549361B (zh) 一种基于改进U-Net模型的去图像运动模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant