CN112950519A - 一种新型的红外和可见光图像融合算法 - Google Patents
一种新型的红外和可见光图像融合算法 Download PDFInfo
- Publication number
- CN112950519A CN112950519A CN202110294376.8A CN202110294376A CN112950519A CN 112950519 A CN112950519 A CN 112950519A CN 202110294376 A CN202110294376 A CN 202110294376A CN 112950519 A CN112950519 A CN 112950519A
- Authority
- CN
- China
- Prior art keywords
- image
- pass component
- low
- band
- pass
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 69
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 10
- 238000011430 maximum method Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000000354 decomposition reaction Methods 0.000 description 15
- 230000008901 benefit Effects 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种新型的红外和可见光图像融合算法，包括步骤：利用非下采样轮廓变换对预配准的红外图像和可见光图像分别进行多尺度变换，得到红外图像和可见光图像分别对应的带通分量和低通分量；利用深层神经网络引导图像深度特征的方法对低通分量进行融合，得到低通分量融合图像；利用取模最大值的方法对带通分量进行比较，选择最大值作为带通分量融合的权值，并根据权值对带通分量进行融合，得到带通分量融合图像；将低通分量融合图像和带通分量融合图像通过非下采样轮廓变换的逆变换进行重建，得到最终的融合图像。本发明可以最大程度的在结果图像中保留源图像的主要信息，并且不会在融合后的图像中出现噪声和伪影。
Description
技术领域
本发明涉及图像融合技术领域，特别是涉及一种新型的红外和可见光图像融合算法。
背景技术
在军事、导航、隐形武器检测和医学成像等领域中通常需要借助多种不同的成像波段来监视目标场景，以便获得更为全面的视觉理解。利用不同波段的相机来获取图像，可以提供丰富详实的场景信息。然而在特定的观测场景下，为了展示更多的细节信息，可以结合多个图像波段的成像优势。
图像融合技术在过去的几十年中得到了广泛的研究。基于拉普拉斯和对比金字塔的多尺度变换的方法最早被提出用于图像的分解，基于可操纵金字塔和期望最大化的图像融合方法，这种方法优于传统的可操纵金字塔的融合方法。同样被应用于图像分解的小波变换，具有与金字塔变换不同的系数不相关性，在图像融合领域得到了广泛应用。传统的小波变换是通过一组滤波器将原图像分解为一系列高、低通子图像，其存在震荡、移位方差和方向性不足等缺点，因此在融合图像中会出现伪影。
轮廓变换是多方向多分辨率的图像变换方法。然而轮廓变换存在由于金字塔滤波器组的上采样和下采样所引起的位移方差的问题。为了解决这一问题，提出了一种完全位移不变的非下采样轮廓变换(Nonsubsampled contourlet transform，NSCT)。
NSCT是由Do and Vetterli提出的一种多尺度分解方法(“The contourlettransform:an efficient directional multiresolution image representation”,IEEETrans.Image Process.14(12)(2005)2091-2106.)，旨在克服轮廓变换所导致的位移不变和伪吉布斯现象(shift-invariant and pseudo-Gibbs phenomena)。轮廓变换之所以不具有平移不变性，其原因就在于拉普拉斯金字塔和方向滤波器组中存在的上采样和下采样操作。为了保留变换的方向和多尺度属性，在非采样轮廓变换中拉普拉斯金字塔被替换为非下采样金字塔(Nonsubsampled pyramid structure，NSP)以保留多尺度属性，方向滤波器组替换为非下采样方向滤波器组(nonsubsampled directional filter banks，NSDFB)用于保留方向性。分解后的每个子带图像与原始图像具有相同的大小。
如图1所示，NSCT是一个具有多尺度、多方向和位移不变性的图像分解策略。首先是采用NSP来对图像进行多尺度分解，每一次NSP分解可以产生一个低通分量和带通分量，迭代分解低通分量来获取图像中的主要信息。如果NSCT分解级别为x，则原图像可以被分解为1个低通分量和x个带通分量。然后利用NSDFB将每个尺度上的带通分量在不同方向上分解，从而产生与源图像大小相同的方向子带，有利于图像的融合。在图像融合应用中，NSCT方法可以有效的保留原始图像的特征，表现出了非常好的分解性能(“The nonsubsampledcontourlet transform:theory,design,and applications”[J],IEEE Trans.ImageProcess.15(10)(2006)3089.)。NSCT因其图像分解优势被用在图像融合的研究中，但是在结果中出现了较多的人工噪声。
神经网络以其较强的适应性、容错性和抗噪声能力被应用于红外图像和可见图像融合的领域。脉冲耦合神经网络(PCNN)在红外和可见光图像融合中有着广泛的研究。多尺度变换和PCNN相结合的方法进行图像融合，但是其图像融合效率较低。目前对深层神经网络应用于图像融合领域的相应探索较少。
图像融合方案的关键在于转换和融合规则的选择，结合不同方法的优点，建立增强图像融合模型，提高红外和可见光图像的融合效果，降低融合后图像的人工噪声以及伪影等现象，是红外和可见光图像融合中的一个关键问题。
发明内容
为了克服现有技术中存在的问题，提高红外和可见光图像的融合效果，降低融合后图像的人工噪声以及伪影等现象，本发明提供一种新型的红外和可见光图像融合算法，该算法提出了一种新型的非下采样轮廓变换方法和深层残差网络相结合的融合框架，可以充分发挥图像多尺度变换的分解优势，与此同时，也可以发挥出深度残差神经网络的特征提取能力。
为解决上述问题，本发明采取如下的技术方案：
一种新型的红外和可见光图像融合算法，包括以下步骤：
步骤一：利用非下采样轮廓变换对预配准的红外图像I1和可见光图像I2分别进行多尺度变换，得到所述红外图像I1对应的带通分量
和低通分量
以及所述可见光图像I2对应的带通分量
和低通分量
步骤二：利用深层神经网络引导图像深度特征的方法对所述低通分量
和所述低通分量
进行融合，得到低通分量融合图像Fd(x,y)；
步骤三：利用取模最大值的方法对所述带通分量
和所述带通分量
进行比较，选择最大值作为带通分量融合的权值，并根据所述权值对所述带通分量
和所述带通分量
进行融合，得到带通分量融合图像Fb(x,y)；
步骤四：将所述低通分量融合图像Fd(x,y)和所述带通分量融合图像Fb(x,y)通过非下采样轮廓变换的逆变换进行重建，得到最终的融合图像。
本发明结合NSCT图像分解的优势和深层神经网络的特征提取能力，提出了一种可以保留更多源图像信息的融合算法，同时可以减少在融合过程中所产生的噪声。与现有技术相比，本发明具有以下有益效果：
(1)本发明采用了非下采样轮廓变化的方法对红外图像和可见光图像进行多尺度变换，分解出一组包含图像主要信息的低通分量和包含轮廓信息的带通分量，消除了传统方法在轮廓变换中所产生的震荡、位移方差和方向性不足等缺点；
(2)在深层神经网络在图像融合领域应用研究相对较少的情况下，本发明利用深层神经网络引导图像深度特征的方法来实现低通分量的融合过程，使得在融合后的图像中继承源图像中的关键信息；
(3)传统的融合算法忽视了边缘信息的处理，而本发明通过取模最大值的方法计算红外图像和可见图像中的带通分量的最大值，以最大值作为带通分量融合的权值，对带通分量进行加权融合，可以保留源图像中最突出的轮廓信息；
(4)传统的融合方法在融合结果中包含人工噪声、边缘模糊以及伪影等现象，而由本发明获得的融合图像具有清晰的视觉表达，丰富的纹理细节，并且包含较少的人工噪声和伪影。
附图说明
图1为非下采样轮廓变换的图像分解过程示意图；
图2为本发明实施例提供的一种新型的红外和可见光图像融合算法的框架图；
图3为利用深度残差神经网络ResNet152融合低通分量的过程示意图；
图4为残差网络卷积块的示意图。
具体实施方式
下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
在其中一个实施例中，如图2所示，本发明提供一种新型的红外和可见光图像融合算法，该算法具体包括以下步骤：
步骤一：图像多尺度分解
利用非下采样轮廓变换对预配准的红外图像I1和可见光图像I2分别进行多尺度变换，分别分解为多尺度多方向的带通分量
和低通分量
以及带通分量
和低通分量
得到低通分量组
和带通分量组
步骤二：低通分量的融合
对于低通分量
和
本实施例利用深层神经网络引导图像深度特征的方法进行融合，融合后得到低通分量融合图像Fd(x,y)。
神经网络的层数越深，获取的图像信息越多，而且特征也越丰富。但是有实验证明，随着神经网络的加深，优化效果反而越差，测试数据以及其准确率反而降低。这是由于网络的加深会导致梯度会以指数的形式增加或减小的问题。在2016年的IEEE国际计算机视觉与模式识别会议上(IEEE Conference on Computer Vision and PatternRecognition，CVPR)，He等人提出了一种新型的神经网络结构ResNet(“Multi-styleGenerative Network for Real-time Transfer,”arXiv Prepr.arXiv1703.06953,2017.)，用来解决梯度下降的问题。这个网络结构利用了快捷连接和残余表示，可以比以往的网络更容易优化，同时可以增加深度来提高精度。
进一步地，在步骤二中，利用新型的神经网络结构ResNet引导图像深度特征，实现低通分量的融合，即利用深度残差神经网络ResNet152对源图像分解成的低通分量组
进行特征提取，分别提取低通分量的特征映射，然后通过特征映射来计算出用于融合的引导映射即权重映射，最后利用权重映射和低通分量重建细节内容，实现红外图像和可见光图像的低通分量的融合，得到低通分量融合图像Fd(x,y)。
具体地，如图3所示，步骤二包括以下步骤：
步骤二一：利用深度残差神经网络ResNet152分别对低通分量
和低通分量
进行特征提取，得到低通分量
对应的特征映射
和低通分量
对应的特征映射
深度残差神经网络ResNet152是一个预训练网络，由5个卷积块(分别为Conv1，Conv2，Conv3，Conv4，Conv5)组成，总共包含152个权重层。残差神经网络是由多个子网络连接组成，如图4所示，X表示子网络的输入，Ψ(X)表示对两个权重层的网络操作，“relu”表示对线性单元的激活校正操作，最终的映射结果可由Ψ(X)+X来计算。因此，第i∈{1,2,…,N}个卷积块所输出的深层特征可表示为：
式中ψ(·)代表残差网络的一个卷积块，m表示每个特征层所具有的通道数量，k∈{1,2}。可选地，最深特征层N的取值为N＝5。
步骤二二：对特征映射
和特征映射
分别依次进行L1正则化和上采样操作，得到对应的权重映射
和权重映射
将获得到的深层特征
首先经过L1正则化获得初始权重映射，其公式如下所示：
深度残差神经网络ResNet152对低通分量
和低通分量
进行特征提取得到的深层特征
首先经过L1正则化，获得初始权重映射
其公式如下所示：
其中，
i∈{1,2,…,N}，k∈{1,2}，N表示深度残差神经网络ResNet152的最深特征层，x、y分别代表着特征映射在二维数组中的行和列，t代表步长，η为权值参数。可选地，权值参数的取值为η＝2。
当通过两个低通分量
和
得到两个初始权重映射
和
后，利用双三次插值运算分别对初始权重映射
和
进行上采样操作，将初始权重映射调整到源图像大小，其中初始权重映射
是低通分量
特征提取后，由最深特征层N所输出的深层特征经过L1正则化后得到的初始权重映射，初始权重映射
是低通分量
特征提取后，由最深特征层N所输出的深层特征经过L1正则化后得到的初始权重映射。最终的权重映射由下式计算得到：
其中，
为特征映射
对应的权重映射，
为特征映射
对应的权重映射。
步骤二三：根据权重映射
和权重映射
对低通分量
和低通分量
进行加权融合，得到低通分量融合图像Fd(x,y)，低通分量融合图像Fd(x,y)可由下式计算得到：
步骤三：带通分量的融合
从源图像(即步骤一中预配准的红外图像I1和可见光图像I2)中分离出来的带通分量部分包含了公共特征和冗余信息。在本实施例中，选择使用取模最大值的方法来对带通分量组
进行融合，可以尽可能的保留图像中的冗余信息。首先，选择利用取模最大值的方法对带通分量
和带通分量
进行比较，并选择最大值作为带通分量融合的权值。通过公式(5)比较计算带通分量组
中取模最大的值：
式中Wmax是对带通分量进行取模后取其最大值的结果。
计算得到取模最大的值Wmax之后，将取模最大的值Wmax作为带通分量组融合的权值代入公式(6)中：
其中，(x,y)表示
和Fb(x,y)的像素位置。
步骤四：最后将获得的低通分量融合图像Fd(x,y)和带通分量融合图像Fb(x,y)通过非下采样轮廓变换的逆变换进行重建，得到最终的融合图像。在本步骤中，利用非下采样轮廓变换的逆变换，将红外图像和可见光图像所融合的分量图像进行重建，生成最终的融合图像。
本发明结合NSCT图像分解的优势和深层神经网络的特征提取能力，提出了一种可以保留更多源图像信息的融合算法，同时可以减少在融合过程中所产生的噪声。本发明不仅在主观上提高了图像效果，降低了噪声和伪影，在客观上同样提高了图像的评价质量函数值。首先，对深层残差网络应用在图像融合的领域进行了探索。其次，利用深度残差神经网络的特征提取能力，提取低通分量中丰富的特征信息，在计算特征映射来引导低通分量融合，实验结果表明这种方法起到非常显著的作用。最后，带通分量采用取模最大值的融合方法可以保留源图像中主要的冗余信息。
与现有技术相比，本发明在红外和可见光图像低通分量的融合上进行了创新，可以最大程度的在结果图像中保留源图像的主要信息，并且不会在融合后的图像中出现噪声和伪影。本发明具有以下有益效果：
(1)本发明采用了非下采样轮廓变化的方法对红外图像和可见光图像进行多尺度变换，分解出一组包含图像主要信息的低通分量和包含轮廓信息的带通分量，消除了传统方法在轮廓变换中所产生的震荡、位移方差和方向性不足等缺点；
(2)在深层神经网络在图像融合领域应用研究相对较少的情况下，本发明利用深层神经网络引导图像深度特征的方法来实现低通分量的融合过程，使得在融合后的图像中继承源图像中的关键信息；
(3)传统的融合算法忽视了边缘信息的处理，而本发明通过取模最大值的方法计算红外图像和可见图像中的带通分量的最大值，以最大值作为带通分量融合的权值，对带通分量进行加权融合，可以保留源图像中最突出的轮廓信息；
(4)传统的融合方法在融合结果中包含人工噪声、边缘模糊以及伪影等现象，而由本发明获得的融合图像具有清晰的视觉表达，丰富的纹理细节，并且包含较少的人工噪声和伪影。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (4)
1.一种新型的红外和可见光图像融合算法，其特征在于，包括以下步骤：
步骤一：利用非下采样轮廓变换对预配准的红外图像I1和可见光图像I2分别进行多尺度变换，得到所述红外图像I1对应的带通分量
和低通分量
以及所述可见光图像I2对应的带通分量
和低通分量
步骤二：利用深层神经网络引导图像深度特征的方法对所述低通分量
和所述低通分量
进行融合，得到低通分量融合图像Fd(x,y)；
步骤三：利用取模最大值的方法对所述带通分量
和所述带通分量
进行比较，选择最大值作为带通分量融合的权值，并根据所述权值对所述带通分量
和所述带通分量
进行融合，得到带通分量融合图像Fb(x,y)；
步骤四：将所述低通分量融合图像Fd(x,y)和所述带通分量融合图像Fb(x,y)通过非下采样轮廓变换的逆变换进行重建，得到最终的融合图像。
2.根据权利要求1所述的一种新型的红外和可见光图像融合算法，其特征在于，步骤二包括以下步骤：
步骤二一：利用深度残差神经网络ResNet152分别对所述低通分量
和所述低通分量
进行特征提取，得到所述低通分量
对应的特征映射
-ConvN和所述低通分量
对应的特征映射
-ConvN，其中N为深度残差神经网络ResNet152的最深特征层；
步骤二二：对所述特征映射
-ConvN和所述特征映射
-ConvN分别依次进行L1正则化和上采样操作，得到对应的权重映射
和权重映射
步骤二三：根据所述权重映射
和所述权重映射
对所述低通分量
和所述低通分量
进行加权融合，得到低通分量融合图像Fd(x,y)。
3.根据权利要求2所述的一种新型的红外和可见光图像融合算法，其特征在于，步骤二二包括以下步骤：
深度残差神经网络ResNet152对所述低通分量
和所述低通分量
进行特征提取得到的深层特征
首先经过L1正则化，获得初始权重映射
其公式如下所示：
其中，
m表示每个特征层所具有的通道数量，x、y分别代表着特征映射在二维数组中的行和列，t代表步长，η为权值参数；
利用双三次插值运算分别对初始权重映射
和初始权重映射
进行上采样操作，计算公式如下：
其中，
为所述特征映射
-ConvN对应的权重映射，
为所述特征映射
-ConvN对应的权重映射。
4.根据权利要求3所述的一种新型的红外和可见光图像融合算法，其特征在于，
最深特征层N的取值为N＝5，权值参数的取值为η＝2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110294376.8A CN112950519B (zh) | 2021-03-19 | 2021-03-19 | 一种新型的红外和可见光图像融合算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110294376.8A CN112950519B (zh) | 2021-03-19 | 2021-03-19 | 一种新型的红外和可见光图像融合算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950519A true CN112950519A (zh) | 2021-06-11 |
| CN112950519B CN112950519B (zh) | 2022-03-15 |
Family
ID=76226638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110294376.8A Active CN112950519B (zh) | 2021-03-19 | 2021-03-19 | 一种新型的红外和可见光图像融合算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950519B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| CN106303296A (zh) * | 2016-08-30 | 2017-01-04 | 许昌学院 | 一种图像拼接融合系统 |
| CN110189286A (zh) * | 2019-05-30 | 2019-08-30 | 兰州交通大学 | 一种基于ResNet的红外与可见光图像融合方法 |
| CN110246108A (zh) * | 2018-11-21 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
| CN111667516A (zh) * | 2020-06-05 | 2020-09-15 | 北京环境特性研究所 | 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法 |
| WO2020237931A1 (en) * | 2019-05-24 | 2020-12-03 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image processing |
-
2021
- 2021-03-19 CN CN202110294376.8A patent/CN112950519B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160093034A1 (en) * | 2014-04-07 | 2016-03-31 | Steven D. BECK | Contrast Based Image Fusion |
| CN106303296A (zh) * | 2016-08-30 | 2017-01-04 | 许昌学院 | 一种图像拼接融合系统 |
| CN110246108A (zh) * | 2018-11-21 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
| WO2020237931A1 (en) * | 2019-05-24 | 2020-12-03 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image processing |
| CN110189286A (zh) * | 2019-05-30 | 2019-08-30 | 兰州交通大学 | 一种基于ResNet的红外与可见光图像融合方法 |
| CN111667516A (zh) * | 2020-06-05 | 2020-09-15 | 北京环境特性研究所 | 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| A. VISHWAKARMA等: ""Image Fusion Using Adjustable Non-subsampled Shearlet Transform"", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 * |
| H. LI等: ""Infrared and Visible Image Fusion using a Deep Learning Framework"", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 * |
| S. LIU等: ""Multi-Focus Image Fusion Based on Residual Network in Non-Subsampled Shearlet Domain"", 《IEEE ACCESS》 * |
| 吴粉侠等: ""基于NSCT变换的红外与可见光图像PCNN融合算法"", 《咸阳师范学院学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950519B (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xia et al. | A novel improved deep convolutional neural network model for medical image fusion | |
| CN107194904B (zh) | 基于增补机制和pcnn的nsct域图像融合方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN108399611B (zh) | 基于梯度正则化的多聚焦图像融合方法 | |
| Zhao et al. | Invertible image decolorization | |
| CN111275655B (zh) | 一种多聚焦多源图像融合方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
| CN113658040B (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
| CN110189286B (zh) | 一种基于ResNet的红外与可见光图像融合方法 | |
| CN110674824A (zh) | 基于R2U-Net的手指静脉分割方法、装置和存储介质 | |
| CN111951195A (zh) | 图像增强方法及装置 | |
| CN111951164A (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN112669249A (zh) | 结合改进nsct变换和深度学习的红外与可见光图像融合方法 | |
| CN112785539B (zh) | 基于图像自适应分解及参数自适应的多聚焦图像融合方法 | |
| CN112651469A (zh) | 一种红外与可见光图像融合方法及系统 | |
| CN112163994A (zh) | 一种基于卷积神经网络的多尺度医学图像融合方法 | |
| CN103400360A (zh) | 基于Wedgelet和NSCT的多源图像融合方法 | |
| CN112446835A (zh) | 图像恢复方法、图像恢复网络训练方法、装置和存储介质 | |
| CN116612334B (zh) | 一种基于空谱联合注意力机制的医学高光谱图像分类方法 | |
| CN113793289A (zh) | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 | |
| CN115861083A (zh) | 一种多尺度和全局特征的高光谱与多光谱遥感融合方法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN117474764B (zh) | 一种针对复杂退化模型下遥感图像的高分辨率重建方法 | |
| Lepcha et al. | An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |