CN116051444A - 一种有效的红外与可见光图像自适应融合方法 - Google Patents

一种有效的红外与可见光图像自适应融合方法 Download PDF

Info

Publication number
CN116051444A
CN116051444A CN202310134030.0A CN202310134030A CN116051444A CN 116051444 A CN116051444 A CN 116051444A CN 202310134030 A CN202310134030 A CN 202310134030A CN 116051444 A CN116051444 A CN 116051444A
Authority
CN
China
Prior art keywords
image
matrix
fusion
representing
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310134030.0A
Other languages
English (en)
Inventor
陈广秋
尚楷智
段锦
黄丹丹
祝勇
胡奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202310134030.0A priority Critical patent/CN116051444A/zh
Publication of CN116051444A publication Critical patent/CN116051444A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种有效的红外与可见光图像自适应融合方法，属于红外与可见光图像处理技术领域。利用正则化模型将源图像分解为近似层和细节层图像，在近似层图像中，利用的像素强度和平均值生成对比度显著图，构造权重矩阵，进行加权平均融合，得到近似层融合图像,在细节层图像中，采用窗口滑动的方式对图像进行分块处理，构造权重矩阵，对细节层图像进行加权平均融合，得到细节层融合图像，利用逆变换重构近似层融合图像和细节层融合图像，得到最后的融合图像。本发明提升红外与可见光图像的融合精度和效率，避免出现低对比度和边缘模糊现象，保留整体亮度和边缘梯度，更好地满足高级视觉任务的工程应用需求。

Description

一种有效的红外与可见光图像自适应融合方法
技术领域
本发明涉及红外与可见光图像处理技术领域，具体涉及一种有效的红外与可见光图像自适应融合方法。
背景技术
由于传感器带宽的限制，单类型传感器只能捕获到场景的单方面信息，而不同类型传感器获得的信息具有一定的互补性和冗余性，多传感器图像融合技术能够将多幅不同类型图像合并成一幅去除冗余、保留互补信息的图像，该技术已广泛应用于数字摄影、物体检测、跟踪、遥感、农业、医学、生物识别等领域。
红外与可见光图像融合是多传感器图像融合领域的一个研究热点，红外传感器捕捉物体的温度特性，能够不受天气和光照条件的影响而连续工作，红外图像具有突出目标和对比度高等特点，但其空间分辨率和温度分辨率低，容易产生噪声和粗糙纹理；可见光传感器捕捉场景的表面反射信息，图像具有分辨率高、噪声低和纹理信息细致丰富等特点，但可见光图像易受环境因素的影响，例如恶劣的天气条件、低照度和遮挡等，所以应用红外与可见光图像融合技术可以获得互补的场景信息，扩大装备的时间和空间条件。
现有的红外与可见光图像融合方法主要包括传统融合方法和基于深度学习融合方法，应用最广泛的传统融合方法主要有基于多尺度变换和基于稀疏表示两类，基于多尺度变换融合方法包括图像分解、系数合并和图像重构三部分，首先利用相关滤波器提取图像的多尺度频域系数，然后利用融合规则对系数进行合并，最后通过逆变换重构得到融合图像，该类方法中空频域之间的转换增加了算法的复杂度和降低了图像表示的准确性，造成融合图像边缘模糊和细节丢失等问题，当针对不同类型图像时，很难选择一个合适的变换方法和变换尺度；基于稀疏表示的融合方法主要包括图像分块、字典学习和图像重构三部分。首先将待融合图像滑动分块形成新的像素矩阵，采用字典学习算法得到过完备字典，在稀疏表示模型下，利用交替方向乘子法求出图像的稀疏系数矩阵，然后利用预先设计的融合规则合并系数，最后使用过完备字典和融合系数矩阵重构出融合图像，该类方法对图像的失配情形过于敏感和细节保留能力较差，融合图像容易出现伪影和整体亮度偏低现象；基于深度学习的融合算法主要包括特征提取、特征融合和图像重建三部分，首先利用预训练的卷积神经网络/编码器提取待融合图像的特征，然后根据设计的融合规则对特征系数进行合并，最后利用预训练的反卷积神经网络/解码器重建图像，得到最后的融合图像。由于卷积神经网络/编码器能够深度提取图像的多维特征，具有强大的表达能力，在融合性能方面，基于深度学习的融合方法要优于传统融合方法，但深度学习网络结构复杂，需要大量的数据集训练参数，这在实际应用中很难得到，且一种网络只能解决一类图像融合任务，不利于建立统一的融合框架。因此本领域迫切需要一种能克服上述缺陷的红外与可见光图像融合方法。
发明内容
本发明提供一种有效的红外与可见光图像自适应融合方法，针对现有红外与可见光图像融合方法不足的问题，解决现有融合技术中基于多尺度变换的融合方法中容易图像边缘模糊和细节丢失的问题，基于稀疏表示的融合方法中容易出现伪影和整体亮度偏低的问题，基于深度学习的融合方法存在网络结构复杂和融合框架通用性差的问题，提供一种能够避免出现目标边缘模糊和细节丢失现象，同时具有结构简单和执行效率高的红外与可见光图像自适应融合方法。
本发明采取的技术方案是，一种有效的红外与可见光图像自适应融合方法，包括下列步骤：
步骤A：对红外与可见光源图像SX进行归一化预处理，生成归一化源图像
Figure BDA0004084830160000021
X∈{R,V}为红外与可见光图像索引，R为红外图像索引，V为可见光图像索引；
步骤B：利用Tikhonov正则化模型对归一化源图像
Figure BDA0004084830160000022
进行分解，得到近似层图像
Figure BDA0004084830160000023
和细节层图像
Figure BDA0004084830160000024
步骤C：在近似层图像
Figure BDA0004084830160000025
中，计算像素强度值与平均值的差，然后作归一化处理，生成对比度显著图
Figure BDA0004084830160000026
构造权重矩阵
Figure BDA0004084830160000027
对近似层图像
Figure BDA0004084830160000028
进行加权平均融合，得到近似层融合图像
Figure BDA0004084830160000029
步骤D：在细节层图像
Figure BDA00040848301600000210
中，采用窗口滑动方式进行分块处理，图像块大小为5×5，滑动步长为1，计算图像块的水平边缘强度与垂直边缘强度和，生成边缘强度显著图
Figure BDA00040848301600000211
构造权重矩阵
Figure BDA00040848301600000212
然后对细节层图像
Figure BDA00040848301600000213
进行加权平均融合，得到细节层融合图像
Figure BDA00040848301600000214
步骤E：采用逆变换重构近似层融合图像
Figure BDA00040848301600000215
和细节层融合图像
Figure BDA00040848301600000216
得到最后的融合图像
Figure BDA0004084830160000031
本发明所述步骤A包括：
对红外与可见光源图像进行归一化预处理，归一化计算公式为：
Figure BDA0004084830160000032
式中，X∈{R,V}为红外与可见光图像索引，R为红外图像索引，V为可见光图像索引，
Figure BDA0004084830160000033
表示归一化处理后的红外图像和可见光图像，称为归一化源图像，SXmin表示源图像SX中像素的最小值，SXmax表示源图像SX中像素的最大值。
本发明所述步骤B包括：
Tikhonov正则化模型为：
Figure BDA0004084830160000034
式中
Figure BDA0004084830160000035
表示变量为
Figure BDA0004084830160000036
的目标函数，
Figure BDA0004084830160000037
为归一化源图像，
Figure BDA0004084830160000038
为近似层图像，h1＝[-1 1]和h2＝[1 -1]T分别为水平和垂直方向梯度算子，*为卷积运算符，λ＝5为正则化参数，||·||2表示求取l2范数；
模型由两项组成：第一项为保真项，要求源图像
Figure BDA0004084830160000039
和近似层图像
Figure BDA00040848301600000310
差值不要过大；第二项为Tikhonov正则项，对近似层图像
Figure BDA00040848301600000311
本身的性质做出限制，希望近似层图像
Figure BDA00040848301600000312
各个部分的变化不要过于剧烈，即水平和垂直方向上差分的平方和不要过大，使近似层图像
Figure BDA00040848301600000313
有比较好的光滑性，正则化参数λ用于平衡近似层图像
Figure BDA00040848301600000314
的灰度变化与高频分量的损失；
Tikhonov正则化模型可以利用梯度法来求解，
Figure BDA00040848301600000315
的梯度可由下式计算得到：
Figure BDA00040848301600000316
式中
Figure BDA00040848301600000317
为
Figure BDA00040848301600000318
的梯度，令上式为零，并在等式两边同时取傅里叶变换得：
Figure BDA00040848301600000319
Figure BDA00040848301600000320
式中，FX(jω)为
Figure BDA0004084830160000041
的傅里叶变换，
Figure BDA0004084830160000042
为
Figure BDA0004084830160000043
的傅里叶变换，I为单位矩阵，N1(jω)为h1的傅里叶变换，
Figure BDA0004084830160000044
为N1(jω)的共轭，N2(jω)为h2的傅里叶变换，
Figure BDA0004084830160000045
为N2(jω)的共轭；
对上式进行傅里叶反变换，可得到近似层图像
Figure BDA0004084830160000046
Figure BDA0004084830160000047
式中FT-1(·)表示求取傅里叶反变换。将归一化源图像
Figure BDA0004084830160000048
与近似层图像
Figure BDA0004084830160000049
作差，得到细节层图像：
Figure BDA00040848301600000410
式中
Figure BDA00040848301600000411
表示细节层图像。
本发明所述步骤C包括：
在近似层图像
Figure BDA00040848301600000412
中，用图像矩阵像素强度值减去平均值，得到差值矩阵，然后加上差值矩阵中最小值的绝对值，得到近似层图像的初始对比度显著图，如下式所示：
Figure BDA00040848301600000413
式中，
Figure BDA00040848301600000414
表示初始对比度显著图，mean(·)表示求取图像中像素的平均值，min(·)表示求取图像中最小的像素值，|·|表示求取绝对值；
对初始对比度显著图
Figure BDA00040848301600000415
进行归一化处理，可得到对比度显著图：
Figure BDA00040848301600000416
式中
Figure BDA00040848301600000417
表示对比度显著图，max(·)表示求取图像中最大的像素值；
近似层图像的权重矩阵可由下式获得：
Figure BDA00040848301600000418
式中
Figure BDA00040848301600000419
表示红外近似层图像
Figure BDA00040848301600000420
的权重矩阵，
Figure BDA00040848301600000421
表示可见光近似层图像
Figure BDA00040848301600000422
的权重矩阵，
Figure BDA00040848301600000423
表示红外近似层图像
Figure BDA00040848301600000424
的对比度显著图，
Figure BDA00040848301600000425
表示可见光近似层图像
Figure BDA00040848301600000426
的对比度显著图；
近似层融合图像可由下式获得：
Figure BDA0004084830160000051
式中
Figure BDA0004084830160000052
表示近似层融合图像，
Figure BDA0004084830160000053
表示红外近似层图像，
Figure BDA0004084830160000054
表示可见光近似层图像。
本发明所述步骤D包括：
在细节图像
Figure BDA0004084830160000055
中，采用窗口滑动方式进行分块处理，图像块大小为5×5，滑动步长为1，计算图像块水平和垂直方向上的协方差无偏估计值，设中心点为(m,n)的第r个图像块，将其行视为观察值，列视为随机向量，则图像块矩阵可以表示成：
Figure BDA0004084830160000056
Figure BDA0004084830160000057
表示行为观察值，列为随机向量的第r个图像块矩阵，r为图像块矩阵索引，
Figure BDA0004084830160000058
表示图像块矩阵
Figure BDA0004084830160000059
中第i个列向量，i∈{1,2,3,4,5}为图像块矩阵
Figure BDA00040848301600000510
中列向量索引，
Figure BDA00040848301600000530
水平方向协方差矩阵可由下式得到：
Figure BDA00040848301600000511
式中
Figure BDA00040848301600000512
表示水平方向协方差矩阵，E(·)为求取矩阵的期望值，T表示矩阵转置；
Figure BDA00040848301600000513
的无偏估计可由下式得到：
Figure BDA00040848301600000514
式中
Figure BDA00040848301600000515
表示
Figure BDA00040848301600000516
的无偏估计，
Figure BDA00040848301600000517
表示图像块矩阵
Figure BDA00040848301600000518
内各列向量的算数平均值形成的矩阵；
Figure BDA00040848301600000519
矩阵大小为5×5，存在5个特征值，记为
Figure BDA00040848301600000520
j∈{1,2,3,4,5}为矩阵
Figure BDA00040848301600000521
特征值索引，中心点(m,n)处的水平边缘强度值计算公式为：
Figure BDA00040848301600000522
式中
Figure BDA00040848301600000523
为(m,n)处的水平边缘强度值；
类似，将上述中心点为(m,n)的第r个图像块的列视为观察值，行视为随机向量，图像块矩阵可以表示成
Figure BDA00040848301600000524
Figure BDA00040848301600000525
表示列为观察值，行为随机向量的第r个图像块矩阵，
Figure BDA00040848301600000526
表示图像块矩阵
Figure BDA00040848301600000527
中第k个行向量，k∈{1,2,3,4,5}为图像块矩阵
Figure BDA00040848301600000528
中行向量索引，
Figure BDA00040848301600000529
垂直方向协方差矩阵可由下式得到：
Figure BDA0004084830160000061
式中
Figure BDA0004084830160000062
表示垂直方向协方差矩阵；
Figure BDA0004084830160000063
的无偏估计可由下式得到：
Figure BDA0004084830160000064
式中
Figure BDA0004084830160000065
表示
Figure BDA0004084830160000066
的无偏估计，
Figure BDA0004084830160000067
表示图像块矩阵
Figure BDA0004084830160000068
内各行向量的算数平均值形成的矩阵；
矩阵
Figure BDA0004084830160000069
大小为5×5，存在5个特征值，记为
Figure BDA00040848301600000610
t∈{1,2,3,4,5}为矩阵
Figure BDA00040848301600000611
的特征值索引，中心点(m,n)处的垂直边缘强度值计算公式为：
Figure BDA00040848301600000612
式中
Figure BDA00040848301600000613
为(m,n)处的垂直边缘强度值；
将
Figure BDA00040848301600000614
和
Figure BDA00040848301600000615
之和作为(m,n)处的边缘强度，其计算公式为：
Figure BDA00040848301600000616
式中
Figure BDA00040848301600000617
为(m,n)处边缘强度值；
当滑动窗口遍历整个细节层图像后，能够得到各位置处的边缘强度值，形成细节层图像的边缘强度显著图
Figure BDA00040848301600000618
细节层图像的权重矩阵可由下式获得：
Figure BDA00040848301600000619
式中
Figure BDA00040848301600000620
为红外细节层图像
Figure BDA00040848301600000621
的权重矩阵，
Figure BDA00040848301600000622
为可见光细节层图像
Figure BDA00040848301600000623
的权重矩阵，
Figure BDA00040848301600000624
为红外细节层图像
Figure BDA00040848301600000625
的边缘强度显著图，
Figure BDA00040848301600000626
为可见光细节层图像
Figure BDA00040848301600000627
的边缘强度显著图；
细节层融合图像可由下式得到：
Figure BDA00040848301600000628
式中
Figure BDA00040848301600000629
表示细节层融合图像，
Figure BDA00040848301600000630
表示红外细节层图像，
Figure BDA00040848301600000631
表示可见光细节层图像。
本发明所述步骤E包括：
将基层融合图像
Figure BDA0004084830160000071
和细节融合图像
Figure BDA0004084830160000072
相加，重构出最后的融合图像：
Figure BDA0004084830160000073
式中
Figure BDA0004084830160000074
表示最后的融合图像。
本发明提供了一种有效的红外与可见光图像自适应融合方法，其核心思想为，首先其利用Tikhonov正则化模型将源图像分解为近似层图像和细节层图像，在近似层图像中，利用像素强度与平均值的差值生成对比度显著图，构造权重矩阵进行加权平均，得到近似层融合图像；在细节层图像中，采用图像块协方差矩阵的特征值生成边缘强度显著图，构造权重矩阵进行加权平均，得到细节层融合图像，利用逆变换重构近似层融合图像和细节层融合图像，得到最后的融合图像。该方法的图像分解方法和融合规则简单易执行，计算效率高，自适应性强，能够对红外与可见光图像进行有效融合，提升图像融合精度，有利于建立统一的融合框架，增强红外与可见光图像融合的实用性。
本发明的有益效果：
(1)利用Tikhonov正则化模型将源图像分解为近似层图像和细节层图像，近似层图像集中了图像的主要能量和灰度分布信息，细节层图像中保留了边缘、轮廓等梯度信息，实现了图像显著特征的分离，降低图像变换的复杂度和信息损失，便于提升红外与可见光图像融合精度和效率。
(2)利用对比度显著图构造权重矩阵对近似层图像进行加权平均融合，采用图像块协方差矩阵的特征值生成边缘强度显著图，构造出权重矩阵对细节层图像进行加权平均融合，能够有效保留图像的对比度、边缘结构信息和突出目标的显著性，有利于提高执行效率，便于工程应用。
附图说明
图1是本发明实施例的测试红外与可见光图像，其中图1(a)为红外图像，图1(b)为可见光图像；
图2是本发明实施例的对比方法和本发明方法对图1所示的红外与可见光图像的融合结果，其中图2(a)为对比方法一的融合结果图像；图2(b)为对比方法二的融合结果图像；图2(c)为对比方法三的融合结果图像；图2(d)为本发明方法的融合结果图像；
图3是本发明实施例的一种有效的红外与可见光图像自适应融合方法的流程图；
图4是本发明实施例的一种有效的红外与可见光图像自适应融合方法的整体框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
图3和图4分别为本发明实施例的一种有效的红外与可见光图像自适应融合方法的流程图和总体框图，参照图3和图4，该方法包括：
步骤A：对红外与可见光源图像SX进行归一化预处理，生成归一化源图像
Figure BDA0004084830160000081
X∈{R,V}为红外与可见光图像索引，R为红外图像索引，V为可见光图像索引；
步骤B：利用Tikhonov正则化模型对归一化源图像
Figure BDA0004084830160000082
进行分解，得到近似层图像
Figure BDA0004084830160000083
和细节层图像
Figure BDA0004084830160000084
步骤C：在近似层图像
Figure BDA0004084830160000085
中，计算像素强度值与平均值的差，然后作归一化处理，生成对比度显著图
Figure BDA0004084830160000086
构造权重矩阵
Figure BDA0004084830160000087
对近似层图像
Figure BDA0004084830160000088
进行加权平均融合，得到近似层融合图像
Figure BDA0004084830160000089
步骤D：在细节层图像
Figure BDA00040848301600000820
中，采用窗口滑动方式进行分块处理，图像块大小为5×5，滑动步长为1，计算图像块的水平边缘强度与垂直边缘强度和，生成边缘强度显著图
Figure BDA00040848301600000810
构造权重矩阵
Figure BDA00040848301600000811
然后对细节层图像
Figure BDA00040848301600000812
进行加权平均融合，得到细节层融合图像
Figure BDA00040848301600000813
步骤E：采用逆变换重构近似层融合图像
Figure BDA00040848301600000814
和细节层融合图像
Figure BDA00040848301600000815
得到最后的融合图像
Figure BDA00040848301600000816
本发明所述步骤A包括：
对红外与可见光源图像进行归一化预处理，归一化计算公式为
Figure BDA00040848301600000817
式中，X∈{R,V}为红外与可见光图像索引，R为红外图像索引，V为可见光图像索引，
Figure BDA00040848301600000818
表示归一化处理后的红外图像和可见光图像，称为归一化源图像，SXmin表示源图像SX中像素的最小值，SXmax表示源图像SX中像素的最大值。
本发明所述步骤B包括：
Tikhonov正则化模型为：
Figure BDA00040848301600000819
式中
Figure BDA0004084830160000091
表示变量为
Figure BDA0004084830160000092
的目标函数，
Figure BDA0004084830160000093
为归一化源图像，
Figure BDA0004084830160000094
为近似层图像，h1＝[-1 1]和h2＝[1 -1]T分别为水平和垂直方向梯度算子，*为卷积运算符，λ＝5为正则化参数，||·||2表示求取l2范数；
模型由两项组成：第一项为保真项，要求源图像
Figure BDA0004084830160000095
和近似层图像
Figure BDA0004084830160000096
差值不要过大；第二项为Tikhonov正则项，对近似层图像
Figure BDA0004084830160000097
本身的性质做出限制，希望近似层图像
Figure BDA0004084830160000098
各个部分的变化不要过于剧烈，即水平和垂直方向上差分的平方和不要过大，使近似层图像
Figure BDA00040848301600000927
有比较好的光滑性，正则化参数λ用于平衡近似层图像
Figure BDA0004084830160000099
的灰度变化与高频分量的损失；
Tikhonov正则化模型可以利用梯度法来求解，
Figure BDA00040848301600000910
的梯度可由下式计算得到：
Figure BDA00040848301600000911
式中
Figure BDA00040848301600000912
为
Figure BDA00040848301600000913
的梯度，令上式为零，并在等式两边同时取傅里叶变换得：
Figure BDA00040848301600000914
Figure BDA00040848301600000915
式中，FX(jω)为
Figure BDA00040848301600000916
的傅里叶变换，
Figure BDA00040848301600000917
为
Figure BDA00040848301600000918
的傅里叶变换，I为单位矩阵，N1(jω)为h1的傅里叶变换，
Figure BDA00040848301600000919
为N1(jω)的共轭，N2(jω)为h2的傅里叶变换，
Figure BDA00040848301600000920
为N2(jω)的共轭；
对上式进行傅里叶反变换，可得到近似层图像
Figure BDA00040848301600000921
Figure BDA00040848301600000922
式中FT-1(·)表示求取傅里叶反变换。将归一化源图像
Figure BDA00040848301600000923
与近似层图像
Figure BDA00040848301600000924
作差，得到细节层图像：
Figure BDA00040848301600000925
式中
Figure BDA00040848301600000926
表示细节层图像。
本发明所述步骤C包括：
在近似层图像
Figure BDA0004084830160000101
中，用图像矩阵像素强度值减去平均值，得到差值矩阵，然后加上差值矩阵中最小值的绝对值，得到近似层图像的初始对比度显著图，如下式所示：
Figure BDA0004084830160000102
式中，
Figure BDA0004084830160000103
表示初始对比度显著图，mean(·)表示求取图像中像素的平均值，min(·)表示求取图像中最小的像素值，|·|表示求取绝对值；
对初始对比度显著图
Figure BDA0004084830160000104
进行归一化处理，可得到对比度显著图：
Figure BDA0004084830160000105
式中
Figure BDA0004084830160000106
表示对比度显著图，max(·)表示求取图像中最大的像素值；
近似层图像的权重矩阵可由下式获得：
Figure BDA0004084830160000107
式中
Figure BDA0004084830160000108
表示红外近似层图像
Figure BDA0004084830160000109
的权重矩阵，
Figure BDA00040848301600001010
表示可见光近似层图像
Figure BDA00040848301600001011
的权重矩阵，
Figure BDA00040848301600001012
表示红外近似层图像
Figure BDA00040848301600001013
的对比度显著图，
Figure BDA00040848301600001014
表示可见光近似层图像
Figure BDA00040848301600001015
的对比度显著图；
近似层融合图像可由下式获得：
Figure BDA00040848301600001016
式中
Figure BDA00040848301600001017
表示近似层融合图像，
Figure BDA00040848301600001018
表示红外近似层图像，
Figure BDA00040848301600001019
表示可见光近似层图像。
本发明所述步骤D包括：
在细节图像
Figure BDA00040848301600001020
中，采用窗口滑动方式进行分块处理，图像块大小为5×5，滑动步长为1，计算图像块水平和垂直方向上的协方差无偏估计值，设中心点为(m,n)的第r个图像块，将其行视为观察值，列视为随机向量，则图像块矩阵可以表示成：
Figure BDA00040848301600001021
Figure BDA00040848301600001022
表示行为观察值，列为随机向量的第r个图像块矩阵，r为图像块矩阵索引，
Figure BDA00040848301600001023
表示图像块矩阵
Figure BDA00040848301600001024
中第i个列向量，i∈{1,2,3,4,5}为图像块矩阵
Figure BDA00040848301600001025
中列向量索引，
Figure BDA00040848301600001026
水平方向协方差矩阵可由下式得到：
Figure BDA0004084830160000111
式中
Figure BDA0004084830160000112
表示水平方向协方差矩阵，E(·)为求取矩阵的期望值，T表示矩阵转置
Figure BDA0004084830160000113
的无偏估计可由下式得到：
Figure BDA0004084830160000114
式中
Figure BDA0004084830160000115
表示
Figure BDA0004084830160000116
的无偏估计，
Figure BDA0004084830160000117
表示图像块矩阵
Figure BDA0004084830160000118
内各列向量的算数平均值形成的矩阵；
Figure BDA0004084830160000119
矩阵大小为5×5，存在5个特征值，记为
Figure BDA00040848301600001110
j∈{1,2,3,4,5}为矩阵
Figure BDA00040848301600001111
特征值索引，中心点(m,n)处的水平边缘强度值计算公式为：
Figure BDA00040848301600001112
式中
Figure BDA00040848301600001113
为(m,n)处的水平边缘强度值；
类似，将上述中心点为(m,n)的第r个图像块的列视为观察值，行视为随机向量，图像块矩阵可以表示成
Figure BDA00040848301600001114
Figure BDA00040848301600001115
表示列为观察值，行为随机向量的第r个图像块矩阵，
Figure BDA00040848301600001116
表示图像块矩阵
Figure BDA00040848301600001130
中第k个行向量，k∈{1,2,3,4,5}为图像块矩阵
Figure BDA00040848301600001117
中行向量索引，
Figure BDA00040848301600001118
垂直方向协方差矩阵可由下式得到：
Figure BDA00040848301600001119
式中
Figure BDA00040848301600001120
表示垂直方向协方差矩阵；
Figure BDA00040848301600001121
的无偏估计可由下式得到：
Figure BDA00040848301600001122
式中
Figure BDA00040848301600001123
表示
Figure BDA00040848301600001131
的无偏估计，
Figure BDA00040848301600001124
表示图像块矩阵
Figure BDA00040848301600001125
内各行向量的算数平均值形成的矩阵；
矩阵
Figure BDA00040848301600001126
大小为5×5，存在5个特征值，记为
Figure BDA00040848301600001127
t∈{1,2,3,4,5}为矩阵
Figure BDA00040848301600001128
的特征值索引，中心点(m,n)处的垂直边缘强度值计算公式为：
Figure BDA00040848301600001129
式中
Figure BDA0004084830160000121
为(m,n)处的垂直边缘强度值；
将
Figure BDA0004084830160000122
和
Figure BDA0004084830160000123
之和作为(m,n)处的边缘强度，其计算公式为：
Figure BDA0004084830160000124
式中
Figure BDA0004084830160000125
为(m,n)处边缘强度值；
当滑动窗口遍历整个细节层图像后，能够得到各位置处的边缘强度值，形成细节层图像的边缘强度显著图
Figure BDA0004084830160000126
细节层图像的权重矩阵可由下式获得：
Figure BDA0004084830160000127
式中
Figure BDA0004084830160000128
为红外细节层图像
Figure BDA0004084830160000129
的权重矩阵，
Figure BDA00040848301600001210
为可见光细节层图像
Figure BDA00040848301600001211
的权重矩阵，
Figure BDA00040848301600001212
为红外细节层图像
Figure BDA00040848301600001213
的边缘强度显著图，
Figure BDA00040848301600001214
为可见光细节层图像
Figure BDA00040848301600001215
的边缘强度显著图；
细节层融合图像可由下式得到：
Figure BDA00040848301600001216
式中
Figure BDA00040848301600001217
表示细节层融合图像，
Figure BDA00040848301600001218
表示红外细节层图像，
Figure BDA00040848301600001219
表示可见光细节层图像。
本发明所述步骤E包括：
将基层融合图像
Figure BDA00040848301600001220
和细节融合图像
Figure BDA00040848301600001221
相加，重构出最后的融合图像：
Figure BDA00040848301600001222
式中
Figure BDA00040848301600001223
表示最后的融合图像。
以下进一步说明本发明的应用实例：为了验证本发明提出的红外与可见光图像融合方法的有效性，在多个真实测试数据集上对本发明方案进行了测试。这里选取一组图1(a)所示的红外图像和图1(b)所示的可见光图像进行融合实验，图像大小为620×450。另外，将本发明方法与现有的典型基于多尺度分解融合方法、基于稀疏表示融合方法和基于深度学习融合方法进行对比实验测试，相应的测试结果如图2(a)(b)(c)(d)所示。
对比方法一为基于多尺度分解融合方法(Zhou Z,Bo W,Sun L,et al.Perceptualfusion of infrared and visible images through a hybrid multi-scaledecomposition with Gaussian and bilateral filters[J].Information Fusion，2016,30:15-26)，利用高斯滤波器和双边滤波器将源图像分解为小尺度层图像、大尺度层图像和基层图像，小尺度层图像采用系数绝对值取大融合规则，大尺度层图像和基层图像采用不同的加权平均融合规则，然后利用逆变换重构各层融合图像，得到最终融合图像。
对比方法二为基于稀疏表示融合方法(Yu Liu,Zengfu Wang.Simultaneousimage fusion and denoising with adaptive sparse representation[J].IET ImageProcessing,2015,9(5):347-357.)，利用预先根据梯度信息进行分类的图像块进行学习，得到一组紧凑的子字典，然后自适用地选择子字典建立稀疏表示模型，采用选择性融合规则对稀疏系数进行合并，最后利用子字典和融合系数重构得到最终的融合图像。
对比方法三为基于深度学习融合方法(Hao Zhang,Jiayi Ma.SDNet:A VersatileSqueeze-and-Decomposition Network for Real-Time Image Fusion[J].InternationalJournal of Computer Vision,2021,129(10):2761-2785.)，利用不同尺寸的卷积核构造挤压网络和分解网络，将融合问题转化为梯度和强度信息的提取和重构，损失函数包括由强度项和梯度项组成的挤压融合损失函数和融合图像的分解一致性损失函数。
图2(a)(b)(c)(d)分别为对比方法一、对比方法二、对比方法三和本发明方法对图1(a)(b)所表示的红外与可见光图像的融合结果；在图2所示的融合结果中，对比方法一的融合图像中部分目标边缘出现模糊现象，如树的周围，部分区域亮度过高，视觉感受较差，如房屋和地面部分；对比方法二的融合图像中亮度较低，能量丢失较严重，可见光图像信息融入过多，目标不突出；对比方法三的融合图像中几乎没有融入可见光图像信息，导致背景信息缺失，不利于视觉观察；本发明方法的融合图像中结构和亮度信息保留较好，图像整体较清晰，很好地保留了红外与可见光图像的目标信息和背景信息。
为了更好地评价融合方法的性能，除了上述主观评价外，对不同融合方法的融合结果采用客观评价指标进行客观分析。本发明中所用的客观评价指标包括信息熵EN、互信息MI、差分相关系数和SCD、结构信息相似度SSIM和边缘信息传递量QAB/F，上述评价指标值越大表明融合方法的性能越好，反之越差。客观评价指标数据如表1所示，
表1是图2所示的红外与可见光图像融合结果的客观评价指标数据
Figure BDA0004084830160000131
从表1中的客观评价数据可以看出，本发明融合方法得到结果图像在各客观指标评价方面均优于对比方法一、对比方法二和对比方法三，与上述主观评价结果一致，这说明本发明方法能够稳定地得到高质量的融合结果。
至此，已经结合附图对本发明实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明的一种有效的红外与可见光图像自适应融合方法有了清楚的认识。本发明的一种有效的红外与可见光图像自适应融合方法，其利用Tikhonov正则化模型将源图像分解为近似层图像和细节层图像，在近似层图像中，利用像素强度和平均值生成对比度显著图，构建权重矩阵，对近似层图像进行加权平均，得到近似层融合图像；在细节层图像中，采用图像块的水平与垂直边缘强度和生成边缘强度显著图，构建权重矩阵，对细节层图像进行加权平均，得到细节层融合图像，利用逆变换重构近似层融合图像和细节层融合图像，得到最后的融合图像。该融合方法简单易执行，无需考虑源图像的分解尺度、稀疏表示模型、训练数据集和学习网络模型，能够根据源图像的特征自适应地构造近似层和细节层图像的权重矩阵，有效地提升图像融合精度和效率，便于满足高级视觉任务的工程应用需求。

Claims (6)

1.一种有效的红外与可见光图像自适应融合方法，其特征在于，包括下列步骤：
步骤A：对红外与可见光源图像SX进行归一化预处理，生成归一化源图像
Figure FDA0004084830150000011
X∈{R,V}为红外与可见光图像索引，R为红外图像索引，V为可见光图像索引；
步骤B：利用Tikhonov正则化模型对归一化源图像
Figure FDA0004084830150000012
进行分解，得到近似层图像
Figure FDA0004084830150000013
和细节层图像
Figure FDA0004084830150000014
步骤C：在近似层图像
Figure FDA0004084830150000015
中，计算像素强度值与平均值的差，然后作归一化处理，生成对比度显著图
Figure FDA0004084830150000016
构造权重矩阵
Figure FDA0004084830150000017
对近似层图像
Figure FDA0004084830150000018
进行加权平均融合，得到近似层融合图像
Figure FDA0004084830150000019
步骤D：在细节层图像
Figure FDA00040848301500000110
中，采用窗口滑动方式进行分块处理，图像块大小为5×5，滑动步长为1，计算图像块的水平边缘强度与垂直边缘强度和，生成边缘强度显著图
Figure FDA00040848301500000111
构造权重矩阵
Figure FDA00040848301500000112
然后对细节层图像
Figure FDA00040848301500000113
进行加权平均融合，得到细节层融合图像
Figure FDA00040848301500000114
步骤E：采用逆变换重构近似层融合图像
Figure FDA00040848301500000115
和细节层融合图像
Figure FDA00040848301500000116
得到最后的融合图像
Figure FDA00040848301500000117
2.根据权利要求1所述的一种有效的红外与可见光图像自适应融合方法，其特征在于，所述步骤A包括：
对红外与可见光源图像进行归一化预处理，归一化计算公式为：
Figure FDA00040848301500000118
式中，X∈{R,V}为红外与可见光图像索引，R为红外图像索引，V为可见光图像索引，
Figure FDA00040848301500000119
表示归一化处理后的红外图像和可见光图像，称为归一化源图像，SXmin表示源图像SX中像素的最小值，SXmax表示源图像SX中像素的最大值。
3.根据权利要求1所述的一种有效的红外与可见光图像自适应融合方法，其特征在于，所述步骤B包括：
Tikhonov正则化模型为：
Figure FDA00040848301500000120
式中
Figure FDA0004084830150000021
表示变量为
Figure FDA0004084830150000022
的目标函数，
Figure FDA0004084830150000023
为归一化源图像，
Figure FDA0004084830150000024
为近似层图像，h1＝[-11]和h2＝[1 -1]T分别为水平和垂直方向梯度算子，*为卷积运算符，λ＝5为正则化参数，||·||2表示求取l2范数；
模型由两项组成：第一项为保真项，要求源图像
Figure FDA0004084830150000025
和近似层图像
Figure FDA0004084830150000026
差值不要过大；第二项为Tikhonov正则项，对近似层图像
Figure FDA0004084830150000027
本身的性质做出限制，希望近似层图像
Figure FDA0004084830150000028
各个部分的变化不要过于剧烈，即水平和垂直方向上差分的平方和不要过大，使近似层图像
Figure FDA0004084830150000029
有比较好的光滑性，正则化参数λ用于平衡近似层图像
Figure FDA00040848301500000210
的灰度变化与高频分量的损失；
Tikhonov正则化模型可以利用梯度法来求解，
Figure FDA00040848301500000211
的梯度可由下式计算得到：
Figure FDA00040848301500000212
式中
Figure FDA00040848301500000213
为
Figure FDA00040848301500000214
的梯度，令上式为零，并在等式两边同时取傅里叶变换得：
Figure FDA00040848301500000215
Figure FDA00040848301500000216
式中，FX(jω)为
Figure FDA00040848301500000217
的傅里叶变换，
Figure FDA00040848301500000218
为
Figure FDA00040848301500000219
的傅里叶变换，I为单位矩阵，N1(jω)为h1的傅里叶变换，
Figure FDA00040848301500000220
为N1(jω)的共轭，N2(jω)为h2的傅里叶变换，
Figure FDA00040848301500000221
为N2(jω)的共轭；
对上式进行傅里叶反变换，可得到近似层图像
Figure FDA00040848301500000222
Figure FDA00040848301500000223
式中FT-1(·)表示求取傅里叶反变换。将归一化源图像
Figure FDA00040848301500000224
与近似层图像
Figure FDA00040848301500000225
作差，得到细节层图像：
Figure FDA00040848301500000226
式中
Figure FDA00040848301500000227
表示细节层图像。
4.根据权利要求1所述的一种有效的红外与可见光图像自适应融合方法，其特征在于，所述步骤C包括：
在近似层图像
Figure FDA0004084830150000031
中，用图像矩阵像素强度值减去平均值，得到差值矩阵，然后加上差值矩阵中最小值的绝对值，得到近似层图像的初始对比度显著图，如下式所示：
Figure FDA0004084830150000032
式中，
Figure FDA0004084830150000033
表示初始对比度显著图，mean(·)表示求取图像中像素的平均值，min(·)表示求取图像中最小的像素值，|·|表示求取绝对值；
对初始对比度显著图
Figure FDA0004084830150000034
进行归一化处理，可得到对比度显著图：
Figure FDA0004084830150000035
式中
Figure FDA0004084830150000036
表示对比度显著图，max(·)表示求取图像中最大的像素值；
近似层图像的权重矩阵可由下式获得：
Figure FDA0004084830150000037
式中
Figure FDA0004084830150000038
表示红外近似层图像
Figure FDA0004084830150000039
的权重矩阵，
Figure FDA00040848301500000310
表示可见光近似层图像
Figure FDA00040848301500000311
的权重矩阵，
Figure FDA00040848301500000312
表示红外近似层图像
Figure FDA00040848301500000313
的对比度显著图，
Figure FDA00040848301500000314
表示可见光近似层图像
Figure FDA00040848301500000315
的对比度显著图；
近似层融合图像可由下式获得：
Figure FDA00040848301500000316
式中
Figure FDA00040848301500000317
表示近似层融合图像，
Figure FDA00040848301500000318
表示红外近似层图像，
Figure FDA00040848301500000319
表示可见光近似层图像。
5.根据权利要求1所述的一种有效的红外与可见光图像自适应融合方法，其特征在于，所述步骤D包括：
在细节图像
Figure FDA00040848301500000320
中，采用窗口滑动方式进行分块处理，图像块大小为5×5，滑动步长为1，计算图像块水平和垂直方向上的协方差无偏估计值，设中心点为(m,n)的第r个图像块，将其行视为观察值，列视为随机向量，则图像块矩阵可以表示成：
Figure FDA0004084830150000041
Figure FDA0004084830150000042
表示行为观察值，列为随机向量的第r个图像块矩阵，r为图像块矩阵索引，
Figure FDA0004084830150000043
表示图像块矩阵
Figure FDA0004084830150000044
中第i个列向量，i∈{1,2,3,4,5}为图像块矩阵
Figure FDA0004084830150000045
中列向量索引，
Figure FDA0004084830150000046
水平方向协方差矩阵可由下式得到：
Figure FDA0004084830150000047
式中
Figure FDA0004084830150000048
表示水平方向协方差矩阵，E(·)为求取矩阵的期望值，T表示矩阵转置；
Figure FDA0004084830150000049
的无偏估计可由下式得到：
Figure FDA00040848301500000410
式中
Figure FDA00040848301500000411
表示
Figure FDA00040848301500000412
的无偏估计，
Figure FDA00040848301500000413
表示图像块矩阵
Figure FDA00040848301500000414
内各列向量的算数平均值形成的矩阵；
Figure FDA00040848301500000415
矩阵大小为5×5，存在5个特征值，记为
Figure FDA00040848301500000416
j∈{1,2,3,4,5}为矩阵
Figure FDA00040848301500000417
特征值索引，中心点(m,n)处的水平边缘强度值计算公式为：
Figure FDA00040848301500000418
式中
Figure FDA00040848301500000419
为(m,n)处的水平边缘强度值；
类似，将上述中心点为(m,n)的第r个图像块的列视为观察值，行视为随机向量，图像块矩阵可以表示成
Figure FDA00040848301500000420
Figure FDA00040848301500000421
表示列为观察值，行为随机向量的第r个图像块矩阵，
Figure FDA00040848301500000422
表示图像块矩阵
Figure FDA00040848301500000423
中第k个行向量，k∈{1,2,3,4,5}为图像块矩阵
Figure FDA00040848301500000424
中行向量索引，
Figure FDA00040848301500000425
垂直方向协方差矩阵可由下式得到：
Figure FDA00040848301500000426
式中
Figure FDA00040848301500000427
表示垂直方向协方差矩阵；
Figure FDA00040848301500000428
的无偏估计可由下式得到：
Figure FDA00040848301500000429
式中
Figure FDA00040848301500000430
表示
Figure FDA00040848301500000431
的无偏估计，
Figure FDA00040848301500000432
表示图像块矩阵
Figure FDA00040848301500000433
内各行向量的算数平均值形成的矩阵；
矩阵
Figure FDA0004084830150000051
大小为5×5，存在5个特征值，记为
Figure FDA0004084830150000052
t∈{1,2,3,4,5}为矩阵
Figure FDA0004084830150000053
的特征值索引，中心点(m,n)处的垂直边缘强度值计算公式为：
Figure FDA0004084830150000054
式中
Figure FDA0004084830150000055
为(m,n)处的垂直边缘强度值；
将
Figure FDA0004084830150000056
和
Figure FDA0004084830150000057
之和作为(m,n)处的边缘强度，其计算公式为：
Figure FDA0004084830150000058
式中
Figure FDA0004084830150000059
为(m,n)处边缘强度值；
当滑动窗口遍历整个细节层图像后，能够得到各位置处的边缘强度值，形成细节层图像的边缘强度显著图
Figure FDA00040848301500000510
细节层图像的权重矩阵可由下式获得：
Figure FDA00040848301500000511
式中
Figure FDA00040848301500000512
为红外细节层图像
Figure FDA00040848301500000513
的权重矩阵，
Figure FDA00040848301500000514
为可见光细节层图像
Figure FDA00040848301500000515
的权重矩阵，
Figure FDA00040848301500000516
为红外细节层图像
Figure FDA00040848301500000517
的边缘强度显著图，
Figure FDA00040848301500000518
为可见光细节层图像
Figure FDA00040848301500000519
的边缘强度显著图；
细节层融合图像可由下式得到：
Figure FDA00040848301500000520
式中
Figure FDA00040848301500000521
表示细节层融合图像，
Figure FDA00040848301500000522
表示红外细节层图像，
Figure FDA00040848301500000523
表示可见光细节层图像。
6.根据权利要求1所述的一种有效的红外与可见光图像自适应融合方法，其特征在于，所述步骤E包括：
将基层融合图像
Figure FDA00040848301500000524
和细节融合图像
Figure FDA00040848301500000525
相加，重构出最后的融合图像：
Figure FDA00040848301500000526
式中
Figure FDA00040848301500000527
表示最后的融合图像。
CN202310134030.0A 2023-02-20 2023-02-20 一种有效的红外与可见光图像自适应融合方法 Pending CN116051444A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310134030.0A CN116051444A (zh) 2023-02-20 2023-02-20 一种有效的红外与可见光图像自适应融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310134030.0A CN116051444A (zh) 2023-02-20 2023-02-20 一种有效的红外与可见光图像自适应融合方法

Publications (1)

Publication Number Publication Date
CN116051444A true CN116051444A (zh) 2023-05-02

Family

ID=86125525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310134030.0A Pending CN116051444A (zh) 2023-02-20 2023-02-20 一种有效的红外与可见光图像自适应融合方法

Country Status (1)

Country Link
CN (1) CN116051444A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237779A (zh) * 2023-11-15 2023-12-15 江西联创特种微电子有限公司 可见光图像和红外图像结合分析的图像识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237779A (zh) * 2023-11-15 2023-12-15 江西联创特种微电子有限公司 可见光图像和红外图像结合分析的图像识别方法及系统
CN117237779B (zh) * 2023-11-15 2024-02-09 江西联创特种微电子有限公司 可见光图像和红外图像结合分析的图像识别方法及系统

Similar Documents

Publication Publication Date Title
CN112233026A (zh) 一种基于多尺度残差注意力网络的sar图像去噪方法
CN111709902A (zh) 基于自注意力机制的红外和可见光图像融合方法
CN110097617B (zh) 基于卷积神经网络与显著性权重的图像融合方法
CN113837974B (zh) 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法
Gao et al. Improving the performance of infrared and visible image fusion based on latent low-rank representation nested with rolling guided image filtering
CN112669249A (zh) 结合改进nsct变换和深度学习的红外与可见光图像融合方法
Pu et al. Removing rain based on a cycle generative adversarial network
Li et al. Infrared-visible image fusion method based on sparse and prior joint saliency detection and LatLRR-FPDE
Pan et al. DenseNetFuse: A study of deep unsupervised DenseNet to infrared and visual image fusion
CN116051444A (zh) 一种有效的红外与可见光图像自适应融合方法
CN109064402A (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN110135435B (zh) 一种基于广度学习系统的显著性检测方法及装置
Guo et al. Multifeature extracting CNN with concatenation for image denoising
CN113421198B (zh) 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法
Wang et al. A new method of denoising crop image based on improved SVD in wavelet domain
CN109285148B (zh) 基于重加权低秩和增强稀疏的红外弱小目标检测方法
CN111461999A (zh) 一种基于超像素相似性测量的sar图像相干斑抑制方法
Zhang et al. A generative adversarial network with dual discriminators for infrared and visible image fusion based on saliency detection
Yang et al. Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors
Yufeng et al. Research on SAR image change detection algorithm based on hybrid genetic FCM and image registration
Luo et al. Infrared and visible image fusion based on VPDE model and VGG network
CN116310452A (zh) 一种多视图聚类方法及系统
Cheng et al. Infrared image denoising based on convolutional neural network
Zhang et al. Multisensor Infrared and Visible Image Fusion via Double Joint Edge Preservation Filter and Nonglobally Saliency Gradient Operator
Liu et al. SI-SA GAN: A generative adversarial network combined with spatial information and self-attention for removing thin cloud in optical remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination