CN115457249A - 红外图像与可见光图像融合匹配的方法及系统 - Google Patents

红外图像与可见光图像融合匹配的方法及系统 Download PDF

Info

Publication number
CN115457249A
CN115457249A CN202211111226.XA CN202211111226A CN115457249A CN 115457249 A CN115457249 A CN 115457249A CN 202211111226 A CN202211111226 A CN 202211111226A CN 115457249 A CN115457249 A CN 115457249A
Authority
CN
China
Prior art keywords
image
visible light
infrared image
light image
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211111226.XA
Other languages
English (en)
Inventor
韦海成
赵静
塔娜
陈涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Minzu University
Ningxia University
Original Assignee
North Minzu University
Ningxia University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North Minzu University, Ningxia University filed Critical North Minzu University
Priority to CN202211111226.XA priority Critical patent/CN115457249A/zh
Publication of CN115457249A publication Critical patent/CN115457249A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种红外图像与可见光图像融合匹配的方法及系统，该方法包括步骤：判断可见光图像是在强光照度下采集获得还是在弱光照度下采集获得；如果可见光图像是在强光照度下采集获得，则将可见光图像与红外图像直接融合，得到融合图像；如果可见光图像是在弱光照度下采集获得，则将可见光图像生成红外图像，然后将生成的红外图像与采集的红外图像进行红外图像下融合，生成加权红外图像，加权红外图像再与可见光图像进行拼接，生成最终的融合图像。本发明可以弥补正常光照情况下，可见光图像与红外图像融合时导致的亮度下降问题，也可以实现暗照度条件下，融合图像的细节不足问题。

Description

红外图像与可见光图像融合匹配的方法及系统
技术领域
本发明涉及图像融合技术领域，具体涉及一种红外图像与可见光图像融合匹配的方法及系统。
背景技术
随着高质量监测图像需求的日益增强，无论是遥感分析还是日常监控过程中，高质量的红外光谱与可见光融合系统及其相应的方法研究具有重要的实用价值。特别是利用红外热辐射信息和可见光的纹理细节相集合，实现具有丰富纹理细节和热辐射信息的综合图像，已经成为相关领域研究的重要内容。
传统的红外和可见光融合多采用两类图像的尺度变换及成分分析的方式进行时域图像融合，现代图像融合多采用卷积神经网络的加权平均或最大选择策略来实现两类图像的有机融合。
然而上述方式中，尺度变换能够精确表征图像空间结构，但存在噪声、伪影和细节丢失等诸多问题难以得到有效解决。基于卷积神经网络的算法缺乏感兴趣目标区域的显著信息，导致融合效果不理想等问题。
发明内容
本发明的目的在于改善现有技术中存在的融合效果不理想的问题，提供一种红外图像与可见光图像融合匹配的方法及系统。
为了实现上述发明目的，本发明实施例提供了以下技术方案：
一方面，本发明实施例提供了一种红外图像与可见光图像融合匹配的方法，所述红外图像与可见光图像在同一环境下采集获得，包括步骤：
判断可见光图像是在强光照度下采集获得还是在弱光照度下采集获得；
如果可见光图像是在强光照度下采集获得，则将可见光图像与采集的红外图像直接融合，得到融合图像；
如果可见光图像是在弱光照度下采集获得，则先将可见光图像Iv生成红外图像，然后将生成的红外图像与采集的红外图像进行红外图像下融合，生成加权红外图像，加权红外图像再与可见光图像进行拼接，生成最终的融合图像。
另一方面，本发明实施例还提供了一种红外图像与可见光图像融合匹配的系统，所述红外图像与可见光图像在同一环境下采集获得，包括：
光照度判断模块，用于判断可见光图像是在强光照度下采集获得还是在弱光照度下采集获得；
融合模块，包括集成式融合模型，所述集成式融合模型用于在可见光图像是在强光照度下采集获得时，将可见光图像与红外图像直接融合，得到融合图像；以及在可见光图像是在弱光照度下采集获得时，将可见光图像生成红外图像，然后将生成的红外图像与采集的红外图像进行红外图像下融合，生成加权红外图像，加权红外图像再与可见光图像进行拼接，生成最终的融合图像。
与现有技术相比，本发明方法具有以下技术优势：
本发明可以弥补正常光照情况下，可见光图像与红外图像融合时导致的亮度下降问题，也可以实现暗照度条件下，融合图像的细节不足问题。
本发明所具有的其他优势将会在具体实施例中进行相应说明。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为实施例中举例的一种红外图像与可见光图像融合匹配的方法的流程图。
图2为实施例中集成式融合模型的结构图。
图3为实施例中生成器G1的结构图。
图4为实施例中生成器G2的结构图。
图5是实施例中鉴别器的结构图。
图6为试验例中几种网络模型的效果对比图。
图7a、图7b分别是针对相同图像采用PMCI模型和本发明生成器G2处理后的效果对比图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本实施例中提供了一种红外图像与可见光图像融合匹配的方法，所述的红外图像和可见光图像是在同一场景下获得的不同分辨率图像。该方法包括以下步骤：
S10，判断可见光图像是在强光照度下采集获得还是在弱光照度下采集获得，如果可见光图像是在强光照度下采集获得，则进入步骤S20，否则进入步骤S30。
此处需要说明的是，强光照度(亮环境)和弱光照度(暗环境)只是两个相对概念，而不是绝对概念，表示分别是在两种不同光照环境下拍摄获得的图像。
本实施例中，判断可见光图像是在强光照度下采集获得还是在弱光照度下采集获得，主要是采用对可见光图像Iv的亮度统计来实现，一般相机采集到的图像是RGB三色，每个像素的亮度统计采用V(i,j)＝max(R,G,B)计算获得，i，j是坐标位置，V(i,j)为坐标位置为(i,j)的像素点的亮度，此处用最大值法求每个像素的亮度，可以保障每个像素点是R,G,B中最大值，确保所有颜色的细节能够得到保障。整幅可见光图像的亮度采用对全部像素点加权平均的形式获得。例如作为可实施方式的举例，假设某幅可见光图像有四个像素点，R,G,B分量分别是(255,0,0)、(255,0,0)、(0,255,0)、(0,0,255)，那么整幅可见光图像的亮度为(255+255+255+255)/4＝255。设定判断阈值为(255+1)/2＝128，那么将整幅可见光图像的亮度255余判断阈值128作比较，可见光图像的亮度大于判断阈值，因此判断出该可见光图像为强光照度下采集获得。
S20，将可见光图像与红外图像直接融合，得到融合图像If。
此处，将可见光图像与红外图像直接融合，就是提取红外图像的边缘和可见光图像特征合在一起，增强图像细节，再重构模型。本实施例中，先采用深度特征提取网络的多尺度特征，分别获得红外图像Ir和可见光图像Iv的特征图，然后再利用特征上采样重建过程，对两个特征图进行融合。
S30，利用多尺度特征提取和重建架构，将可见光图像Iv生成红外图像Iv’，然后将红外图像Iv’与红外图像Ir进行红外图像下融合，生成加权红外图像Iv’r，加权红外图像Iv’r再与可见光图像Iv进行拼接，生成最终的融合图像If。
本步骤中，为了便于描述，将原始获得的红外图像用Ir表示，原始获得的可见光图像用Iv表示，可见光图像用Iv利用多尺度特征提取和重建架构后生成的红外图像用Iv’表示，红外图像Iv’与红外图像Ir进行加权融合后生成的加权红外图像用Iv’r表示，最终生成的融合图像用If表示。
如图2所示，采用集成式融合模型，针对于强光照度下获得的可见光图像Iv，可见光图像Iv直接与红外图像Ir通过生成器G2融合，生成融合图像用If；针对于弱光照度下获得的可见光图像Iv，先利用生成器G1将可见光图像Iv生成红外图像Iv’，然后利用生成器G2将红外图像Iv’与红外图像Ir进行红外图像下融合，生成加权红外图像Iv’r，最后通过生成器G2将加权红外图像Iv’r再与可见光图像Iv进行拼接，生成最终的融合图像If。在融合过程中，为了保障融合后的图像质量，还引入了鉴别器D1和鉴别器D2，鉴别器D1对生成的红外图像Iv’进行质量鉴别，鉴别器D2对生成的融合图像用If进行质量鉴别。
本实施例中，生成器G1的结构如图3所示，红外图像Iv’的生成过程如下：生成器G1由编码器和解码器两部分组成，先采用深度特征提取网络的多尺度特征，获得红外图像Ir和可见光图像Iv的特征图，然后再利用特征上采样重建过程，对图像进行融合。整个网络采用完全对称结构。编码器包含7个卷积块，用于下采样，除了第一个卷积块，后面6个卷积块包含一个卷积层、一个LeakyRelu激活函数和一个批量归一化(BatchNorm)，卷积层采用4×4卷积核，步长q为2。解码器也包含7个卷积块，前面6个卷积块包含一个卷积层、一个Relu激活函数和一个批量归一化(BatchNorm)，最后一个卷积块包含一个卷积层和tanh激活函数。此外，在跳跃连接部分使用叠操作，相同的颜色表示这些特征图的宽度和高度相同。
首先用大量的可见光图像和对应的(同一环境)红外图像训练生成器G1，当图像稳定后，输入可见光图像即可得到相应的红外图像。
图像融合方法很多，例如最大最小值法、像素加权平均法、基于尺度的融合方法、小波变换图像融合法。本实施例中，对于生成的红外图像Iv’与采集的红外图像Ir融合后生成加权红外图像用Iv’r，主要使用像素加权融合法，即根据两幅图像本身的灰度信息，设定相应的权重，在相同像素点对两幅图像灰度值分别赋予权值，融合图像的灰度就是两幅图像灰度值的加权之和。
本实施例中，生成器G2和生成器G3的结构相同，如图4所示，最终的融合图像If的生成过程如下：在特征采样和融合过程中，设置不同场景下图像权重，对融合特征进行计算，计算采用五级卷积结构，其中：第一、三层包含一个反卷积、一个LeakyRelu激活函数和一个批量归一化(BatchNorm)。第二、四层包含一个卷积、一个LeakyRelu激活函数和一个批量归一化(BatchNorm)。网络前两层使用5×5卷积核，第三、四层使用3×3卷积核。为了确保彩色图像生成过程中不会出现偏色，整个生成器在最后一层使用了3个过滤器，分别输出3通道彩色图像。
可见光有个图像特征和红外图像生成融合图像时候会导致亮度降低。本方法中，针对于强光照度下的可见光图像，采用了和弱光照度下相同的生成器G2，生成器G2本身对图像亮度有所提升，因此可以弥补正常光照情况下，可见光图像与红外图像融合时导致的亮度下降问题，效果要优于传统的加权法、小波法等，亮度会有所提升。如图7a和图7b所示，图7a为PMCI模型处理后的结果，图7b是本发明生成器G2处理后的结果，可以看出，本发明可以明显提高亮度(实际上颜色也更好)。
为了确保生成图像能够较好地提取源图像的特征，整个方案采用特征鉴别结构来完成合成后图像质量的判定。如图5所示，每个鉴别器(D1和D2)结构均由四个卷积层和全连接层构成。前四个卷积层中采用LeakyRelu激活函数、3×3卷积核、步长为2，最后用一个全连接层将前四层卷积后的特征进行整合并分类。
先用大量的可见光图像和对应红外图像和相应的高质量生成图像(此处的高质量生成图像是指用户设定的符合标准的图像，基于不同用户设定的标准可以不同)对鉴别器模型进行训练，训练过程中由可见光图像和红外图像提取特征，生成可见光图像，然后与所述高质量生成图像进行比较，返回迭代，生成较为合理的网络参数。训练结束后，再由训练好的鉴别器来对可见光图像进行判断，当判断结果为生成图像达不到理想效果后，就返回生成器(G1或G2)进行再次迭代，直到符合鉴别器的判断标准后输出结果。
在鉴别器使用中，考虑到生成器可能会出现的训练不稳定、速度慢等问题，在网络中引入双时间尺度更新规则(即分别对生成器和鉴别器网络设定不同的学习率)和谱归一化算法(即约束GAN网络鉴别器每层网络的权重矩阵的谱范数来约束鉴别器的利普希茨常数，增强GAN训练过程中的稳定性)，使得生成和判别以1:1的等速率进行更新，同时将神经网络的每一层网络参数作奇异值分解，然后将其最大的奇异值限定为1，满足利普希茨连续条件。
最终对融合图像If融合质量采用主观和客观两种评价指标，主观评价是融合图像的颜色、明度、保真度等视觉效果是否给人满意的感觉。客观评价是通过特定的公式计算图像的相关指标信息对融合图像If进行定量的分析，包含信息熵(Information Entropy，IE)、标准差(Standard Deviation，SD)、平均梯度(Average Gradient，AG)、空间频率(Spatial Frequencies，SF)、结构相似度(Structural Similarity，SSIM)、相关系数(Correlation Coefficient，CC)以及边缘信息传递量QAB/F七个指标进行客观评价，如表1所示。
表1客观评价指标
Figure BDA0003843267120000081
Figure BDA0003843267120000091
为了验证本发明方法的优势，将本发明方法与其他五种图像融合方法DeepFuse、FusionGan、IFCNN、MEF-GAN以及PMCI，通过主、客观评价指标以及运行时间，对各阶段模型进行对比分析。
从主观指标来分析，对于暗图像(弱光照度下获得的可见光图像)的细节，FusionGAN、MEF-GAN和PMCI的方法信息丢失严重，融合结果不自然，MEF-GAN的图像轮廓显得过分尖锐。相比之下，本发明的结果对目标显示很清晰，细节更接近可见光图像。与FusionGAN相比，由于引入了不同的网络架构、损失函数和训练策略，使得最终融合图像包含更自然的细节。对于亮图像(强光照度下获得的可见光图像)对比度，DeepFuse、IFCNN和MEF-GAN的方法对比度不高，融合结果没有突显目标，PMCI的融合结果不自然。本发明结果不仅显示高对比度的小目标，还保留了复杂的纹理背景，同时融合图像看起来很自然。此外，本发明生成的融合图像If是RGB彩色图像，对于火灾等复杂环境下的目标检测是有益的。
选取20个图像进行6个融合评价指标定量比较，结果如图6所示。可以看出，预训练模型指标有4个最优平均值：EN、SD、SF、SSIM。EN上获得最优平均值，这意味着融合图像的信息量很丰富，质量很好；SD上获得最优平均值足以证明生成的结果在目标和背景之间具有很高的对比度；SF上具有最优平均值，表示获得的融合图像提取了更多的细节信息，且融合图像更加清晰；SSIM上取得最优平均值，意味着融合图像充分保留了可见光图像和红外图像的信息。这些结果表明，本发明中的集成式融合模型生成的图像信息量最大、对比度最高、边缘和纹理细节最丰富、以及与源图像有很大的相似性。
最后，比较不同网络模型的运行时间，如表2所示。本发明集成式融合模型与DeepFuse相比在STD上相差不大，但Mean值上，迁移学习后模型运行效率相比其他方法提高了53.3％。因此，总体来看，本发明的运行效率最高。
表2不同模型的运行时间
方法 DeepFuse FusionGAN FusionDN IFCNN MEF-GAN PMCI Our
Mean 0.6898 3.2632 18.4564 2.9738 4.5387 1.5457 0.3221
STD 0.0250 0.2642 0.5497 0.2437 0.0542 0.0358 0.0305
通过本发明上述方法，可以弥补正常光照情况下，可见光图像与红外图像融合时导致的亮度下降问题，也可以实现暗照度条件下，融合图像的细节不足问题。
基于相同的发明构思，本发明实施例中还提供了一种红外图像与可见光图像融合匹配的系统，包括：
光照度判断模块，用于判断可见光图像是在强光照度下采集获得还是在弱光照度下采集获得；
融合模块，包括集成式融合模型，所述集成式融合模型用于在可见光图像是在强光照度下采集获得时，将可见光图像与红外图像直接融合，得到融合图像；以及在可见光图像是在弱光照度下采集获得时，将可见光图像生成红外图像，然后将生成的红外图像与采集的红外图像进行红外图像下融合，生成加权红外图像，加权红外图像再与可见光图像进行拼接，生成最终的融合图像。
具体的，集成式融合模型包括第一生成器G1、第二生成器G2、第三生成器G3、第一鉴别器D1和第二鉴别器D2，第二生成器G2、第三生成器G3的结构完全相同，第一生成器G1用于将可见光图像生成红外图像，第一鉴别器D1用于对生成的红外图像进行质量鉴别；第二生成器G2用于将生成的红外图像与采集的红外图像进行融合生成加权红外图像，以及将加权红外图像再与可见光图像进行拼接生成最终的融合图像；第三生成器G3用于将可见光图像与红外图像直接融合得到融合图像；第二鉴别器D2用于对生成的融合图像进行质量鉴别。
其他更多的细节内容还请参见前述方法实施例中的相关描述，此处不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种红外图像与可见光图像融合匹配的方法，所述红外图像与可见光图像在同一环境下采集获得，其特征在于，包括步骤：
判断可见光图像是在强光照度下采集获得还是在弱光照度下采集获得；
如果可见光图像是在强光照度下采集获得，则将可见光图像与采集的红外图像直接融合，得到融合图像；
如果可见光图像是在弱光照度下采集获得，则先将可见光图像Iv生成红外图像，然后将生成的红外图像与采集的红外图像进行红外图像下融合，生成加权红外图像，加权红外图像再与可见光图像进行拼接，生成最终的融合图像。
2.根据权利要求1所述的红外图像与可见光图像融合匹配的方法，其特征在于，所述判断可见光图像是在强光照度下采集获得还是在弱光照度下采集获得的步骤，包括：用最大值法求取每个像素点的亮度，然后以所有像素点的平均亮度作为整个可见光图像的亮度，判断整个可见光图像的亮度是否大于设定的阈值，如果是则判断该可见光图像为强光照度下采集获得，否则判断为可见光图像为弱光照度下采集获得。
3.根据权利要求1所述的红外图像与可见光图像融合匹配的方法，其特征在于，将可见光图像与采集的红外图像直接融合的步骤，包括：先采用深度特征提取网络的多尺度特征，分别获得采集的红外图像和可见光图像的特征图，然后再利用特征上采样重建过程，对两个特征图进行融合。
4.根据权利要求1所述的红外图像与可见光图像融合匹配的方法，其特征在于，将可见光图像生成红外图像的步骤，包括：先采用深度特征提取网络的多尺度特征，分别获得采集的红外图像和可见光图像的特征图，然后再利用特征上采样重建过程，对两个特征图进行融合。
5.根据权利要求1所述的红外图像与可见光图像融合匹配的方法，其特征在于，将生成的红外图像与采集的红外图像进行红外图像下融合，生成加权红外图像的步骤，包括：根据生成的红外图像与采集的红外图像本身的灰度信息，设定相应的权重，在相同像素点对生成的红外图像与采集的红外图像的灰度值分别赋予权值，加权红外图像的灰度就是生成的红外图像与采集的红外图像的灰度值的加权之和。
6.根据权利要求1所述的红外图像与可见光图像融合匹配的方法，其特征在于，还包括步骤：对最终生成的融合图像进行质量鉴别。
7.一种红外图像与可见光图像融合匹配的系统，所述红外图像与可见光图像在同一环境下采集获得，其特征在于，包括：
光照度判断模块，用于判断可见光图像是在强光照度下采集获得还是在弱光照度下采集获得；
融合模块，包括集成式融合模型，所述集成式融合模型用于在可见光图像是在强光照度下采集获得时，将可见光图像与红外图像直接融合，得到融合图像；以及在可见光图像是在弱光照度下采集获得时，将可见光图像生成红外图像，然后将生成的红外图像与采集的红外图像进行红外图像下融合，生成加权红外图像，加权红外图像再与可见光图像进行拼接，生成最终的融合图像。
8.根据权利要求7所述的红外图像与可见光图像融合匹配的系统，其特征在于，所述集成式融合模型包括第一生成器、第二生成器、第三生成器、第一鉴别器和第二鉴别器，所述第一生成器用于将可见光图像生成红外图像，所述第一鉴别器用于对生成的红外图像进行质量鉴别；所述第二生成器用于将生成的红外图像与采集的红外图像进行融合生成加权红外图像，以及将加权红外图像再与可见光图像进行拼接生成最终的融合图像；所述第三生成器用于将可见光图像与红外图像直接融合得到融合图像；第二鉴别器用于对生成的融合图像进行质量鉴别。
9.根据权利要求8所述的红外图像与可见光图像融合匹配的系统，其特征在于，第一生成器由编码器和解码器组成，编码器包含7个卷积块，用于下采样，除了第一个卷积块外，后面6个卷积块包含一个卷积层、一个LeakyRelu激活函数和一个批量归一化，卷积层采用4×4卷积核，步长q为2；解码器包含7个卷积块，前面6个卷积块包含一个卷积层、一个Relu激活函数和一个批量归一化，最后一个卷积块包含一个卷积层和tanh激活函数。
10.根据权利要求8所述的红外图像与可见光图像融合匹配的系统，其特征在于，第二生成器包括五层卷积层，第一层和第三层包含一个反卷积、一个LeakyRelu激活函数和一个批量归一化，第二层和第四层包含一个卷积、一个LeakyRelu激活函数和一个批量归一化，第一层和第二层采用5×5卷积核，第三层和第四层采用3×3卷积核。
CN202211111226.XA 2022-09-13 2022-09-13 红外图像与可见光图像融合匹配的方法及系统 Pending CN115457249A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211111226.XA CN115457249A (zh) 2022-09-13 2022-09-13 红外图像与可见光图像融合匹配的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211111226.XA CN115457249A (zh) 2022-09-13 2022-09-13 红外图像与可见光图像融合匹配的方法及系统

Publications (1)

Publication Number Publication Date
CN115457249A true CN115457249A (zh) 2022-12-09

Family

ID=84303994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211111226.XA Pending CN115457249A (zh) 2022-09-13 2022-09-13 红外图像与可见光图像融合匹配的方法及系统

Country Status (1)

Country Link
CN (1) CN115457249A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908518A (zh) * 2023-01-09 2023-04-04 四川赛狄信息技术股份公司 一种多传感图像融合方法及系统
CN116681636A (zh) * 2023-07-26 2023-09-01 南京大学 基于卷积神经网络的轻量化红外与可见光图像融合方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908518A (zh) * 2023-01-09 2023-04-04 四川赛狄信息技术股份公司 一种多传感图像融合方法及系统
CN115908518B (zh) * 2023-01-09 2023-05-09 四川赛狄信息技术股份公司 一种多传感图像融合方法及系统
CN116681636A (zh) * 2023-07-26 2023-09-01 南京大学 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN116681636B (zh) * 2023-07-26 2023-12-12 南京大学 基于卷积神经网络的轻量化红外与可见光图像融合方法

Similar Documents

Publication Publication Date Title
CN111709902B (zh) 基于自注意力机制的红外和可见光图像融合方法
CN109872285B (zh) 一种基于变分约束的Retinex低照度彩色图像增强方法
CN112614077B (zh) 一种基于生成对抗网络的非监督低照度图像增强方法
CN115457249A (zh) 红外图像与可见光图像融合匹配的方法及系统
Liu et al. Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives
CN111681180B (zh) 先验驱动的深度学习图像去雾方法
CN110807742B (zh) 一种基于一体式网络的微光图像增强方法
CN114066747B (zh) 一种基于光照和反射互补性的低照度图像增强方法
CN112270654A (zh) 基于多通道gan的图像去噪方法
CN112184646B (zh) 基于梯度域导向滤波和改进pcnn的图像融合方法
CN114897742B (zh) 一种纹理和结构特征两次融合的图像修复方法
CN113420794B (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN104657951A (zh) 图像乘性噪声移除方法
CN114187214A (zh) 一种红外与可见光图像融合系统及方法
CN111489321A (zh) 基于派生图和Retinex的深度网络图像增强方法和系统
CN114331937B (zh) 基于反馈迭代调节的低光照条件下多源图像融合方法
CN112926552B (zh) 基于深度神经网络的遥感影像车辆目标识别模型及方法
CN111242868A (zh) 暗视觉环境下基于卷积神经网络的图像增强方法
CN117391981A (zh) 一种基于低光照明和自适应约束的红外与可见光图像融合方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN113129300A (zh) 一种降低误检率的排水管道缺陷检测方法、装置、设备及介质
CN117391987A (zh) 基于多阶段联合增强机制的暗光图像处理方法
CN115760630A (zh) 一种低照度图像增强方法
CN112927164B (zh) 一种基于深度卷积神经网络的无参考低照度图像增强方法
CN117576483B (zh) 基于多尺度卷积自编码器的多源数据融合地物分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination