CN116363036B - 基于视觉增强的红外与可见光图像融合方法 - Google Patents

基于视觉增强的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN116363036B
CN116363036B CN202310530022.8A CN202310530022A CN116363036B CN 116363036 B CN116363036 B CN 116363036B CN 202310530022 A CN202310530022 A CN 202310530022A CN 116363036 B CN116363036 B CN 116363036B
Authority
CN
China
Prior art keywords
image
light image
fusion
loss
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310530022.8A
Other languages
English (en)
Other versions
CN116363036A (zh
Inventor
吕国华
高翔
池强
王西艳
宋文廓
张曾彬
司马超群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN202310530022.8A priority Critical patent/CN116363036B/zh
Publication of CN116363036A publication Critical patent/CN116363036A/zh
Application granted granted Critical
Publication of CN116363036B publication Critical patent/CN116363036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉增强的红外与可见光图像融合方法，涉及图像分类技术领域。本发明包括以下步骤：步骤1：构建自编码器，并训练自编码器；步骤2：获取增强网络的训练集；步骤3：构建增强网络，训练增强网络，得到训练好的增强网络模型；步骤4：获取融合网络的训练集与测试集；步骤5：构建融合网络，训练融合网络，得到训练好的融合网络模型；步骤6：利用融合网络的测试集中的测试数据对步骤5得到的训练好的融合网络模型进行测试，得融合图像。本发明所述的图像融合方法得到的低光背景下的红外图像和可见光图像的融合图像能够获得更多的纹理细节、更丰富的边缘信息、更佳的整体亮度。

Description

基于视觉增强的红外与可见光图像融合方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于视觉增强的红外与可见光图像融合方法。
背景技术
由于拍摄环境和拍摄设备的限制，单一类型的成像设备通常无法压缩并捕捉整个场景的信息。在众多图像融合任务中，红外图像和可见光图像融合备受研发人员的关注。可见光图像包含场景的更多纹理细节，并且符合人眼观察的习惯。而红外图像能突出显著的目标，如行人、车辆等重要信息。红外与可见光图像进行融合后得到的融合图像通常既具有显著目标又具有丰富纹理，图像质量较佳，在目标检测和军事监视方面都具有非常良好的应用前景。
目前，现有技术中存在的红外图像和可见光图像融合方法，主要分为传统图像融合方法和基于深度学习的图像融合方法。而现有技术中基于深度学习的图像融合方法也都是针对正常光照条件而设计的，这种基于深度学习的图像融合方法对于夜间场景下的可见光图像与红外图像融合效果差，这主要是由于在低光照条件下可见光图像由于照明退化引起的场景缺陷，会导致夜间可见光图像中场景纹理信息无法在可见光图像与红外图像的融合图像中表达。
在低光场景下，可见光图像的纹理细节被隐藏在黑暗中，融合图像被大量的红外信息填充，造成了视觉下降与纹理细节的缺失。
如何使低光照条件下可见光图像与红外图像的融合结果能够弥补曝光不足的劣势，并突出目标，是当前面临的一大难题。
发明内容
为了弥补现有技术的不足，本发明提供了一种基于视觉增强的红外与可见光图像融合方法。
为了实现上述目的，本发明采用的技术方案是：
本发明提供了一种基于视觉增强的红外与可见光图像融合方法，包括如下步骤：
步骤1：构建自编码器，并训练自编码器；其中，所述自编码器包含一个编码器Encoder和一个解码器Decoder，所述编码器Encoder由四个依次连接的编码单元组成，所述解码器Decoder由四个依次连接的解码单元组成，其中编码单元由依次连接的卷积层和lrelu激活层组成，解码单元也是由依次连接的卷积层和lrelu激活层组成；
步骤2：获取增强网络的训练集；
步骤3：构建增强网络，训练增强网络，得到训练好的增强网络模型；其中，所述增强网络包括照度模块和反射率模块，照度模块包含三层卷积层，分别是Conv_1、Conv_2和Conv_3，反射率模块的结构与照度模块的结构相同，也包含三层卷积层，分别是Conv_1、Conv_2和Conv_3；
步骤4：获取融合网络的训练集与测试集；
步骤5：构建融合网络，训练融合网络，得到训练好的融合网络模型；其中，所述融合网络包括上支路和下支路这两条支路，其中，上支路包括三个卷积单元，每个卷积单元均由一个3×3卷积层和一个lrelu激活层组成；下支路为一个1×1的卷积层；
步骤6：利用融合网络的测试集中的测试数据对步骤5得到的训练好的融合网络模型进行测试，得融合图像。
优选地，步骤1中，所述自编码器训练集是指MS-COCO数据集。
优选地，步骤1中，本申请中所述自编码器(Auto Encoder)的训练过程，包括如下步骤：
步骤1.1：读取自编码器训练集中的图像，然后调整图像的尺寸，然后将图像转换到YCbCr颜色空间中，得图像的像素值；然后，将图像的像素值进行归一化处理，即得到输入图像；
步骤1.2：将步骤1.1得到的输入图像的Y通道IY输入自编码器(Auto Encoder)中进行编码，得到深度特征图F；
步骤1.3：将深度特征图F输入到自编码器(Auto Encoder)中进行解码，得到输出的Y通道图OY；
步骤1.4：根据损失函数计算输入图像的Y通道IY和重构的Y通道图OY之间的特征损失；
步骤1.5：用Adam优化器优化梯度，更新自编码器的参数；
步骤1.6：重复步骤1.1至步骤1.5，直到在整个训练集上迭代次数epoch达到设定阈值，得到训练好的自编码器。
优选地，步骤1.1的具体步骤为：读取自编码器训练集中的图像，将图像的尺寸调整为256×256×3，然后将图像转换到YCbCr颜色空间中，得图像的像素值；然后，将图像的每个像素值除以255，使像素值归一化到[0,1]，即得到输入图像；所述自编码器训练集是指MS-COCO数据集。
优选地，步骤1.2的具体步骤为：将步骤1.1得到的输入图像的Y通道IY输入自编码器的编码器Encoder进行编码，得到深度特征图F。
优选地，步骤1.2中，输入图像的尺寸为256×256×1，深度特征图F的尺寸为256×256×128。
优选地，步骤1.3的具体步骤为：将深度特征图F输入到自编码器的解码器Decoder进行解码，得到输出的Y通道图OY，Y通道图OY的大小为256×256×1。
优选地，步骤1.4中，损失函数的计算公式，如式（1）所示：
（1）
式（1）中，为结构损失，用于计算输入图像的Y通道IY和重构的Y通道图OY的结构相似度；/>为内容损失，用于计算输入图像的Y通道IY和重构的Y通道图OY的欧氏距离；α为超参数，用于平衡结构损失和内容损失；
式（1）中的，其计算公式如式（2）所示：
（2）
式（2）中，为内容损失，用于计算输入图像的Y通道IY和重构的Y通道图OY的欧氏距离；
式（1）中的，其计算公式如式（3）所示：
（3）
式（3）中，为结构损失，用于计算输入图像的Y通道IY和重构的Y通道图OY的结构相似度；/>为输入图像的Y通道IY的均值；/>为重构的Y通道图OY的均值；C1为常数；为输入图像的Y通道IY和重构的Y通道图OY的协方差；C2为常数；
优选地，步骤2中，所述增强网络的训练集选用的是LOL数据集。
优选地，步骤3中，所述增强网络的训练过程包括如下步骤：
步骤3.1：读取增强网络训练的训练集中的低光与正常光图像对（Il,In)，然后分别将低光图像Il和正常光图像In转换到YCbCr颜色空间，提取低光图像Il和正常光图像In的Y通道图，得到Y通道图对(IlY,InY)。
步骤3.2：分别将低光图像Y通道图IlY、正常光图像Y通道图InY输入到步骤1得到的训练好的自编码器中进行编码，计算得到特征图对(FlY,FnY)；
步骤3.3：将特征图FlY和特征图FnY分别输入到增强网络中分别计算照度和反射率，计算得到低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr以及正常光图像的反射率特征图Fnr；而后，将低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr分别输入到步骤1得到的训练好的自编码器中进行解码，得到低光图像的照度图Ili、正常光图像的照度图Ini、低光图像的反射率图Ilr以及正常光图像的反射率图Inr；
步骤3.4：根据损失函数计算增强网络的损失值，并利用Adam优化器优化损失梯度并反向传播，更新增强网络的模型参数；
步骤3.5：重复步骤3.1至步骤3.4，在增强网络的训练集上直到迭代次数达到设定阈值，即可得到训练好的增强网络模型。
优选地，步骤3.2的具体步骤为：分别将低光图像Y通道图IlY、正常光图像Y通道图InY输入到步骤1得到的训练好的自编码器的编码器Encoder中进行编码，计算得到特征图对(FlY,FnY)。
优选地，步骤3.3的具体步骤为：将特征图FlY和特征图FnY分别输入到增强网络中，经增强网络的照度模块计算得到低光图像的照度特征图Fli和正常光图像的照度特征图Fni，经增强网络的反射率模块计算得到低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr；而后，将低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr分别输入到步骤1得到的训练好的自编码器的解码器Decoder中，得到低光图像的照度图Ili、正常光图像的照度图Ini、低光图像的反射率图Ilr以及正常光图像的反射率图Inr。
优选地，步骤3.4中，损失函数包含了四个部分，重构损失/>、照度平滑度损失/>、反射率不变损失/>以及共同一致性损失/>；损失函数/>的计算公式，如式（4）所示：
（4）
式（4）中，为重构损失、/>为照度平滑度损失、/>为反射率不变损失、/>为共同一致性损失；β1、β2和β3均为超参数；
重构损失计算公式，如式（5）所示：
（5）
式（5）中，|| ||1表示的第一范数计算，为正常光图像、/>为正常光图像的照度、/>为正常光图像的反射率、/>为低光图像、/>为低光图像的照度、/>为低光图像的反射率；
照度平滑度损失计算公式，如式（6）所示：
（6）
式（6）中，|| ||1表示的第一范数计算，低光图像的照度的梯度值、/>为正常光图像的照度的梯度值、/>为低光图像的梯度值、/>为正常光图像的梯度值；
反射率不变损失计算公式，如式（7）所示：
（7）
式（7）中，|| ||表示的第一范数计算，反射率不变损失、/>为低光图像的反射率、/>正常光图像的反射率；
共同一致性损失计算公式，如式（8）所示：
（8）
式（8）中，|| ||1表示的第一范数计算，为低光图像的照度的梯度值、/>为正常光图像的照度的梯度值、c为常数。
优选地，步骤4中，从LLVIP数据集中挑选240对已配对的低光场景下的红外图像以及低光场景下的可见光图像，作为融合网络的训练集，用于对融合网络进行训练；并从LLVIP数据集中随机挑选出50对已配对的低光场景下的红外图像以及低光场景下的可见光图像作为融合网络的测试集，用于对融合网络进行测试。
优选地，步骤5中，所述融合网络的训练过程包括以下步骤：
步骤5.1：读取融合网络的训练集中的红外图像与可见光图像对(Ii,Iv)，然后分别将红外图像Ii和可见光图像Iv转换到YCbCr颜色空间，提取红外图像Ii和可见光图像Iv的Y通道图，得到Y通道图对（IiY,IvY）。
步骤5.2：分别将Y通道图IiY和Y通道图IvY输入步骤1中训练好的自编码器进行编码，计算得到特征图对(FiY,FvY)；
步骤5.3：将特征图FvY输入步骤3得到的训练好的增强网络模型中计算反射率，得到特征图Fve；
步骤5.4：将特征图对(FiY,Fve)在特征维度上连接，得拼接特征图，而后将拼接特征图输入到融合网络中，拼接特征图经融合网络处理得到全局信息融合特征图Ff1和全局信息融合特征图Ff2，而后将全局信息融合特征图Ff1和全局信息融合特征图Ff2在特征维度上连接得到全局信息融合特征图Ff；
步骤5.5：将全局信息融合特征图Ff输入步骤1得到的训练好的自编码器中进行解码，得到Y通道的融合图像IfY。
步骤5.6：根据损失函数计算融合网络的损失值，利用Adam优化器优化损失梯度并反向传播，更新融合网络的模型参数。
步骤6：利用融合网络的测试集中的测试数据对步骤5得到的训练好的融合网络模型进行测试，得融合图像。
优选地，步骤5.2的具体步骤为：分别将Y通道图IiY和Y通道图IvY输入步骤1中训练好的自编码器的编码器Encoder中进行编码，计算得到特征图对(FiY,FvY)。
优选地，步骤5.3的具体步骤为：将特征图FvY输入步骤3得到的训练好的增强网络模型的反射率模块中计算反射率，得到特征图Fve；
优选地，步骤5.4的具体步骤为：将特征图对(FiY,Fve)在特征维度上连接，得拼接特征图，而后将拼接特征图输入到融合网络中，拼接特征图经融合网络的上支路处理得到全局信息融合特征图Ff1，拼接特征图经融合网络的下支路处理得到全局信息融合特征图Ff2，而后将全局信息融合特征图Ff1和全局信息融合特征图Ff2在特征维度上连接得到全局信息融合特征图Ff。
优选地，步骤5.5的具体步骤为：将全局信息融合特征图Ff输入步骤1得到的训练好的自编码器的解码器Decoder进行解码，得到Y通道的融合图像IfY。
优选地，步骤5.6中，损失函数包含了强度损失/>和梯度损失/>这两个部分，损失函数/>的计算公式，如式（9）所示：
（9）
式（9）中，为强度损失、/>为梯度损失；γ为超参数，用于平衡两项损失；
强度损失的计算公式，如式（10）所示：
（10）
式（10）中，|| ||1表示的第一范数计算，H为可见光图像的高、W为可见光图像的宽、为Y通道融合图像、/>为红外图像Ii的Y通道图。
梯度损失的计算公式，如式（11）所示：
（11）
式（11）中，|| ||1表示的第一范数计算，H为可见光图像的高、W为可见光图像的宽、表示Sobel梯度计算操作，用于度量图像的细粒度纹理信息；/>为融合图像IfY的梯度值、/>为可见光图像Iv的Y通道图的梯度值、/>为红外图像Ii的梯度值。
优选地，步骤6具体包括如下步骤：
步骤6.1：将融合网络的测试集中的测试数据输入到步骤5得到的训练好的融合网络模型中并依次按照步骤5.1到步骤5.5进行，得到Y通道的融合图像IfY。
步骤6.2：将Y通道的融合图像IfY与可见光图像的CbCr通道在特征维度连接，得到YCbCr格式的图像，而后再转换为RGB格式，得到融合图像。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于视觉增强的红外与可见光图像融合方法，旨在使低光照条件下可见光图像与红外图像的融合结果能够弥补曝光不足的劣势，并突出目标，本发明在进行图像融合的过程中能够充分挖掘可见光图像中隐藏在黑暗中的纹理信息，能够充分融合对低光场景下的红外图像中的热辐射信息以及可见光图像的纹理信息，实现了低光背景下的红外图像与可见光图像的优势互补，通过本申请所述的图像融合方法得到的低光背景下的红外图像和可见光图像的融合图像能够获得更多的纹理细节、更丰富的边缘信息、更佳的整体亮度。
本申请中针对低光图像的特征，本申请特地设置了增强网络将可见光图像分解为照度特征与反射率特征，由于低光场景下照度特征包含极少的信息且造成视觉感知下降，为此，本申请去除原始可见光图像的照度特征，使用分解的反射率特征取代原始可见光图像的特征用于融合。本申请考虑到低照度造成的可见光图像纹理信息被覆盖，梯度信息衰退，故此，本申请在增强网络中，利用反射率模块将低光背景下的可见光图像的反射率信息进行提取，有效去除低照度对纹理细节信息的破坏，从而获得了梯度信息更为丰富的可见光图像，用于生成融合图像。
附图说明
图1为本申请的总体流程图；
图2为本申请中自编码器的示意图；
图3为增强网络的示意图；
图4为融合网络示意图；
图5为一组低光场景下的原始红外图像、原始可见光图像以及融合图像的对比图；其中，图4中的表示维度连接；
图6为另一组低光场景下的原始红外图像、原始可见光图像以及融合图像的对比图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
本发明提供了一种基于视觉增强的红外与可见光图像融合方法，包括如下步骤：
步骤1：训练自编码器(Auto Encoder)：
自编码器的结构包含一个编码器Encoder和一个解码器Decoder，自编码器的结构如图2所示，编码器Encoder由四个依次连接的编码单元组成，解码器Decoder由四个依次连接的解码单元组成，其中编码单元由依次连接的卷积层和lrelu激活层组成，解码单元也是由依次连接的卷积层和lrelu激活层组成。本实施例中，编码器Encoder具有四层卷积层；解码器Decoder同样具有四层卷积层，本申请中编码器Encoder以及解码器Decoder中每个卷积层的卷积核尺寸为3×3，step为1，padding为1，编码器Encoder和解码器Decoder中的lrelu激活层均采用lrelu激活函数。
本申请中自编码器(Auto Encoder)的训练过程，包括如下步骤：
步骤1.1：读取自编码器训练集中的图像，将图像的尺寸调整为256×256×3，然后将图像转换到YCbCr颜色空间中，得图像的像素值；然后，将图像的每个像素值除以255，使像素值归一化到[0,1]，即得到输入图像；本实施例中自编码器训练集是指MS-COCO数据集，该MS-COCO数据集为图像数据集，该数据集中包含80000张图像，且图像的格式均为RGB格式。
步骤1.2：将步骤1.1得到的输入图像的Y通道IY输入编码器Encoder，得到深度特征图F；其中，输入图像的尺寸为256×256×1，深度特征图F的尺寸为256×256×128。
步骤1.3：将深度特征图F输入到解码器Decoder，得到输出的Y通道图OY，Y通道图OY的大小为256×256×1。
步骤1.4：根据损失函数计算输入图像的Y通道IY和重构的Y通道图OY之间的特征损失，损失函数/>的计算公式，如式（1）所示：
（1）
式（1）中，为结构损失，用于计算输入图像的Y通道IY和重构的Y通道图OY的结构相似度；/>为内容损失，用于计算输入图像的Y通道IY和重构的Y通道图OY的欧氏距离；α为超参数，用于平衡结构损失和内容损失，本实施例中α取值为10。
式（1）中的，其计算公式如式（2）所示：
（2）
式（2）中，为内容损失，用于计算输入图像的Y通道IY和重构的Y通道图OY的欧氏距离。
式（1）中的，其计算公式如式（3）所示：
（3）
式（3）中，为结构损失，用于计算输入图像的Y通道IY和重构的Y通道图OY的结构相似度；/>为输入图像的Y通道IY的均值；/>为重构的Y通道图OY的均值；C1为常数，本实施例中C1取值为6.5025；/>为输入图像的Y通道IY和重构的Y通道图OY的协方差；C2为常数，C2取值为58.5225；
步骤1.5：用Adam优化器优化梯度，更新自编码器的参数；
步骤1.6：重复步骤1.1至步骤1.5，直到在整个训练集上迭代次数epoch达到设定阈值，得到训练好的自编码器。自编码器训练过程中迭代次数epoch的设定阈值为20。本申请中自编码器的训练是采用python和pytorch框架实现算法，并基于NVIDIA A100 GPU进行的训练，且自编码器的训练过程中，batch size设置为16，超参数α设置为10。
步骤2：获取增强网络的训练集：
选用公开的低光与正常光配对的图像数据集——LOL数据集作为用于增强网络训练的训练集；其中，LOL数据集中有485对低光和正常光图像。
步骤3：训练增强网络：
本申请中增强网络的结构，如图3所示；本申请中增强网络具体包括照度模块和反射率模块，其中，照度模块包含三层卷积层，分别是Conv_1、Conv_2和Conv_3，反射率模块的结构与照度模块的结构相同，也包含三层卷积层，分别是Conv_1、Conv_2和Conv_3，照度模块与反射率模块的模型参数不同。
本申请中，增强网络的训练过程包括照度模块的训练过程以及反射率模块的训练过程，增强网络的具体训练方式如下：
步骤3.1：读取LOL数据集中的低光与正常光图像对（Il,In)，然后分别将低光图像Il和正常光图像In转换到YCbCr颜色空间，提取低光图像Il和正常光图像In的Y通道图，得到Y通道图对(IlY,InY)。
步骤3.2：分别将低光图像Y通道图IlY、正常光图像Y通道图InY输入到步骤1得到的训练好的自编码器的编码器Encoder中进行编码，计算得到特征图对(FlY,FnY)；
步骤3.3：将特征图FlY和特征图FnY分别输入到增强网络中，经增强网络的照度模块计算得到低光图像的照度特征图Fli和正常光图像的照度特征图Fni，经增强网络的反射率模块计算得到低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr；而后，将低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr分别输入到步骤1得到的训练好的自编码器的解码器Decoder中，得到低光图像的照度图Ili、正常光图像的照度图Ini、低光图像的反射率图Ilr以及正常光图像的反射率图Inr；
步骤3.4：根据损失函数计算增强网络的损失值，并利用Adam优化器优化损失梯度并反向传播，更新增强网络的模型参数。步骤3中，自编码器的模型参数固定不变，仅更新增强网络的模型参数；本申请中损失函数/>包含了四个部分，重构损失/>、照度平滑度损失/>、反射率不变损失/>以及共同一致性损失/>。损失函数/>的计算公式，如式（4）所示：
（4）
式（4）中，为重构损失、/>为照度平滑度损失、/>为反射率不变损失、/>为共同一致性损失；β1、β2和β3均为超参数；本实施例中损失函数/>的超参数β1、β2和β3分别设置为0.15、0.009、0.2。
重构损失计算公式，如式（5）所示：
（5）
式（5）中，|| ||1表示的第一范数计算，为正常光图像、/>为正常光图像的照度、/>为正常光图像的反射率、/>为低光图像、/>为低光图像的照度、/>为低光图像的反射率；
照度平滑度损失计算公式，如式（6）所示：
（6）
式（6）中，|| ||1表示的第一范数计算，为低光图像的照度的梯度值、/>为正常光图像的照度的梯度值、/>为低光图像的梯度值、/>为正常光图像的梯度值；
反射率不变损失计算公式，如式（7）所示：
（7）
式（7）中，|| ||表示的第一范数计算，反射率不变损失、/>为低光图像的反射率、/>正常光图像的反射率；
共同一致性损失计算公式，如式（8）所示：
（8）
式（8）中，|| ||1表示的第一范数计算，为低光图像的照度的梯度值、/>为正常光图像的照度的梯度值、c为常数，本实施例中c取值为10；
步骤3.5：重复步骤3.1至步骤3.4，在增强网络的训练集上直到迭代次数达到设定阈值，即可得到训练好的增强网络模型，本实施例中增强网络训练过程中迭代次数的设定阈值为200。在本实施例中，增强网络的训练基于NVIDIA A100 GPU芯片，采用Adam优化器，batch size为16，初始学习率设置为1×10-4。
步骤4：获取融合网络的训练集与测试集：
从LLVIP数据集中挑选240对已配对的低光场景下的红外图像以及低光场景下的可见光图像，作为融合网络的训练集，用于对融合网络进行训练；并从LLVIP数据集中随机挑选出50对已配对的低光场景下的红外图像以及低光场景下的可见光图像作为融合网络的测试集，用于对融合网络进行测试；本申请中该上述LLVIP数据集为现有技术中公开的红外与可见光图像配对的数据集。
步骤5：训练融合网络：
本申请中融合网络的结构如图4所示，融合网络的结构具体为：所述融合网络包括上支路和下支路这两条支路，其中，上支路包括三个卷积单元，每个卷积单元均由一个3×3的卷积层和一个lrelu激活层组成，三个卷积单元的卷积层分别为Conv_1、Conv_2和Conv_3；下支路为一个1×1的卷积层Conv_0；将两条支路输出的特征图在特征维度上进行连接，得到最终特征图。
本申请中融合网络的训练过程，包括以下步骤：
步骤5.1：读取融合网络的训练集中的红外图像与可见光图像对(Ii,Iv)，然后分别将红外图像Ii和可见光图像Iv转换到YCbCr颜色空间，提取红外图像Ii和可见光图像Iv的Y通道图，得到Y通道图对（IiY,IvY）。
步骤5.2：分别将Y通道图IiY和Y通道图IvY输入步骤1中训练好的自编码器的编码器Encoder，计算得到特征图对(FiY,FvY)；
步骤5.3：将特征图FvY输入步骤3得到的训练好的增强网络模型的反射率模块中，得到特征图Fve；
步骤5.4：将特征图对(FiY,Fve)在特征维度上连接，得拼接特征图，而后将拼接特征图输入到融合网络中，拼接特征图经融合网络的上支路处理得到全局信息融合特征图Ff1，拼接特征图经融合网络的下支路处理得到全局信息融合特征图Ff2，而后将全局信息融合特征图Ff1和全局信息融合特征图Ff2在特征维度上连接得到全局信息融合特征图Ff；
步骤5.5：将全局信息融合特征图Ff输入步骤1得到的训练好的自编码器的解码器Decoder解码，得到Y通道的融合图像IfY。
步骤5.6：根据损失函数计算融合网络的损失值，利用Adam优化器优化损失梯度并反向传播，更新融合网络的模型参数。步骤5中，自编码器和增强网络的模型参数固定不变，仅更新融合网络的模型参数。
损失函数包含了强度损失/>和梯度损失/>这两个部分，损失函数的计算公式，如式（9）所示：
（9）
式（9）中，为强度损失、/>为梯度损失；γ为超参数，用于平衡两项损失，本实施例中γ设置为200。
强度损失的计算公式，如式（10）所示：
（10）
式（10）中，|| ||1表示的第一范数计算，H为可见光图像的高、W为可见光图像的宽、为Y通道融合图像、/>为红外图像Ii的Y通道图。
梯度损失的计算公式，如式（11）所示：
（11）
式（11）中，|| ||1表示的第一范数计算，H为可见光图像的高、W为可见光图像的宽、表示Sobel梯度计算操作，用于度量图像的细粒度纹理信息；/>为融合图像IfY的梯度值、/>为可见光图像Iv的Y通道图的梯度值、/>为红外图像Ii的梯度值；
步骤5.7：重复步骤5.1到步骤5.6，直到迭代次数epoch在整个融合图像的训练集上达到设定阈值，即可得训练好的融合网络模型。在本实施例中，融合网络的训练是基于NVIDIA A100 GPU芯片实现的，并采用Adam优化器进行优化损失梯度并反向传播，融合网络训练的过程中batch size设置为32，初始学习率设置为1×10-4。
步骤6：利用融合网络的测试集中的测试数据对步骤5得到的训练好的融合网络模型进行测试，得融合图像。
步骤6.1：将融合网络的测试集中的测试数据输入到步骤5得到的训练好的融合网络模型中并依次按照步骤5.1到步骤5.5进行，得到Y通道的融合图像IfY。
步骤6.2：将Y通道的融合图像IfY与可见光图像的CbCr通道在特征维度连接，得到YCbCr格式的图像，而后再转换为RGB格式，得到融合图像。
为了验证步骤6得到的融合图像的融合效果，本申请特地从测试中选取了两组融合图像进行展示，该两组融合图像分别如图5和图6所示。从图5和图6中可以看出：
1）每组的融合图像中均包含了更多可见光图像的纹理细节，该上述所述的纹理细节从图5和图6中的方框中能够看出；
2）每组的融合图像整体亮度得到一定提升，视觉效果显著提高。
3）每组的融合图像均保留了红外图像中的显著目标信息。
此外，本申请还利用融合网络的测试集中的测试数据对DenseFuse融合方法（出自于IEEE Transactions on Image Processing）、RFN-Nest融合方法（出自于InformationFusion）、GTF融合方法（出自于Information Fusion）、FusionGAN融合方法（出自于Information Fusion）、GANMcC融合方法（出自于IEEE Transactions on Instrumentationand Measurement）、U2Fusion融合方法（出自于IEEETransactions on Pattern Analysisand Machine Intelligence）、SDNet融合方法（出自于International Journal ofComputer Vision）、PMGI融合方法（出自于Proceedings of the AAAI Conference onArtificialIntelligence）、DIVFusion融合方法（出自于Information Fusion）进行了测试，测试结果如表1所示。
表1中，Ours是指本申请所述的图像融合方法，AG 是指平均梯度、EN是指信息熵、VIF是指视觉保真度、SF是指空间频率。
从表1中能够看出：
1）本申请所述的图像融合方法能够取得较高的AG值，本申请所述的图像融合方法得到的AG值相较于现有技术中DIVFusion图像融合方法（该方法在所有现有技术中得到的AG值最高）提高（（6.6695-4.9663）/4.9663）×100%=34.295%，这说明本申请所述的图像融合方法在对低光场景下的红外图像以及低光场景下的可见光图像进行图像融合过程中，融合后得到的融合图像能够获得更多的纹理细节；
2）本申请所述的图像融合方法能够取得较高的SF值，本申请所述的图像融合方法得到的SF值相较于现有技术中DIVFusion图像融合方法（该方法在所有现有技术中得到的SF值最高）提高（（0.0797-0.0623）/0.0623）×100%=27.929%，这说明本申请所述的图像融合方法在对低光场景下的红外图像以及低光场景下的可见光图像进行图像融合过程中，融合后得到的融合图像能够获得更丰富的边缘信息；
3）本申请所述的图像融合方法能够取得较高的VIF值，本申请所述的图像融合方法得到的VIF值相较于现有技术中PMGI图像融合方法（该方法在所有现有技术中得到的VIF值最高）提高（（0.9287-0.8165）/0.8165）×100%=13.742%；这说明本申请所述的图像融合方法在对低光场景下的红外图像以及低光场景下的可见光图像进行图像融合过程中，融合后得到的融合图像能够有效提高整体亮度，视觉效果得到有效增强；
4）本申请所述的图像融合方法得到的EN值相较于现有技术中DIVFusion图像融合方法（该方法在所有现有技术中得到的EN值最高）降低（（7.4518-7.2832）/7.4518）×100%=2.262%；需要指出的是，本申请所述图像融合方法得到的EN值略低于现有技术中的DIVFusion图像融合方法，这主要是由于本申请旨在解决满足实时融合需求的问题，因此，本申请所述的图像融合方法通过减少网络结构的复杂度，使得算法更为轻量级，从而便于实时融合。

Claims (6)

1.一种基于视觉增强的红外与可见光图像融合方法，其特征在于：包括如下步骤：
步骤1：构建自编码器，并训练自编码器；其中，所述自编码器包含一个编码器Encoder和一个解码器Decoder，所述编码器Encoder由四个依次连接的编码单元组成，所述解码器Decoder由四个依次连接的解码单元组成，其中编码单元由依次连接的卷积层和lrelu激活层组成，解码单元也是由依次连接的卷积层和lrelu激活层组成；步骤1中，训练自编码器包括如下具体步骤：
步骤1.1：读取自编码器训练集中的图像，然后调整图像的尺寸，然后将图像转换到YCbCr颜色空间中，得图像Y通道的像素值；然后，将图像的像素值进行归一化处理，即得到输入图像；
步骤1.2：将输入图像的Y通道图IY 输入自编码器中进行编码，得到深度特征图F；
步骤1.3：将深度特征图F输入到自编码器中进行解码，得到输出的Y通道图OY ；
步骤1.4：根据损失函数计算输入图像的Y通道IY 和重构的Y通道图OY 之间的特征损失；
步骤1.5：用Adam优化器优化梯度，更新自编码器的参数；
步骤1.6：重复步骤1.1至步骤1.5，直到在整个训练集上迭代次数epoch达到设定阈值，得到训练好的自编码器；
步骤2：获取增强网络的训练集；
步骤3：构建增强网络，训练增强网络，得到训练好的增强网络模型；其中，所述增强网络包括照度模块和反射率模块，照度模块包含三层卷积层，反射率模块的结构与照度模块的结构相同；
步骤3中，所述增强网络的训练过程包括如下步骤：
步骤3.1：读取增强网络训练的训练集中的低光与正常光图像对（Il,In)，然后分别将低光图像Il和正常光图像In转换到YCbCr颜色空间，提取低光图像Il和正常光图像In的Y通道图，得到Y通道图对(IlY,InY)；
步骤3.2：分别将低光图像Y通道图IlY 、正常光图像Y通道图InY 输入到步骤1得到的训练好的自编码器中进行编码，计算得到特征图对(FlY,FnY)；
步骤3.3：将特征图FlY和特征图FnY分别输入到增强网络中分别计算照度和反射率，计算得到低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr以及正常光图像的反射率特征图Fnr；而后，将低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr分别输入到步骤1得到的训练好的自编码器中进行解码，得到低光图像的照度图Ili 、正常光图像的照度图Ini、低光图像的反射率图Ilr 以及正常光图像的反射率图Inr；
步骤3.4：根据损失函数计算增强网络的损失值，并利用Adam优化器优化损失梯度并反向传播，更新增强网络的模型参数；
步骤3.5：重复步骤3.1至步骤3.4，在增强网络的训练集上直到迭代次数达到设定阈值，即可得到训练好的增强网络模型；
步骤4：获取融合网络的训练集与测试集；
步骤5：构建融合网络，训练融合网络，得到训练好的融合网络模型；其中，所述融合网络包括上支路和下支路这两条支路，其中，上支路包括三个卷积单元，每个卷积单元均由一个3×3卷积层和一个lrelu激活层组成；下支路为一个1×1的卷积层；
步骤5中，所述融合网络的训练过程包括以下步骤：
步骤5.1：读取融合网络的训练集中的红外图像与可见光图像对(Ii,Iv)，然后分别将红外图像Ii和可见光图像Iv转换到YCbCr颜色空间，提取红外图像Ii和可见光图像Iv的Y通道图，得到Y通道图对（IiY,IvY）；
步骤5.2：分别将Y通道图IiY 和Y通道图IvY输入步骤1中训练好的自编码器进行编码，计算得到特征图对(FiY,FvY)；
步骤5.3：将特征图FvY输入步骤3得到的训练好的增强网络模型中计算反射率，得到特征图Fve；
步骤5.4：将特征图对(FiY,Fve)在特征维度上连接，得拼接特征图，而后将拼接特征图输入到融合网络中，拼接特征图经融合网络处理得到全局信息融合特征图Ff1和全局信息融合特征图Ff2，而后将全局信息融合特征图Ff1和全局信息融合特征图Ff2在特征维度上连接得到全局信息融合特征图Ff；
步骤5.5：将全局信息融合特征图Ff输入步骤1得到的训练好的自编码器中进行解码，得到Y通道的融合图像IfY ；
步骤5.6：根据损失函数计算融合网络的损失值，利用Adam优化器优化损失梯度并反向传播，更新融合网络的模型参数；
步骤6：利用融合网络的测试集中的测试数据对步骤5得到的训练好的融合网络模型进行测试，得融合图像；
步骤6具体包括如下步骤：
步骤6.1：将融合网络的测试集中的测试数据输入到步骤5得到的训练好的融合网络模型中并依次按照步骤5.1到步骤5.5进行，得到Y通道的融合图像IfY ；
步骤6.2：将Y通道的融合图像IfY 与可见光图像的CbCr通道在特征维度连接，得到YCbCr格式的图像，而后再转换为RGB格式，得到融合图像。
2.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法，其特征在于：步骤1.4中，损失函数的计算公式，如式（1）所示：
（1）
式（1）中，为结构损失，用于计算输入图像的Y通道IY 和重构的Y通道图OY的结构相似度；/>为内容损失，用于计算输入图像的Y通道IY 和重构的Y通道图OY 的欧氏距离；α为超参数，用于平衡结构损失和内容损失；
式（1）中的，其计算公式如式（2）所示：
（2）
式（2）中，为内容损失，用于计算输入图像的Y通道IY 和重构的Y通道图OY 的欧氏距离；
式（1）中的，其计算公式如式（3）所示：
（3）
式（3）中，为结构损失，用于计算输入图像的Y通道IY和重构的Y通道图OY的结构相似度；/>为输入图像的Y通道IY的均值；/>为重构的Y通道图OY的均值；C1为常数；/>为输入图像的Y通道IY和重构的Y通道图OY的协方差；C2为常数。
3.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法，其特征在于：步骤3.3的具体步骤为：将特征图FlY和特征图FnY分别输入到增强网络中，经增强网络的照度模块计算得到低光图像的照度特征图Fli和正常光图像的照度特征图Fni，经增强网络的反射率模块计算得到低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr；而后，将低光图像的照度特征图Fli、正常光图像的照度特征图Fni、低光图像的反射率特征图Flr和正常光图像的反射率特征图Fnr分别输入到步骤1得到的训练好的自编码器的解码器Decoder中，得到低光图像的照度图Ili 、正常光图像的照度图Ini、低光图像的反射率图Ilr以及正常光图像的反射率图Inr。
4.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法，其特征在于：步骤3.4中，损失函数包含了四个部分，重构损失/>、照度平滑度损失/>、反射率不变损失/>以及共同一致性损失/>；损失函数/>的计算公式，如式（4）所示：
（4）
式（4）中，为重构损失、/>为照度平滑度损失、/>为反射率不变损失、为共同一致性损失；β1、β2和β3均为超参数；
重构损失计算公式，如式（5）所示：
（5）
式（5）中，|| ||1表示的第一范数计算，为正常光图像、/>为正常光图像的照度、/>为正常光图像的反射率、/>为低光图像、/>为低光图像的照度、/>为低光图像的反射率；
照度平滑度损失计算公式，如式（6）所示：
（6）
式（6）中，|| ||1表示的第一范数计算，低光图像的照度的梯度值、/>为正常光图像的照度的梯度值、/>为低光图像的梯度值、/>为正常光图像的梯度值；
反射率不变损失计算公式，如式（7）所示：
（7）
式（7）中，|| ||表示的第一范数计算，反射率不变损失、/>为低光图像的反射率、/>正常光图像的反射率；
共同一致性损失计算公式，如式（8）所示：
（8）
式（8）中，|| ||1表示的第一范数计算，为低光图像的照度的梯度值、/>为正常光图像的照度的梯度值、c为常数。
5.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法，其特征在于：步骤5.4的具体步骤为：将特征图对(FiY,Fve)在特征维度上连接，得拼接特征图，而后将拼接特征图输入到融合网络中，拼接特征图经融合网络的上支路处理得到全局信息融合特征图Ff1，拼接特征图经融合网络的下支路处理得到全局信息融合特征图Ff2，而后将全局信息融合特征图Ff1和全局信息融合特征图Ff2在特征维度上连接得到全局信息融合特征图Ff。
6.根据权利要求1所述的一种基于视觉增强的红外与可见光图像融合方法，其特征在于：步骤5.6中，损失函数包含了强度损失/>和梯度损失/>这两个部分，损失函数/>的计算公式，如式（9）所示：
（9）
式（9）中，为强度损失、/>为梯度损失；γ为超参数，用于平衡两项损失；
强度损失的计算公式，如式（10）所示：
（10）
式（10）中，|| ||1表示的第一范数计算，H为可见光图像的高、W为可见光图像的宽、为Y通道融合图像、/>为红外图像Ii的Y通道图；
梯度损失的计算公式，如式（11）所示：
（11）
式（11）中，|| ||1表示的第一范数计算，H为可见光图像的高、W为可见光图像的宽、表示Sobel梯度计算操作，用于度量图像的细粒度纹理信息；/>为融合图像IfY的梯度值、为可见光图像Iv的Y通道图的梯度值、/>为红外图像Ii的梯度值。
CN202310530022.8A 2023-05-12 2023-05-12 基于视觉增强的红外与可见光图像融合方法 Active CN116363036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310530022.8A CN116363036B (zh) 2023-05-12 2023-05-12 基于视觉增强的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310530022.8A CN116363036B (zh) 2023-05-12 2023-05-12 基于视觉增强的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN116363036A CN116363036A (zh) 2023-06-30
CN116363036B true CN116363036B (zh) 2023-10-10

Family

ID=86922475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310530022.8A Active CN116363036B (zh) 2023-05-12 2023-05-12 基于视觉增强的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN116363036B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757988B (zh) * 2023-08-17 2023-12-22 齐鲁工业大学(山东省科学院) 基于语义丰富和分割任务的红外与可见光图像融合方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709902A (zh) * 2020-05-21 2020-09-25 江南大学 基于自注意力机制的红外和可见光图像融合方法
CN111968044A (zh) * 2020-07-16 2020-11-20 中国科学院沈阳自动化研究所 基于Retinex和深度学习的低照度图像增强方法
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
CN114022742A (zh) * 2021-10-22 2022-02-08 中国科学院长春光学精密机械与物理研究所 红外与可见光图像融合方法、装置及计算机存储介质
CN114782298A (zh) * 2022-04-24 2022-07-22 西安交通大学 一种具有区域注意力的红外与可见光图像融合方法
CN115035003A (zh) * 2022-04-11 2022-09-09 太原科技大学 交互补偿注意力的红外与可见光图像对抗融合方法
WO2022257408A1 (zh) * 2021-06-10 2022-12-15 南京邮电大学 一种基于u型网络的医学图像分割方法
CN115565035A (zh) * 2022-11-08 2023-01-03 长春理工大学 一种用于夜间目标增强的红外与可见光图像融合方法
CN115689960A (zh) * 2022-10-27 2023-02-03 长春理工大学 一种夜间场景下照度自适应的红外与可见光图像融合方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109345449B (zh) * 2018-07-17 2020-11-10 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
US11055574B2 (en) * 2018-11-20 2021-07-06 Xidian University Feature fusion and dense connection-based method for infrared plane object detection
CN111062905B (zh) * 2019-12-17 2022-01-04 大连理工大学 一种基于显著图增强的红外和可见光融合方法
CN111080724B (zh) * 2019-12-17 2023-04-28 大连理工大学 一种红外和可见光的融合方法
US11580646B2 (en) * 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net
KR20230040111A (ko) * 2021-09-15 2023-03-22 삼성전자주식회사 이미지 처리 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929694B1 (en) * 2020-01-22 2021-02-23 Tsinghua University Lane detection method and system based on vision and lidar multi-level fusion
CN111709902A (zh) * 2020-05-21 2020-09-25 江南大学 基于自注意力机制的红外和可见光图像融合方法
CN111968044A (zh) * 2020-07-16 2020-11-20 中国科学院沈阳自动化研究所 基于Retinex和深度学习的低照度图像增强方法
WO2022257408A1 (zh) * 2021-06-10 2022-12-15 南京邮电大学 一种基于u型网络的医学图像分割方法
CN114022742A (zh) * 2021-10-22 2022-02-08 中国科学院长春光学精密机械与物理研究所 红外与可见光图像融合方法、装置及计算机存储介质
CN115035003A (zh) * 2022-04-11 2022-09-09 太原科技大学 交互补偿注意力的红外与可见光图像对抗融合方法
CN114782298A (zh) * 2022-04-24 2022-07-22 西安交通大学 一种具有区域注意力的红外与可见光图像融合方法
CN115689960A (zh) * 2022-10-27 2023-02-03 长春理工大学 一种夜间场景下照度自适应的红外与可见光图像融合方法
CN115565035A (zh) * 2022-11-08 2023-01-03 长春理工大学 一种用于夜间目标增强的红外与可见光图像融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于S4-YOLO的海上目标检测识别方法;赵文强;孙巍;;光学与光电技术(第04期);全文 *
完全残差连接与多尺度特征融合遥感图像分割;张小娟;汪西莉;;遥感学报(09);全文 *
红外与可见光图像融合的U-GAN模型;陈卓;方明;柴旭;付飞蚺;苑丽红;;西北工业大学学报(04);全文 *

Also Published As

Publication number Publication date
CN116363036A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN110378849B (zh) 基于深度残差网络的图像去雾去雨方法
CN113052210A (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
CN111709900A (zh) 一种基于全局特征指导的高动态范围图像重建方法
CN112819910A (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN114897742B (zh) 一种纹理和结构特征两次融合的图像修复方法
CN116363036B (zh) 基于视觉增强的红外与可见光图像融合方法
CN114782298B (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN102982520A (zh) 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法
CN113392711A (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN114972134A (zh) 一种提取并融合局部和全局特征的低光图像增强方法
CN112070688A (zh) 一种基于上下文引导生成对抗网络的单幅图像去雾方法
CN113420794A (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN115457249A (zh) 红外图像与可见光图像融合匹配的方法及系统
CN113379861B (zh) 基于色彩恢复块的彩色微光图像重建方法
CN117391981A (zh) 一种基于低光照明和自适应约束的红外与可见光图像融合方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN112037139B (zh) 基于RBW-CycleGAN网络的图像去雾方法
CN113436101A (zh) 基于高效通道注意力机制的龙格库塔模块去雨的方法
CN117333359A (zh) 基于可分离卷积网络的山水画图像超分辨率重建方法
CN114841895B (zh) 一种基于双向映射网络的图像阴影去除方法
CN116523794A (zh) 一种基于卷积神经网络的低光照图像增强方法
CN116309221A (zh) 一种多光谱图像融合模型的构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant