CN117611473B - 一种同步去噪的图像融合方法及其相关设备 - Google Patents

一种同步去噪的图像融合方法及其相关设备 Download PDF

Info

Publication number
CN117611473B
CN117611473B CN202410100287.9A CN202410100287A CN117611473B CN 117611473 B CN117611473 B CN 117611473B CN 202410100287 A CN202410100287 A CN 202410100287A CN 117611473 B CN117611473 B CN 117611473B
Authority
CN
China
Prior art keywords
image
channel
network model
fusion
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410100287.9A
Other languages
English (en)
Other versions
CN117611473A (zh
Inventor
李小松
黄敬学
杨乐淼
陈健伸
谭海曙
易鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202410100287.9A priority Critical patent/CN117611473B/zh
Publication of CN117611473A publication Critical patent/CN117611473A/zh
Application granted granted Critical
Publication of CN117611473B publication Critical patent/CN117611473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请属于图像处理技术领域，公开了一种同步去噪的图像融合方法及其相关设备，所述方法包括：构建训练后的融合网络模型；把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道、Cr通道和Cb通道图像；把待融合的Y通道图像和待融合的红外光图像输入训练后的融合网络模型，得到其输出的亮度通道图像，记为待融合的亮度通道图像；以待融合的亮度通道图像作为引导图像对待融合的Cr通道图像和待融合的Cb通道图像进行引导滤波；把待融合的亮度通道图像、滤波后的Cb通道图像和滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像；从而能够在进行图像融合的同时实现去噪，并提高融合图像质量。

Description

一种同步去噪的图像融合方法及其相关设备
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种同步去噪的图像融合方法及其相关设备。
背景技术
在一些现实场景中，需要使用不同的传感器对目标场景进行检测和感知，从而得到不同模态的源图像，进而把不同模态的源图像融合以获得具有更多有效信息的融合图像（例如，采用可见光传感器和红外传感器获得可见光图像和红外图像后融合得到融合图像），用以辅助完成如目标追踪、无人驾驶、军事侦察等任务。
现有的大部分图像融合算法通常是把源图像假设为无噪声图像进行融合处理的，但实际上，源图像传输过程中或存储阶段中会受到噪声（主要包括电子噪声和非均匀性噪声）影响，影响融合图像的质量，从而影响后续视觉任务的执行。针对噪声影响的问题，目前在基于深度学习的图像融合方法中通常采用以下两种解决方案，一是先对噪声源图像进行去噪，再进行图像融合，二是先使用噪声源图像进行融合，再对融合图像进行去噪处理，两种解决方案中均需要单独使用现有的去噪算法进行去噪处理，从而只能容忍现有去噪算法所具有的固有缺点，最终导致生成的融合图像质量欠佳。因此，需要寻求一种能够在进行图像融合的同时实现去噪以提高融合图像质量的方法。
发明内容
本申请的目的在于提供一种同步去噪的图像融合方法及其相关设备，能够在进行图像融合的同时实现去噪，并提高融合图像质量。
第一方面，本申请提供了一种同步去噪的图像融合方法，用于对可见光图像和红外光图像进行融合处理，包括步骤：
A1.构建训练后的融合网络模型；所述融合网络模型用于把有噪声的可见光图像的Y通道图像和有噪声的红外光图像融合为无噪声的亮度通道图像；
A2.把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道图像、待融合的Cr通道图像和待融合的Cb通道图像；
A3.把所述待融合的Y通道图像和待融合的红外光图像输入所述训练后的融合网络模型，得到所述训练后的融合网络模型输出的亮度通道图像，记为待融合的亮度通道图像；
A4.以所述待融合的亮度通道图像作为引导图像对所述待融合的Cr通道图像和所述待融合的Cb通道图像进行引导滤波，得到滤波后的Cr通道图像和滤波后的Cb通道图像；
A5.把所述待融合的亮度通道图像、所述滤波后的Cb通道图像和所述滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像。
把可见光图像从RGB通道转换到YCrCb通道后，利用融合网络模型对Y通道图像和红外光图像进行融合的同时进行去噪，得到无噪声的亮度通道图像，用以引导Cb通道图像和Cr通道图像进行引导滤波，最终把无噪声的亮度通道图像、滤波后的Cb通道图像和滤波后的Cr通道图像融合为融合图像，能够在进行图像融合的同时实现去噪，并提高融合图像质量。
优选地，步骤A1包括：
A101.获取训练数据集；所述训练数据集包括多个样本，每个样本包括一组源图像和一组干净图像，所述一组源图像包括一个有噪声Y通道图像和有噪声红外光图像，所述一组干净图像包括对应于所述有噪声Y通道图像的无噪声Y通道图像和对应于所述有噪声红外光图像的无噪声红外光图像；
A102.建立基于U-Net结构的融合网络模型和建立分解网络模型，把所述融合网络模型的输出作为所述分解网络模型的输入，组成训练网络模型；所述分解网络模型用于把所述融合网络模型输出的亮度通道图像分解为分解图像，所述分解图像包括Y通道分解图像和红外光分解图像；
A103.基于包含所述融合网络模型的融合损失和所述分解网络模型的分解损失的总损失函数，利用所述训练数据集对所述训练网络模型进行训练，使所述分解网络模型输出的分解图像趋近于输入样本中的干净图像；
A104.提取完成训练的所述训练网络模型中的所述融合网络模型，作为训练后的融合网络模型。
利用分解网络模型配合基于U-Net结构的融合网络模型进行训练，迫使融合网络模型的输出图像能够分解为两张无噪声的图像，从而使融合网络模型具备去噪能力，进而提高融合网络模型的去噪和保留源图像细节的能力。
优选地，所述融合网络模型包括编码层、融合层和解码层；
所述编码层用于从输入的Y通道图像和红外光图像中分别提取6个不同尺度的特征图；
所述融合层用于基于注意力的融合策略，对所述Y通道图像和所述红外光图像的同一尺度下的所述特征图进行融合，得到6个不同尺度的融合特征图；
所述解码层用于把6个不同尺度的所述融合特征图融合为亮度通道图像。
优选地，所述分解网络模型包括两个具有相同网络结构的分支，所述分解网络模型的每个所述分支包括依次连接的第一层卷积单元、第二层卷积单元、第三层卷积单元和第四层卷积单元。
优选地，所述总损失函数为：
；
；
；
其中，为所述总损失函数，/>为所述融合损失，/>为所述分解损失，/>为强度损失，/>为融合结构性损失，/>为高级语义损失，/>为分解图像与对应的干净图像之间的分解结构性损失，/>为分解图像与对应的干净图像之间的纹理细节损失，为分解图像与对应的干净图像之间的语义一致性损失，α为权重。
通过引入分解结构性损失、纹理细节损失和语义一致性损失对整个训练网络模型进行约束，使融合网络模型输出的亮度通道图像能够分解出两张与输入样本中的干净图像一致的分解图像，即，使得融合网络模型输出的亮度通道图像包含更少的噪声且包含更丰富的源图像的细节特征，从而可以促使其中的融合网络模型具备更强的去噪和恢复细节能力；同时，引入融合损失、分解损失和强度损失对融合网络模型的融合过程进行约束，可以进一步提高融合质量。
优选地，所述强度损失的计算公式为：
；
其中，为/>范数，/>为所述融合网络模型输出的亮度通道图像，/>为无噪声红外光图像，/>为无噪声Y通道图像，H、W分别是源图像的高和宽；
所述融合结构性损失的计算公式为：
；
其中，SSIM()为SSIM函数；
所述高级语义损失的计算公式为：
；
其中，为分割损失函数，/>为辅助分割损失函数，/>是一个权重；分割损失函数和辅助分割损失函数定义为：
；
；
其中，X为被分割图像的表示符号，和/>分别表示图像X在预训练分割模型中得到的分割结果和辅助分割结果， />表示图像X对应的分割标签，C表示通道数，h、w为像素坐标和c为通道序号，/> 为图像X在预训练分割模型中得到的分割结果中第c通道的（h,w）位置处的特征值，/>为图像X在预训练分割模型中得到的辅助分割结果中第c通道的（h,w）位置处的特征值，/>为图像X对应的分割标签中第c通道的（h,w）位置处的特征值；
所述语义一致性损失的计算公式为：
；
其中， 为绝对值，/>为红外光分解图像，/>为Y通道分解图像，/>为语义损失，/>定义为：/>；
所述纹理细节损失的计算公式为：
；
其中，为索贝尔算子，/>为L1范数；
所述分解结构性损失的计算公式为：
。
优选地，步骤A102之后和步骤A103之前，把基于U-Net结构的融合网络模型中的卷积层替换为基于DBB-Net结构的多样分支块，在步骤A104之后，通过结构重参数方法把训练后的融合网络模型中的多样分支块替换为卷积层。
在训练过程中，用基于DBB-Net结构的多样分支块替代U-Net结构中的卷积层，在不改变融合网络模型的宏观结构特性的同时，相对复杂的微结构（即多样分支块）能够通过结合不同尺度和复杂性的不同分支来丰富特征空间，从而达到提高整个融合网络模型性能的目的；完成训练后，使用结构重参数方法，把相对复杂的微结构替换回单个的卷积层，在后续进行使用时，不会由于复杂的微结构的存在而增加融合网络模型的计算时间；从而，能够在不降低融合网络模型的计算效率的情况下，提高融合网络模型的表达能力和性能。
第二方面，本申请提供了一种图像融合装置，用于对可见光图像和红外光图像进行融合处理，包括：
构建模块，用于构建训练后的融合网络模型；所述融合网络模型用于把有噪声的可见光图像的Y通道图像和有噪声的红外光图像融合为无噪声的亮度通道图像；
转换模块，用于把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道图像、待融合的Cr通道图像和待融合的Cb通道图像；
第一融合模块，用于把所述待融合的Y通道图像和待融合的红外光图像输入所述训练后的融合网络模型，得到所述训练后的融合网络模型输出的亮度通道图像，记为待融合的亮度通道图像；
滤波模块，用于以所述待融合的亮度通道图像作为引导图像对所述待融合的Cr通道图像和所述待融合的Cb通道图像进行引导滤波，得到滤波后的Cr通道图像和滤波后的Cb通道图像；
第二融合模块，用于把所述待融合的亮度通道图像、所述滤波后的Cb通道图像和所述滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像。
第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述的同步去噪的图像融合方法中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述的同步去噪的图像融合方法中的步骤。
有益效果：本申请提供的同步去噪的图像融合方法及其相关设备，把可见光图像从RGB通道转换到YCrCb通道后，利用融合网络模型对Y通道图像和红外光图像进行融合的同时进行去噪，得到无噪声的亮度通道图像，用以引导Cb通道图像和Cr通道图像进行引导滤波，最终把无噪声的亮度通道图像、滤波后的Cb通道图像和滤波后的Cr通道图像融合为融合图像，能够在进行图像融合的同时实现去噪，并提高融合图像质量。
附图说明
图1为本申请实施例提供的同步去噪的图像融合方法的流程图。
图2为本申请实施例提供的图像融合装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为本申请实施例提供的同步去噪的图像融合方法的原理图。
图5为融合网络模型的结构示意图。
图6为分解网络模型的结构示意图。
图7融合网络模型训练过程的原理图。
图8为多样分支块的结构示意图。
图9为一组对比图像。
图10为另一组对比图像。
标号说明：90、编码层；91、融合层；92、解码层；93、第一层卷积单元；94、第二层卷积单元；95、第三层卷积单元；96、第四层卷积单元；1、构建模块；2、转换模块；3、第一融合模块；4、滤波模块；5、第二融合模块；301、处理器；302、存储器；303、通信总线。
实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种同步去噪的图像融合方法，用于对可见光图像和红外光图像（该可见光图像和红外光图像是关于同一拍摄对象的图像）进行融合处理，包括步骤：
A1.构建训练后的融合网络模型；融合网络模型用于把有噪声的可见光图像的Y通道图像和有噪声的红外光图像融合为无噪声的亮度通道图像；
A2.把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道图像、待融合的Cr通道图像和待融合的Cb通道图像；
A3.把待融合的Y通道图像和待融合的红外光图像输入训练后的融合网络模型，得到训练后的融合网络模型输出的亮度通道图像，记为待融合的亮度通道图像；
A4.以待融合的亮度通道图像作为引导图像对待融合的Cr通道图像和待融合的Cb通道图像进行引导滤波，得到滤波后的Cr通道图像和滤波后的Cb通道图像；
A5.把待融合的亮度通道图像、滤波后的Cb通道图像和滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像。
把可见光图像从RGB通道转换到YCrCb通道后，利用融合网络模型对Y通道图像和红外光图像进行融合的同时进行去噪，得到无噪声的亮度通道图像，用以引导Cb通道图像和Cr通道图像进行引导滤波，最终把无噪声的亮度通道图像、滤波后的Cb通道图像和滤波后的Cr通道图像融合为融合图像，能够在进行图像融合的同时实现去噪，并提高融合图像质量。
该同步去噪的图像融合方法的原理如图4所示，图中a为待融合的可见光图像，b为待融合的红外光图像，a1为待融合的Cb通道图像，a2为待融合的Cr通道图像，a3为待融合的Y通道图像，B为训练后的融合网络模型，a3’为待融合的亮度通道图像，a1’为滤波后的Cb通道图像，a2’为滤波后的Cr通道图像，A为融合图像。其中，利用无噪声的亮度通道图像（即待融合的亮度通道图像a3’）对待融合的Cb通道图像a1和待融合的Cr通道图像a2进行引导滤波，一方面可以滤除图像a1和图像a2中的噪声，另一方面可以使图像a1’和图像a2’保留与图像a3’中的图像细节信息对应的图像信息，从而使融合后的融合图像A的细节特征更加突出。
具体地，步骤A1包括：
A101.获取训练数据集；训练数据集包括多个样本，每个样本包括一组源图像和一组干净图像，一组源图像包括一个有噪声Y通道图像和有噪声红外光图像，一组干净图像包括对应于有噪声Y通道图像的无噪声Y通道图像和对应于有噪声红外光图像的无噪声红外光图像；
A102.建立基于U-Net结构的融合网络模型和建立分解网络模型，把融合网络模型的输出作为分解网络模型的输入，组成训练网络模型；分解网络模型用于把融合网络模型输出的亮度通道图像分解为分解图像，分解图像包括Y通道分解图像和红外光分解图像；
A103.基于包含融合网络模型的融合损失和分解网络模型的分解损失的总损失函数，利用训练数据集对训练网络模型进行训练，使分解网络模型输出的分解图像趋近于输入样本中的干净图像；
A104.提取完成训练的训练网络模型中的融合网络模型，作为训练后的融合网络模型。
利用分解网络模型配合基于U-Net结构的融合网络模型进行训练，迫使融合网络模型的输出图像能够分解为两张无噪声的图像，从而使融合网络模型具备去噪能力，进而提高融合网络模型的去噪和保留源图像细节的能力。
其中，步骤A101中，可以获取多个无噪声可见光图像和对应的无噪声红外光图像，针对每个无噪声可见光图像和对应的无噪声红外光图像，把无噪声可见光图像从RGB通道转换到YCrCb通道以得到无噪声Y通道图像，以该无噪声Y通道图像和对应的无噪声红外光图像组成一个样本的一组干净图像，然后往该无噪声Y通道图像和对应的无噪声红外光图像中加入噪声，得到有噪声Y通道图像和有噪声红外光图像，组成对应样本的一组源图像；由多个样本组成训练数据集。但获取训练数据集的方式不限于此。
其中把可见光图像从RGB通道转换到YCrCb通道的方法为现有技术，此处不对其进行详述。
优选地，见图5，融合网络模型包括编码层90、融合层91和解码层92；
编码层90用于从输入的Y通道图像和红外光图像中分别提取6个不同尺度的特征图；
融合层91用于基于注意力的融合策略，对Y通道图像和红外光图像的同一尺度下的特征图进行融合，得到6个不同尺度的融合特征图；
解码层92用于把6个不同尺度的融合特征图融合为亮度通道图像。
具体地，编码层90包括依次连接的第一双层卷积单元、第一下采样双层卷积单元、第二下采样双层卷积单元、第三下采样双层卷积单元、第四下采样双层卷积单元和第五下采样双层卷积单元；
第一双层卷积单元包括依次连接的两个步长为1的3×3卷积层（3×3指核大小）；第一下采样双层卷积单元、第二下采样双层卷积单元、第三下采样双层卷积单元、第四下采样双层卷积单元和第五下采样双层卷积单元均为第二双层卷积单元，该第二双层卷积单元包括依次连接的两个步长为1的3×3卷积层；
编码层90各个单元的输入通道数和输出通道数如表1所示。
表1
名称 输入通道数 输出通道数
第一双层卷积单元 1 32
第一下采样双层卷积单元 32 64
第二下采样双层卷积单元 64 128
第三下采样双层卷积单元 128 256
第四下采样双层卷积单元 256 512
第五下采样双层卷积单元 512 1024
具体地，解码层92包括依次连接的第一上采样双层卷积单元、第二上采样双层卷积单元、第三上采样双层卷积单元、第四上采样双层卷积单元、第五上采样双层卷积单元和步长为1的1×1卷积层（1×1指核大小）；
第一上采样双层卷积单元、第二上采样双层卷积单元、第三上采样双层卷积单元、第四上采样双层卷积单元、第五上采样双层卷积单元均包括依次连接的反卷积层和第一双层卷积单元，该反卷积层的核大小为2×2、步长为2，该反卷积层的输出通道数与输入通道数之比为1:2；
解码层92各个单元的输入通道数和输出通道数如表2所示。
表2
名称 输入通道数 输出通道数
第一上采样双层卷积单元 1024 512
第二上采样双层卷积单元 512 256
第三上采样双层卷积单元 256 128
第四上采样双层卷积单元 128 64
第五上采样双层卷积单元 64 32
1×1卷积层 32 1
优选地，见图6，分解网络模型包括两个具有相同网络结构的分支，分解网络模型的每个分支包括依次连接的第一层卷积单元93、第二层卷积单元94、第三层卷积单元95和第四层卷积单元96。
具体地，第一层卷积单元93、第二层卷积单元94和第三层卷积单元95均包括依次连接的步长为1的3×3卷积层和线性修正单元；第四层卷积单元96包括依次连接的步长为1的3×3卷积层和Tanh函数激活层；第一层卷积单元93、第二层卷积单元94、第三层卷积单元95和第四层卷积单元96中的3×3卷积层的输入通道数和输出通道数如表3所示。
表3
名称 输入通道数 输出通道数
第一层卷积单元 1 16
第二层卷积单元 16 32
第三层卷积单元 32 16
第四层卷积单元 16 1
参考图7，步骤A102中，把融合网络模型的输出作为分解网络模型的输入，组成训练网络模型，图中，D为融合网络模型，E为分解网络模型，IY为输入融合网络模型的Y通道图像，IR为输入融合网络模型的红外光图像，IF为融合网络模型输出的亮度通道图像，IY’为分解网络模型分解出的Y通道分解图像，IR’为分解网络模型分解出的红外光分解图像。
具体地，步骤A103中，依次把训练数据集中各样本的源图像输入融合网络模型，得到融合网络模型输出的亮度通道图像和分解网络模型输出的分解图像，根据融合网络模型输出的亮度通道图像、分解网络模型输出的分解图像和样本中的干净图像计算总损失函数，根据总损失函数调整融合网络模型和分解网络模型的模型参数，直达总损失函数收敛。例如，可采用梯度下降法对训练网络模型进行训练和模型参数调整，但不限于此。
优选地，总损失函数为：
；
；
；
其中，为总损失函数，/>为融合损失，/>为分解损失，/>为强度损失，为融合结构性损失，/>为高级语义损失，/>为分解图像与对应的干净图像之间的分解结构性损失，/>为分解图像与对应的干净图像之间的纹理细节损失，/>为分解图像与对应的干净图像之间的语义一致性损失，α为权重（可根据实际需要设置）。
通过引入分解结构性损失、纹理细节损失和语义一致性损失对整个训练网络模型进行约束，使融合网络模型输出的亮度通道图像能够分解出两张与输入样本中的干净图像一致的分解图像，即，使得融合网络模型输出的亮度通道图像包含更少的噪声且包含更丰富的源图像的细节特征，从而可以促使其中的融合网络模型具备更强的去噪和恢复细节能力；同时，引入融合损失、分解损失和强度损失对融合网络模型的融合过程进行约束，可以进一步提高融合质量。
进一步地，强度损失的计算公式为：
；
其中，为/>范数，/>为融合网络模型输出的亮度通道图像，/>为无噪声红外光图像（即样本中的干净图像之一的无噪声红外光图像），/>为无噪声Y通道图像（即样本中的干净图像之一的无噪声Y通道图像），H、W分别是源图像的高和宽（即样本中的源图像的高和宽）。
进一步地，融合结构性损失的计算公式为：
；
其中，SSIM()为SSIM函数（其具体表示式为现有技术，此处不对其进行详述）。
进一步地，高级语义损失的计算公式为：
；
其中，为分割损失函数，/>为辅助分割损失函数，/>是一个权重（为预设值，可根据实际需要设置）；分割损失函数和辅助分割损失函数定义为：
；
；
其中，X为被分割图像的表示符号，和/>分别表示图像X在预训练分割模型中得到的分割结果和辅助分割结果，/>表示图像X对应的分割标签，C表示通道数，h、w为像素坐标和c为通道序号，/> 为图像X在预训练分割模型中得到的分割结果中第c通道的（h,w）位置处的特征值，/>为图像X在预训练分割模型中得到的辅助分割结果中第c通道的（h,w）位置处的特征值，/>为图像X对应的分割标签中第c通道的（h,w）位置处的特征值。
进一步地，语义一致性损失的计算公式为：
；
其中， 为绝对值，/>为红外光分解图像（即分解网络模型输出的分解图像之一的红外光分解图像），/>为Y通道分解图像（即分解网络模型输出的分解图像之一的Y通道分解图像），/>为语义损失，/>定义为：/>引入语义一致性损失，是为了使分解网络模型输出的分解图像与对应的干净图像的高级语义信息一致。
进一步地，纹理细节损失的计算公式为：
；
其中，为索贝尔算子，/>为L1范数；
进一步地，分解结构性损失的计算公式为：
。
在一些优选实施方式中，步骤A102之后和步骤A103之前，把基于U-Net结构的融合网络模型中的卷积层替换为基于DBB-Net结构的多样分支块，在步骤A104之后，通过结构重参数方法把训练后的融合网络模型中的多样分支块替换为卷积层。
在训练过程中，用基于DBB-Net结构的多样分支块替代U-Net结构中的卷积层，在不改变融合网络模型的宏观结构特性的同时，相对复杂的微结构（即多样分支块）能够通过结合不同尺度和复杂性的不同分支来丰富特征空间，从而达到提高整个融合网络模型性能的目的；完成训练后，使用结构重参数方法，把相对复杂的微结构替换回单个的卷积层，在后续进行使用时，不会由于复杂的微结构的存在而增加融合网络模型的计算时间；从而，能够在不降低融合网络模型的计算效率的情况下，提高融合网络模型的表达能力和性能。
具体地，可以把基于U-Net结构的融合网络模型中的第二双层卷积单元中的3×3卷积层替换为多样分支块。
其中，多样分支块的结构如图8所示，包括四个分支和线性修正单元，该四个分支分别为第一分支、第二分支、第三分支和第四分支，该四个分支的输入端并接，该四个分支的输出端相加后与线性修正单元连接；
第一分支包括依次连接的3×3卷积层和归一化层；
第二分支包括依次连接的1×1卷积层、归一化层、平均池化层和归一化层；
第三分支包括依次连接的1×1卷积层、归一化层、3×3卷积层和归一化层；
第四分支包括依次连接的1×1卷积层和归一化层。
其中，步骤A4中，引导滤波的具体方法为现有技术，此处不对其进行详述。
其中，步骤A5中，把图像从YCrCb通道转换到RGB通道的具体方法为现有技术，此处不对其进行详述。
图9和图10各显示了一组对比图像，每组对比图像中的红外图是指待融合的红外光图像，可见光是指待融合的可见光图，循环网络是指使用现有技术的循环网络对红外图和可见光图进行融合得到的融合图像，稀疏表示网络是指使用现有技术的稀疏表示网络对红外图和可见光图进行融合得到的融合图像，多尺度融合网络是指使用现有技术的多尺度融合网络对红外图和可见光图进行融合得到的融合图像，分解驱动网络是指使用本申请的同步去噪的图像融合方法对红外图和可见光图进行融合得到的融合图像。
从图9中可以看到，循环网络和稀疏表示网络存在对比度较低的问题，而本申请的方法消除噪声的同时还具备较高的色彩保真度。从图10可以看到，本申请的方法相对于其它3种方法，既能够保留红外光的突出目标信息，又能保留可见光的边缘细节信息。总之，在对红外光图像和可见光图像融合时，本申请的方法比其它3种方法，具备更加强大的消除冗余信息和保留源图像信息的能力。
此外，通过统计，本申请的同步去噪的图像融合方法的性能指标与其它3种方法的性能指标如表4所示。
表4
方法 EN SSIM Qcb PSNR CC
本申请 6.5662 0.6256 0.4091 16.5616 0.6675
循环网络 4.3617 0.2786 0.3661 14.6036 0.5912
稀疏表示网络 6.4538 0.6305 0.3900 16.0455 0.5931
多尺度融合网络 5.5879 0.4376 0.3707 15.9973 0.6077
表中，EN为信息熵，SSIM为结构相似性测量，Qcb为基于人类视觉系统建模的客观指标，PSNR为峰值信噪比，CC为相关系数。从表中可以看到，本申请的方法的CC、EN、Qcb、PSNR四个性能指标最高，展现出本申请的方法在鲁棒性、人类视觉效果、边缘信息、结构信息和信息量方面均比其它3种对比方法具有更高的性能。
由上可知，该同步去噪的图像融合方法，构建训练后的融合网络模型；融合网络模型用于把有噪声的可见光图像的Y通道图像和有噪声的红外光图像融合为无噪声的亮度通道图像；把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道图像、待融合的Cr通道图像和待融合的Cb通道图像；把待融合的Y通道图像和待融合的红外光图像输入训练后的融合网络模型，得到训练后的融合网络模型输出的亮度通道图像，记为待融合的亮度通道图像；以待融合的亮度通道图像作为引导图像对待融合的Cr通道图像和待融合的Cb通道图像进行引导滤波，得到滤波后的Cr通道图像和滤波后的Cb通道图像；把待融合的亮度通道图像、滤波后的Cb通道图像和滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像；从而能够在进行图像融合的同时实现去噪，并提高融合图像质量。
参考图2，本申请提供了一种图像融合装置，用于对可见光图像和红外光图像进行融合处理，包括：
构建模块1，用于构建训练后的融合网络模型；融合网络模型用于把有噪声的可见光图像的Y通道图像和有噪声的红外光图像融合为无噪声的亮度通道图像（具体过程参考前文的步骤A1）；
转换模块2，用于把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道图像、待融合的Cr通道图像和待融合的Cb通道图像（具体过程参考前文的步骤A2）；
第一融合模块3，用于把待融合的Y通道图像和待融合的红外光图像输入训练后的融合网络模型，得到训练后的融合网络模型输出的亮度通道图像，记为待融合的亮度通道图像（具体过程参考前文的步骤A3）；
滤波模块4，用于以待融合的亮度通道图像作为引导图像对待融合的Cr通道图像和待融合的Cb通道图像进行引导滤波，得到滤波后的Cr通道图像和滤波后的Cb通道图像（具体过程参考前文的步骤A4）；
第二融合模块5，用于把待融合的亮度通道图像、滤波后的Cb通道图像和滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像（具体过程参考前文的步骤A5）。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的同步去噪的图像融合方法，以实现以下功能：构建训练后的融合网络模型；融合网络模型用于把有噪声的可见光图像的Y通道图像和有噪声的红外光图像融合为无噪声的亮度通道图像；把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道图像、待融合的Cr通道图像和待融合的Cb通道图像；把待融合的Y通道图像和待融合的红外光图像输入训练后的融合网络模型，得到训练后的融合网络模型输出的亮度通道图像，记为待融合的亮度通道图像；以待融合的亮度通道图像作为引导图像对待融合的Cr通道图像和待融合的Cb通道图像进行引导滤波，得到滤波后的Cr通道图像和滤波后的Cb通道图像；把待融合的亮度通道图像、滤波后的Cb通道图像和滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的同步去噪的图像融合方法，以实现以下功能：构建训练后的融合网络模型；融合网络模型用于把有噪声的可见光图像的Y通道图像和有噪声的红外光图像融合为无噪声的亮度通道图像；把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道图像、待融合的Cr通道图像和待融合的Cb通道图像；把待融合的Y通道图像和待融合的红外光图像输入训练后的融合网络模型，得到训练后的融合网络模型输出的亮度通道图像，记为待融合的亮度通道图像；以待融合的亮度通道图像作为引导图像对待融合的Cr通道图像和待融合的Cb通道图像进行引导滤波，得到滤波后的Cr通道图像和滤波后的Cb通道图像；把待融合的亮度通道图像、滤波后的Cb通道图像和滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像。其中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种同步去噪的图像融合方法，用于对可见光图像和红外光图像进行融合处理，其特征在于，包括步骤：
A1.构建训练后的融合网络模型；所述融合网络模型用于把有噪声的可见光图像的Y通道图像和有噪声的红外光图像融合为无噪声的亮度通道图像；
A2.把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道图像、待融合的Cr通道图像和待融合的Cb通道图像；
A3.把所述待融合的Y通道图像和待融合的红外光图像输入所述训练后的融合网络模型，得到所述训练后的融合网络模型输出的亮度通道图像，记为待融合的亮度通道图像；
A4.以所述待融合的亮度通道图像作为引导图像对所述待融合的Cr通道图像和所述待融合的Cb通道图像进行引导滤波，得到滤波后的Cr通道图像和滤波后的Cb通道图像；
A5.把所述待融合的亮度通道图像、所述滤波后的Cb通道图像和所述滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像；
步骤A1包括：
A101.获取训练数据集；所述训练数据集包括多个样本，每个样本包括一组源图像和一组干净图像，所述一组源图像包括一个有噪声Y通道图像和有噪声红外光图像，所述一组干净图像包括对应于所述有噪声Y通道图像的无噪声Y通道图像和对应于所述有噪声红外光图像的无噪声红外光图像；
A102.建立基于U-Net结构的融合网络模型和建立分解网络模型，把所述融合网络模型的输出作为所述分解网络模型的输入，组成训练网络模型；所述分解网络模型用于把所述融合网络模型输出的亮度通道图像分解为分解图像，所述分解图像包括Y通道分解图像和红外光分解图像；
A103.基于包含所述融合网络模型的融合损失和所述分解网络模型的分解损失的总损失函数，利用所述训练数据集对所述训练网络模型进行训练，使所述分解网络模型输出的分解图像趋近于输入样本中的干净图像；
A104.提取完成训练的所述训练网络模型中的所述融合网络模型，作为训练后的融合网络模型；
所述总损失函数为：
；
；
；
其中，为所述总损失函数，/>为所述融合损失，/>为所述分解损失，/>为强度损失，/>为融合结构性损失，/>为高级语义损失，/>为分解图像与对应的干净图像之间的分解结构性损失，/>为分解图像与对应的干净图像之间的纹理细节损失，/>为分解图像与对应的干净图像之间的语义一致性损失，α为权重；
所述强度损失的计算公式为：
；
其中，为/>范数，/>为所述融合网络模型输出的亮度通道图像，/>为无噪声红外光图像，/>为无噪声Y通道图像，H、W分别是源图像的高和宽；
所述融合结构性损失的计算公式为：
；
其中，SSIM()为SSIM函数；
所述高级语义损失的计算公式为：
；
其中，为分割损失函数，/>为辅助分割损失函数，/>是一个权重；分割损失函数和辅助分割损失函数定义为：
；
；
其中，X为被分割图像的表示符号，和/>分别表示图像X在预训练分割模型中得到的分割结果和辅助分割结果， />表示图像X对应的分割标签，C表示通道数，h、w为像素坐标和c为通道序号，/> 为图像X在预训练分割模型中得到的分割结果中第c通道的（h,w）位置处的特征值，/>为图像X在预训练分割模型中得到的辅助分割结果中第c通道的（h,w）位置处的特征值，/>为图像X对应的分割标签中第c通道的（h,w）位置处的特征值；
所述语义一致性损失的计算公式为：
；
其中， 为绝对值，/>为红外光分解图像，/>为Y通道分解图像，/>为语义损失，/>定义为：/>；
所述纹理细节损失的计算公式为：
；
其中，为索贝尔算子，/>为L1范数；
所述分解结构性损失的计算公式为：
。
2.根据权利要求1所述的同步去噪的图像融合方法，其特征在于，所述融合网络模型包括编码层、融合层和解码层；
所述编码层用于从输入的Y通道图像和红外光图像中分别提取6个不同尺度的特征图；
所述融合层用于基于注意力的融合策略，对所述Y通道图像和所述红外光图像的同一尺度下的所述特征图进行融合，得到6个不同尺度的融合特征图；
所述解码层用于把6个不同尺度的所述融合特征图融合为亮度通道图像。
3.根据权利要求1所述的同步去噪的图像融合方法，其特征在于，所述分解网络模型包括两个具有相同网络结构的分支，所述分解网络模型的每个所述分支包括依次连接的第一层卷积单元、第二层卷积单元、第三层卷积单元和第四层卷积单元。
4.根据权利要求1所述的同步去噪的图像融合方法，其特征在于，步骤A102之后和步骤A103之前，把基于U-Net结构的融合网络模型中的卷积层替换为基于DBB-Net结构的多样分支块，在步骤A104之后，通过结构重参数方法把训练后的融合网络模型中的多样分支块替换为卷积层。
5.一种图像融合装置，用于对可见光图像和红外光图像进行融合处理，其特征在于，包括：
构建模块，用于构建训练后的融合网络模型；所述融合网络模型用于把有噪声的可见光图像的Y通道图像和有噪声的红外光图像融合为无噪声的亮度通道图像；
转换模块，用于把待融合的可见光图像从RGB通道转换到YCrCb通道，得到待融合的Y通道图像、待融合的Cr通道图像和待融合的Cb通道图像；
第一融合模块，用于把所述待融合的Y通道图像和待融合的红外光图像输入所述训练后的融合网络模型，得到所述训练后的融合网络模型输出的亮度通道图像，记为待融合的亮度通道图像；
滤波模块，用于以所述待融合的亮度通道图像作为引导图像对所述待融合的Cr通道图像和所述待融合的Cb通道图像进行引导滤波，得到滤波后的Cr通道图像和滤波后的Cb通道图像；
第二融合模块，用于把所述待融合的亮度通道图像、所述滤波后的Cb通道图像和所述滤波后的Cr通道图像结合并从YCrCb通道转换到RGB通道，得到融合图像；
构建模块在构建训练后的融合网络模型的时候，执行：
获取训练数据集；所述训练数据集包括多个样本，每个样本包括一组源图像和一组干净图像，所述一组源图像包括一个有噪声Y通道图像和有噪声红外光图像，所述一组干净图像包括对应于所述有噪声Y通道图像的无噪声Y通道图像和对应于所述有噪声红外光图像的无噪声红外光图像；
建立基于U-Net结构的融合网络模型和建立分解网络模型，把所述融合网络模型的输出作为所述分解网络模型的输入，组成训练网络模型；所述分解网络模型用于把所述融合网络模型输出的亮度通道图像分解为分解图像，所述分解图像包括Y通道分解图像和红外光分解图像；
基于包含所述融合网络模型的融合损失和所述分解网络模型的分解损失的总损失函数，利用所述训练数据集对所述训练网络模型进行训练，使所述分解网络模型输出的分解图像趋近于输入样本中的干净图像；
提取完成训练的所述训练网络模型中的所述融合网络模型，作为训练后的融合网络模型；
所述总损失函数为：
；
；
；
其中，为所述总损失函数，/>为所述融合损失，/>为所述分解损失，/>为强度损失，/>为融合结构性损失，/>为高级语义损失，/>为分解图像与对应的干净图像之间的分解结构性损失，/>为分解图像与对应的干净图像之间的纹理细节损失，/>为分解图像与对应的干净图像之间的语义一致性损失，α为权重；
所述强度损失的计算公式为：
；
其中，为/>范数，/>为所述融合网络模型输出的亮度通道图像，/>为无噪声红外光图像，/>为无噪声Y通道图像，H、W分别是源图像的高和宽；
所述融合结构性损失的计算公式为：
；
其中，SSIM()为SSIM函数；
所述高级语义损失的计算公式为：
；
其中，为分割损失函数，/>为辅助分割损失函数，/>是一个权重；分割损失函数和辅助分割损失函数定义为：
；
；
其中，X为被分割图像的表示符号，和/>分别表示图像X在预训练分割模型中得到的分割结果和辅助分割结果， />表示图像X对应的分割标签，C表示通道数，h、w为像素坐标和c为通道序号，/> 为图像X在预训练分割模型中得到的分割结果中第c通道的（h,w）位置处的特征值，/>为图像X在预训练分割模型中得到的辅助分割结果中第c通道的（h,w）位置处的特征值，/>为图像X对应的分割标签中第c通道的（h,w）位置处的特征值；
所述语义一致性损失的计算公式为：
；
其中， 为绝对值，/>为红外光分解图像，/>为Y通道分解图像，/>为语义损失，/>定义为：/>；
所述纹理细节损失的计算公式为：
；
其中，为索贝尔算子，/>为L1范数；
所述分解结构性损失的计算公式为：
。
6.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-4任一项所述的同步去噪的图像融合方法中的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-4任一项所述的同步去噪的图像融合方法中的步骤。
CN202410100287.9A 2024-01-24 2024-01-24 一种同步去噪的图像融合方法及其相关设备 Active CN117611473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410100287.9A CN117611473B (zh) 2024-01-24 2024-01-24 一种同步去噪的图像融合方法及其相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410100287.9A CN117611473B (zh) 2024-01-24 2024-01-24 一种同步去噪的图像融合方法及其相关设备

Publications (2)

Publication Number Publication Date
CN117611473A CN117611473A (zh) 2024-02-27
CN117611473B true CN117611473B (zh) 2024-04-23

Family

ID=89946638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410100287.9A Active CN117611473B (zh) 2024-01-24 2024-01-24 一种同步去噪的图像融合方法及其相关设备

Country Status (1)

Country Link
CN (1) CN117611473B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762277A (zh) * 2021-09-09 2021-12-07 东北大学 一种基于Cascade-GAN的多波段红外图像融合方法
WO2022126480A1 (zh) * 2020-12-17 2022-06-23 深圳先进技术研究院 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置
CN116091372A (zh) * 2023-01-03 2023-05-09 江南大学 基于层分离和重参数的红外和可见光图像融合方法
CN117391981A (zh) * 2023-10-17 2024-01-12 中国石油大学(华东) 一种基于低光照明和自适应约束的红外与可见光图像融合方法
CN117392496A (zh) * 2023-10-26 2024-01-12 金陵科技学院 基于红外与可见光图像融合的目标检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488976B (zh) * 2020-12-11 2022-05-17 华中科技大学 一种基于darts网络的多模态医学图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022126480A1 (zh) * 2020-12-17 2022-06-23 深圳先进技术研究院 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置
CN113762277A (zh) * 2021-09-09 2021-12-07 东北大学 一种基于Cascade-GAN的多波段红外图像融合方法
CN116091372A (zh) * 2023-01-03 2023-05-09 江南大学 基于层分离和重参数的红外和可见光图像融合方法
CN117391981A (zh) * 2023-10-17 2024-01-12 中国石油大学(华东) 一种基于低光照明和自适应约束的红外与可见光图像融合方法
CN117392496A (zh) * 2023-10-26 2024-01-12 金陵科技学院 基于红外与可见光图像融合的目标检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
multimodal medical image fusion based on multichannel aggregated network;Jingxue Huang 等;《image and graphics》;20231029;第14-25页 *

Also Published As

Publication number Publication date
CN117611473A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
Liang et al. Swinir: Image restoration using swin transformer
Vaksman et al. Patch craft: Video denoising by deep modeling and patch matching
Tang et al. Single image dehazing via lightweight multi-scale networks
Xia et al. Identifying recurring patterns with deep neural networks for natural image denoising
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN115311186B (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
CN110674824A (zh) 基于R2U-Net的手指静脉分割方法、装置和存储介质
CN113129236A (zh) 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统
CN117392496A (zh) 基于红外与可见光图像融合的目标检测方法及系统
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN111861939A (zh) 一种基于无监督学习的单张图像去雾方法
CN117391981A (zh) 一种基于低光照明和自适应约束的红外与可见光图像融合方法
CN113284061A (zh) 一种基于梯度网络的水下图像增强方法
CN113706407B (zh) 基于分离表征的红外可见光图像融合方法
CN111898614B (zh) 神经网络系统以及图像信号、数据处理的方法
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
Zhang et al. Deep joint neural model for single image haze removal and color correction
CN114155165A (zh) 一种基于半监督的图像去雾方法
CN117611473B (zh) 一种同步去噪的图像融合方法及其相关设备
CN114862711B (zh) 基于双重互补先验约束的低照度图像增强与去噪方法
CN115731172A (zh) 基于图像增强和纹理提取的裂缝检测方法、装置及介质
CN113222016B (zh) 一种基于高层和低层特征交叉增强的变化检测方法及装置
CN112734655B (zh) 一种基于卷积神经网络图像对crm增强的低光图像增强方法
CN115578638A (zh) 一种基于U-Net的多层次特征交互去雾网络的构建方法
CN112164078B (zh) 基于编码器-解码器的rgb-d多尺度语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No.33, Guangyun Road, Shishan town, Nanhai District, Foshan City, Guangdong Province 528225

Patentee after: Foshan University

Country or region after: China

Address before: No.33, Guangyun Road, Shishan town, Nanhai District, Foshan City, Guangdong Province 528225

Patentee before: FOSHAN University

Country or region before: China

CP03 Change of name, title or address