CN113298744A - 一种端到端的红外与可见光图像融合方法 - Google Patents
一种端到端的红外与可见光图像融合方法 Download PDFInfo
- Publication number
- CN113298744A CN113298744A CN202110631564.5A CN202110631564A CN113298744A CN 113298744 A CN113298744 A CN 113298744A CN 202110631564 A CN202110631564 A CN 202110631564A CN 113298744 A CN113298744 A CN 113298744A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- visible light
- infrared
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 8
- 238000005096 rolling process Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000005215 recombination Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000001994 activation Methods 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
一种端到端的红外与可见光图像融合方法，属于图像融合技术领域，为了解决现有的融合方法得到的图像质量差的问题，该方法：步骤1，构建网络模型；步骤2，准备数据集；步骤3，输入图像；步骤4，最小化损失函数值；步骤5，微调模型；步骤6，保存模型。使用经过处理后的可见光图像的灰度图作为网络训练的输入，可以大大提高网络的特征提取和表达能力，将网络训练完成后再处理真实的红外和可见光图像，融合得到的图像质量效果会更好。整个训练网络在两条支路上使用拼接操作可以将图像的低级特征和高级特征进行混合，使得网络对于两种不同图像的特征提取能力更强；在网络中添加跳跃连接减少网络参数，最终使得整个网络实现结构简单，融合效率高。
Description
技术领域
本发明涉及一种端到端的红外与可见光图像融合方法，属于图像融合技术领域。
背景技术
图像融合已广泛应用于遥感、医疗诊断到安全和监控的各种应用。图像融合是通过整合来自不同传感器的多源图像获取信息。例如，热红外和可见光成像系统被广泛应用于军事和民用监控领域。由于每种成像方式都有其自身的局限性，单个传感器无法提供场景的完整信息。因此，对多传感器数据进行融合以生成含有更多信息量的图像，最终为用户提供更全面的信息是非常必要的。然而，现有的图像融合方法大多是像素级的，存在两个关键问题，即计算时间复杂度较高和融合的冗余信息会产生块伪影。
中国专利公开号为“CN112288668A”，名称为“基于深度无监督密集卷积网络的红外和可见光图像融合方法”，该方法首先输入待融合的红外图像与可见光图像；接着，通过密集卷积操作提取输入图像的特征；然后，采用L1范数加法策略来融合不同输入图像的特征，用以获得最终的融合特征；最后，经过重构融合特征输出得到融合图像。该方法得到的融合图像质量差，不符合人眼视觉效果，同时实现过程复杂和效率低下。
发明内容
本发明为了解决现有的融合方法得到的图像质量差的问题，提供了一种端到端的红外与可见光图像融合方法。使融合得到的图像具有更好的融合效果，更符合人眼视觉观察，同时本发明提出的方法实现过程简单，图像融合效率更高。
本发明解决技术问题的方案是：
一种端到端的红外与可见光图像融合方法，包括如下步骤：
步骤1，构建网络模型：整个网络由七个卷积块组成的卷积网络，其中每个卷积块由跳跃连接、拼接操作、卷积层和激活函数组成；第一个卷积块对输入图片进行初级特征提取，第二到六个卷积块对图像中高级特征进行提取并重组，去除冗余信息，组合并保留有用信息，第七个卷积块对两条支路输出的信息进行融合，得到最终的融合图像；
步骤2，准备数据集：对整个卷积网络先用可见光数据集进行训练；
步骤3，输入图像：将步骤2中准备好的数据集输入到步骤1中构建好的网络模型中进行训练；
步骤4，最小化损失函数值：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存模型参数；
步骤5，微调模型：用红外与可见光图像对模型进行训练和微调，得到稳定可用的模型参数。最终使得模型对融合的效果更好；
步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行红外与可见光图像融合操作时，直接将图像输入到网络中即可得到最终的融合图像。
所述步骤1中第一个卷积块激活函数使用线性整流函数，第二到六个卷积块激活函数使用S型函数，最后一个卷积块不使用激活函数；所有卷积块中卷积核的大小统一为n×n；所有特征图的大小与输入图像大小保持一致。
所述步骤3中在预训练过程中可见光数据集使用Flickr2K；通过对数据集中可见光彩色图像转为灰度图像进行有监督的训练；将同一张图片中加入随机大小和位置的高斯模糊高斯噪声得到两张图片，作为整个网络的输入，将原始图像作为标签，解决在图像融合领域只能进行无监督训练的问题。
所述步骤4中在训练过程中损失函数选择使用结构相似性和像素损失的组合；得到的融合图像既要与红外与可见光图像在结构上保持一致，而且还需要突出红外与可见光图像中细节部分，提升人眼视觉效果。
所述步骤5中在微调模型参数过程中使用TNO数据集。
本发明的有益效果如下：
1、使用经过处理后的可见光图像的灰度图作为网络训练的输入，由于可见图像中细节信息较多，明暗变化丰富，可以大大提高网络的特征提取和表达能力，将网络训练完成后再处理真实的红外和可见光图像，融合得到的图像质量效果会更好。
2、在骨干网络中使用S型激活函数，可以使得网络输出的图像更符合人眼视觉观察，不会导致融合图像过曝和出现光晕等现象。
3、整个训练网络在两条支路上使用拼接操作可以将图像的低级特征和高级特征进行混合，使得网络对于两种不同图像的特征提取能力更强；在网络中通过添加跳跃连接有助于减少网络参数，使得网络的深度变浅，网络的参数数量较少，最终使得整个网络实现结构简单，融合效率高。
附图说明
图1为本发明一种端到端的红外与可见光图像融合方法流程图。
图2为本发明一种端到端的红外与可见光图像融合方法网络结构图。
图3为卷积块二到卷积块六中每一个卷积块的具体组成。
具体实施方式
下面结合附图对本发明做进一步详细说明。
如图1所示，一种端到端的红外与可见光图像融合方法，该方法具体包括如下步骤：
步骤1，构建网络模型。整个网络由七个卷积块组成的卷积网络，其中每个卷积块由跳跃连接、拼接操作、卷积层和激活函数组成；第一个卷积块对输入图片进行初级特征提取，第二到六个卷积块对图像中高级特征进行提取并重组，去除冗余信息，组合并保留有用信息，第七个卷积块对两条支路输出的信息进行融合，得到最终的融合图像。其中第一个卷积块由一层卷积和线性整流函数组成，第二到六个卷积块激活函数使用S型函数，最后一个卷积块不使用激活函数。所有卷积块中卷积核的大小统一为n×n。所有特征图大小与输入图像大小保持一致。
步骤2，准备数据集。对整个卷积网络先用可见光数据集进行训练。在预训练过程中可见光数据集使用Flickr2K。通过对数据集中可见光彩色图像转为灰度图像进行有监督的训练。将同一张图片中加入随机大小和位置的高斯模糊高斯噪声得到两张图片，作为整个网络的输入，将原始图像作为标签，解决了在图像融合领域只能进行无监督训练的问题。
步骤3，输入图像。将步骤2中准备好的数据集输入到步骤1构建好的网络模型中进行训练。
步骤4，最小化损失函数值。通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已训练完成，保存模型参数。在训练过程中损失函数选择使用结构相似性和像素损失的组合。其目的在于得到的融合图像既要与红外与可见光图像在结构上保持一致而且还需要突出红外与可见光图像中细节部分，提升人眼视觉效果。
步骤5，微调模型。用红外与可见光图像对模型进行训练和微调，使得模型对融合的效果更好。在微调模型参数过程中使用TNO数据集。
步骤6，保存模型。将最终确定的模型参数进行固化，之后需要进行红外与可见光图像融合操作时，直接将图像输入到网络中即可得到最终的融合图像。
实施例：
所述步骤1中网络模型结构如图2所示，网络模型总共包括7个卷积块，第一个卷积块由一层卷积和线性整流函数组成，卷积核大小为3×3，步长和填充均为1。第二到六个卷积块每个的组成都相同，每一个卷积块的具体构成如图3所示，其中包含两层卷积和两次激活，卷积核大小为3×3，步长和填充均为1，激活函数选择Sigmoid函数，因为Sigmoid函数可以将特征图的输出限制在[0,1]之间，会让网络的边缘和内容重构能力变强，融合出质量更高的图像。第七个卷积块只有一层卷积，卷积核大小为3×3，步长和填充均为1。线性整流函数和S型函数定义如下所示：
所述步骤2中可见光图像数据集使用Flickr2K。数据集中包含2650张高分辨率图像，将每一张原图通过裁剪得到8张大小为512×512的图，共计21200张训练图片。
所述步骤3中对每一张训练图片加入随机大小和位置的高斯模糊和噪声得到两张图片，作为整个网络的输入，将原始图像作为标签。其中随机大小和位置的高斯模糊和噪声通过软件算法可以实现。其中使用原图像添加随机大小高斯噪声是为了模拟可见光和红外相机系统输出图像的噪声，两个不同波段相机捕获信息能力不同，添加不同区域大小的高斯模糊，目的是让网络学习更好的特征提取能力，最终达到更好的融合效果。
所述步骤4中网络的输出与标签计算损失函数，通过最小化损失函数达到更好的融合效果。损失函数选择结构相似性和像素损失。结构相似性计算公式如下所示：
SSIM(x,y)＝[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ
其中，l(x,y)表示亮度对比函数，c(x,y)表示对比度对比函数，s(x,y)表示结构对比函数，三个函数的定义如下所示：
在实际应用中，α、β和γ均取值为1，C3为0.5C2，因此结构相似性公式可以表示为：
x和y分别表示两张图像中大小为N×N的窗口的像素点，μx和μy分别表示x和y的均值，可作为亮度估计；σx和σy分别表示x和y的方差，可作为对比度估计；σxy表示x和y的协方差，可作为结构相似性度量。c1和c2为极小值参数，可避免分母为0，通常分别取0.01和0.03。所以根据定义，整个图像的结构相似性计算方式如下所示：
X和Y分别表示待比较的两张图像，MN为窗口总数量，xij和yij为两张图片中各局部窗口。结构相似性具有对称性，其数值范围在[0,1]之间，数值越接近于1，结构相似性越大，两图像的差异越小。一般情况下，通过网络优化直接缩小其与1之间的差值即可，结构相似性损失如下所示：
SSIMloss＝1-MSSIM(L,O)
L和O分别表示标签和网络的输出。通过优化结构相似性损失，可逐步缩小输出图像与输入图像结构上的差异，使得图像在亮度、对比度上更相近，直觉感知上也更相近，生成图像质量较高。
像素损失损失定义如下所示：
out和label代表网络的输出和标签。
总的损失函数定义为：
Tloss＝Ploss+SSIMloss
设定训练次数为100，每次输入到网络图片数量大小为8-16左右，每次输入到网络图片数量大小的上限主要是根据计算机图形处理器性能决定，一般每次输入到网络图片数量越大越好，使网络更加稳定。训练过程的学习率设置为0.0001，既能保证网络快速拟合，而不会导致网络过拟合。网络参数优化器选择自适应矩估计算法。的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。损失函数函数值阈值设定为0.0003左右，小于0.0003就可以认为整个网络的训练已基本完成。
所述步骤5中使用可见光与红外图像数据集对整个网络模型参数进行微调，其中数据集为TNO数据集。
所述步骤6中将网络训练完成后，需要将网络中所有参数保存，之后用配准好的红外和可见光图像输入到网络中就可以得到融合好的图像。该网络对两张输入图像大小没有要求，任意尺寸均可，但是必须保证两张图像的尺寸一致。
其中，卷积、激活函数、拼接操作、高斯滤波和高斯模糊的实现是本领域技术人员公知的算法，具体流程和方法可在相应的教科书或者技术文献中查阅到。
本发明通过构建一种端到端的红外与可见光图像融合网络，可以将源图像直接生成融合图像，不再经过中间其他步骤，避免了人工手动设计相关融合规则。通过计算与现有方法得到图像的相关指标，进一步验证了该方法的可行性和优越性。现有技术和本发明提出方法的相关指标对比如表1所示：
表1
从表中可知，本发明提出的方法拥有更高的图像对比度、边缘强度、空间频率、信息熵、平均梯度和标准差，这些指标也进一步说明了本发明提出的方法具有更好的融合图像质量。
现有技术和本发明提出方法的运行时间如表2所示：
表2
从表中可知，本发明提出方法的运行时间比现有技术缩短了10倍。这也进一步说明了本发明提出的方法具有更高的融合效率。
Claims (5)
1.一种端到端的红外与可见光图像融合方法，其特征是，该方法包括如下步骤：
步骤1，构建网络模型：整个网络由七个卷积块组成的卷积网络，其中每个卷积块由跳跃连接、拼接操作、卷积层和激活函数组成；第一个卷积块对输入图片进行初级特征提取，第二到六个卷积块对图像中高级特征进行提取并重组，去除冗余信息，组合并保留有用信息，第七个卷积块对两条支路输出的信息进行融合，得到最终的融合图像；
步骤2，准备数据集：对整个卷积网络先用可见光数据集进行训练；
步骤3，输入图像：将步骤2中准备好的数据集输入到步骤1中构建好的网络模型中进行训练；
步骤4，最小化损失函数值：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存模型参数；
步骤5，微调模型：用红外与可见光图像对模型进行训练和微调，得到稳定可用的模型参数；最终使得模型对融合的效果更好；
步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行红外与可见光图像融合操作时，直接将图像输入到网络中即可得到最终的融合图像。
2.根据权利要求1所述的一种端到端的红外与可见光图像融合方法，其特征在于，所述步骤1中第一个卷积块激活函数使用线性整流函数，第二到六个卷积块激活函数使用S型函数，最后一个卷积块不使用激活函数；所有卷积块中卷积核的大小统一为n×n；所有特征图的大小与输入图像大小保持一致。
3.根据权利要求1所述的一种端到端的红外与可见光图像融合方法，其特征在于，所述步骤3中在预训练过程中可见光数据集使用Flickr2K；通过对数据集中可见光彩色图像转为灰度图像进行有监督的训练；将同一张图片中加入随机大小和位置的高斯模糊高斯噪声得到两张图片，作为整个网络的输入，将原始图像作为标签，解决在图像融合领域只能进行无监督训练的问题。
4.根据权利要求1所述的一种端到端的红外与可见光图像融合方法，其特征在于，所述步骤4中在训练过程中损失函数选择使用结构相似性和像素损失的组合；得到的融合图像既要与红外与可见光图像在结构上保持一致，而且还需要突出红外与可见光图像中细节部分，提升人眼视觉效果。
5.根据权利要求1所述的一种端到端的红外与可见光图像融合方法，其特征在于，所述步骤5中在微调模型参数过程中使用TNO数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110631564.5A CN113298744B (zh) | 2021-06-07 | 2021-06-07 | 一种端到端的红外与可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110631564.5A CN113298744B (zh) | 2021-06-07 | 2021-06-07 | 一种端到端的红外与可见光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113298744A true CN113298744A (zh) | 2021-08-24 |
| CN113298744B CN113298744B (zh) | 2022-10-28 |
Family
ID=77327464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110631564.5A Active CN113298744B (zh) | 2021-06-07 | 2021-06-07 | 一种端到端的红外与可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113298744B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115689960A (zh) * | 2022-10-27 | 2023-02-03 | 长春理工大学 | 一种夜间场景下照度自适应的红外与可见光图像融合方法 |
| CN116152514A (zh) * | 2022-11-08 | 2023-05-23 | 长春理工大学 | 一种基于cnn和vit混合结构的红外车辆检测方法 |
| CN116665256A (zh) * | 2023-06-05 | 2023-08-29 | 长春理工大学 | 一种基于指纹图像局部区域质量的指纹匹配方法 |
| CN117197627A (zh) * | 2023-09-13 | 2023-12-08 | 长春理工大学 | 一种基于高阶退化模型的多模态图像融合方法 |
| CN118365540A (zh) * | 2024-06-18 | 2024-07-19 | 长春理工大学 | 一种双模信息增强的图像融合方法、系统及设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118467A (zh) * | 2018-08-31 | 2019-01-01 | 武汉大学 | 基于生成对抗网络的红外与可见光图像融合方法 |
| CN109919887A (zh) * | 2019-02-25 | 2019-06-21 | 中国人民解放军陆军工程大学 | 一种基于深度学习的无监督图像融合方法 |
| US20190318463A1 (en) * | 2016-12-27 | 2019-10-17 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for fusing infrared image and visible light image |
| CN110633682A (zh) * | 2019-09-19 | 2019-12-31 | 合肥英睿系统技术有限公司 | 基于双光融合的红外图像的异常监测方法、装置、设备 |
| CN111079649A (zh) * | 2019-12-17 | 2020-04-28 | 西安电子科技大学 | 基于轻量化语义分割网络的遥感图像地物分类方法 |
| CN111209810A (zh) * | 2018-12-26 | 2020-05-29 | 浙江大学 | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 |
| CN111260594A (zh) * | 2019-12-22 | 2020-06-09 | 天津大学 | 一种无监督的多模态图像融合方法 |
| CN111462028A (zh) * | 2020-03-16 | 2020-07-28 | 中国地质大学（武汉） | 基于相位一致性和目标增强的红外和可见光图像融合方法 |
| CN111680755A (zh) * | 2020-06-11 | 2020-09-18 | 上海交通大学医学院附属第九人民医院 | 医学图像识别模型构建及医学图像识别方法、装置、介质及终端 |
| CN112288668A (zh) * | 2020-09-22 | 2021-01-29 | 西北工业大学 | 基于深度无监督密集卷积网络的红外和可见光图像融合方法 |
| US20210034901A1 (en) * | 2018-10-15 | 2021-02-04 | Tencent Technology (Shenzhen) Company Limited | Target object recognition method and apparatus, storage medium, and electronic device |
| CN112381722A (zh) * | 2020-07-23 | 2021-02-19 | 杭州喔影网络科技有限公司 | 一种单图像的超分与感知图像增强的联合任务学习方法 |
-
2021
- 2021-06-07 CN CN202110631564.5A patent/CN113298744B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190318463A1 (en) * | 2016-12-27 | 2019-10-17 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for fusing infrared image and visible light image |
| CN109118467A (zh) * | 2018-08-31 | 2019-01-01 | 武汉大学 | 基于生成对抗网络的红外与可见光图像融合方法 |
| US20210034901A1 (en) * | 2018-10-15 | 2021-02-04 | Tencent Technology (Shenzhen) Company Limited | Target object recognition method and apparatus, storage medium, and electronic device |
| CN111209810A (zh) * | 2018-12-26 | 2020-05-29 | 浙江大学 | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 |
| CN109919887A (zh) * | 2019-02-25 | 2019-06-21 | 中国人民解放军陆军工程大学 | 一种基于深度学习的无监督图像融合方法 |
| CN110633682A (zh) * | 2019-09-19 | 2019-12-31 | 合肥英睿系统技术有限公司 | 基于双光融合的红外图像的异常监测方法、装置、设备 |
| CN111079649A (zh) * | 2019-12-17 | 2020-04-28 | 西安电子科技大学 | 基于轻量化语义分割网络的遥感图像地物分类方法 |
| CN111260594A (zh) * | 2019-12-22 | 2020-06-09 | 天津大学 | 一种无监督的多模态图像融合方法 |
| CN111462028A (zh) * | 2020-03-16 | 2020-07-28 | 中国地质大学（武汉） | 基于相位一致性和目标增强的红外和可见光图像融合方法 |
| CN111680755A (zh) * | 2020-06-11 | 2020-09-18 | 上海交通大学医学院附属第九人民医院 | 医学图像识别模型构建及医学图像识别方法、装置、介质及终端 |
| CN112381722A (zh) * | 2020-07-23 | 2021-02-19 | 杭州喔影网络科技有限公司 | 一种单图像的超分与感知图像增强的联合任务学习方法 |
| CN112288668A (zh) * | 2020-09-22 | 2021-01-29 | 西北工业大学 | 基于深度无监督密集卷积网络的红外和可见光图像融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| ZHEN CHEN: "High-quality fusion for visible and infrared images based on the double NSCT", 《2014 7TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 * |
| 姚琳: "基于多级深度特征融合的RGB-T图像显著性目标检测", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 江泽涛等: "基于卷积自编码器和残差块的红外与可见光图像融合方法", 《光学学报》 * |
| 詹伟达等: "基于Tetrolet与柯西模糊函数的红外与微光图像融合", 《激光与光电子学进展》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115689960A (zh) * | 2022-10-27 | 2023-02-03 | 长春理工大学 | 一种夜间场景下照度自适应的红外与可见光图像融合方法 |
| CN116152514A (zh) * | 2022-11-08 | 2023-05-23 | 长春理工大学 | 一种基于cnn和vit混合结构的红外车辆检测方法 |
| CN116665256A (zh) * | 2023-06-05 | 2023-08-29 | 长春理工大学 | 一种基于指纹图像局部区域质量的指纹匹配方法 |
| CN116665256B (zh) * | 2023-06-05 | 2024-03-15 | 长春理工大学 | 一种基于指纹图像局部区域质量的指纹匹配方法 |
| CN117197627A (zh) * | 2023-09-13 | 2023-12-08 | 长春理工大学 | 一种基于高阶退化模型的多模态图像融合方法 |
| CN117197627B (zh) * | 2023-09-13 | 2024-03-01 | 长春理工大学 | 一种基于高阶退化模型的多模态图像融合方法 |
| CN118365540A (zh) * | 2024-06-18 | 2024-07-19 | 长春理工大学 | 一种双模信息增强的图像融合方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113298744B (zh) | 2022-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113298744B (zh) | 一种端到端的红外与可见光图像融合方法 | |
| CN114092330B (zh) | 一种轻量化多尺度的红外图像超分辨率重建方法 | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| WO2023137914A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Panetta et al. | Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset | |
| CN113658057B (zh) | 一种Swin Transformer微光图像增强方法 | |
| CN107590786A (zh) | 一种基于对抗学习网络的图像增强方法 | |
| Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
| CN112967178B (zh) | 一种图像转换方法、装置、设备及存储介质 | |
| CN114331831B (zh) | 一种轻量化的单张图像超分辨率重建方法 | |
| CN113870124B (zh) | 基于弱监督的双网络互激励学习阴影去除方法 | |
| CN110599411A (zh) | 一种基于条件生成对抗网络的图像修复方法及系统 | |
| CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
| CN117197627B (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
| CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
| CN116402679A (zh) | 一种轻量级红外超分辨率自适应重建方法 | |
| Wei et al. | Sidgan: Single image dehazing without paired supervision | |
| CN117576483B (zh) | 基于多尺度卷积自编码器的多源数据融合地物分类方法 | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN112150363B (zh) | 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质 | |
| Zhong et al. | A painting style system using an improved CNN algorithm | |
| CN106033595A (zh) | 一种基于局部约束的图像盲去模糊方法 | |
| Yang et al. | Multi-scale extreme exposure images fusion based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |