CN117252936A - 一种适配多种训练策略的红外图像彩色化方法及系统 - Google Patents
一种适配多种训练策略的红外图像彩色化方法及系统 Download PDFInfo
- Publication number
- CN117252936A CN117252936A CN202311280430.9A CN202311280430A CN117252936A CN 117252936 A CN117252936 A CN 117252936A CN 202311280430 A CN202311280430 A CN 202311280430A CN 117252936 A CN117252936 A CN 117252936A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- module
- infrared image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000003993 interaction Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 65
- 230000000694 effects Effects 0.000 claims description 19
- 230000008447 perception Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 13
- 238000013441 quality evaluation Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 238000004321 preservation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 101100409308 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) adv-1 gene Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域，尤其为一种适配多种训练策略的红外图像彩色化方法，具体步骤为：步骤1，构建网络模型：构建包括生成器和鉴别器的生成对抗网络；步骤2，准备数据集：根据第一红外图像数据集对生成对抗网络进行预训练；步骤3，训练网络模型：利用第一红外图像数据集对网络模型进行训练，直至达到预设阈值。本发明具有多训练策略适配性，能够有效地恢复热红外图像的语义和特征信息，并增强图像细节，以提高彩色化图像的质量。同时，利用多层交互将编码阶段浅层丢失的细节信息与解码阶段深层上采样过程丢失的语义信息融合在一起，以提高图像彩色化的细节、语义和场景能力。
Description
技术领域
本发明涉及图像处理技术领域，具体为一种适配多种训练策略的红外图像彩色化方法及系统。
背景技术
作为热红外图像增强的关键技术之一，图像彩色化可以有效提高热红外图像的质量，它可以使热红外图像更符合人类的视觉习惯，并还原其灰度细节。然而，红外图像彩色化是一个高度欠定的问题，不同的红外图像可能对应于相同的可见光图像。同时，红外图像中每个像素的灰度值表示物体温度的高低，而不是颜色信息。因此，红外图像彩色化需要预测色度信息和亮度信息。此外，热红外图像与可见光彩色图像的巨大差异也给彩色化方法的设计增加了难度。此外，这些方法常常只能适配一种特定的训练策略，更换训练策略后，网络的性能会急速下降。然而，每次更换策略都需要重新设计网络是十分繁琐且困难的。这些客观问题增加了红外图像彩色化的难度，因此，设计一种适配多种训练策略的红外图像彩色化统一模型具有重要的研究意义。
中国专利公开号为“CN113298177B”，名称为“夜间图像着色方法、装置、介质和设备”，首先构建彩色化网络，并且对彩色化网络进行训练，得到彩色化模型；然后获取夜间同一视角拍摄的可见光图像和红外图像；根据预设融合规则，针对夜间可见光图像和红外图像进行图像融合处理，得到待彩色化的融合图像；最后将待彩色化的融合图像输入到彩色化模型中，进行特征提取和无参考彩色化。该方法通过配对策略实现图像彩色化，在训练阶段依赖于大量成对的图像，应用场景较少。而且更换训练策略后，会导致彩色化性能急剧下降，并且会产生伪影和图像失真。因此，如何在多个训练策略中有效地实现高质量的彩色化结果是本领域技术人员亟需解决的问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种适配多种训练策略的红外图像彩色化方法及系统，解决了现有的红外图像彩色化方法更换训练策略后网络性能下降的问题，使彩色化得到的图像具有更好的彩色化效果，更符合人眼视觉观察。同时本发明可以提高性能和鲁棒性，提升了网络训练的稳定性，通用性更强。
(二)技术方案
本发明为了实现上述目的具体采用以下技术方案：
一种适配多种训练策略的红外图像彩色化方法，具体步骤为：
步骤1，构建网络模型：构建包括生成器和鉴别器的生成对抗网络；
步骤2，准备数据集：根据第一红外图像数据集对生成对抗网络进行预训练；
步骤3，训练网络模型：利用第一红外图像数据集对网络模型进行训练，直至达到预设阈值；
步骤4，选择最小化损失函数和最优评估指标：通过训练达到损失函数的阈值即可认为模型参数已预训练完成，保存模型参数；同时选择最优评估指标来衡量算法的精度，评估系统的性能；
步骤5，微调模型：利用第二红外图像数据集对网络模型进行再次训练和微调，获得最终模型；
步骤6，保存模型：将获得最终模型的参数进行固化，保存模型；
步骤7，适配策略：将保存模型适配到不同的训练策略中，观察彩色化性能变化。
进一步地，所述生成器包括残差特征细化模块、下采样操作、特征自适应模块、拼接模块、拼接注意模块和上采样操作；
所述残差特征细化模块，用于提取不同尺度下的特征信息，通过多分支结构扩大感受野并加深了网络，局部残差连接则很好地传递图像信息；
所述特征自适应模块，用于捕捉全局上下文信息，扩大感受野，减少彩色化目标间信息的损失；
所述下采样操作，用于减小特征图的大小，更好地提取局部信息；
所述拼接模块和上采样操作，用于对特征图进行跨通道的融合，逐步恢复特征图大小，减轻棋盘效应；
所述拼接注意模块和上采样操作，用于在减轻棋盘效应的同时，能够有效地捕获局部空间和通道维度的交互特征，建立多尺度长程依赖关系。
进一步地，所述鉴别器由多个卷积块和S型函数组成；使用L型函数替换R型函数，可以防止网络饱和，并且可以使网络更容易优化，提高泛化性能。
进一步地，第一红外图像数据集为KAIST数据集，通过对数据集中图像进行训练。
进一步地，在训练网络模型中预设阈值包括损失函数预设值、训练次数预设值。
进一步地，损失函数为复合损失函数，配对策略下生成器采用对抗损失、像素损失、感知损失、总体变化损失和结构相似性损失；双边未配对策略下生成器采用对抗损失、循环一致性损失和一致性损失；单边未配对策略下生成器采用对抗损失、对比损失和感知损失；鉴别器采用对抗损失。
进一步地，在训练网络模型过程中还包括通过评价指标评估算法彩色化结果的质量、图像相似程度和图像失真程度。
进一步地，第二红外图像数据集为FLIR数据集。
一种适配多种训练策略的红外图像彩色化系统，所述系统包括：
图像获取模块，用于获取待彩色化图像；
图像处理模块，用于对待彩色化图像进行预处理，并分为训练集和测试集；
模型训练模块，用于将处理好的待彩色化训练集图像输入到设计好的网络中进行训练，利用训练好的网络对待彩色化测试集图像的每个像素值进行预测，最终生成彩色化图像；
质量评估模块，用于评估最终生成的彩色化图像质量是否满足预设质量要求；若满足预设质量要求，则将生成的彩色化图像作为最终的彩色化效果；若不满足预设质量要求，则启动质量提升模块；
质量提升模块，用于重新获取数据集，并利用新的数据集继续训练模型，利用重新训练后的网络重新生成待彩色化图像对应的彩色化图像，然后返回质量评估模块。
(三)有益效果
与现有技术相比，本发明提供了一种适配多种训练策略的红外图像彩色化方法及系统，具备以下有益效果：
本发明具有多训练策略适配性，能够有效地恢复热红外图像的语义和特征信息，并增强图像细节，以提高彩色化图像的质量。同时，利用多层交互将编码阶段浅层丢失的细节信息与解码阶段深层上采样过程丢失的语义信息融合在一起，以提高图像彩色化的细节、语义和场景能力。
本发明在提出的残差特征细化模块中采用多分支结构，扩大感受野并加深网络，以提取不同尺度下的特征信息；同时还加入局部残差连接，以增强不同模块之间的特征传递，避免网络加深时出现的梯度消失问题。
本发明提出的特征自适应模块通过多尺度池化层和非均匀扩张卷积来收集全局多尺度信息，扩大感受野，减少彩色化目标间信息的损失，这有助于提升彩色化结果的质量。
本发明在提出的三重混合注意模块采用三分支结构，通过旋转和残差变换建立模型空间维度和通道维度之间的依赖关系，能够有效地捕获局部空间和通道维度的交互特征，从而使模型生成的彩色化图像更加逼真。
本发明针对不同的训练策略，探索了对应的复合损失函数，以综合考虑图像的纹理信息和感知信息，从而提高模型的彩色化性能和效果。
附图说明
图1为一种适配多种训练策略的红外图像彩色化方法流程图；
图2为一种适配多种训练策略的红外图像彩色化方法的配对策略原理图；
图3为一种适配多种训练策略的红外图像彩色化方法的双边未配对策略原理图；
图4为一种适配多种训练策略的红外图像彩色化方法的单边未配对策略原理图；
图5为一种适配多种训练策略的红外图像彩色化方法中生成对抗网络的生成器结构图；
图6为本发明所述所有的残差特征细化模块的具体组成示意图；
图7为本发明所述所有的特征自适应模块的具体组成示意图；
图8为本发明所述所有的拼接模块的具体组成示意图；
图9为本发明所述所有的拼接注意模块的具体组成示意图；
图10为本发明所述所有的三重混合注意模块的具体组成示意图；
图11为一种适配多种训练策略的红外图像彩色化方法中生成对抗网络的鉴别器结构图；
图12为本发明所述所有的卷积块的具体构成示意图；
图13为本发明提出方法的相关指标对比示意图；
图14为本发明所述红外图像彩色化系统的主要模块示意图；
图15为本发明所述实现红外图像彩色化方法的电子设备的内部结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，一种适配多种训练策略的红外图像彩色化方法的流程图，该方法具体包括如下步骤：
步骤1，构建网络模型；整个生成对抗网络包括生成器和鉴别器；生成器由残差特征细化模块一、残差特征细化模块二、残差特征细化模块三、残差特征细化模块四、残差特征细化模块五、特征自适应模块、拼接模块一、拼接模块二、拼接模块三、拼接模块四、拼接模块五、拼接模块六、拼接注意模块一、拼接注意模块二、拼接注意模块三、拼接注意模块四、上采样操作和下采样操作组成；残差特征细化模块一、残差特征细化模块二、残差特征细化模块三、残差特征细化模块四和残差特征细化模块五提取不同尺度下的特征信息，通过多分支结构扩大感受野并加深了网络，局部残差连接则很好地传递图像信息；下采样操作减小特征图的大小，更好地提取局部信息；特征自适应模块捕捉全局上下文信息，扩大感受野，减少彩色化目标间信息的损失；拼接模块一、拼接模块二、拼接模块三、拼接模块四、拼接模块五、拼接模块六和上采样操作对特征图进行跨通道的融合，逐步恢复特征图大小，减轻棋盘效应；拼接注意模块一、拼接注意模块二、拼接注意模块三、拼接注意模块四和上采样操作在减轻棋盘效应的同时，能够有效地捕获局部空间和通道维度的交互特征，建立多尺度长程依赖关系；残差特征细化模块卷积块一、卷积块二、卷积块三、卷积块四、卷积块五、卷积块六、卷积块七、卷积块八、卷积块九、卷积块十、卷积块十一、卷积层、加操作和拼接操作组成；下采样操作由最大池化层8倍、最大池化层4倍和最大池化层2倍组成；拼接模块由卷积层、L型函数和拼接操作组成；特征自适应模块由自适应池化层一、自适应池化层二、自适应池化层三、自适应池化层四、空洞卷积层一、空洞卷积层二、空洞卷积层三、卷积层一、卷积层二、卷积层三、卷积层四、卷积层五和加操作组成；拼接注意模块由卷积层、L型函数、三重混合注意模块和拼接操作组成；三重混合注意模块由卷积层一、卷积层二、全局平均池化层一、卷积层三、卷积层四、全局平均池化层二、卷积层五、卷积层六、全局平均池化层三、重组操作、乘法操作、S1型函数、S2型函数和加操作组成；每个卷积块由卷积层、实例归一化层和L型函数组成，卷积核的大小统一为n×n；最后得到特征图的大小与输入图像大小保持一致；鉴别器由卷积块一、卷积块二、卷积块三、卷积块四、卷积层和S2型函数组成；使用L型函数替换R型函数，可以防止网络饱和，并且可以使网络更容易优化，提高泛化性能；将生成器生成的红外彩色化图像与数据集中的可见光彩色图像输入鉴别器中，鉴别器输出真假概率信息判断输入图像是否真实。
步骤2，准备数据集；对整个生成对抗网络先用红外图像数据集一进行训练；预训练过程中红外图像数据集使用KAIST数据集，通过对数据集中图像进行训练；
步骤3，训练网络模型；训练红外图像彩色化模型，将步骤2中准备好的数据集进行预处理，调整数据集中每个图像的尺寸，固定输入图像的大小，将处理好的数据集输入到步骤1中构建好的网络模型中进行训练；
步骤4，在不同训练策略下，选择最小化损失函数值和最优评估指标；通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存模型参数；同时选择最优评估指标来衡量算法的精度，评估系统的性能；在训练过程中损失函数选择使用复合损失函数；配对策略下生成器采用对抗损失、像素损失、感知损失、总体变化损失和结构相似性损失；双边未配对策略下生成器采用对抗损失、循环一致性损失和一致性损失；单边未配对策略下生成器采用对抗损失、对比损失和感知损失；鉴别器采用对抗损失；损失函数的选择影响着模型的好坏，能够真实地体现出预测值与真值差异，并且能够正确地反馈模型的质量；合适的评估指标选择峰值信噪比(PSNR)、结构相似性(SSIM)、感知图像相似度(LPIPS)、Fréchet距离(FID)和自然图像质量评估(NIQE)，能够有效地评估算法彩色化结果的质量和图像失真程度，衡量彩色化网络的作用；
步骤5，微调模型；用红外图像数据集二对模型进行训练和微调，得到稳定可用的模型参数，进一步提高模型的红外图像彩色化能力；最终使得模型对红外图像彩色化的效果更好；在微调模型参数过程中使用FLIR数据集；
步骤6，保存模型；将最终确定的模型参数进行固化；
步骤7，适配策略；将保存模型适配到不同的训练策略中(配对策略、双边未配对策略和单边未配对策略)，观察彩色化性能变化。
如果进行红外图像彩色化操作时，直接将图像输入到网络中即可得到最终的彩色化图像；
本发明还提供了一种适配多种训练策略的红外图像彩色化系统，所述系统包括：
图像获取模块，用于获取待彩色化图像；
图像处理模块，用于对待彩色化图像进行预处理，并分为训练集和测试集；
模型训练模块，用于将处理好的待彩色化训练集图像输入到设计好的网络中进行训练，利用训练好的网络对待彩色化测试集图像的每个像素值进行预测，最终生成彩色化图像；
质量评估模块，用于评估最终生成的彩色化图像质量是否满足预设质量要求；若满足预设质量要求，则将生成的彩色化图像作为最终的彩色化效果；若不满足预设质量要求，则启动质量提升模块；
质量提升模块，用于重新获取数据集，并利用新的数据集继续训练模型，利用重新训练后的网络重新生成待彩色化图像对应的彩色化图像，然后返回质量评估模块；
本发明还提供了一种适配多种训练策略的红外图像彩色化的电子设备，所述设备包括：一个或多个处理器；存储系统，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的红外图像彩色化方法；
本发明还提供了一种计算机可读存储介质，其存储有计算机程序，运行所述计算机程序可执行本发明所提供的红外图像彩色化方法。
实施例2
如图1所示，一种适配多种训练策略的红外图像彩色化方法，该方法具体包括如下步骤：
步骤1，构建网络模型，如图2、图3和图4所示，一种适配多种训练策略的红外图像彩色化方法的配对策略、双边未配对和单边未配对的工作原理图，具体包括生成器和鉴别器；
如图5所示，生成器由残差特征细化模块一、残差特征细化模块二、残差特征细化模块三、残差特征细化模块四、残差特征细化模块五、特征自适应模块、拼接模块一、拼接模块二、拼接模块三、拼接模块四、拼接模块五、拼接模块六、拼接注意模块一、拼接注意模块二、拼接注意模块三、拼接注意模块四、上采样操作和下采样操作组成；其中残差特征细化模块提取不同尺度下的特征信息，通过多分支结构扩大感受野并加深了网络，由卷积块一、卷积块二、卷积块三、卷积块四、卷积块五、卷积块六、卷积块七、卷积块八、卷积块九、卷积块十、卷积块十一、卷积层、加操作和拼接操作组成，卷积核大小为3×3和1×1，步长为1，每一个残差特征细化模块的具体构成如图6所示；下采样操作减小特征图的大小，更好地提取局部信息，由最大池化层8倍、最大池化层4倍和最大池化层2倍组成；特征自适应模块捕捉全局上下文信息，扩大感受野，减少彩色化目标间信息的损失，特征自适应模块捕捉全局上下文信息，扩大感受野，减少彩色化目标间信息的损失，由自适应池化层一、自适应池化层二、自适应池化层三、自适应池化层四、空洞卷积层一、空洞卷积层二、空洞卷积层三、卷积层一、卷积层二、卷积层三、卷积层四、卷积层五、双线性上采样操作和加操作组成，卷积层的卷积核大小为1×1，步长为1，空洞卷积层的卷积核大小为3×3，空洞率为{3,6,9}，自适应池化层的池化率{1,2,4,1}，每一个特征自适应模块的具体构成如图7所示；拼接模块对特征图进行跨通道的融合，逐步恢复特征图大小，减轻棋盘效应，由卷积层、L型函数和拼接操作组成，卷积核大小为3×3，步长为1，每一个拼接模块的具体构成如图8所示；拼接注意模块在减轻棋盘效应的同时，能够有效地捕获局部空间和通道维度的交互特征，建立多尺度长程依赖关系，由卷积层、L型函数、三重混合注意模块和拼接操作组成，卷积核大小为3×3，步长为1，每一个拼接注意模块的具体构成如图9所示；三重混合注意模块和拼接操作组成；三重混合注意模块由卷积层一、卷积层二、全局平均池化层一、卷积层三、卷积层四、全局平均池化层二、卷积层五、卷积层六、全局平均池化层三、重组操作、乘法操作、S1型函数、S2型函数和加操作组成，卷积核大小为1×1，每一个三重混合注意模块的具体构成如图9所示；最后得到特征图的大小与输入图像大小保持一致。
如图11所示，鉴别器使用L型函数替换R型函数，可以防止网络饱和，并且可以使网络更容易优化，提高泛化性能；将生成器生成的红外彩色化图像与数据集中的可见光彩色图像输入鉴别器中，鉴别器输出真假概率信息判断输入图像是否真实，由卷积块一、卷积块二、卷积块三、卷积块四、卷积层和S2型函数组成，卷积块一、卷积块二、卷积块三、卷积块四和卷积层的卷积核大小为4×4，卷积块一、卷积块二和卷积块三步长为2，卷积块四和卷积层步长为1。
为了保证网络的鲁棒性，保留更多的结构信息，充分提取图像特征，本发明使用四种激活函数，分别为L型函数、S1型函数和S2型函数，鉴别器最后一层为S2型函数，三重混合注意模块中使用了S1型函数和S2型函数，生成器和鉴别器的所有损失函数均为L型函数函数；L型函数、S1型函数和S2型函数定义如下所示：
步骤2，准备数据集；红外图像数据集使用KAIST数据集；KAIST行人数据集总共包括95328张图像，每个场景都包含可见光图像和红外图像两种模态图像，数据集包括了白天和晚上的校园、街道以及乡下的各种常规交通场景；图像大小为640×480；训练集中选择了4755张白天图像，2846张夜晚图像；测试集中选择了1455张白天图像，797张夜晚图像；我们仅用白天的训练集进行训练；将这4755张图像尺寸调整为256×256作为整个网络的输入；KAIST数据集的对抗训练可以确定一组初始化参数，加快后续网络训练进程；
所述步骤3中对数据集的图像进行图像增强，将同一张图像中进行随机衍射变换，并且裁剪到输入图像的大小，作为整个网络的输入；其中随机大小和位置通过软件算法可以实现；其中使用数据集中处理好的图像作为输入是为了让网络学习更好的特征提取能力，最终达到更好的彩色化效果；
所述步骤4中网络的输出与标签计算损失函数，通过最小化损失函数达到更好的融合效果；在训练过程中损失函数选择使用复合损失函数，配对策略下生成器采用对抗损失、像素损失、感知损失、总体变化损失和结构相似性损失；双边未配对策略下生成器采用对抗损失、循环一致性损失和一致性损失；单边未配对策略下生成器采用对抗损失、对比损失和感知损失；鉴别器采用对抗损失；
为了鼓励网络输出具有更真实细节的彩色化图像，采用了对抗损失；对抗性损失用于学习彩色化图像与彩色图像之间的隐式关系，定义为：
Ladv＝Ey～Y[logD(y)]+Ex～X[log(1-D(G(x)))],
其中，x和y分别为输入的红外图像和随机的彩色图像，G(·)和D(·)分别为生成器和鉴别器；
在双边未配对彩色化策略中，为了减少红外图像和可见光图像之间的差异，采用了循环一致性损失；它的核心思想是在通过一个循环的变换后图像的纹理和语义保持不变；优化这个损失函数可以使学习到的隐式函数满足循环一致性约束，从而能够学到更好的表示，实现红外图像的彩色化，定义为：
Lcycle＝Ex～X||GBA(GAB(x))-x||1+Ey～Y||GAB(GBA(y))-y||1,
其中，GAB(·)和GBA(·)分别为两个域的生成器；
像素损失实际是L1损失，通过增加像素损失，可以有效地最小化彩色图像和Ground Truth之间的亮度和对比度差异；如果GAN过于关注像素损失，则除了热红外图像中的亮度和对比度将会丢失；为了防止生成器过度表征像素到像素的关系，将添加像素损失的适当权重；像素损失可以表示为：
其中W和H分别表示热红外图像的高度和宽度，||·||1表示L1范数；
一致性损失的作用是保留输入和输出颜色组成的一致性，纠正生成器的色偏，更好地还原目标域图像的色彩信息；如果不添加该损失的话，生成器可能会自主地修改图像的色调，使得整体的颜色发生改变；一致性损失表示为：
Lident(GAB,GBA)＝Ex～X||GBA(x)-x||1+Ey～Y||GAB(y)-y||1
Ladv和Lpixel有时无法确保感知质量和客观指标之间的一致性；为了缓解这个问题，我们使用感知损失，它比较了由专用预训练模型等工具提取的特征图之间的差异；在本发明中，使用预训练VGG-16CNN来识别和提取输入图像的特征；为了合成感知损失，VGG-16CNN提取彩色结果和Ground Truth的特征图，然后计算这对特征图之间的曼哈顿距离；感知损失表示为：
其中φn(·)表示VGG-16网络中第n层特征图，Cn、Hn和Wn分别表示该层的通道数、高度和宽度；
在彩色化图像中随机选取的蓝色图像块称为查询样本，对应在红外图像中的绿色图像块称为正样本，红外图像中其他黄色图像块称为负样本；对比损失的主要目的是拉近查询样本与正样本的距离，并尽最大可能远离负样本，促使模型生成的彩色化图像更加真实；同时对比学习侧重于学习相似实例之间的共同特征和区分非相似样本之间的差异，这确保了图像内容和结构的一致性；先将查询样本、正样本和N个负样本映射为K维向量，分别记作v、v+∈Rk和v-∈RN+k；此时，我们建立了一个N+1类的分类问题，最后使用交叉熵排除负样本选出正样本的概率，定义为：
其中，τ为温度系数，主要是为了缩放查询样本和其他样本之间的距离，默认为0.07；
本发明使用生成器编码器和对比网络提取红外图像和彩色化图像的特征，选择生成器编码器中的L层发送到对比网络后，图像可以投影为特征集合 其中/>表示生成器编码器第l层的输出；选中的每层中的空间位置记作s∈{1,…,Sl}，其中Sl是每层的空间位置数；每次查询样本的正样本特征记为/>负样本特征记为/>其中Ci是每层通道数；类似地，我们将彩色化图像表示为因此，对比损失可以表示为：
除了使用特征损失来恢复高级内容外，我们还采用总体变换损失来增强彩色热图像的空间平滑度，总体变换损失定义为：
其中和/>表示图像在x和y方向的梯度，|·|表示给定输入的逐元素绝对值；
为了最小化生成图像与真实地面之间的差异，我们引入了结构相似度(SSIM)损失，它可以衡量两幅图像之间的相似度；SSIM损失定义为:
其中，μ和σ分别为均值和方差；C1＝(mp)2和C2＝(np)2是防止分母值为0的数字；m和n分别为0.01和0.03，p为输入的取值范围，默认为1；
本发明将上述损失进行组合，用来匹配配对图像彩色化策略、双边未配对彩色化策略和单边未配对彩色化策略，提高彩色化结果质量，三种策略的总体损失函数如下所示：
Ltotal_paired＝λadv1Ladv+λpixelLpixel+λperLper+λtvLtv+λssimLssim
Ltotal_two＝λadv2Ladv+λcycleLcycle+λidentLident
Ltotal_one＝λadv2Ladv+λconlLconl+λperLper
其中λadv1、λpixel、λper、λtv、λssim、λadv2、λcycle、λident和λconl分别表示控制总体损失函数中不同损失份额的权重，权重的设置基于对训练数据集的初步实验，通过优化最终总体损失函数，有助于网络学习更清晰的边缘和更详细的纹理，使得彩色化图像的颜色自然，真实度更高，视觉效果更好；
所述步骤4中合适的评估指标选择峰值信噪比(PSNR)、结构相似性(SSIM)、感知图像相似度(LPIPS)、Fréchet距离(FID)和自然图像质量评估(NIQE)，峰值信噪比是基于对应像素点间的误差，即基于误差敏感的图像质量评价；结构相似性则是从亮度、对比度和结构三方面度量图像相似性，是一种用以衡量两张数位影像相似程度的指标；感知图像相似度学习生成图像到Ground Truth的反向映射强制生成器学习从假图像中重构真实图像的反向映射，并优先处理它们之间的感知相似度；Fréchet距离考虑的更多的是生成的图像与真实图像之间的联系，是计算彩色化图像和真实图像的相似性，Fréchet距离越低说明相似性越高，彩色化质量越好；自然图像质量评估基于一组“质量感知”特征，并将其拟合到多元高斯模型中；质量感知特征源于一个简单但高度正则化的自然统计特征模型；然后，将给定的测试图像的自然图像质量评估指标表示为从测试图像中提取的自然统计特征的多元高斯模型与从自然图像语料中提取的质量感知特征的多元高斯模型之间的距离；峰值信噪比、结构相似性、感知图像相似度、Fréchet距离和自然图像质量评估定义如下：
其中μx，μy分别表示图像x和y的均值和方差，和/>分别表示图像x和y的标准差，σxy表示图像x和y的协方差，C1和C2为常数；d为x0与x之间的距离，wl为可训练权重参数；其中g和r分别代表生成图像和真实图像，μg和μr表示的是各自特征向量的均值，∑g和∑r表示各自特征向量的协方差矩阵，Tr表示矩阵的迹；v1,v2,∑1和∑2分别表示自然多元高斯模型与失真图像多元高斯模型的均值向量和协方差矩阵；
设定训练次数为400，前200次训练过程的学习率设置为0.0002，后200次训练过程的学习率从0.0002逐渐递减到0；每次输入到网络图像数量大小的上限主要是根据计算机图形处理器性能决定，一般每次输入到网络图像数量在4-8区间内，可以使网络训练更加稳定且训练结果更好，能保证网络快速拟合；网络参数优化器选择Adam优化器；它的优点主要在于实现简单，计算高效，对内存需求少，参数的更新不受梯度的伸缩变换影响，使得参数比较平稳；当鉴别器判断假图的能力与生成器生成图像欺骗过鉴别器的能力平衡时，认为网络已基本训练完成；
步骤5，微调模型；用红外图像数据集二对模型进行训练和微调，在微调模型参数过程中使用FLIR数据集；FLIR数据集有8862个可见光和红外图像对，包含丰富的场景，如道路、车辆、行人等等；这些图像是FLIR视频中极具代表性的场景；在这个数据集中，我们选择3918个图像对用于训练，428个图像对用于测试；
所述步骤6中将网络训练完成后，需要将网络中所有参数保存，之后用将要彩色化的红外图像输入到网络中就可以得到彩色化好的图像；该网络对输入图像大小没有要求，任意尺寸均可；
所述步骤7中将保存模型适配到不同的训练策略中(配对策略、双边未配对策略和单边未配对策略)，观察彩色化性能变化。
其中，卷积、激活函数、拼接操作和批归一化等的实现是本领域技术人员公知的算法，具体流程和方法可在相应的教科书或者技术文献中查阅到；
本发明通过构建一种适配多种训练策略的红外图像彩色化方法，可以将红外图像直接生成彩色化图像，不再经过中间其他步骤，避免了人工手动设计相关彩色化规则；在相同条件下，通过计算与现有方法得到图像的相关指标，进一步验证了该方法的可行性和优越性；现有技术和本发明提出方法的相关指标对比如图13所示；
从图13中可知，本发明提出的方法比现有方法拥有更高的峰值信噪比、更高的结构相似性、更低的感知图像相似度、更低的Fréchet距离、更低的自然图像质量评估，这些指标也进一步说明了本发明提出的方法具有更好的彩色化质量和更低的计算复杂度；
如图14所示，本发明还提供了一种适配多种训练策略的红外图像彩色化系统，主要包括图像获取模块、图像处理模块、模型训练模块、质量评估模块和质量提升模块；
图像获取模块，用于获取待彩色化图像；
图像处理模块，用于对待彩色化图像进行预处理，并分为训练集和测试集；
模型训练模块，用于将处理好的待彩色化训练集图像输入到设计好的网络中进行训练，利用训练好的网络对待彩色化测试集图像的每个像素值进行预测，最终生成彩色化图像；
质量评估模块，用于评估最终生成的彩色化图像质量是否满足预设质量要求；若满足预设质量要求，则将生成的彩色化图像作为最终的彩色化效果；若不满足预设质量要求，则启动质量提升模块；
质量提升模块，用于重新获取数据集，并利用新的数据集继续训练模型，利用重新训练后的网络重新生成待彩色化图像对应的彩色化图像，然后返回质量评估模块。
进一步地，所述图像获取模块获取的待彩色化图像为红外图像，也可以是灰度图像；
进一步地，所述图像处理模块中预处理主要包括图像裁剪、图像翻转和图像平移等，分为训练集和测试集的比例为5:1；
进一步地，所述模型训练模块将每个图像从数据集的任意大小调整到固定大小256×256；一共训练400个epoch，批量大小为4；最初，在前200个时期，学习率被设置为0.0002，并且在接下来的200个时期，学习率线性下降到0；生成器和鉴别器中的第一卷积层中的滤波器数量被设置为64；我们使用Adam优化器；鉴别器和发生器被交替训练，直到复合损失函数收敛；
进一步地，所述质量评估模块的评价指标为峰值信噪比(PSNR)、结构相似性(SSIM)、感知图像相似度(LPIPS)、Fréchet距离(FID)和自然图像质量评估(NIQE)。
如图15所示，本发明还提供了一种适配多种训练策略的红外图像彩色化电子设备，主要包括存储器、处理器、通信接口和总线；其中，存储器、处理器、通信接口通过总线实现彼此之间的通信连接；
存储器可以是ROM，静态存储设备，动态存储设备或者RAM；存储器可以存储程序，当存储器中存储的程序被处理器执行时，处理器和通信接口用于执行本发明实施例的红外图像彩色化网络的训练方法的各个步骤；
处理器可以采用CPU，微处理器，ASIC，GPU或者一个或多个集成电路，用于执行相关程序，以实现本发明的红外图像彩色化训练系统中的单元所需执行的功能，或者执行本发明的红外图像彩色化训练方法；
处理器还可以是一种集成电路芯片，具有信号的处理能力；在实现过程中，本发明的红外图像彩色化训练方法的各个步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成；上述的处理器，还可以是通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件；可以实现或者执行本发明的红外图像彩色化方法、步骤及逻辑框图；通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等；结合本发明的红外图像彩色化方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成；软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中；该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成本发明的红外图像彩色化训练系统中包括的单元所需执行的功能，或者执行本发明的红外图像彩色化训练方法；
通信接口使用例如但不限于收发器一类的收发系统，来实现系统与其他设备或通信网络之间的通信；例如，可以通过通信接口获取待处理图像或者获取待处理图像的初始特征图；
总线可包括在系统各个部件(例如，存储器、处理器、通信接口)之间传送信息的通路；
本发明还提供了一种适配多种训练策略的红外图像彩色化的计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质；计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明提供的方法；
应注意，尽管图15所示的电子设备仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，系统还包括实现正常运行所必须的其他器件；同时，根据具体需要，本领域的技术人员应当理解，系统还可包括实现其他附加功能的硬件器件；此外，本领域的技术人员应当理解，系统也可仅仅包括实现本发明实施例所必须的器件，而不必包括图15中所示的全部器件。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种适配多种训练策略的红外图像彩色化方法，其特征在于，具体步骤为：
步骤1，构建网络模型：构建包括生成器和鉴别器的生成对抗网络；
步骤2，准备数据集：根据第一红外图像数据集对生成对抗网络进行预训练；
步骤3，训练网络模型：利用第一红外图像数据集对网络模型进行训练，直至达到预设阈值；
步骤4，选择最小化损失函数和最优评估指标：通过训练达到损失函数的阈值即可认为模型参数已预训练完成，保存模型参数；同时选择最优评估指标来衡量算法的精度，评估系统的性能；
步骤5，微调模型：利用第二红外图像数据集对网络模型进行再次训练和微调，获得最终模型；
步骤6，保存模型：将获得最终模型的参数进行固化，保存模型；
步骤7，适配策略：将保存模型适配到不同的训练策略中，观察彩色化性能变化。
2.根据权利要求1所述的一种适配多种训练策略的红外图像彩色化方法，其特征在于：所述生成器包括残差特征细化模块、下采样操作、特征自适应模块、拼接模块、拼接注意模块和上采样操作；
所述残差特征细化模块，用于提取不同尺度下的特征信息，通过多分支结构扩大感受野并加深了网络，局部残差连接则很好地传递图像信息；
所述特征自适应模块，用于捕捉全局上下文信息，扩大感受野，减少彩色化目标间信息的损失；
所述下采样操作，用于减小特征图的大小，更好地提取局部信息；
所述拼接模块和上采样操作，用于对特征图进行跨通道的融合，逐步恢复特征图大小，减轻棋盘效应；
所述拼接注意模块和上采样操作，用于在减轻棋盘效应的同时，能够有效地捕获局部空间和通道维度的交互特征，建立多尺度长程依赖关系。
3.根据权利要求1所述的一种适配多种训练策略的红外图像彩色化方法，其特征在于：所述鉴别器由多个卷积块和S型函数组成；使用L型函数替换R型函数，可以防止网络饱和，并且可以使网络更容易优化，提高泛化性能。
4.根据权利要求1所述的一种适配多种训练策略的红外图像彩色化方法，其特征在于：第一红外图像数据集为KAIST数据集，通过对数据集中图像进行训练。
5.根据权利要求1所述的一种适配多种训练策略的红外图像彩色化方法，其特征在于：在训练网络模型中预设阈值包括损失函数预设值、训练次数预设值。
6.根据权利要求5所述的一种适配多种训练策略的红外图像彩色化方法，其特征在于：损失函数为复合损失函数，配对策略下生成器采用对抗损失、像素损失、感知损失、总体变化损失和结构相似性损失；双边未配对策略下生成器采用对抗损失、循环一致性损失和一致性损失；单边未配对策略下生成器采用对抗损失、对比损失和感知损失；鉴别器采用对抗损失。
7.根据权利要求5所述的一种适配多种训练策略的红外图像彩色化方法，其特征在于：在训练网络模型过程中还包括通过评价指标评估算法彩色化结果的质量、图像相似程度和图像失真程度。
8.根据权利要求1所述的一种适配多种训练策略的红外图像彩色化方法，其特征在于：第二红外图像数据集为FLIR数据集。
9.一种适配多种训练策略的红外图像彩色化系统，其特征在于，所述系统包括：
图像获取模块，用于获取待彩色化图像；
图像处理模块，用于对待彩色化图像进行预处理，并分为训练集和测试集；
模型训练模块，用于将处理好的待彩色化训练集图像输入到设计好的网络中进行训练，利用训练好的网络对待彩色化测试集图像的每个像素值进行预测，最终生成彩色化图像；
质量评估模块，用于评估最终生成的彩色化图像质量是否满足预设质量要求；若满足预设质量要求，则将生成的彩色化图像作为最终的彩色化效果；若不满足预设质量要求，则启动质量提升模块；
质量提升模块，用于重新获取数据集，并利用新的数据集继续训练模型，利用重新训练后的网络重新生成待彩色化图像对应的彩色化图像，然后返回质量评估模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311280430.9A CN117252936A (zh) | 2023-10-04 | 2023-10-04 | 一种适配多种训练策略的红外图像彩色化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311280430.9A CN117252936A (zh) | 2023-10-04 | 2023-10-04 | 一种适配多种训练策略的红外图像彩色化方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117252936A true CN117252936A (zh) | 2023-12-19 |
Family
ID=89129031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311280430.9A Pending CN117252936A (zh) | 2023-10-04 | 2023-10-04 | 一种适配多种训练策略的红外图像彩色化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117252936A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876530A (zh) * | 2024-03-12 | 2024-04-12 | 长春理工大学 | 一种基于参考图像的红外图像彩色化方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175266A (zh) * | 2019-05-28 | 2019-08-27 | 复旦大学 | 一种用于多段视频跨模态检索的方法 |
| CN112070010A (zh) * | 2020-09-08 | 2020-12-11 | 长沙理工大学 | 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法 |
| CN114092330A (zh) * | 2021-11-19 | 2022-02-25 | 长春理工大学 | 一种轻量化多尺度的红外图像超分辨率重建方法 |
| CN115546198A (zh) * | 2022-11-08 | 2022-12-30 | 长春理工大学 | 一种基于循环生成对抗网络的近红外图像彩色化方法 |
| US20230154158A1 (en) * | 2022-05-20 | 2023-05-18 | Xi'an Jiaotong University | Method and system for enhancing online reflected light ferrograph image |
| CN116485934A (zh) * | 2023-04-28 | 2023-07-25 | 长春理工大学重庆研究院 | 一种基于CNN和ViT的红外图像彩色化方法 |
| CN116503502A (zh) * | 2023-04-28 | 2023-07-28 | 长春理工大学重庆研究院 | 一种基于对比学习的未配对红外图像彩色化方法 |
| CN116645569A (zh) * | 2022-12-27 | 2023-08-25 | 长春理工大学 | 一种基于生成对抗网络的红外图像彩色化方法和系统 |
| CN116740211A (zh) * | 2023-06-15 | 2023-09-12 | 云南大学 | 一种面向边缘设备的近红外图像彩色化方法 |
-
2023
- 2023-10-04 CN CN202311280430.9A patent/CN117252936A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175266A (zh) * | 2019-05-28 | 2019-08-27 | 复旦大学 | 一种用于多段视频跨模态检索的方法 |
| CN112070010A (zh) * | 2020-09-08 | 2020-12-11 | 长沙理工大学 | 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法 |
| CN114092330A (zh) * | 2021-11-19 | 2022-02-25 | 长春理工大学 | 一种轻量化多尺度的红外图像超分辨率重建方法 |
| US20230154158A1 (en) * | 2022-05-20 | 2023-05-18 | Xi'an Jiaotong University | Method and system for enhancing online reflected light ferrograph image |
| CN115546198A (zh) * | 2022-11-08 | 2022-12-30 | 长春理工大学 | 一种基于循环生成对抗网络的近红外图像彩色化方法 |
| CN116645569A (zh) * | 2022-12-27 | 2023-08-25 | 长春理工大学 | 一种基于生成对抗网络的红外图像彩色化方法和系统 |
| CN116485934A (zh) * | 2023-04-28 | 2023-07-25 | 长春理工大学重庆研究院 | 一种基于CNN和ViT的红外图像彩色化方法 |
| CN116503502A (zh) * | 2023-04-28 | 2023-07-28 | 长春理工大学重庆研究院 | 一种基于对比学习的未配对红外图像彩色化方法 |
| CN116740211A (zh) * | 2023-06-15 | 2023-09-12 | 云南大学 | 一种面向边缘设备的近红外图像彩色化方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHEN YU 等: "Contrastive learning with feature fusion for unpaired thermal infrared image colorization", 《OPTICS AND LASERS IN ENGINEERING》, 23 August 2023 (2023-08-23), pages 1 - 20 * |
| CHEN YU 等: "DDGAN: Dense Residual Module and Dual-stream Attention-Guided Generative Adversarial Network for colorizing near-infrared image", 《INFRARED PHYSICS AND TECHNOLOGY》, 13 July 2023 (2023-07-13), pages 1 - 13 * |
| CHEN YU 等: "Exploring efficient and effective generative adversarial network for thermal infrared image colorization", 《COMPLEX & INTELLIGENT SYSTEMS》, 23 June 2023 (2023-06-23), pages 7015 - 9036 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876530A (zh) * | 2024-03-12 | 2024-04-12 | 长春理工大学 | 一种基于参考图像的红外图像彩色化方法及系统 |
| CN117876530B (zh) * | 2024-03-12 | 2024-05-17 | 长春理工大学 | 一种基于参考图像的红外图像彩色化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
| CN110197517B (zh) | 基于多域循环一致性对抗生成网络的sar图像上色方法 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN116485934A (zh) | 一种基于CNN和ViT的红外图像彩色化方法 | |
| CN116503502A (zh) | 一种基于对比学习的未配对红外图像彩色化方法 | |
| CN116645569A (zh) | 一种基于生成对抗网络的红外图像彩色化方法和系统 | |
| CN113256494B (zh) | 一种文本图像超分辨率方法 | |
| Jiang et al. | Supervised dictionary learning for blind image quality assessment using quality-constraint sparse coding | |
| CN117252936A (zh) | 一种适配多种训练策略的红外图像彩色化方法及系统 | |
| CN114004754A (zh) | 一种基于深度学习的场景深度补全系统及方法 | |
| CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
| CN110633640A (zh) | 优化PointNet对于复杂场景的识别方法 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| Pan et al. | FDPPGAN: remote sensing image fusion based on deep perceptual patchGAN | |
| Ahmed et al. | PIQI: perceptual image quality index based on ensemble of Gaussian process regression | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN116740121A (zh) | 一种基于专用神经网络和图像预处理的秸秆图像分割方法 | |
| CN116934592A (zh) | 一种基于深度学习的图像拼接方法、系统、设备及介质 | |
| CN113313180B (zh) | 一种基于深度对抗学习的遥感图像语义分割方法 | |
| Liu et al. | WSDS-GAN: A weak-strong dual supervised learning method for underwater image enhancement | |
| CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
| CN116823647A (zh) | 基于快速傅里叶变换和选择性注意力机制的图像补全方法 | |
| CN111369435A (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及系统 | |
| CN116137043A (zh) | 一种基于卷积和Transformer的红外图像彩色化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |