CN117391981A - 一种基于低光照明和自适应约束的红外与可见光图像融合方法 - Google Patents
一种基于低光照明和自适应约束的红外与可见光图像融合方法 Download PDFInfo
- Publication number
- CN117391981A CN117391981A CN202311346351.3A CN202311346351A CN117391981A CN 117391981 A CN117391981 A CN 117391981A CN 202311346351 A CN202311346351 A CN 202311346351A CN 117391981 A CN117391981 A CN 117391981A
- Authority
- CN
- China
- Prior art keywords
- image
- illumination
- fusion
- network
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 136
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 128
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000012360 testing method Methods 0.000 claims abstract description 32
- 230000004913 activation Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 26
- 230000005284 excitation Effects 0.000 claims description 18
- 238000001125 extrusion Methods 0.000 claims description 18
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 238000011084 recovery Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 12
- 150000001875 compounds Chemical class 0.000 claims description 12
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 11
- 230000016776 visual perception Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 25
- 238000013135 deep learning Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于低光照明和自适应约束的红外与可见光图像融合方法，涉及图像增强和图像融合技术领域，本发明包括以下步骤：步骤1：获取光照场景判别网络的训练集；步骤2：构建光照场景判别网络，训练光照场景判别网络，得到训练好的光照场景判别网络模型；步骤3：获取增强网络的训练集；步骤4：构建增强网络，训练增强网络，得到训练好的增强网络模型；步骤5：获取融合网络的训练集和测试集；步骤6：构建融合网络，训练融合网络，得到训练好的融合网络模型；步骤7：利用融合网络的训练集中的测试数据对步骤6得到的训练好的融合网络模型进行测试，得到融合图像。本发明所述的图像融合方法得到的低光背景下的红外图像和可见光图像的融合图像能够获得更突出的目标信息、更丰富的纹理细节和更加良好的视觉感知。
Description
技术领域
本发明涉及图像增强和图像融合技术领域，具体涉及一种基于低光照明和自适应约束的红外与可见光图像融合方法。
背景技术
红外与可见光图像融合技术是去解决单模态图像无法有效、全面地描述场景信息的问题。红外图像突出显著的热目标，如行人、车辆等重要信息。可见光图像具有丰富的结构、颜色信息和纹理特征，更加符合人眼观察。两种图像在应用场景上的互补性促使我们将红外图像和可见光图像融合，生成的融合图像具有更加丰富的场景信息，在后续的高级视觉任务如军事监视、目标跟踪、突出目标检测等领域有着良好的应用前景。
现有的图像融合方法主要分为传统的图像融合方法和基于深度学习的图像融合方法。尽管传统方法在一定程度上已经取得不错的融合性能，但是手工设计的变化模型和融合规则仍旧制约了它的发展。得益于深度学习强大的特征提取能力和非线性拟合能力，基于深度学习的融合方法成为当前图像融合任务的主流方向。尽管基于深度学习的融合方法可以获得令人满意的融合结果，但仍旧存在一些挑战需要去解决。首先，现有技术中基于深度学习的图像融合方法大都是针对正常光照条件下设计的，无法有效解决由于可见光图像光照退化而导致融合图像出现信息丢失、场景信息差的问题。此外，图像融合技术是一种无监督的视觉任务，因此损失函数对于融合性能来说扮演非常重要的角色，而大多数基于深度学习的图像融合方法采用固定损失约束，如最大损失或平均损失，这导致生成的融合只是两种源图像的简单合成，无法有效地集成不同模态图像的互补信息。如何解决低光场景下的红外与可见光图像融合和如何有效集成源图像的互补信息成为当前图像融合任务面临的挑战。
发明内容
有鉴于此，本发明提供了一种基于低光照明和自适应约束的红外与可见光图像融合方法，该方法通过结合增强任务和融合任务有效降低光照对融合性能的影响，另外设计自适应损失函数来促进源图像互补信息的集成。
为实现上述目的，本发明采用的技术方案是：
本发明提供了一种低光照明和自适应约束的红外与可见光图像融合方法，包括如下步骤：
步骤1：获取光照场景判别网络的训练集；
步骤2：构建光照场景判别网络，训练光照场景判别网络，得到训练好的光照场景判别网络模型；其中，所述的光照场景判别网络由四个依次连接的单元组成，前三个单元由依次连接的卷积层、LRelu激活层和步幅卷积层组成，最后一个单元由依次连接的全连接层、LRelu激活层、全连接层和Softmax层组成；
步骤3：获取增强网络的训练集；
步骤4：构建增强网络，训练增强网络，得到训练好的增强网络模型；其中，所述的增强网络包括分解模块、照度增强模块和反射恢复模块，分解模块包括两个3×3卷积层、两个挤压激励块和两个1×1卷积层组成，挤压激励块由两个步幅卷积层、三个LRelu激活层、两个全连接层和一个Sigmoid层组成，照度增强模块包含四个特征提取单元和四个特征重建单元组成，特征提取单元由依次连接的卷积层、LRelu激活层和下采样层组成，特征重建单元由依次连接的卷积层、LRelu激活层和上采样层组成，反射恢复模块由两个引导滤波器和Sobel算子组成；
步骤5：获取融合网络的训练集和测试集；
步骤6：构建融合网络，训练融合网络，得到训练好的融合网络模型；其中所述的融合网络采用自编码器结构，其中，编码器Encoder包含上支路和下支路两条支路，其中，上支路包含四个卷积单元，每个卷积单元均由一个5×5卷积层和一个LRelu激活层组成；下支路包含四个卷积单元，每个卷积单元均由一个3×3卷积层和一个LRelu激活层；解码器Decoder由一个挤压激励块和四个解码单元组成，其中，挤压激励块依次由一个池化层、一个LRelu激活层、两个全连接层和一个Sigmoid层组成，前三个解码单元均由一个3×3卷积层和一个LRelu激活层组成，最后一个解码单元由一个3×3卷积层和一个Tanh激活层组成；
步骤7：利用融合网络的训练集中的测试数据对步骤6得到的训练好的融合网络模型进行测试，得到融合图像。
优选地，步骤1中，所述的光照场景判别网络的训练集来自MSRS数据集，具体为：选取MSRS数据集中280张白天图像和280张夜晚图像，将选取的图像分割为64*64大小的补丁图像，使用获得的补丁图像来构建光照场景判别网络的训练集。
优选地，步骤2中，本申请所述的光照场景判别网络的训练过程，包括如下步骤：
步骤2.1：读取光照场景判别网络的训练集的图像，调整图像的尺寸，将图像的像素值进行归一化处理，即得到输入图像；
步骤2.2：将输入图像送到光照场景判别网络中提取光照特征；
步骤2.3：将提取到的光照特征通过全连接层映射成二分类结果，然后对二分类结果进行归一化处理，得到图像为白天的光照概率Pday和图像为夜晚的光照概率Pnight；
步骤2.4：根据损失函数lD来计算输入图像的光照判别结果y和输入图像的光照标签z之间的损失；
步骤2.5：用Adam优化器优化梯度，更新网络的参数；
步骤2.6：重复步骤2.1至步骤2.5，直到在整个训练集上迭代次数epoch达到设定的阈值，得到训练好的光照场景判别网络。
优选地，步骤2.2的具体步骤为：读取输入图像，使用卷积层、激活层和步幅卷积层提取光照特征。
优选地，步骤2.3的具体步骤为：将提取到的光照特征经过两层全连接层得到二分类结果，然后二分类结果经过Softmax层进行归一化处理得到光照概率信息。
优选地，步骤2.4中，损失函数lD的计算公式，如式(1)所示：
lD＝-zlogy-(1-z)log(1-y), (1)
式(1)中，lD表示二元交叉熵损失函数，z表示图像的光照标签，y是光照判别网络的输出。
优选地，步骤3中，所述的增强网络的训练集是指包括LOL数据集和PASCALVOC2012数据集在内的共计8000对低/正常光图像组成的合成数据集。
优选地，步骤4中，所述增强网络的训练过程包括如下步骤：
步骤4.1：读取增强网络训练的训练集中的低光和正常光图像对(Ilow,Inormal)，然后分别将低光图像Ilow和正常光图像Inormal转换到YCbCr颜色空间，提取低光图像Ilow和正常光图像Inormal的Y通道图，得到Y通道图像对
步骤4.2：将低光图像的Y通道图和正常光图像的Y通道图分别送入分解模块得到对应图像的照度分量L和反射分量R；
步骤4.3：将得到的低光图像的照度分量Llow，光照条件Pday和Pnight送到照度增强模块进行照度增强处理，得到增强后的照度分量Llow_en，将得到的低光图像的反射分量Rlow送入反射恢复模块，得到恢复后的反射分量Rlow_en；
步骤4.4：结合增强后的照度分量Llow_en和细节恢复后的反射分量Rlow_en得到增强后的图像Ilow_en；
步骤4.5：根据分解损失函数ldec和照度增强损失函数len来计算增强网络的损失；
步骤4.6：用Adam优化器优化梯度，更新增强网络的参数；
步骤4.7：重复步骤4.1至4.6，直到在整个训练集上迭代次数epoch达到设定阈值，得到训练好的增强网络。
优选地，步骤4.2的具体步骤为：将低光图像的Y通道图和正常光图像的Y通道图分别送入分解模块，经过卷积层的特征提取和挤压激励块的特征选取得到对应图像的照度分量L和反射分量R；
优选地，步骤4.3的具体步骤为：将低光图像的照度分量Llow和图像的光照条件Pday和Pnight送入到照度增强模块，根据光照条件自适应增强照度信息，得到增强后的照度分量Llow_en，使用引导滤波器和梯度算子对反射分量Rlow进行细节恢复处理，并采用分层策略进行去噪和细节保留，首先使用反射分量R本身作为引导图像对反射分量R进行去噪和分层处理，得到经过去噪的基础层Rbase和细节层Rdetail，然后使用细节层的梯度图像作为引导图像对细节层进行细节恢复处理，得到恢复细节的细节层Rdetail_en，最后结合经过去噪的基础层Rbase和经过细节恢复的细节层Rdetail_en，得到增强后的反射分量Rlow_en。
优选地，步骤4.5中，损失函数包括分解损失ldec和增强损失len，分解损失ldec的计算公式，如式(2)所示：
ldec＝ω1lrec+ω2lr+ω3li， (2)
式(2)中，lrec为重构损失，lr为反射一致性损失，li为照度平滑损失；ω1、ω2和ω3均为超参数；
式(2)中，重构损失lrec的计算公式，如式(3)所示：
式(3)中，l1表示L1损失函数，SSIM表示结构相似性损失，α是平衡参数，S、R和L分别表示源图像、反射分量和照度分量；
式(2)中，反射一致性损失lr的计算公式，如式(4)所示：
式(4)中，Rlow和Rnormal分别表示低光图像的反射分量和正常光图像的反射分量，N表示图像总数；
式(2)中，照度平滑损失li的计算公式，如式(5)所示：
式(5)中，|| ||1表示第一范数，表示图像的照度分量的梯度值。
优选地，步骤4.5中，照度增强损失函数len的计算公式，如式(6)所示：
式(6)中，表示增强后的照度分量。
优选地，步骤5中，所述的融合网络的训练集和测试集来自MSRS数据集，具体为：选取MSRS数据集中的训练数据集中的1083对图像作为融合网络的训练集，选取MSRS数据集中的测试集中的360对图像作为融合网络的测试集。
优选地，步骤6中，所述融合网络的训练过程包括以下步骤：
步骤6.1：读取红外图像和增强后的可见光图像(Iir,Ivis_en)，然后分别将红外图像Iir和增强后的可见光图像Ivis_en转换到YCbCr颜色空间，提取红外图像Iir和增强后的可见光图像Ivis_en的Y通道图，得到Y通道图像对
步骤6.2：将提取的Y通道图像对在通道维度上拼接作为融合网络的编码器(Encoder)的输入，分别提取3×3和5×5两个尺度的特征；
步骤6.3：将提取的不同尺度特征在通道维度上拼接得到混合特征，然后混合特征被送到挤压激励块进行特征选取，得到重建特征；
步骤6.4：将得到的重建特征送到解码器(Decoder)中进行图像重建；
步骤6.5：根据损失函数lfusion计算融合网络的损失，使用Adam优化器优化损失梯度并反向传播，更新融合网络的模型参数；
步骤6.6：重复步骤6.1至步骤6.5，直到在整个训练集上迭代次数epoch达到设定阈值，得到训练好的融合网络。
步骤7：利用融合网络的测试集中的测试数据对步骤6得到的训练好的融合网络模型进行测试，得到融合图像。
优选地，步骤6.2的具体步骤为：将Y通道图像对在通道维度上拼接得到拼接Y通道图，然后将拼接Y通道图输入到融合网络中经融合网络编码器的上下两个分支提取3×3尺度和5×5尺度的深层特征。
优选地，步骤6.3的具体步骤为：将提取的不同尺度的深层特征在通道维度上拼接送入挤压激励块(SE)进行特征选取，放大重要特征，过滤冗余的、无用的特征。
优选地，步骤6.5中，损失函数lfusion的计算公式，如式(7)所示：
lfusion＝λ1lint·+λ2ltex+λ3lssim, (7)
式(7)中，lint为强度损失，ltex为纹理损失，lssim为结构损失；λ1、λ2和λ3为超参数，用来平衡三项损失；
式(7)中，强度损失lint的计算公式，如式(8)所示：
式(8)中，H和W分别为图像的高和宽，M和(1-M)表示目标区域和背景区域的掩码图像，我们通过分割MSRS数据集中的label标签获得，Pir和Pvis分别表示|Ifusion-Iir|和|Ifusion-Ivis_en|，Wir和Wvis为自适应权重信息，由信息熵和光照条件组成，自适应权重的计算公式如式(9)所示：
式(9)中，EN表示信息熵，用来衡量图像具有信息量的多少；Pday和Pnight分别表示图像中光照场景属于白天的概率和属于夜晚的概率；
式(8)中，纹理损失ltex的计算公式，如式(10)所示：
式(10)中，表示Sobel算子，它被用来计算图像的梯度信息；
式(7)中，结构损失lssim的计算公式，如式(11)所示：
式(11)中,SSIM表示两个图像之间相似性的计算，SSIM的值越大，表明两个图像越相似。
优选地，步骤7具体包括如下步骤：
步骤7.1：将融合图像的测试集中的测试数据输入到步骤6得到的训练好的融合网络模型中并依次按照步骤6.1到步骤6.4进行，得到Y通道的融合图像；
步骤7.2：将Y通道的融合图像与可见光图像的CbCr通道在特征维度连接，得到YCbCr颜色空间的融合图像，然后再转换到RGB颜色空间，得到最终的融合图像。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于低光照明和自适应约束的红外与可见光图像融合方法，旨在处理由于光照不足导致融合图像出现的场景信息差、细节信息不足的问题和使用固定损失函数约束融合网络导致融合结果不能有效集成源图像互补的问题；通过在图像融合的基础上引入图像增强，本发明可以充分地挖掘可见光图像中隐藏在黑暗中的细节信息，合理地增强可见光图像的光照亮度；通过设计的自适应损失函数，本发明可以根据图像的信息量和光照条件自适应的集成源图像的互补信息；通过本申请所述的图像融合方法得到的低光背景下的红外图像和可见光图像的融合图像能够获得丰富的纹理细节、明亮的场景信息和良好的视觉感知。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请的总体流程图；
图2为光照场景判别网络的示意图；
图3为增强网络的示意图；
图4为融合网络的示意图；
图5为一组低光场景下的原始红外图像、原始可见光图像以及融合图像的对比图；
图6为另一组低光场景下的原始红外图像、原始可见光图像以及融合图像的对比图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图和实施例详细说明本发明的实施方式。
本发明提供了一种基于低光照明和自适应约束的红外与可见光图像融合方法，包括如下步骤：
步骤1：获取光照场景判别网络的训练集：
选取公开图像融合数据集MSRS中280张白天图像和280张夜晚图像，将选取的图像分割为64*64大小的补丁图像，使用获得的补丁图像来构建光照场景判别网络的训练集。
步骤2：训练光照场景判别网络：
本申请中光照场景判别网络的结构如图2所示，光照场景判别网络由四个依次连接的单元组成，前三个单元由依次连接的卷积层、LRelu激活层和步幅卷积层组成，最后一个单元由依次连接的全连接层、LRelu激活层、全连接层和Softmax层组成，本申请中每个卷积层的卷积核尺寸为3×3，其中卷积层的step为1，padding为1，步幅卷积层的step为2，激活函数均采用LRelu激活层。
本申请中光照场景判别网络的训练过程，包括如下步骤：
步骤2.1：读取光照场景判别网络训练集中的图像，对图像进行裁剪、分割得到补丁图像，将补丁图像的像素值归一化到[0，1]，即得到输入图像；该MSRS数据集为图像数据集，图像的格式均为RGB格式；
步骤2.2：将输入图像送到网络中去提取图像光照特征；
步骤2.3：将提取到的光照特征进行二分类判别，得到图像为白天的光照概率Pday和图像为夜晚的光照概率Pnight；
步骤2.4：根据损失函数lD来计算输入图像的光照判别结果y和输入图像的光照标签z之间的损失，损失函数lD的计算公式，如式(1)所示：
lD＝-zlogy-(1-z)log(1-y), (12)
式(1)中，lD为二元交叉熵损失函数，z表示图像的光照标签，y是光照判别网络的输出。
步骤2.5：用Adam优化器优化梯度，更新网络的参数；
步骤2.6：重复步骤2.1至步骤2.5，直到在整个训练集上迭代次数epoch达到设定的阈值，得到训练好的光照场景辨别网络，训练过程中迭代次数epoch的设定阈值为10，本申请中光照场景判别网络的训练是采用python和pytorch框架实现算法，batchsize设置为32，并基于NVIDIA A4000 GPU进行的训练。
步骤3：获取增强网络的训练集：
选用由LOL数据集和PASCALVOC2012数据集在内的共计8000对低/正常光图像组成的合成数据集作为用于增强网络训练的训练集。
步骤4：训练增强网络：
本申请中增强网络的结构如图3所示，本申请中增强网络具体包括分解模块、照度增强模块和反射恢复模块，其中，分解模块包括两个3×3卷积层、两个挤压激励块和两个1×1卷积层组成，挤压激励块由两个3×3步幅卷积层、三个LRelu激活层、两个全连接层和一个Sigmoid层组成，照度增强模块包含四个特征提取单元和四个特征重建单元组成，特征提取单元由依次连接的卷积层、LRelu激活层和下采样层组成，特征重建单元由依次连接的卷积层、LRelu激活层和上采样层组成，反射恢复模块由两个引导滤波器和Sobel算子组成，本申请中卷积层的step为1，padding为1，步幅卷积层的step为2。
本申请中，增强网络的训练过程包括分解模块的训练过程以及照度增强模块的训练过程，增强网络的具体训练方式如下：
步骤4.1：读取增强网络训练的训练集中的低光和正常光图像对(Ilow,Inormal)，然后分别将低光图像Ilow和正常光图像Inormal转换到YCbCr颜色空间，提取低光图像Ilow和正常光图像Inormal的Y通道图，得到Y通道图像对
步骤4.2：将低光图像的Y通道图和正常光图像的Y通道图分别送入分解模块得到对应图像的照度分量L和反射分量R；
步骤4.3：将低光图像的照度分量Llow和图像的光照条件Pday和Pnight送入到照度增强模块，根据光照条件自适应增强照度信息，得到增强后的照度分量Llow_en，使用引导滤波器和梯度算子对反射分量Rlow进行细节恢复处理，并采用分层策略进行去噪和细节保留，首先使用反射分量R本身作为引导图像对反射分量R进行去噪和分层处理，得到经过去噪的基础层Rbase和细节层Rdetail，然后使用细节层的梯度图像作为引导图像对细节层进行细节恢复处理，得到恢复细节的细节层Rdetail_en，最后结合经过去噪的基础层Rbase和经过细节恢复的细节层Rdetail_en，得到增强后的反射分量Rlow_en；
步骤4.4：结合增强后的照度分量Llow_en和恢复后的反射分量Rlow_en得到增强后的图像Ilow_en；
步骤4.5：根据分解损失函数ldec和照度增强损失函数len来计算增强网络的损失，并利用Adam优化器优化损失梯度并反向传播，更新增强网络的模型参数；本申请中分解损失函数ldec的计算公式，如式(2)所示：
ldec＝ω1lrec+ω2lr+ω3li， (13)
式(2)中，lrec为重构损失，lr为反射一致性损失，li为照度平滑损失；ω1、ω2和ω3均为超参数。
式(2)中，重构损失lrec的计算公式，如式(3)所示：
式(3)中，l1表示L1损失函数，SSIM表示结构相似性损失，α是平衡参数，S、R和L分别表示源图像、反射分量和照度分量。
式(2)中，反射一致性损失lr的计算公式，如式(4)所示：
式(4)中，Rlow和Rnormal分别表示低光图像的反射分量和正常光图像的反射分量，N表示图像总数。
式(2)中，照度平滑损失li的计算公式，如式(5)所示：
式(5)中，|| ||1表示第一范数，表示图像的照度分量的梯度值。
步骤4.5中，照度增强损失函数len的计算公式，如式(6)所示：
式(6)中，表示增强后的照度分量。
步骤4.6：重复步骤4.1至4.5，直到在整个训练集上迭代次数epoch达到设定阈值，得到训练好的增强网络，本实施例中增强网络训练过程中迭代次数的设定阈值为10，超参数α设置为0.8，ω1、ω2和ω3分别设为1、0.01和0.01，batchsize为32，本实施例中，增强网络的训练基于NVIDIA A4000GPU芯片，采用Adam优化器，初始学习率设置为1×10-4。
步骤5：获取融合网络的训练集和测试集：
选取MSRS数据集中的训练数据集中的1083对图像作为融合网络的训练集，选取MSRS数据集中的测试集中的360对图像作为融合网络的测试集；本申请中上述的MSRS数据集为现有技术中公开的红外与可见光图像配对的数据集。
步骤6：训练融合网络：
本申请中融合网络的结构如图4所示，融合网络采用编码器-解码器结构，编码器Encoder包含上支路和下支路两条支路，其中，上支路包含四个卷积单元，每个卷积单元均由一个5×5卷积层和一个LRelu激活层组成；下支路包含四个卷积单元，每个卷积单元均由一个3×3卷积层和一个LRelu激活层；解码器Decoder由一个挤压激励块和四个解码单元组成，其中，挤压激励块依次由一个池化层、一个LRelu激活层、两个全连接层和一个Sigmoid层组成，前三个解码单元均由一个3×3卷积层和一个LRelu激活层组成，最后一个解码单元由一个3×3卷积层和一个Tanh激活层组成。
本申请中融合网络的训练过程，包括如下步骤：
步骤6.1：读取红外图像和增强后的可见光图像(Iir,Ivis_en)，然后分别将红外图像Iir和增强后的可见光图像Ivis_en转换到YCbCr颜色空间，提取红外图像Iir和增强后的可见光图像Ivis_en的Y通道图，得到Y通道图像对
步骤6.2：将Y通道图像对在通道维度上拼接得到拼接Y通道图，然后将拼接Y通道图输入到融合网络中经融合网络编码器的上下两个分支提取3×3尺度和5×5尺度的深层特征；
步骤6.3：将提取的不同尺度的深层特征在通道维度上拼接送入挤压激励块(SE)进行特征选取，放大重要特征，过滤冗余的、无用的特征，得到重建特征；
步骤6.4：将得到的重建特征送到解码器中进行图像重建；
步骤6.5：根据损失函数lfusion计算融合网络的损失值，使用Adam优化器优化损失梯度并反向传播，更新融合网络的模型参数；本申请中损失函数lfusion的计算公式，如式(7)所示：
lfusion＝λ1lint·+λ2ltex+λ3lssim, (18)
式(7)中，lint为强度损失，ltex为纹理损失，lssim为结构损失；λ1、λ2和λ3为超参数，用来平衡三项损失；本实施例中损失函数lfusion的超参数λ1、λ2和λ3分别设置为10、5、2。
式(7)中，强度损失lint的计算公式，如式(8)所示：
式(8)中，H和W分别为图像的高和宽，M和(1-M)表示目标区域和背景区域的掩码图像，我们通过分割MSRS数据集中的label标签获得，Pir和Pvis分别表示|Ifusion-Iir|和|Ifusion-Ivis_en|；Wir和Wvis为自适应权重信息，由信息熵和光照条件组成，自适应权重的计算公式如式(9)所示：
式(9)中，EN表示信息熵，用来衡量图像具有信息量的多少；Pday和Pnight分别表示图像中光照场景属于白天的概率和属于夜晚的概率。
式(7)中，纹理损失ltex的计算公式，如式(10)所示：
式(10)中，表示Sobel算子，它被用来计算图像的梯度信息。
式(7)中，结构损失lssim的计算公式，如式(11)所示：
式(11)中，SSIM表示两个图像之间相似性的计算，SSIM的值越大，表明两个图像越相似。
步骤6.6：重复步骤6.1至步骤6.5，直到在整个训练集上迭代次数epoch达到设定阈值，得到训练好的融合网络，本实施例中融合网络训练过程中迭代次数的设定阈值为20，本实施例中，融合网络的训练基于NVIDIA A4000GPU芯片，采用Adam优化器，batchsize为32，初始学习率设置为1×10-4。
步骤7：利用融合网络的测试集中的测试数据输入到步骤6得到的训练好的融合网络模型进行测试，得到融合图像，包括如下步骤：
步骤7.1：将融合图像的测试集中的测试数据输入到步骤5得到的训练好的融合网络模型中并依次按照步骤6.1到步骤6.4进行，得到Y通道的融合图像；
步骤7.2：将Y通道的融合图像与可见光图像的CbCr通道在特征维度连接，得到YCbCr颜色空间的融合图像，然后再转换到RGB颜色空间，得到最终的融合图像。
为了验证步骤7得到的融合图像的融合效果，本申请特地从测试集中选取了两组融合图像进行展示，该两组融合图像分别如图5和图6所示。从图5和图6中可以看出：
1)每组的融合图像的整体亮度、场景信息都得到提升，视觉效果得到显著提高；
2)每组的融合图像中包含了更多可见光图像的纹理细节信息，该上述所述的纹理细节信息从图5和图6中的方框中能够看出；
3)每组的融合图像均保留红外图像中的显著目标信息。
此外，本申请还利用融合网络的测试集中的测试数据对DenseFuse融合方法(出自于IEEE Transactions on Image Processing)、FusionGAN融合方法(出自于InformationFusion)、GANMcC融合方法(出自于IEEE Transactions on Instrumentation andMeasurement)、RFN-Nest融合方法(出自于Information Fusion)、IFCNN融合方法(出自于Information Fusion)、U2Fusion融合方法(出自于IEEE Transactions on PatternAnalysis and Machine Intelligence)、PIAFusion融合方法(出自于InformationFusion)、SeaFusion融合方法(出自于Information Fusion)、SwinFusion融合方法(出自于IEEE/CAA Journal of Automatica Sinca)进行了测试，测试结果如表1所示。
表1中，Ours是指本申请所述的图像融合方法，EN是指信息熵、MI是指互信息、SF是指空间频率、AG是指平均梯度、SD是指标准差、VIF是指视觉保真度。
表1：不同融合方法在定量指标上的对比结果
从表1中能够看出：
1)本申请所述的图像融合方法能够取得较高的EN值，这说明本申请所述的图像融合方法在对低光场景下的红外图像以及低光场景下的可见光图像进行图像融合过程中，融合后得到的融合图像能够获得更多来自源图像的信息；
2)本申请所述的图像融合方法能够取得较高的SF值，这说明本申请所述的图像融合方法在对低光场景下的红外图像以及低光场景下的可见光图像进行图像融合过程中，融合后得到的融合图像能够获得更丰富的边缘信息；
3)本申请所述的图像融合方法能够取得较高的AG值，这说明本申请所述的图像融合方法在对低光场景下的红外图像以及低光场景下的可见光图像进行图像融合过程中，融合后得到的融合图像能够获得更多的纹理细节；
4)本申请所述的图像融合方法能够取得较高的SD值，这说明本申请所述的图像融合方法在对低光场景下的红外图像以及低光场景下的可见光图像进行图像融合过程中，融合后得到的融合图像能够获得更丰富的对比度信息；
5)本申请所述的图像融合方法得到的MI值和VIF值低于现有技术中SwinFusion和SeaFusion；需要指出的是，本申请所述图像融合方法得到的MI值和VIF值低于现有技术中SwinFusion和SeaFusion，这主要是由于本申请强调融合图像的整体亮度和场景信息，这导致融合图像与源图像之间的相关性降低。
Claims (12)
1.一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：包括如下步骤：
步骤1：获取光照场景判别网络的训练集；
步骤2：构建光照场景判别网络，训练光照场景判别网络，得到训练好的光照场景判别网络模型；其中，所述的光照场景判别网络由四个依次连接的单元组成，前三个单元由依次连接的卷积层、LRelu激活层和步幅卷积层组成，最后一个单元由依次连接的全连接层、LRelu激活层、全连接层和Softmax层组成；
步骤3：获取增强网络的训练集；
步骤4：构建增强网络，训练增强网络，得到训练好的增强网络模型；其中，所述的增强网络包括分解模块、照度增强模块和反射恢复模块，分解模块包括两个3×3卷积层、两个挤压激励块和两个1×1卷积层组成，挤压激励块由两个步幅卷积层、三个LRelu激活层、两个全连接层和一个Sigmoid层组成，照度增强模块包含四个特征提取单元和四个特征重建单元组成，特征提取单元由依次连接的卷积层、LRelu激活层和下采样层组成，特征重建单元由依次连接的卷积层、LRelu激活层和上采样层组成，反射恢复模块由两个引导滤波器GF和Sobel算子组成；
步骤5：获取融合网络的训练集和测试集；
步骤6：构建融合网络，训练融合网络，得到训练好的融合网络模型；其中所述的融合网络采用自编码器结构，其中，编码器Encoder包含上支路和下支路两条支路，上支路包含四个卷积单元，每个卷积单元均由一个5×5卷积层和一个LRelu激活层组成；下支路包含四个卷积单元，每个卷积单元均由一个3×3卷积层和一个LRelu激活层；解码器Decoder由一个挤压激励块和四个解码单元组成，其中，挤压激励块依次由一个最大池化层、一个LRelu激活层、两个全连接层和一个Sigmoid层组成，前三个解码单元均由一个3×3卷积层和一个LRelu激活层组成，最后一个解码单元由一个3×3卷积层和一个Tanh激活层组成；
步骤7：利用融合网络的测试集中的测试数据对步骤6得到的训练好的融合网络模型进行测试，得到融合图像。
2.根据权利要求1中所述的一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：步骤2中，所述光照场景判别网络的训练过程包括如下具体步骤：
步骤2.1：读取光照场景判别网络的训练集的图像，调整图像的尺寸，将图像的像素值进行归一化处理，即得到输入图像；
步骤2.2：将输入图像送到光照场景判别网络中提取光照特征；
步骤2.3：将提取到的光照特征通过全连接层映射成二分类结果，然后对二分类结果进行归一化处理，得到图像为白天的光照概率Pday和图像为夜晚的光照概率Pnight；
步骤2.4：根据损失函数来计算输入图像的光照判别结果y和输入图像的光照标签z之间的损失；
步骤2.5：用Adam优化器优化梯度，更新网络的参数；
步骤2.6：重复步骤2.1至步骤2.5，直到在整个训练集上迭代次数epoch达到设定的阈值，得到训练好的光照场景判别网络。
3.根据权利要求1所述的一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：步骤2.4中，损失函数的计算公式，如式(1)所示：
式(1)中，表示二元交叉熵损失函数，z表示图像的光照标签，y是光照判别网络的输出。
4.根据权利要求1所述的一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：步骤4中，所述增强网络的训练过程包括如下步骤：
步骤4.1：读取增强网络训练集中的低光和正常光图像对(Ilow，Inormal)，然后分别将低光图像Ilow和正常光图像Inormal转换到YCbCr颜色空间，提取低光图像Ilow和正常光图像Inormal的Y通道图，得到Y通道图像对
步骤4.2：将低光图像的Y通道图和正常光图像的Y通道图分别送入分解模块得到对应图像的照度分量L和反射分量R；
步骤4.3：将得到的低光图像的照度分量Llow，光照条件Pday和Pnight送到照度增强模块进行照度增强处理，得到增强后的照度分量Llow_en，将得到的低光图像的反射分量Rlow送入反射恢复模块，得到恢复后的反射分量Rlow_en；
步骤4.4：结合增强后的照度分量Llow_en和恢复后的反射分量Rlow_en得到增强后的图像Ilow_en；
步骤4.5：根据分解损失函数Ldec和照度增强损失函数Len来约束增强网络；
步骤4.6：用Adam优化器优化梯度，更新增强网络的参数；
步骤4.7：重复步骤4.1至4.6，直到在整个训练集上迭代次数epoch达到设定阈值，得到训练好的增强网络。
5.根据权利要求1所述的一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：步骤4.3的具体步骤：将低光图像的照度分量Llow和图像的光照条件Pday和Pnight送入到照度增强模块，根据光照条件自适应增强照度信息，得到增强后的照度分量Llow_en，使用引导滤波器和梯度算子对反射分量Rlow进行细节恢复处理，并采用分层策略进行引导去噪和细节保留，首先使用反射分量R本身作为引导图像对反射分量R进行去噪和分层处理，得到经过去噪的基础层Rbase和细节层Rdetail，然后使用细节层的梯度图像作为引导图像对细节层进行细节恢复处理，得到恢复细节的细节层Rdetail_en，最后结合经过去噪的基础层Rbase和经过细节恢复的细节层Rdetail_en，得到增强后的反射分量Rlow_en。
6.根据权利要求1所述的一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：步骤4.5中，损失函数的计算公式，如式(2)所示：
式(2)中，为重构损失，/>为反射一致性损失，/>为照度平滑损失；ω1、ω2和ω3均为超参数；
式(2)中，重构损失的计算公式，如式(3)所示：
式(3)中，表示L1损失函数，SSIM表示结构相似性损失，α是平衡参数，S、R和L分别表示源图像、反射分量和照度分量；
式(2)中，反射一致性损失的计算公式，如式(4)所示：
式(4)中，Rlow和Rnormal分别表示低光图像的反射分量和正常光图像的反射分量，N表示图像总数；
式(2)中，照度平滑损失的计算公式，如式(5)所示：
式(5)中，||||1表示第一范数，表示图像的照度分量的梯度值。
7.根据权利要求1所述的一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：步骤4.5中，照度增强损失函数的计算公式，如式(6)所示：
式(6)中，表示增强后的照度分量。
8.根据权利要求1所述的一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：步骤6中，所述融合网络的训练过程具体步骤如下：
步骤6.1：读取红外图像和增强后的可见光图像(Iir，Ivis_en)，然后分别将红外图像Iir和增强后的可见光图像Ivis_en转换到YCbCr颜色空间，提取红外图像Iir和增强后的可见光图像Ivis_en的Y通道图，得到Y通道图像对
步骤6.2：将提取的Y通道图像对在通道维度上拼接作为融合网络的编码器(Encoder)的输入，分别提取3×3和5×5两个尺度的特征；
步骤6.3：将提取的不同尺度特征在通道维度上拼接得到混合特征，然后混合特征被送到挤压激励块进行特征选取，得到重建特征；
步骤6.4：将得到的重建特征送到解码器(Decoder)中进行图像重建；
步骤6.5：根据损失函数Lfusion计算融合网络的损失，使用Adam优化器优化损失梯度并反向传播，更新融合网络的模型参数；
步骤6.6：重复步骤6.1至步骤6.5，直到在整个训练集上迭代次数epoch达到设定阈值，得到训练好的融合网络。
9.根据权利要求1所述的一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：步骤6.2的具体步骤为：将Y通道图像对在通道维度上拼接得到拼接Y通道图，然后将拼接Y通道图输入到融合网络中经融合网络编码器的上下两个分支分别提取3×3尺度和5×5尺度的深层特征。
10.根据权利要求1所述的一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：步骤6.3的具体步骤为：将提取的不同尺度的深层特征在通道维度上拼接送入挤压激励块(SE)进行特征选取，放大重要特征，过滤冗余的、无用的特征。
11.根据权利要求1所述的一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：步骤6.5中，损失函数的计算公式，如式(7)所示：
式(7)中，为强度损失，/>为纹理损失，/>为结构损失；λ1、λ2和λ3为超参数，用来平衡三项损失；
式(7)中，强度损失的计算公式，如式(8)所示：
式(8)中，H和W分别为图像的高和宽，M和(1-M)表示目标区域和背景区域的掩码图像，我们通过分割MSRS数据集中的label标签获得；Pir和Pvis分别表示|Ifusion-Iir|和|Ifusion-Ivis_en|；Wir和Wvis为自适应权重信息，由信息熵和光照条件组成，自适应权重的计算公式如式(9)所示：
式(9)中，EN表示信息熵，用来衡量图像具有信息量的多少；Pday和Pnight分别表示图像中光照场景属于白天的概率和属于夜晚的概率；
式(7)中的纹理损失的计算公式，如式(10)所示：
式(10)中，表示Sobel算子，它被用来计算图像的梯度信息；
式(7)中，结构损失的计算公式，如式(11)所示：
式(11)中，SSIM表示两个图像之间相似性的计算，SSIM的值越大，表明两个图像越相似。
12.根据权利要求1所述的一种基于低光照明和自适应约束的红外与可见光图像融合方法，其特征在于：步骤7具体包括如下步骤：
步骤7.1：将融合图像的测试集中的测试数据输入到步骤6得到的训练好的融合网络模型中并依次按照步骤6.1到步骤6.4进行，得到Y通道的融合图像；
步骤7.2：将Y通道的融合图像与可见光图像的CbCr通道在特征维度连接，得到YCbCr颜色空间的融合图像，然后再转换到RGB颜色空间，得到最终的融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311346351.3A CN117391981A (zh) | 2023-10-17 | 2023-10-17 | 一种基于低光照明和自适应约束的红外与可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311346351.3A CN117391981A (zh) | 2023-10-17 | 2023-10-17 | 一种基于低光照明和自适应约束的红外与可见光图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117391981A true CN117391981A (zh) | 2024-01-12 |
Family
ID=89435393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311346351.3A Pending CN117391981A (zh) | 2023-10-17 | 2023-10-17 | 一种基于低光照明和自适应约束的红外与可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117391981A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611473A (zh) * | 2024-01-24 | 2024-02-27 | 佛山科学技术学院 | 一种同步去噪的图像融合方法及其相关设备 |
-
2023
- 2023-10-17 CN CN202311346351.3A patent/CN117391981A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611473A (zh) * | 2024-01-24 | 2024-02-27 | 佛山科学技术学院 | 一种同步去噪的图像融合方法及其相关设备 |
| CN117611473B (zh) * | 2024-01-24 | 2024-04-23 | 佛山科学技术学院 | 一种同步去噪的图像融合方法及其相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112949565B (zh) | 基于注意力机制的单样本部分遮挡人脸识别方法及系统 | |
| CN110909690B (zh) | 一种基于区域生成的遮挡人脸图像检测方法 | |
| CN110889813A (zh) | 基于红外信息的低光图像增强方法 | |
| CN113313657A (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| CN102982520B (zh) | 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法 | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN113870124B (zh) | 基于弱监督的双网络互激励学习阴影去除方法 | |
| CN117391981A (zh) | 一种基于低光照明和自适应约束的红外与可见光图像融合方法 | |
| CN115457249A (zh) | 红外图像与可见光图像融合匹配的方法及系统 | |
| CN115393225A (zh) | 一种基于多层次特征提取融合的低光照图像增强方法 | |
| CN111681180A (zh) | 先验驱动的深度学习图像去雾方法 | |
| CN111563542A (zh) | 一种基于卷积神经网络的植物自动分类方法 | |
| CN113379861B (zh) | 基于色彩恢复块的彩色微光图像重建方法 | |
| CN116363036B (zh) | 基于视觉增强的红外与可见光图像融合方法 | |
| CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
| CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
| CN113554568A (zh) | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 | |
| CN116883303A (zh) | 基于特征差分补偿与融合的红外与可见光图像融合方法 | |
| CN117333359A (zh) | 基于可分离卷积网络的山水画图像超分辨率重建方法 | |
| CN115760630A (zh) | 一种低照度图像增强方法 | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN114140361A (zh) | 融合多级特征的生成式对抗网络图像去雾方法 | |
| CN114140334A (zh) | 一种基于改进生成对抗网络的复杂煤矿图像去雾方法 | |
| CN116757988B (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
| CN117611473B (zh) | 一种同步去噪的图像融合方法及其相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |